工程科学学报.第43卷.第9期：1244-1252.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1244-1252,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005;http://cje.ustb.edu.cn 骨架图引导的级联视网膜血管分割网络 姜大光”，李明鸣，陈羽中》，丁文达”，彭晓婷，李瑞瑞)四 1)北京化工大学信息科学与技术学院，北京1000292)北京离瞳科技发展股份有限公司.北京1000893)北京富通东方科技有限公司， 北京100010 ☒通信作者，E-mail:ilydouble@gmail..com 摘要针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出 发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架.该框架包含血管骨架图提取网络模 块、血管分割网络模块和若干自适应特征融合结构体.骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓 扑结构特征：自适应特征融合结构体嵌入在两个模块的特征层间.该结构体通过学习像素级的融合权重，有效地将血管拓扑 结构特征与血管局部特征相融合，加强血管特征的结构信息响应.为了获得更完整的骨架图，骨架图提取网络还引人了基于 图的正则化损失函数用于训练.与最新的血管分割方法相比，该方法在3个公共视网膜图像数据集上均获得第一名，在 DRIVE,STARE和CHASEDB1中其F1值分别为83.1%，85.8%和82.0%.消融实验表明骨架图引导的视网膜血管分割效果更 好，并且，基于图的正则化损失也能进一步提高血管分割准确性.通过将骨架提取模块和血管分割模块替换成不同的卷积网 络验证了框架的普适性. 关键词骨架提取；视网膜血管分割：多任务：级联网络：基于图的正则化 分类号TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong?.DING Wen-da,PENG Xiao-ting,LI Rui-rui 1)School of Information Science and Technology,Beijing University of Chemical and Technology,Beijing 100029,China 2)Beijing Airdoc Technology Co.,Ltd,Beijing 100089,China 3)Beijing Futong Dongfang Technology Co.,Ltd,Beijing 100010,China Corresponding author,E-mail:ilydouble@gmail.com ABSTRACT Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases.Diabetes, hypertension,and cardiovascular disease can cause abnormalities of the retinal vascular structure.Retinal vessel segmentation maps can be quickly obtained using the automated retinal vessel segmentation technology,which saves time and cost of manually identifying retinal vessels.Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels,this paper explored the design of a multitask convolutional neural network and the topological relationship of retinal vessels.A cascaded retinal vessel segmentation network framework guided by a skeleton map was proposed.The auxiliary task of skeleton extraction was used to extract vessel centerlines,which could maximally preserve topological structure information.SAFF cascaded the two modules by remaining embedded between their feature layers.This process could effectively fuse the structural features with the vessel local features by learning pixel- wise fusion weight and thus enhancing the structural response of features in the vessel segmentation module.To obtain a complete skeleton map,the skeleton map extraction module introduced a graph-based regularization loss function for training.Compared with the latest vessel segmentation methods,the proposed approach wins the first place among the three public retinal image datasets.F1 metrics 收稿日期：2020-12-30 基金项目：北京化工大学-中日友好医院生物医学转化工程研究中心联合资助项目(XK2020-7):科技部重点研发资助项目(2020YFF0305100)骨架图引导的级联视网膜血管分割网络 姜大光1)，李明鸣1)，陈羽中2)，丁文达1)，彭晓婷1)，李瑞瑞1,3) 苣 1) 北京化工大学信息科学与技术学院，北京 100029    2) 北京鹰瞳科技发展股份有限公司，北京 100089    3) 北京富通东方科技有限公司， 北京 100010 苣通信作者，E-mail：ilydouble@gmail.com 摘    要    针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出 发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架. 该框架包含血管骨架图提取网络模 块、血管分割网络模块和若干自适应特征融合结构体. 骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓 扑结构特征；自适应特征融合结构体嵌入在两个模块的特征层间. 该结构体通过学习像素级的融合权重，有效地将血管拓扑 结构特征与血管局部特征相融合，加强血管特征的结构信息响应. 为了获得更完整的骨架图，骨架图提取网络还引入了基于 图的正则化损失函数用于训练. 与最新的血管分割方法相比，该方法在 3 个公共视网膜图像数据集上均获得第一名，在 DRIVE，STARE 和 CHASEDB1 中其 F1 值分别为 83.1%，85.8% 和 82.0%. 消融实验表明骨架图引导的视网膜血管分割效果更 好，并且，基于图的正则化损失也能进一步提高血管分割准确性. 通过将骨架提取模块和血管分割模块替换成不同的卷积网 络验证了框架的普适性. 关键词    骨架提取；视网膜血管分割；多任务；级联网络；基于图的正则化 分类号    TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang1) ，LI Ming-ming1) ，CHEN Yu-zhong2) ，DING Wen-da1) ，PENG Xiao-ting1) ，LI Rui-rui1,3) 苣 1) School of Information Science and Technology, Beijing University of Chemical and Technology, Beijing 100029, China 2) Beijing Airdoc Technology Co., Ltd, Beijing 100089, China 3) Beijing Futong Dongfang Technology Co., Ltd, Beijing 100010, China 苣 Corresponding author, E-mail: ilydouble@gmail.com ABSTRACT    Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases. Diabetes, hypertension, and cardiovascular disease can cause abnormalities of the retinal vascular structure. Retinal vessel segmentation maps can be  quickly  obtained  using  the  automated  retinal  vessel  segmentation  technology,  which  saves  time  and  cost  of  manually  identifying retinal vessels. Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels, this paper explored the design of a multitask  convolutional  neural  network  and  the  topological  relationship  of  retinal  vessels.  A  cascaded  retinal  vessel  segmentation network  framework  guided  by  a  skeleton  map  was  proposed.  The  auxiliary  task  of  skeleton  extraction  was  used  to  extract  vessel centerlines, which could maximally preserve topological structure information. SAFF cascaded the two modules by remaining embedded between their feature layers. This process could effectively fuse the structural features with the vessel local features by learning pixel￾wise  fusion  weight  and  thus  enhancing  the  structural  response  of  features  in  the  vessel  segmentation  module.  To  obtain  a  complete skeleton map, the skeleton map extraction module introduced a graph-based regularization loss function for training. Compared with the latest vessel segmentation methods, the proposed approach wins the first place among the three public retinal image datasets. F1 metrics 收稿日期: 2020−12−30 基金项目: 北京化工大学‒中日友好医院生物医学转化工程研究中心联合资助项目（XK2020-7）；科技部重点研发资助项目（2020YFF0305100） 工程科学学报，第 43 卷，第 9 期：1244−1252，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1244−1252, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005; http://cje.ustb.edu.cn