骨架图引导的级联视网膜血管分割网络

工程科学学报 Chinese Journal of Engineering 骨架图引导的级联视网膜血管分割网络 姜大光李明鸣陈羽中丁文达彭晓婷李瑞瑞 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong.DING Wen-da,PENG Xiao-ting.LI Rui-rui 引用本文： 姜大光，李明鸣，陈羽中，丁文达，彭晓婷，李瑞瑞.骨架图引导的级联视网膜血管分割网络).工程科学学报，2021,43(9)： 1244-1252.doi:10.13374.issn2095-9389.2021.01.13.005 JIANG Da-guang,LI Ming-ming.CHEN Yu-zhong,DING Wen-da,PENG Xiao-ting,LI Rui-rui.Cascaded retinal vessel segmentation network guided by a skeleton map[J].Chinese Journal of Engineering,2021,43(9):1244-1252.doi: 10.13374/i.issn2095-9389.2021.01.13.005 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.13.005 您可能感兴趣的其他文章 Articles you may be interested in 基于参考模型的视网膜特征量化 Retinal feature quantization method based on a reference model 工程科学学报.2019,41(9外：1222htps:/doi.org10.13374.issn2095-9389.2019.09.015 基于免疫遗传形态学的视网膜光学相干断层图像边缘 Edge detection method of retinal optical coherence tomography images based on immune genetic morphology 工程科学学报.2019,41(4：539 https::/1doi.org/10.13374斩.issn2095-9389.2019.04.015 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报.2017,39(12：1866htps:/doi.org10.13374.issn2095-9389.2017.12.013 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报.2020,42(10)：1362htps:/1doi.0rg10.13374j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报.2017,3911：1735htps:oi.org10.13374.issn2095-9389.2017.11.017 图像分割评估方法在显微图像分析中的应用 Image segmentation metric and its application in the analysis of microscopic image 工程科学学报.2021,43(1)：137 https:/doi.org10.13374.issn2095-9389.2020.05.28.002

骨架图引导的级联视网膜血管分割网络 姜大光 李明鸣 陈羽中 丁文达 彭晓婷 李瑞瑞 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang, LI Ming-ming, CHEN Yu-zhong, DING Wen-da, PENG Xiao-ting, LI Rui-rui 引用本文: 姜大光, 李明鸣, 陈羽中, 丁文达, 彭晓婷, 李瑞瑞. 骨架图引导的级联视网膜血管分割网络[J]. 工程科学学报, 2021, 43(9): 1244-1252. doi: 10.13374/j.issn2095-9389.2021.01.13.005 JIANG Da-guang, LI Ming-ming, CHEN Yu-zhong, DING Wen-da, PENG Xiao-ting, LI Rui-rui. Cascaded retinal vessel segmentation network guided by a skeleton map[J]. Chinese Journal of Engineering, 2021, 43(9): 1244-1252. doi: 10.13374/j.issn2095-9389.2021.01.13.005 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005 您可能感兴趣的其他文章 Articles you may be interested in 基于参考模型的视网膜特征量化 Retinal feature quantization method based on a reference model 工程科学学报. 2019, 41(9): 1222 https://doi.org/10.13374/j.issn2095-9389.2019.09.015 基于免疫遗传形态学的视网膜光学相干断层图像边缘 Edge detection method of retinal optical coherence tomography images based on immune genetic morphology 工程科学学报. 2019, 41(4): 539 https://doi.org/10.13374/j.issn2095-9389.2019.04.015 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报. 2017, 39(12): 1866 https://doi.org/10.13374/j.issn2095-9389.2017.12.013 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报. 2020, 42(10): 1362 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报. 2017, 39(11): 1735 https://doi.org/10.13374/j.issn2095-9389.2017.11.017 图像分割评估方法在显微图像分析中的应用 Image segmentation metric and its application in the analysis of microscopic image 工程科学学报. 2021, 43(1): 137 https://doi.org/10.13374/j.issn2095-9389.2020.05.28.002

工程科学学报.第43卷.第9期：1244-1252.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1244-1252,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005;http://cje.ustb.edu.cn 骨架图引导的级联视网膜血管分割网络 姜大光”，李明鸣，陈羽中》，丁文达”，彭晓婷，李瑞瑞)四 1)北京化工大学信息科学与技术学院，北京1000292)北京离瞳科技发展股份有限公司.北京1000893)北京富通东方科技有限公司， 北京100010 ☒通信作者，E-mail:ilydouble@gmail..com 摘要针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出 发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架.该框架包含血管骨架图提取网络模 块、血管分割网络模块和若干自适应特征融合结构体.骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓 扑结构特征：自适应特征融合结构体嵌入在两个模块的特征层间.该结构体通过学习像素级的融合权重，有效地将血管拓扑 结构特征与血管局部特征相融合，加强血管特征的结构信息响应.为了获得更完整的骨架图，骨架图提取网络还引人了基于 图的正则化损失函数用于训练.与最新的血管分割方法相比，该方法在3个公共视网膜图像数据集上均获得第一名，在 DRIVE,STARE和CHASEDB1中其F1值分别为83.1%，85.8%和82.0%.消融实验表明骨架图引导的视网膜血管分割效果更 好，并且，基于图的正则化损失也能进一步提高血管分割准确性.通过将骨架提取模块和血管分割模块替换成不同的卷积网 络验证了框架的普适性. 关键词骨架提取；视网膜血管分割：多任务：级联网络：基于图的正则化 分类号TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong?.DING Wen-da,PENG Xiao-ting,LI Rui-rui 1)School of Information Science and Technology,Beijing University of Chemical and Technology,Beijing 100029,China 2)Beijing Airdoc Technology Co.,Ltd,Beijing 100089,China 3)Beijing Futong Dongfang Technology Co.,Ltd,Beijing 100010,China Corresponding author,E-mail:ilydouble@gmail.com ABSTRACT Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases.Diabetes, hypertension,and cardiovascular disease can cause abnormalities of the retinal vascular structure.Retinal vessel segmentation maps can be quickly obtained using the automated retinal vessel segmentation technology,which saves time and cost of manually identifying retinal vessels.Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels,this paper explored the design of a multitask convolutional neural network and the topological relationship of retinal vessels.A cascaded retinal vessel segmentation network framework guided by a skeleton map was proposed.The auxiliary task of skeleton extraction was used to extract vessel centerlines,which could maximally preserve topological structure information.SAFF cascaded the two modules by remaining embedded between their feature layers.This process could effectively fuse the structural features with the vessel local features by learning pixel- wise fusion weight and thus enhancing the structural response of features in the vessel segmentation module.To obtain a complete skeleton map,the skeleton map extraction module introduced a graph-based regularization loss function for training.Compared with the latest vessel segmentation methods,the proposed approach wins the first place among the three public retinal image datasets.F1 metrics 收稿日期：2020-12-30 基金项目：北京化工大学-中日友好医院生物医学转化工程研究中心联合资助项目(XK2020-7):科技部重点研发资助项目(2020YFF0305100)

骨架图引导的级联视网膜血管分割网络 姜大光1)，李明鸣1)，陈羽中2)，丁文达1)，彭晓婷1)，李瑞瑞1,3) 苣 1) 北京化工大学信息科学与技术学院，北京 100029    2) 北京鹰瞳科技发展股份有限公司，北京 100089    3) 北京富通东方科技有限公司， 北京 100010 苣通信作者，E-mail：ilydouble@gmail.com 摘    要    针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出 发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架. 该框架包含血管骨架图提取网络模 块、血管分割网络模块和若干自适应特征融合结构体. 骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓 扑结构特征；自适应特征融合结构体嵌入在两个模块的特征层间. 该结构体通过学习像素级的融合权重，有效地将血管拓扑 结构特征与血管局部特征相融合，加强血管特征的结构信息响应. 为了获得更完整的骨架图，骨架图提取网络还引入了基于 图的正则化损失函数用于训练. 与最新的血管分割方法相比，该方法在 3 个公共视网膜图像数据集上均获得第一名，在 DRIVE，STARE 和 CHASEDB1 中其 F1 值分别为 83.1%，85.8% 和 82.0%. 消融实验表明骨架图引导的视网膜血管分割效果更 好，并且，基于图的正则化损失也能进一步提高血管分割准确性. 通过将骨架提取模块和血管分割模块替换成不同的卷积网 络验证了框架的普适性. 关键词    骨架提取；视网膜血管分割；多任务；级联网络；基于图的正则化 分类号    TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang1) ，LI Ming-ming1) ，CHEN Yu-zhong2) ，DING Wen-da1) ，PENG Xiao-ting1) ，LI Rui-rui1,3) 苣 1) School of Information Science and Technology, Beijing University of Chemical and Technology, Beijing 100029, China 2) Beijing Airdoc Technology Co., Ltd, Beijing 100089, China 3) Beijing Futong Dongfang Technology Co., Ltd, Beijing 100010, China 苣 Corresponding author, E-mail: ilydouble@gmail.com ABSTRACT    Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases. Diabetes, hypertension, and cardiovascular disease can cause abnormalities of the retinal vascular structure. Retinal vessel segmentation maps can be  quickly  obtained  using  the  automated  retinal  vessel  segmentation  technology,  which  saves  time  and  cost  of  manually  identifying retinal vessels. Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels, this paper explored the design of a multitask  convolutional  neural  network  and  the  topological  relationship  of  retinal  vessels.  A  cascaded  retinal  vessel  segmentation network  framework  guided  by  a  skeleton  map  was  proposed.  The  auxiliary  task  of  skeleton  extraction  was  used  to  extract  vessel centerlines, which could maximally preserve topological structure information. SAFF cascaded the two modules by remaining embedded between their feature layers. This process could effectively fuse the structural features with the vessel local features by learning pixel￾wise  fusion  weight  and  thus  enhancing  the  structural  response  of  features  in  the  vessel  segmentation  module.  To  obtain  a  complete skeleton map, the skeleton map extraction module introduced a graph-based regularization loss function for training. Compared with the latest vessel segmentation methods, the proposed approach wins the first place among the three public retinal image datasets. F1 metrics 收稿日期: 2020−12−30 基金项目: 北京化工大学‒中日友好医院生物医学转化工程研究中心联合资助项目（XK2020-7）；科技部重点研发资助项目（2020YFF0305100） 工程科学学报，第 43 卷，第 9 期：1244−1252，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1244−1252, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005; http://cje.ustb.edu.cn

姜大光等：骨架图引导的级联视网膜血管分割网络 ·1245 of the proposed method achieved 83.1%,85.8%,and 82.0%on the DRIVE,STARE,and CHASEDBI datasets,respectively.Ablation studies have shown that skeleton map-guided vessel segmentation is more effective,and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network.Moreover,the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS skeleton extraction;retinal vessel segmentation;multitask;cascaded network;graph-based regularization 视网膜血管分割是医学图像处理-的一个 关联特征有效建模和表征的能力，不能对血管形 重要分支，是眼底图像分析的基础，在眼底疾病筛 状拓扑关系很好地表示和利用 查和诊断中发挥着重要的作用.许多类型的眼底 为了使血管脉络能够被更完整和清晰地分割 病变都会导致视网膜血管形状、数量、结构发生 出来，从而辅助医生实现微小病变发现或者准确 改变，例如：高血压性视网膜病变会引起视网膜血 疾病分级诊断，本文从血管形状拓扑关系的表示 管直径、曲折度和分岔角度发生变化：糖尿病性 和利用角度出发，探索多任务卷积神经网络设计， 视网膜病变会带来视网膜静脉的扩张：而年龄相 提出骨架图引导的级联视网膜血管分割网络框 关的黄斑变性最终导致脉络膜毛细血管萎缩和形 架.该框架包含两个级联的沙漏状网络模块，并采 成大量新生血管 用层次化的方式传递特征.方法引入了一个提取 视网膜血管形态结构复杂、狭长且空间跨度 骨架图的辅助任务，并设计了基于图的结构平滑 大，血管间常常会交错重叠.这让视网膜血管的有 正则损失函数，帮助更好地刻画物体的拓扑和几 效表征和特征提取任务变得富有挑战.不仅如此， 何关联特性.不仅如此，方法将骨架图和层次化特 血管末端常分岔出更细微的血管，呈现出较大的 征通过融合机制传递到第二个网络模块，引导整 尺度变化，也使得许多跟早期疾病筛查相关的不 体视网膜血管的分割.本文在DRIVE、STARE和 规律弯折和多角度交错等现象不易被观察到.经 CHASEDB1这3个著名公开的视网膜血管分割数 典机器学习方法)1的分类特征需要手动设计和 据集上验证了提出的网络框架，与该领域近3年 提取，非常依赖研究人员的领域相关知识，特征的 最新的8种方法相比，该框架得到的结果的准确 优劣很大程度影响模型效果.基于特定算子的目 性最高.同时通过消融实验，本文定量分析了提取 标形态检测方法[⑧10往往只针对特定的场景和条 骨架的辅助任务、基于图的结构平滑正则损失函 件，难以进一步提高血管分割的准确性 数以及骨架提取任务和血管分割任务使用不同网 近年来，得益于深度学习技术的发展，基于深 络实现时对分割任务的影响.综上所述，本文的主 度卷积神经网络的视网膜血管分割方法成为一个 要创新点如下：(1)提出了一个多任务级联网络框 研究热点.许多工作采用全卷积神经网络来完成 架.能够将不同的任务级联在一起同时训练，提高 这一任务，例如：Zhang和Chung使用UNet!2实 模型的准确性和泛化性.该框架与选取的主干网 现端到端的视网膜血管分割：Guo等则采用 络无关，具有灵活的适用性：(2)设计了一个骨架图 ResNet!4来更好地提取高维抽象特征.一些研究 提取的辅助任务，提出基于血管标注的弱监督骨 人员观察到血管分割任务中所存在的数据不平衡、 架图提取方法，方法采用伪标注与基于图的结构 细节特征易丢失等问题，从网络结构和训练策略 平滑正则损失函数相结合来准确提取骨架；(3)提 等角度提出改进的方法，通过将注意力机制s6、 出骨架引导的准确血管分割的方法，通过自适应 空洞卷积-20、长短期记忆网络模块2叫和深监督 特征选择机制来有效融合的拓扑结构特征 学习四等技术适配到视网膜血管分割网络中，来 1国内外相关工作 加强网络的特征提取能力.这些研究工作有效地 提升了血管分割性能，但是在医学临床应用中还 长期以来，国内外研究者提出了大量的血管 有许多亟待解决的问题，特别地，细小血管的分割 分割方法.传统的方法包含：概率图模型1、线检 准确性和结构完整性是一个难点，需要进一步提 测器24、Gabor小波变换)和手工特征结合有监督 升和加强.一方面，细小血管在图像中所占的像素 分类器5,25-21的方法.2016年以后，得益于深度学 比例少，在训练中可能得不到有效的关注和充分 习技术的快速发展，涌现出大量基于深度卷积神 的监督：另一方面，卷积神经网络本身缺乏对结构 经网络的视网膜血管分割方法.Maninis等P7采

of the proposed method achieved 83.1%, 85.8%, and 82.0% on the DRIVE, STARE, and CHASEDB1 datasets, respectively. Ablation studies have shown that skeleton map-guided vessel segmentation is more effective, and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network. Moreover, the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS    skeleton extraction；retinal vessel segmentation；multitask；cascaded network；graph-based regularization 视网膜血管分割是医学图像处理[1−2] 的一个 重要分支，是眼底图像分析的基础，在眼底疾病筛 查和诊断中发挥着重要的作用. 许多类型的眼底 病变都会导致视网膜血管形状、数量、结构发生 改变，例如：高血压性视网膜病变会引起视网膜血 管直径、曲折度和分岔角度发生变化[3] ；糖尿病性 视网膜病变会带来视网膜静脉的扩张[4] ；而年龄相 关的黄斑变性最终导致脉络膜毛细血管萎缩和形 成大量新生血管. 视网膜血管形态结构复杂、狭长且空间跨度 大，血管间常常会交错重叠. 这让视网膜血管的有 效表征和特征提取任务变得富有挑战. 不仅如此， 血管末端常分岔出更细微的血管，呈现出较大的 尺度变化，也使得许多跟早期疾病筛查相关的不 规律弯折和多角度交错等现象不易被观察到. 经 典机器学习方法[5−7] 的分类特征需要手动设计和 提取，非常依赖研究人员的领域相关知识，特征的 优劣很大程度影响模型效果. 基于特定算子的目 标形态检测方法[8−10] 往往只针对特定的场景和条 件，难以进一步提高血管分割的准确性. 近年来，得益于深度学习技术的发展，基于深 度卷积神经网络的视网膜血管分割方法成为一个 研究热点. 许多工作采用全卷积神经网络来完成 这一任务，例如：Zhang 和 Chung [11] 使用 UNet[12] 实 现端到端的视网膜血管分割 ； Guo 等 [13] 则 采 用 ResNet[14] 来更好地提取高维抽象特征. 一些研究 人员观察到血管分割任务中所存在的数据不平衡、 细节特征易丢失等问题，从网络结构和训练策略 等角度提出改进的方法，通过将注意力机制[15−16]、 空洞卷积[17−20]、长短期记忆网络模块[21] 和深监督 学习[22] 等技术适配到视网膜血管分割网络中，来 加强网络的特征提取能力. 这些研究工作有效地 提升了血管分割性能，但是在医学临床应用中还 有许多亟待解决的问题，特别地，细小血管的分割 准确性和结构完整性是一个难点，需要进一步提 升和加强. 一方面，细小血管在图像中所占的像素 比例少，在训练中可能得不到有效的关注和充分 的监督；另一方面，卷积神经网络本身缺乏对结构 关联特征有效建模和表征的能力，不能对血管形 状拓扑关系很好地表示和利用. 为了使血管脉络能够被更完整和清晰地分割 出来，从而辅助医生实现微小病变发现或者准确 疾病分级诊断，本文从血管形状拓扑关系的表示 和利用角度出发，探索多任务卷积神经网络设计， 提出骨架图引导的级联视网膜血管分割网络框 架. 该框架包含两个级联的沙漏状网络模块，并采 用层次化的方式传递特征. 方法引入了一个提取 骨架图的辅助任务，并设计了基于图的结构平滑 正则损失函数，帮助更好地刻画物体的拓扑和几 何关联特性. 不仅如此，方法将骨架图和层次化特 征通过融合机制传递到第二个网络模块，引导整 体视网膜血管的分割. 本文在 DRIVE、STARE 和 CHASEDB1 这 3 个著名公开的视网膜血管分割数 据集上验证了提出的网络框架，与该领域近 3 年 最新的 8 种方法相比，该框架得到的结果的准确 性最高. 同时通过消融实验，本文定量分析了提取 骨架的辅助任务、基于图的结构平滑正则损失函 数以及骨架提取任务和血管分割任务使用不同网 络实现时对分割任务的影响. 综上所述，本文的主 要创新点如下：（1）提出了一个多任务级联网络框 架. 能够将不同的任务级联在一起同时训练，提高 模型的准确性和泛化性. 该框架与选取的主干网 络无关，具有灵活的适用性；（2）设计了一个骨架图 提取的辅助任务，提出基于血管标注的弱监督骨 架图提取方法，方法采用伪标注与基于图的结构 平滑正则损失函数相结合来准确提取骨架；（3）提 出骨架引导的准确血管分割的方法，通过自适应 特征选择机制来有效融合的拓扑结构特征. 1    国内外相关工作 长期以来，国内外研究者提出了大量的血管 分割方法. 传统的方法包含：概率图模型[23]、线检 测器[24]、Gabor 小波变换[7] 和手工特征结合有监督 分类器[5, 25−26] 的方法. 2016 年以后，得益于深度学 习技术的快速发展，涌现出大量基于深度卷积神 经网络的视网膜血管分割方法. Maninis 等[27] 采 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1245 ·

·1246 工程科学学报，第43卷，第9期 用VGG网络P1提取特征，并将不同层次特征相融 导致整个任务性能的降低 合作为分类特征，完成逐像素分类.Zhang等2 2多任务级联视网膜血管分割网络 Guo等30、Mou等B创分别在他们的工作中使用 了UNet,并加入了空间和通道注意力机制，使网络 本文提出的骨架图引导的多任务级联视网膜 能够更好地关注到有效目标区域.Jiang等B、 分割框架如图1所示，该框架由骨架提取辅助任 Hatamizadeh等3)、Gu等B在全卷积网络中使用了 务、特征级联模块和血管分割主任务3部分组成 空洞卷积金字塔，能够提取不同尺度的目标特征， 骨架提取辅助任务和血管分割主任务分别由两个 丰富了特征层的上下文信息.Zhang和Chung山、 编码-解码结构的沙漏型网络实现.骨架提取网 Mo和Zhang Bs使用了深监督的训练方式，对网络 络能够对血管的中心线逐像素标记，输出血管骨 不同深度的隐层特征施加监督信号，有利于梯度 架图：血管分割网络将眼底图像划分为血管区域 在网络深层传递，使网络能够更有效地提取深层 和非血管区域.两个网络之间采用多个自适应特 特征 征融合模块连接，模块在训练中学习到如何将 视网膜眼底图像分割比普通视觉图像分割难 骨架提取网络挖掘到的多层次结构信息和分割网 度更大，主要表现在：眼底照样本少、尺度变化 络的血管特征进行融合，增强分割血管的结构完 大、内容细节丰富和结构信息敏感.一些方法采 整性 用特殊的损失函数设计来更好地提取特征.这类 Binary cross entropy 方法的基本思路是对占比少且难学习的像素施加 Graph-based regularization Binary cross entropy 更大的损失权重，例如：细血管或血管边缘像素， 使网络在训练中能够更有效地挖掘这些样本的特 征.Hu等通过对交叉嫡损失函数设置权重来平 衡前景和背景、粗与细血管间的训练损失.Yan 等B7结合血管的长度和管壁直径设计损失函数， 加大对细血管的训练权重，这些精心设计的损失 函数能够有效提升血管分割的精度，但对于不同 的数据分布，需要对此多次手工调整参数，不具备 很好的适用性 Skeleton extraction Feature cascaded Retinal vessel segmentation 为了更好地提取细血管和结构信息，另一些 SAFF Self-adaptive feature fusion block 方法则采用多任务网络设计，即：设置一个或者多 图1骨架图引导的视网膜血管分割网络框架 个相关子任务来协助更好地完成血管分割.例如 Fig.I Skeleton map-guided retinal vessel segmentation framework 使用一个边缘分割的子任务！或使用一个血管连 该框架中的两个网络的主干结构是一致的， 接点提取的子任务也有研究人员尝试将血管 但整个框架与主干网络的选择无关，可根据具体 分割的任务进行分解.Zhang等o就将血管特征 分割任务灵活设置.在本文中，主干网络选择使 提取分解为血管结构特征提取和纹理特征提取， 用ResNet3.4.ResNet3.4具有4个编码层，深层编 并设置两个子任务，使用浅层网络提取低层的纹 码特征对应着更大的感受野，具有更大范围的结 理特征，使用深层网络提取高层的结构特征 构信息，浅层编码特征则蕴含着较为精细的局部 Zheng等对血管进行细粒度的分类，分为细血 结构信息，每个编码层的空间分辨率均为上层编 管、血管边缘和粗血管三个部分，使用多任务网络 码层的14，网络末端的全连接层被替换为若干个 对这些子类进行分类.Zou等2根据位置分布将 转置卷积层和上采样层，用于恢复空间分辨率，构 血管分成五个部分分别进行处理，采用局部回归 成了解码路径.编码层的特征通过跳跃连接传递 的技术促使在分割结果中保留更多的细血管.采 至具有相同空间分辨率的解码层，弥补在下采样 用了由粗到细的串行多任务分割学习框架，粗分 中丢失的空间信息 割网络的输出结果连接到细分割网络的输入，进 2.1基于伪标注的骨架图提取 行进一步优化.遗憾的是，上述这些方法难以有效 骨架，也称为“中心线”，是一种基于结构的目 利用子任务网络之间的多层次特征的相关性，缺 标描述符，能够对血管这类拓扑结构清晰和有效 乏任务间的协同机制，造成的特征层信息冗余会 地表示（如图2）

用 VGG 网络[28] 提取特征，并将不同层次特征相融 合作为分类特征，完成逐像素分类. Zhang 等[29]、 Guo 等[13,30]、Mou 等[31] 分别在他们的工作中使用 了 UNet，并加入了空间和通道注意力机制，使网络 能够更好地关注到有效目标区域 . Jiang 等 [32]、 Hatamizadeh 等[33]、Gu 等[34] 在全卷积网络中使用了 空洞卷积金字塔，能够提取不同尺度的目标特征， 丰富了特征层的上下文信息. Zhang 和 Chung [11]、 Mo 和 Zhang [35] 使用了深监督的训练方式，对网络 不同深度的隐层特征施加监督信号，有利于梯度 在网络深层传递，使网络能够更有效地提取深层 特征. 视网膜眼底图像分割比普通视觉图像分割难 度更大，主要表现在：眼底照样本少、尺度变化 大、内容细节丰富和结构信息敏感. 一些方法采 用特殊的损失函数设计来更好地提取特征. 这类 方法的基本思路是对占比少且难学习的像素施加 更大的损失权重，例如：细血管或血管边缘像素， 使网络在训练中能够更有效地挖掘这些样本的特 征. Hu 等[36] 通过对交叉熵损失函数设置权重来平 衡前景和背景、粗与细血管间的训练损失. Yan 等[37] 结合血管的长度和管壁直径设计损失函数， 加大对细血管的训练权重. 这些精心设计的损失 函数能够有效提升血管分割的精度，但对于不同 的数据分布，需要对此多次手工调整参数，不具备 很好的适用性. 为了更好地提取细血管和结构信息，另一些 方法则采用多任务网络设计，即：设置一个或者多 个相关子任务来协助更好地完成血管分割. 例如： 使用一个边缘分割的子任务[38] 或使用一个血管连 接点提取的子任务[39] . 也有研究人员尝试将血管 分割的任务进行分解. Zhang 等[40] 就将血管特征 提取分解为血管结构特征提取和纹理特征提取， 并设置两个子任务，使用浅层网络提取低层的纹 理特征 ，使用深层网络提取高层的结构特征 . Zheng 等 [41] 对血管进行细粒度的分类，分为细血 管、血管边缘和粗血管三个部分，使用多任务网络 对这些子类进行分类. Zou 等 [42] 根据位置分布将 血管分成五个部分分别进行处理，采用局部回归 的技术促使在分割结果中保留更多的细血管. 采 用了由粗到细的串行多任务分割学习框架，粗分 割网络的输出结果连接到细分割网络的输入，进 行进一步优化. 遗憾的是，上述这些方法难以有效 利用子任务网络之间的多层次特征的相关性，缺 乏任务间的协同机制，造成的特征层信息冗余会 导致整个任务性能的降低. 2    多任务级联视网膜血管分割网络 本文提出的骨架图引导的多任务级联视网膜 分割框架如图 1 所示，该框架由骨架提取辅助任 务、特征级联模块和血管分割主任务 3 部分组成. 骨架提取辅助任务和血管分割主任务分别由两个 编码‒解码结构的沙漏型网络实现. 骨架提取网 络能够对血管的中心线逐像素标记，输出血管骨 架图；血管分割网络将眼底图像划分为血管区域 和非血管区域. 两个网络之间采用多个自适应特 征融合模块连接，模块在训练中学习到如何将 骨架提取网络挖掘到的多层次结构信息和分割网 络的血管特征进行融合，增强分割血管的结构完 整性. Binary cross entropy Skeleton extraction Feature cascaded Retinal vessel segmentation SAFF Self-adaptive feature fusion block Binary cross entropy + Graph-based regularization SAFF SAFF SAFF 图 1    骨架图引导的视网膜血管分割网络框架 Fig.1    Skeleton map-guided retinal vessel segmentation framework 该框架中的两个网络的主干结构是一致的， 但整个框架与主干网络的选择无关，可根据具体 分割任务灵活设置. 在本文中，主干网络选择使 用 ResNet34[14] . ResNet34 具有 4 个编码层，深层编 码特征对应着更大的感受野，具有更大范围的结 构信息，浅层编码特征则蕴含着较为精细的局部 结构信息，每个编码层的空间分辨率均为上层编 码层的 1/4. 网络末端的全连接层被替换为若干个 转置卷积层和上采样层，用于恢复空间分辨率，构 成了解码路径. 编码层的特征通过跳跃连接传递 至具有相同空间分辨率的解码层，弥补在下采样 中丢失的空间信息. 2.1    基于伪标注的骨架图提取 骨架，也称为“中心线”，是一种基于结构的目 标描述符，能够对血管这类拓扑结构清晰和有效 地表示（如图 2）. · 1246 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1247 Vessel skeleton 架化算法)从血管标注中生成骨架的伪标注来作 为监督信息 2.1.1伪标注生成方法 生成伪标注采用一种称为快速并行细化的算 图2血管骨架 法)，它通过迭代的方式，逐步将二值图像中的目 Fig.2 Vessel skeleton 标轮廓去除，仅保留目标中心线像素.第n次迭代 观察发现，单任务血管分割模型对结构特征 后每个像素点的值取决于在第1次迭代后其自 感知不足，提取出来血管存在部分丢失、断裂的现 身的值以及其8邻域内其他像素的值.每轮迭代 象.本文提出的框架包含一个骨架提取的辅助任 包括两步，第一步删除像素8邻域内的东南边界 务，通过训练深度卷积神经网络来准确提取骨架 点和西北角点，第二步删除西北边界点和东南角 信息.由于缺乏骨架的标注数据，因此本文采用骨 点.整个算法的处理流程如图3所示 N Exist south-east Remove south-east boundaryand Exist north-west Begin boundary and north-west north-west boundary and south-east End corner points corner points in 8-neighbor Rerpouny south-east comner points 图3快速并行细化算法流程图 Fig.3 Flowchart of the fast,parallel thinning algorithm 2.1.2基于图的结构平滑正则损失 坐标，y为一维向量，每个单元的值表示区域内网 为了使模型提取的骨架结构更加完整，在训 络对像素的预测值.骨架提取任务的训练损失函 练骨架提取网络时，引入了一个基于图的结构平 数为二元交叉嫡损失函数加正则项： 滑正则项作为损失函数该损失函数使模型输 Ls=Loce+yLreg (4) 出的类内预测概率的分布更加均匀，在阈值二值 式中，y为权重系数 化时有利于保留完整的血管，减少分割图中背景 2.2骨架图引导的视网膜血管分割 噪声和血管断裂的现象.设血管为前景类，非血管 本文将来自骨架提取网络中包含结构信息多 为背景类，在一个局部区域中，标注中正类像素的 尺度特征通过本文设计的特征融合机制与视网膜 集合为G,负类像素的集合为GB,网络把像素预测 血管分割网络中的特征以适当的权重进行像素级 为正类的概率为y.前景和背景的损失项表示为： 融合，加强特征层的结构信息响应.融合后的特征 L年=∑0年-y2 (1) 作为血管分割网络中的编码特征分别以采样和跳 (FkF)EGF 跃连接的方式前向传播 LB=∑GB-a2 (2) 受注意力门控啊的启发，本文设计了自适应 (jB.kB)EGB 特征融合模块(SAFF).注意力门控（图4(a)的思 本文通过构建图来简化计算，在类内像素间构 路是利用深层特征包含的关键语义信息过滤浅层 建权值为1的边，得到邻接矩阵AF、AB和度矩阵 特征包含的冗余信息和噪声，输出表现为浅层特 D、DB.基于图的正则损失函数Lree可以表示为： 征的线性映射：自适应特征融合模块（图4(b))则 Lreg =LF+LB 是对血管特征进行结构信息补充，输出为两个特 =∑0-%P+∑0%-尸 征的仿射组合，具体地，自适应特征融合模块的 (F,年)EGr (B.KB)EGB 输入分别为骨架提取网络的解码层特征∈ =yT(DF-AF)y'+yT(DB-AB)y' RCxHxW和血管分割网络中相同尺度的编码层特征 (3) fves∈RCxHxW.特征融合模块会计算出值域为 式中，，k)和(B,B)分别表示前景和背景的像素 [0,1]的融合系数矩阵a∈[0,1]CxHxW,其上每个单元

观察发现，单任务血管分割模型对结构特征 感知不足，提取出来血管存在部分丢失、断裂的现 象. 本文提出的框架包含一个骨架提取的辅助任 务，通过训练深度卷积神经网络来准确提取骨架 信息. 由于缺乏骨架的标注数据，因此本文采用骨 架化算法[43] 从血管标注中生成骨架的伪标注来作 为监督信息. 2.1.1    伪标注生成方法 生成伪标注采用一种称为快速并行细化的算 法[43] ，它通过迭代的方式，逐步将二值图像中的目 标轮廓去除，仅保留目标中心线像素. 第 n 次迭代 后每个像素点的值取决于在第 n−1 次迭代后其自 身的值以及其 8 邻域内其他像素的值. 每轮迭代 包括两步，第一步删除像素 8 邻域内的东南边界 点和西北角点，第二步删除西北边界点和东南角 点. 整个算法的处理流程如图 3 所示. Remove north-west boundary and south-east corner points Begin End Exist south-east boundary and north-west corner points in 8-neighbor? Remove south-east boundaryand north-west corner points Exist north-west boundary and south-east corner points in 8-neighbor? N Y Y N 图 3    快速并行细化算法流程图 Fig.3    Flowchart of the fast, parallel thinning algorithm 2.1.2    基于图的结构平滑正则损失 GF GB i yi 为了使模型提取的骨架结构更加完整，在训 练骨架提取网络时，引入了一个基于图的结构平 滑正则项作为损失函数[44] . 该损失函数使模型输 出的类内预测概率的分布更加均匀，在阈值二值 化时有利于保留完整的血管，减少分割图中背景 噪声和血管断裂的现象. 设血管为前景类，非血管 为背景类，在一个局部区域中，标注中正类像素的 集合为 , 负类像素的集合为 , 网络把像素 预测 为正类的概率为 . 前景和背景的损失项表示为: LF = ∑ (jF,kF)∈GF (y jF −ykF ) 2 （1） LB = ∑ (jB,kB)∈GB (yjB −ykB ) 2 （2） AF AB DF DB Lreg 本文通过构建图来简化计算，在类内像素间构 建权值为 1 的边，得到邻接矩阵 、 和度矩阵 、 . 基于图的正则损失函数 可以表示为： Lreg = LF + LB = ∑ (jF,kF)∈GF (yjF −ykF ) 2 + ∑ (jB,kB)∈GB (yjB −ykB ) 2 = y ′T (DF − AF)y ′ + y ′T (DB − AB)y ′ （3） 式中， (jF, kF) 和 (jB, kB) 分别表示前景和背景的像素 y 坐标， ′为一维向量，每个单元的值表示区域内网 络对像素的预测值. 骨架提取任务的训练损失函 数为二元交叉熵损失函数加正则项: Ls = Lbce +γ · Lreg （4） 式中， γ 为权重系数. 2.2    骨架图引导的视网膜血管分割 本文将来自骨架提取网络中包含结构信息多 尺度特征通过本文设计的特征融合机制与视网膜 血管分割网络中的特征以适当的权重进行像素级 融合，加强特征层的结构信息响应. 融合后的特征 作为血管分割网络中的编码特征分别以采样和跳 跃连接的方式前向传播. fs ∈ R C×H×W fves ∈ R C×H×W [0,1] α ∈ [0,1]C×H×W 受注意力门控[45] 的启发，本文设计了自适应 特征融合模块 (SAFF). 注意力门控（图 4（a））的思 路是利用深层特征包含的关键语义信息过滤浅层 特征包含的冗余信息和噪声，输出表现为浅层特 征的线性映射；自适应特征融合模块（图 4（b））则 是对血管特征进行结构信息补充，输出为两个特 征的仿射组合. 具体地，自适应特征融合模块的 输 入 分 别 为 骨 架 提 取 网 络 的 解 码 层 特 征 和血管分割网络中相同尺度的编码层特征 . 特征融合模块会计算出值域为 的融合系数矩阵 ，其上每个单元 Vessel skeleton 图 2    血管骨架 Fig.2    Vessel skeleton 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1247 ·

·1248 工程科学学报，第43卷，第9期 的值km,表示结构特征f的融合系数，融合后 的RGB三通道彩色眼底图像；STAREIS]数据集 的新特征fes计算公式如下： 包含20张分辨率为700×605的RGB三通道图像； fves'=aofs+(0-a)ofves (5) CHASEDB1S☑数据集包含28张分辨率为999× 960的RGB三通道图像，从14个孩童的左右眼拍 Attention gate (a) 照采集 C×H×WW11 ReLU Sigmoid DRIVE数据集提供了各包含20张图片的训 g:1×1 练集和测试集，本文选取了训练集中的第1张图 Cx【× CxHx甲：1x1 片作为验证，其余19张图片用作训练.对于STARE 数据集，本文采用了Yan等B)、Wang等使用的 留一法划分方式，1张图片用作测试，其余19张用 Self-adaptive feature fusion block (b) 于训练，20张图片轮流作为测试图片进行实验，计 ReLU Sigmoid 算20次实验中各项指标的平均值作为结果.对于 CxH×W CxH×:1x1 CHASEDBI数据集，实验采用了和Yan等B7、Wang 等9，、Li等、Wang等4s相同的划分方式，前20张 图4自适应特征融合模块和注意力门控的对比.(a)深层特征∫过滤 用作训练，其余8张用于测试.3个数据集中的训 浅层特征f:(b)包含结构信息的骨架特征f和血管特征∫融合 练图片分别采用旋转和翻转的方式进行扩充，缓 Fig.4 Comparison of the self-adaptive feature fusion block and 解由于训练数据太少导致的模型过拟合现象.由 attention gating:(a)deeper features f filter shallower features fi;(b) 于CHASEDBI数据集的图片分辨率较高，这个数 vessel features fves fuse skeleton features fs containing structural information 据集中的图片切片为720×720的图像块. 式中，O是维度为C×H×W的全1矩阵，o表示哈达 3.3评价方法 玛积.融合系数矩阵通过两种特征的线性和非线 本文使用了FI值、敏感性(Se)、准确率(Acc)、 性变换得到，变换参数支持反向传播和梯度下降 特征曲线ROC下的面积(AUC)这4个常用的指 的优化策略.融合矩阵α的计算公式为： 标对提出的方法定量评估.从二值分割图和标注 a=2((I(W:fsi+Wfves1+b1))+b2)(6) 图中统计出被正确分类为正类(TP)、被正确分类 式中，人1 ERCXHXW和fesl∈RCxHxW分别由f和人es 为负类(TN)、被误分类为正类(FP)、被误分类为 负类(FN)这四类像素的数目并进而计算出指标值， 经过线性变换后得到，W∈RCxC、W,∈RCxC和 如下所示： p∈RCxC分别为线性变换矩阵，通过1×1的卷积核 TP 实现；b1∈RCxHxW和b2∈RCxHxW为偏移量，G1和 Se=TP+F×100% (7) σ2分别为ReLU和sigmoid激活函数， TP+TN Acc= TP+TN+FP+FN X 100% (8) 3实验与分析 TP Pre= 3.1实验设计 TP+FP X100% (9) 为了说明该方法的有效性，本文在3个公开的 F1=2 Pre.Se ×100% Pre+Se (10) 视网膜血管分割数据集进行了实验，与近3年最 新的方法山，4306网进行比较.每组实验的结果 特征曲线从使用不同阈值得到的二值化分割 为模型10次训练结果的平均值.本文提出的方法 图计算出的敏感性和假正率(FP/FP+TN×100%) 采用Python语言编程，基于PyTorch框架实现，模 做出，计算此曲线与坐标轴围成的面积得到 型在配备16G内存和英伟达GTX1080Ti显卡的 AUC值. 计算机上运行.网络训练轮次总数设置为20，优化 3.4实验结果 算法使用Adam,使用0.001作为学习率.基于图的 本文提出的方法在3个数据集上与其他方法 结构平滑正则损失的局部区域设置为边长为 的对比结果如表1所示，在所有指标上基本达到 30个像素的正方形，权重系数y设置为0.000001. 了领先.方法在3个数据集上的F1值分别为 3.2数据介绍 83.1%、85.8%和82.0%，在所有对比方法中达到了 DRIVEIS0]数据集包含40张分辨率为565×584 最高：敏感值分别为83.7%、86.4%和84.5%.同样

α c (h,w) f c s(h,w) fves ′ 的值 表示结构特征 的融合系数，融合后 的新特征 计算公式如下: fves ′ = α◦ fs +(O−α) ◦ fves （5） Attention gate C × H × W C × H × W C × H × W C × H × W C × H × W C × H × W fg f1 fs ReLU ReLU Sigmoid Sigmoid Self-adaptive feature fusion block Wg : 1×1 φ: 1×1 φ: 1×1 WS : 1×1 WV: 1×1 W1 : 1×1 α α α 1−α f ′ves fves f ′1 (a) (b) fg fl fs fves 图 4    自适应特征融合模块和注意力门控的对比. （a）深层特征 过滤 浅层特征 ；（b）包含结构信息的骨架特征 和血管特征 融合 fg fl fves fs Fig.4     Comparison  of  the  self-adaptive  feature  fusion  block  and attention  gating:  (a)  deeper  features filter  shallower  features ;  (b) vessel  features fuse  skeleton  features containing  structural information O C × H × W ，◦ α 式中， 是维度为 的全 1 矩阵 表示哈达 玛积. 融合系数矩阵通过两种特征的线性和非线 性变换得到，变换参数支持反向传播和梯度下降 的优化策略. 融合矩阵 的计算公式为: α = σ2(φ T (σ1(WT s fs1 +WT v fves1 + b1))+ b2) （6） fs1 ∈ R C×H×W fves1 ∈ R C×H×W fs fves Ws ∈ R C×C Wv ∈ R C×C φ ∈ R C×C 1×1 b1 ∈ R C×H×W b2 ∈ R C×H×W σ1 σ2 ReLU sigmoid 式中， 和 分别由 和 经 过 线 性 变 换 后 得 到 ， 、 和 分别为线性变换矩阵，通过 的卷积核 实 现 ； 和 为 偏 移 量 ， 和 分别为 和 激活函数. 3    实验与分析 3.1    实验设计 γ 为了说明该方法的有效性，本文在 3 个公开的 视网膜血管分割数据集进行了实验，与近 3 年最 新的方法[11, 34, 37, 40, 46−49] 进行比较. 每组实验的结果 为模型 10 次训练结果的平均值. 本文提出的方法 采用 Python 语言编程，基于 PyTorch 框架实现，模 型在配备 16 G 内存和英伟达 GTX1080Ti 显卡的 计算机上运行. 网络训练轮次总数设置为 20，优化 算法使用 Adam，使用 0.001 作为学习率. 基于图的 结构平滑正则损失的局部区域设置为边长 为 30 个像素的正方形，权重系数 设置为 0.000001. 3.2    数据介绍 DRIVE[50] 数据集包含 40 张分辨率为 565×584 的 RGB 三通道彩色眼底图像； STARE[51] 数据集 包含 20 张分辨率为 700×605 的 RGB 三通道图像； CHASEDB1[52] 数 据 集 包 含 28 张 分 辨 率 为 999× 960 的 RGB 三通道图像，从 14 个孩童的左右眼拍 照采集. DRIVE 数据集提供了各包含 20 张图片的训 练集和测试集，本文选取了训练集中的第 1 张图 片作为验证，其余 19 张图片用作训练. 对于 STARE 数据集，本文采用了 Yan 等[37]、Wang 等[49] 使用的 留一法划分方式，1 张图片用作测试，其余 19 张用 于训练，20 张图片轮流作为测试图片进行实验，计 算 20 次实验中各项指标的平均值作为结果. 对于 CHASEDB1 数据集，实验采用了和 Yan 等[37]、Wang 等[49]、Li 等[46]、Wang 等[48] 相同的划分方式，前 20 张 用作训练，其余 8 张用于测试. 3 个数据集中的训 练图片分别采用旋转和翻转的方式进行扩充，缓 解由于训练数据太少导致的模型过拟合现象. 由 于 CHASEDB1 数据集的图片分辨率较高，这个数 据集中的图片切片为 720×720 的图像块. 3.3    评价方法 本文使用了 F1 值、敏感性 (Se)、准确率 (Acc)、 特征曲线 ROC 下的面积 (AUC) 这 4 个常用的指 标对提出的方法定量评估. 从二值分割图和标注 图中统计出被正确分类为正类 (TP)、被正确分类 为负类 (TN)、被误分类为正类 (FP)、被误分类为 负类 (FN) 这四类像素的数目并进而计算出指标值， 如下所示: Se = TP TP+FN ×100% （7） Acc = TP+TN TP+TN+FP+FN ×100% （8） Pre = TP TP+FP ×100% （9） F1 = 2 Pre ·Se Pre+Se ×100% （10） FP/(FP+TN)×100% 特征曲线从使用不同阈值得到的二值化分割 图计算出的敏感性和假正率 ( ) 做 出 ， 计 算 此 曲 线 与 坐 标 轴 围 成 的 面 积 得 到 AUC 值. 3.4    实验结果 本文提出的方法在 3 个数据集上与其他方法 的对比结果如表 1 所示，在所有指标上基本达到 了领先 . 方 法 在 3 个数据集上 的 F1 值分别 为 83.1%、85.8% 和 82.0%，在所有对比方法中达到了 最高；敏感值分别为 83.7%、86.4% 和 84.5%，同样 · 1248 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1249 达到了领先.虽然方法DS[II]的敏感值在DRIVE 平均比其他方法高出0.3%：Acc值分别为97.1%、 数据集上高于本文的方法，但对于医学数据，F1值 97.1%和97.7%，平均比其他方法高出0.9%.考虑 是更为重要的指标.它不仅包含着敏感性信息，还 到眼底图像中非血管区域和粗血管占比较大，细 考虑了精确度，F1值越高意味着识别出的血管更 血管和噪声样本的占比较小，模型对这类小样本 为齐全，而且准确.本文提出的方法在3个数据集 的分割性能提升反映在这两个指标上的变化不明 上的F1值比其他方法平均高出2.6%，证明了该方 显，因此尽管指标值只有略微提升，但同样能够说 法能够更加准确地识别出更多血管.同时， 明方法对细小血管的识别准确率更高，同时减少 AUC值在3个数据集分别为98.8%、99.1%和99.1%， 了对噪声样本的误分类 表1本文提出的方法和近期的先进方法在F1值、敏感性Se、准确率Acc、AUC的比较结果 Table 1 Comparison results between our proposed method and the recent advanced methods of the FI score,Sensitivity,Accuracy,and AUC DRIVE STARE CHASEDBI Method F1/%Se/%Acc/% AUC/%F1/%Se/%Acc/% AUC/%F1/%Se/%Acc/% AUC/% Segment 76.5 95.4 97.5 一 75.8 96.1 98.0 一 76.3 96.1 97.8 DSt 一 87.3 95.0 98.0 一 76.7 97.1 98.8 76.7 97.7 99.0 DUNet!7 一 78.9 97.0 98.6 一 74.3 97.3 98.7 一 82.3 97.2 98.6 Cascade] 80.9 76.5 95.4 81.3 75.2 96.4 78.1 77.3 96.0 DualUNet!4 82.7 79.4 95.7 97.7 一 80.4 80.7 96.6 98.1 CE-Net4 83.1 95.5 97.8 78.4 95.8 97.9 STDHOI 81.5 97.0 98.6 IterNet6 82.2 77.9 95.7 98.1 81.5 77.2 97.0 98.8 80.7 79.7 96.6 98.5 Our method 83.183.7 97.1 98.8 85.886.4 97.1 99.1 82.084.5 97.7 99.1 3.5消融实验 管的骨架，同时也证明了提取出更精确的骨架能 为了进一步说明框架中各个组成部分的效 够进一步提高血管分割的效果 果，本文进行了消融实验 第一组消融实验验证了骨架的辅助任务和基 表2第一组消融实验结果 于图的结构平滑正则损失分别起到的作用.首先， Table 2 Results of the first ablation experiments Control DRIVE CHASEDBI 实验使用单任务分割网络ResNet34作为基准，在 group DRIVE和CHASEDBI训练集上训练，计算出在验 F1/%Se/%Acc/%AUC/%F1/%Se/%Acc/%AUC/% 证集上的指标.然后，网络递增加入了提取骨架的 Single task 84.284.696.598.8 81.382.997.198.8 network 辅助任务，使用二元交叉嫡损失函数训练，评估该 +Skeleton 85.085.597.7 99.2 81.883.697.6 99.0 子任务对分割性能的影响.最后，骨架提取网络的 extraction +Structure 训练损失中再次递增加入了基于图的结构平滑正 85.186.397.7 99.3 82.084.597.7 99.1 loss 则项，评估该损失的效果.在3个数据集上实验结 果如表2所示，实验曲线图如图5所示.实验结果 第二组消融实验验证了框架中主干网络的普 表明：使用提取骨架的辅助任务的分割模型在两 适性，实验将骨架提取网络和血管分割网络的编 个验证集上的F1值分别达到了85.0%和81.8%， 码路径共同替换为ResNetl8和VGGl6中去除全 Se达到了85.5%和83.6%，相比于单任务分割网络 连接层的部分，框架在两个数据集训练完成后，计 有大幅提升，并且模型在训练中收敛速度较快，说 算在测试集上的指标，结果如表3所示.3种主干 明骨架特征能够提供给分割网络充分的拓扑和几 网络在2个数据集上的指标都较高，说明该框架 何信息，使网络能够准确分割出更完整的血管结 具有灵活的适用性.在F1指标上，ResNet34高于 构，而且减小了单任务网络对特征的学习难度；使 ResNet18和VGGl6实验组，可以推断出效果越好 用结构平滑正则损失后，F1值和AUC值比单独使 的单任务网络应用在该框架下会取得一定程度的 用二元交叉嫡平均提高了0.1%，Se提升了0.8%， 提升.使用ResNet34作为主干网络的实验组在两 说明该损失能够促使模型准确提取出更多细小血 个数据集的训练损失如图6所示

达到了领先. 虽然方法 DS[11] 的敏感值在 DRIVE 数据集上高于本文的方法，但对于医学数据，F1 值 是更为重要的指标. 它不仅包含着敏感性信息，还 考虑了精确度，F1 值越高意味着识别出的血管更 为齐全，而且准确. 本文提出的方法在 3 个数据集 上的 F1 值比其他方法平均高出 2.6%，证明了该方 法 能 够 更 加 准 确 地 识 别 出 更 多 血 管 . 同 时 ， AUC 值在 3 个数据集分别为 98.8%、99.1% 和 99.1%， 平均比其他方法高出 0.3%；Acc 值分别为 97.1%、 97.1% 和 97.7%，平均比其他方法高出 0.9%. 考虑 到眼底图像中非血管区域和粗血管占比较大，细 血管和噪声样本的占比较小，模型对这类小样本 的分割性能提升反映在这两个指标上的变化不明 显，因此尽管指标值只有略微提升，但同样能够说 明方法对细小血管的识别准确率更高，同时减少 了对噪声样本的误分类. 表 1 本文提出的方法和近期的先进方法在 F1 值、敏感性 Se、准确率 Acc、AUC 的比较结果 Table 1   Comparison results between our proposed method and the recent advanced methods of the F1 score, Sensitivity, Accuracy, and AUC Method DRIVE STARE CHASEDB1 F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% Segment[37] — 76.5 95.4 97.5 — 75.8 96.1 98.0 — 76.3 96.1 97.8 DS[11] — 87.3 95.0 98.0 — 76.7 97.1 98.8 — 76.7 97.7 99.0 DUNet[47] — 78.9 97.0 98.6 — 74.3 97.3 98.7 — 82.3 97.2 98.6 Cascade[49] 80.9 76.5 95.4 — 81.3 75.2 96.4 — 78.1 77.3 96.0 — DualUNet[48] 82.7 79.4 95.7 97.7 — — — — 80.4 80.7 96.6 98.1 CE-Net[34] — 83.1 95.5 97.8 — 78.4 95.8 97.9 — — — — STD[40] — 81.5 97.0 98.6 — — — — — — — — IterNet[46] 82.2 77.9 95.7 98.1 81.5 77.2 97.0 98.8 80.7 79.7 96.6 98.5 Our method 83.1 83.7 97.1 98.8 85.8 86.4 97.1 99.1 82.0 84.5 97.7 99.1 3.5    消融实验 为了进一步说明框架中各个组成部分的效 果，本文进行了消融实验. 第一组消融实验验证了骨架的辅助任务和基 于图的结构平滑正则损失分别起到的作用. 首先， 实验使用单任务分割网络 ResNet34 作为基准，在 DRIVE 和 CHASEDB1 训练集上训练，计算出在验 证集上的指标. 然后，网络递增加入了提取骨架的 辅助任务，使用二元交叉熵损失函数训练，评估该 子任务对分割性能的影响. 最后，骨架提取网络的 训练损失中再次递增加入了基于图的结构平滑正 则项，评估该损失的效果. 在 3 个数据集上实验结 果如表 2 所示，实验曲线图如图 5 所示. 实验结果 表明：使用提取骨架的辅助任务的分割模型在两 个验证集上的 F1 值分别达到了 85.0% 和 81.8%， Se 达到了 85.5% 和 83.6%，相比于单任务分割网络 有大幅提升，并且模型在训练中收敛速度较快，说 明骨架特征能够提供给分割网络充分的拓扑和几 何信息，使网络能够准确分割出更完整的血管结 构，而且减小了单任务网络对特征的学习难度；使 用结构平滑正则损失后，F1 值和 AUC 值比单独使 用二元交叉熵平均提高了 0.1%，Se 提升了 0.8%， 说明该损失能够促使模型准确提取出更多细小血 管的骨架，同时也证明了提取出更精确的骨架能 够进一步提高血管分割的效果. 表 2 第一组消融实验结果 Table 2   Results of the first ablation experiments Control group DRIVE CHASEDB1 F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% Single task network 84.2 84.6 96.5 98.8 81.3 82.9 97.1 98.8 +Skeleton extraction 85.0 85.5 97.7 99.2 81.8 83.6 97.6 99.0 +Structure loss 85.1 86.3 97.7 99.3 82.0 84.5 97.7 99.1 第二组消融实验验证了框架中主干网络的普 适性，实验将骨架提取网络和血管分割网络的编 码路径共同替换为 ResNet18 和 VGG16 中去除全 连接层的部分. 框架在两个数据集训练完成后，计 算在测试集上的指标，结果如表 3 所示. 3 种主干 网络在 2 个数据集上的指标都较高，说明该框架 具有灵活的适用性. 在 F1 指标上，ResNet34 高于 ResNet18 和 VGG16 实验组，可以推断出效果越好 的单任务网络应用在该框架下会取得一定程度的 提升. 使用 ResNet34 作为主干网络的实验组在两 个数据集的训练损失如图 6 所示. 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1249 ·

·1250 工程科学学报，第43卷，第9期 85/a segmentation and registration methods based on supervised 08 learning.Chin J Eng,2020,42(10):1362 E83 Singel task network (丛明，吴童，刘冬，等.基于监督学习的前列腺MR/TRUS图像分 82 割和配准方法.工程科学学报，2020,42(10)：1362) 1234567891011121314151617181920 [2] Training iteration Ma B Y,Jiang S F,Yin D,et al.Image segmentation metric and its application in the analysis of microscopic image.Chin J Eng, 82.5(b) 82.0 2021,43(1):137 (马博渊，姜淑芳，尹豆，等.图像分割评估方法在显微图像分析 80.0 二 中的应用.工程科学学报，2021,43(1)：137) 90 [3] 234567891011121314151617181920 Tso M O M,Jampol L M.Pathophysiology of hypertensive Training iteration retinopathy.Ophthalmology,1982.89(10):1132 图5消融实验中每轮训练后在不同验证集上的F1值.(a)DRIVE: [4] Yu S,Xiao D,Kanagasingam Y.Machine learning based (b)CHASEDBI automatic neovascularization detection on optic disc region./EEE Fig.5 Fl on the validation set after each training iteration in ablation J Biomed Heal Inform,2018,22(3):886 experiments:(a)DRIVE;(b)CHASEDBI [5] Becker C,Rigamonti R,Lepetit V,et al.Supervised feature leamning for curvilinear structure segmentation /International 表3第二组消融实验结果 Conference on Medical Image Computing and Computer-Assisted Table 3 Results of the second ablation experiments Intervention.Berlin,2013:526 DRIVE CHASEDB Network [6]Tolias Y A.Panas S M.A fuzzy vessel tracking algorithm for F1/%Se/%Acc/%AUC/%F1/%Se/%Acc/%AUC/% retinal images based on fuzzy clustering.IEEE Trans Med ResNet3483.183.797.198.882.084.597.199.1 1 naging,1998,17(2):263 ResNet1882.983.597.098.781.783.897.6 99.0 [7] Soares J V B,Leandro JJ G,Cesar R M,et al.Retinal vessel VGG1682.883.2 97.0 98.7 81.683.797.6 99.0 segmentation using the 2-D Gabor wavelet and supervised classification.IEEE Trans Med Imaging,006,25(9):1214 035 [8] 0.30 Sebbe R,Gosselin B,Coche E,et al.Segmentation of opacified (a) 025 3020 thorax vessels using model-driven active contour //2005 IEEE 90.15 Engineering in Medicine and Biology 27th Annual Conference 0.10 0.05 Shanghai,2006:2535 0 1234567891011121314151617181920 [9] Pal S,Chatterjee S,Dey D,et al.Morphological operations with Epoch iterative rotation of structuring elements for segmentation of 0.35 0.30 6 retinal vessel structures.Multidimens Syst Signal Process,2019, 025 30(1):373 0.20 0.15 [10]Chang C C,Lin CC,Pai P Y,et al.A novel retinal blood vessel 0.10 0.05 segmentation method based on line operator and edge detector// 0 1234567891011121314151617181920 2009 Fifth International Conference on Intelligent Information Epoch Hiding and Multimedia Signal Processing.Kyoto,2009:299 图6框架在DRIVE(a)和CHASEDBI(b)数据集上的训练损失 [11]Zhang Y S,Chung A C S.Deep supervision with additional labels Fig.6 Training loss of the framework on the DRIVE (a)and for retinal vessel segmentation task /International Conference on CHASEDB1 (b)datasets Medical Image Computing and Computer-Assisted Intervention. 4结论 Granada,2018:83 [12]Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks 本文提出了一种骨架图引导的多任务级联视 for biomedical image segmentation /International Conference on 网膜血管分割框架，能够克服视网膜血管分割中 Medical Image Computing and Computer-Assisted Intervention. 存在的细小血管提取不完整、分割不准确的问题 Munich,2015:234 从而辅助医生开展早期眼底病变筛查.提出的框 [13]Guo CL,Szemenyei M,Hu H,et al.Channel attention residual U- Net for retinal vessel segmentation [J/OL].arXiv preprint (2020- 架与主干网络结构无关，也可以灵活扩展到其他 10-20)[2021-6-10].https://arxiv..0rg/abs/2004.03702 与拓扑结构相关的分割任务 [14]He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition /2016 IEEE Conference on Computer Vision 参考文献 and Pattern Recognition (CVPR).Las Vegas,2016:770 [1]Cong M,Wu T,Liu D,et al.Prostate MR/TRUS image [15]Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need//

85 84 83 82 81 1 2 3 4 5 6 7 8 9 1011121314151617181920 Singel task network +Skeleton extraction +Structure loss Training iteration (a) F1/ % 82.5 82.0 81.5 81.0 80.5 80.0 79.5 79.0 1 2 3 4 5 6 7 8 9 1011121314151617181920 Training iteration (b) F1/ % Singel task network +Skeleton extraction +Structure loss 图 5    消融实验中每轮训练后在不同验证集上的 F1 值. （a）DRIVE； （b）CHASEDB1 Fig.5    F1 on the validation set after each training iteration in ablation experiments: (a) DRIVE; (b) CHASEDB1 表 3 第二组消融实验结果 Table 3   Results of the second ablation experiments Network DRIVE CHASEDB1 F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% ResNet34 83.1 83.7 97.1 98.8 82.0 84.5 97.1 99.1 ResNet18 82.9 83.5 97.0 98.7 81.7 83.8 97.6 99.0 VGG16 82.8 83.2 97.0 98.7 81.6 83.7 97.6 99.0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Epoch 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Epoch Loss 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 Loss 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 (a) (b) 图 6    框架在 DRIVE（a）和 CHASEDB1（b）数据集上的训练损失 Fig.6     Training  loss  of  the  framework  on  the  DRIVE  (a)  and CHASEDB1 (b) datasets 4    结论 本文提出了一种骨架图引导的多任务级联视 网膜血管分割框架，能够克服视网膜血管分割中 存在的细小血管提取不完整、分割不准确的问题. 从而辅助医生开展早期眼底病变筛查. 提出的框 架与主干网络结构无关，也可以灵活扩展到其他 与拓扑结构相关的分割任务. 参    考    文    献 [1] Cong  M,  Wu  T,  Liu  D,  et  al.  Prostate  MR/TRUS  image segmentation  and  registration  methods  based  on  supervised learning. Chin J Eng, 2020, 42（10）: 1362 （丛明, 吴童, 刘冬, 等. 基于监督学习的前列腺MR/TRUS图像分 割和配准方法. 工程科学学报, 2020, 42（10）：1362） Ma B Y, Jiang S F, Yin D, et al. Image segmentation metric and its application  in  the  analysis  of  microscopic  image. Chin J Eng, 2021, 43（1）: 137 （马博渊, 姜淑芳, 尹豆, 等. 图像分割评估方法在显微图像分析 中的应用. 工程科学学报, 2021, 43（1）：137） [2] Tso  M  O  M,  Jampol  L  M.  Pathophysiology  of  hypertensive retinopathy. Ophthalmology, 1982, 89（10）: 1132 [3] Yu  S,  Xiao  D,  Kanagasingam  Y.  Machine  learning  based automatic neovascularization detection on optic disc region. IEEE J Biomed Heal Inform, 2018, 22（3）: 886 [4] Becker  C,  Rigamonti  R,  Lepetit  V,  et  al.  Supervised  feature learning  for  curvilinear  structure  segmentation  // International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, 2013: 526 [5] Tolias  Y  A,  Panas  S  M.  A  fuzzy  vessel  tracking  algorithm  for retinal  images  based  on  fuzzy  clustering. IEEE Trans Med Imaging, 1998, 17（2）: 263 [6] Soares  J  V  B,  Leandro  J  J  G,  Cesar  R  M,  et  al.  Retinal  vessel segmentation  using  the  2-D  Gabor  wavelet  and  supervised classification. IEEE Trans Med Imaging, 2006, 25（9）: 1214 [7] Sebbe  R,  Gosselin  B,  Coche  E,  et  al.  Segmentation  of  opacified thorax  vessels  using  model-driven  active  contour  //  2005 IEEE Engineering in Medicine and Biology 27th Annual Conference. Shanghai, 2006: 2535 [8] Pal  S,  Chatterjee  S,  Dey  D,  et  al.  Morphological  operations  with iterative  rotation  of  structuring  elements  for  segmentation  of retinal  vessel  structures. Multidimens Syst Signal Process,  2019, 30（1）: 373 [9] Chang C C, Lin C C, Pai P Y, et al. A novel retinal blood vessel segmentation  method  based  on  line  operator  and  edge  detector  // 2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Kyoto, 2009: 299 [10] Zhang Y S, Chung A C S. Deep supervision with additional labels for retinal vessel segmentation task // International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada, 2018: 83 [11] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, 2015: 234 [12] Guo C L, Szemenyei M, Hu H, et al. Channel attention residual U￾Net for retinal vessel segmentation [J/OL]. arXiv preprint (2020- 10-20) [2021-6-10]. https://arxiv.org/abs/2004.03702 [13] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image  recognition  //  2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 770 [14] [15] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need// · 1250 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1251 Proceedings of the 31st Conference on neural information 10-20)[2021-6-101.https://arxiv.org/abs/2004.03696 processing systems (NIPS 2017).Long Beach,2017:5998 [31]Mou L,Zhao Y T,Chen L,et al.CS-net:Channel and spatial [16]Hu J,Shen L,Sun G.Squeeze-and-excitation networks /2018 attention network for curvilinear structure segmentation /Medical IEEE/CVF Conference on Computer Vision and Pattern Image Computing and Computer Assisted Intervention -MICCAl Recognition.Salt Lake City,2018:7132 2019.Shenzhen,2019:721 [17]Yu F,Koltun V.Multi-scale context aggregation by dilated [32]Jiang Y,Tan N,Peng T T,et al.Retinal vessels segmentation convolutions //Proceedings of the 4th International Conference on based on dilated multi-scale convolutional neural network./EEE Learning Representations.San Juan,2016 4 ccess,,2019,7:76342 [1]Chen LC.Papandreou G.Kokkinos I,et al.DeepLab:semantic [33]Hatamizadeh A,Hosseini H,Liu Z Y,et al.Deep dilated image segmentation with deep convolutional nets,atrous convolutional nets for the automatic segmentation of retinal convolution,and fully connected CRFs.IEEE Trans Pattern Anal vessels[J/OL].arXiv preprint (2019-7-21)[2021-6-10]. Mach Intell,2018.40(4):834 https://arxiv.org/abs/1905.12120 [19]Chen L C,Szemenyei M,Schroff F,et al.Rethinking atrous [34]Gu Z,Cheng J,Fu H,et al.CE-net:Context encoder network for convolution for semantic image segmentation[J/OL].arYiv 2D medical image segmentation.IEEE Trans Med Imaging,2019, preprint(2017-12-5)[2021-6-10].https:://arxiv.org/abs/1706.05587 38(10):2281 [20]Chen L C.Papandreou G.Papandreou G,et al.Encoder-decoder [35]Mo J,Zhang L.Multi-level deep supervised networks for retinal with atrous separable convolution for semantic image vessel segmentation.Int J Comput Assist Radiol Surg,2017, segmentation /Computer Vision -ECCV 2018.Munich,2018: 12(12):2181 833 [36]Hu K,Zhang ZZ,Niu X R,et al.Retinal vessel segmentation of [21]Song H M,Wang W G,Zhao S Y,et al.Pyramid dilated deeper color fundus images using multiscale convolutional neural network ConvLSTM for video salient object detection /Computer Vision- with an improved cross-entropy loss function.Neurocomputing, ECCV 2018.Munich,2018:744 2018,309:179 [22]Xie S N,Tu Z W.Holistically-nested edge detection /2015 IEEE [37]Yan Z Q,Yang X,Cheng K T.Joint segment-level and pixel-wise International Conference on Computer Vision (ICCV).Santiago, losses for deep learning based retinal vessel segmentation.IEEE 2015:1395 Trans Biomed Eng,2018,65(9):1912 [23]Orlando JI,Blaschko M.Leamning fully-connected CRFs for blood [38]Zhang Z J,Fu HZ,Dai H,et al.ET-net:A generic edge-aTtention vessel segmentation in retinal images Interational Conference guidance network for medical image segmentation /Medical on Medical Image Computing and Computer-Assisted Imtervention Image Computing and Computer Assisted Intervention-MICCAl Boston,2014:634 2019.Shenzhen,.2019:442 [24]Ricci E,Perfetti R.Retinal blood vessel segmentation using line [39]Kang H,Gao Y Q,Guo S,et al.AVNet:A retinal artery/vein operators and support vector classification.IEEE Trans Med classification network with category-attention weighted fusion maging,2007,26(10):1357 Comput Methods Programs Biomed,020,195:105629 [25]Ganin Y,Lempitsky V.N'fields:Neural network nearest neighbor [40]Zhang S H,Fu H Z,Xu Y W,et al.Retinal image segmentation fields for image transforms /Asian Conference on Computer with a structure-texture demixing network /Medical Image Vision.Singapore,2015:536 Computing and Computer Assisted Intervention -MICCAl 2020. [26]Dollar P,Zitnick C L.Structured forests for fast edge detection / Lima,2020:765 2013 IEEE International Conference on Computer Vision.Sydney, [41]Zheng S M,Zhang T Y,Zhuang J W,et al.A two-stream 2013:1841 meticulous processing network for retinal vessel [27]Maninis KK,Pont-Tuset J,Arbelaez P,et al.Deep retinal image segmentation[J/OL].arXiy preprint (2020-1-15)[2021-6-10]. understanding /Medical Image Computing and Computer- https://arxiv.org/abs/2001.05829 Assisted Intervention-MICCAl 2016.Athens,2016:140 [42]Zou B J,Dai YL,He Q.et al.Multi-label classification scheme [28]Simonyan K,Zisserman A.Very deep convolutional networks for based on local regression for retinal vessel segmentation. large-scale image recognition I/Proceedings of the 3th IEEE/ACM Trans Comput Biol Bioinform,2020,PP(99):1 International Conference on Learning Representations.San Diego, [43]Zhang T Y,Suen C Y.A fast parallel algorithm for thinning digital 2015 patterns.Commun ACM,1984,27(3):236 [29]Zhang S H,Fu HZ,Yan Y G,et al.Attention guided network for [44]Hakim L,Yudistira N,Kavitha M,et al.U-net with graph based retinal image segmentation II Medical Image Computing and smoothing regularizer for small vessel segmentation on fundus Computer Assisted Intervention MICCAl 2019.Shenzhen,2019: image l/Proceedings of the 26th International Conference on 797 Neural Information Processing.Sydney,2019:515 [30]Guo C L,Szemenyei M,Yi Y G,et al.SA-UNet:spatial attention [45]Oktay O,Schlemper J,Folgoc LL,et al.Attention U-net:Learning U-net for retinal vessel segmentation [J/OL].arYiv preprint (2020- where to look for the pancreas.2018[J/OL].arXi preprint (2018-

Proceedings of the 31st Conference on neural information processing systems (NIPS 2017). Long Beach, 2017: 5998 Hu  J,  Shen  L,  Sun  G.  Squeeze-and-excitation  networks  //  2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 7132 [16] Yu  F,  Koltun  V.  Multi-scale  context  aggregation  by  dilated convolutions //Proceedings of the 4th International Conference on Learning Representations. San Juan, 2016 [17] Chen  L  C,  Papandreou  G,  Kokkinos  I,  et  al.  DeepLab:  semantic image  segmentation  with  deep  convolutional  nets,  atrous convolution, and fully connected CRFs. IEEE Trans Pattern Anal Mach Intell, 2018, 40（4）: 834 [18] Chen  L  C,  Szemenyei  M,  Schroff  F,  et  al.  Rethinking  atrous convolution  for  semantic  image  segmentation[J/OL]. arXiv preprint (2017-12-5) [2021-6-10].https://arxiv.org/abs/1706.05587 [19] Chen  L  C,  Papandreou  G,  Papandreou  G,  et  al.  Encoder-decoder with  atrous  separable  convolution  for  semantic  image segmentation  // Computer Vision – ECCV 2018.  Munich,  2018: 833 [20] Song H M, Wang W G, Zhao S Y, et al. Pyramid dilated deeper ConvLSTM for video salient object detection // Computer Vision – ECCV 2018. Munich, 2018: 744 [21] Xie S N, Tu Z W. Holistically-nested edge detection // 2015 IEEE International Conference on Computer Vision (ICCV).  Santiago, 2015: 1395 [22] Orlando J I, Blaschko M. Learning fully-connected CRFs for blood vessel segmentation in retinal images // International Conference on Medical Image Computing and Computer-Assisted Intervention. Boston, 2014: 634 [23] Ricci  E,  Perfetti  R.  Retinal  blood  vessel  segmentation  using  line operators  and  support  vector  classification. IEEE Trans Med Imaging, 2007, 26（10）: 1357 [24] Ganin Y, Lempitsky V. N4 -fields: Neural network nearest neighbor fields  for  image  transforms  // Asian Conference on Computer Vision. Singapore, 2015: 536 [25] Dollár P, Zitnick C L. Structured forests for fast edge detection // 2013 IEEE International Conference on Computer Vision. Sydney, 2013: 1841 [26] Maninis K K, Pont-Tuset J, Arbeláez P, et al. Deep retinal image understanding  // Medical Image Computing and Computer￾Assisted Intervention – MICCAI 2016. Athens, 2016: 140 [27] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale  image  recognition  //Proceedings of the 3th International Conference on Learning Representations. San Diego, 2015 [28] Zhang S H, Fu H Z, Yan Y G, et al. Attention guided network for retinal  image  segmentation  // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 797 [29] Guo C L, Szemenyei M, Yi Y G, et al. SA-UNet: spatial attention U-net for retinal vessel segmentation [J/OL]. arXiv preprint (2020- [30] 10-20) [2021-6-10]. https://arxiv.org/abs/2004.03696 Mou  L,  Zhao  Y  T,  Chen  L,  et  al.  CS-net:  Channel  and  spatial attention network for curvilinear structure segmentation // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 721 [31] Jiang  Y,  Tan  N,  Peng  T  T,  et  al.  Retinal  vessels  segmentation based  on  dilated  multi-scale  convolutional  neural  network. IEEE Access, 2019, 7: 76342 [32] Hatamizadeh  A,  Hosseini  H,  Liu  Z  Y,  et  al.  Deep  dilated convolutional  nets  for  the  automatic  segmentation  of  retinal vessels[J/OL]. arXiv preprint (2019-7-21)  [2021-6-10]. https://arxiv.org/abs/1905.12120 [33] Gu Z, Cheng J, Fu H, et al. CE-net: Context encoder network for 2D medical image segmentation. IEEE Trans Med Imaging, 2019, 38（10）: 2281 [34] Mo  J,  Zhang  L.  Multi-level  deep  supervised  networks  for  retinal vessel  segmentation. Int J Comput Assist Radiol Surg,  2017, 12（12）: 2181 [35] Hu K, Zhang Z Z, Niu X R, et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with  an  improved  cross-entropy  loss  function. Neurocomputing, 2018, 309: 179 [36] Yan Z Q, Yang X, Cheng K T. Joint segment-level and pixel-wise losses  for  deep  learning  based  retinal  vessel  segmentation. IEEE Trans Biomed Eng, 2018, 65（9）: 1912 [37] Zhang Z J, Fu H Z, Dai H, et al. ET-net: A generic edge-aTtention guidance  network  for  medical  image  segmentation  // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 442 [38] Kang  H,  Gao  Y  Q,  Guo  S,  et  al.  AVNet:  A  retinal  artery/vein classification  network  with  category-attention  weighted  fusion. Comput Methods Programs Biomed, 2020, 195: 105629 [39] Zhang S H, Fu H Z, Xu Y W, et al. Retinal image segmentation with  a  structure-texture  demixing  network  // Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. Lima, 2020: 765 [40] Zheng  S  M,  Zhang  T  Y,  Zhuang  J  W,  et  al.  A  two-stream meticulous  processing  network  for  retinal  vessel segmentation[J/OL]. arXiv preprint (2020-1-15)  [2021-6-10]. https://arxiv.org/abs/2001.05829 [41] Zou B J, Dai Y L, He Q, et al. Multi-label classification scheme based  on  local  regression  for  retinal  vessel  segmentation. IEEE/ACM Trans Comput Biol Bioinform, 2020, PP（99）: 1 [42] Zhang T Y, Suen C Y. A fast parallel algorithm for thinning digital patterns. Commun ACM, 1984, 27（3）: 236 [43] Hakim L, Yudistira N, Kavitha M, et al. U-net with graph based smoothing  regularizer  for  small  vessel  segmentation  on  fundus image  // Proceedings of the 26th International Conference on Neural Information Processing. Sydney, 2019: 515 [44] Oktay O, Schlemper J, Folgoc L L, et al. Attention U-net: Learning where to look for the pancreas. 2018[J/OL]. arXiv preprint (2018- [45] 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1251 ·

.1252 工程科学学报，第43卷，第9期 5-20)[2021-6-101.htps://arxiv.org/abs/1804.03999 Recognit,,2019,88:331 [46]Li L Z,Verma M,Nakashima Y,et al.IterNet:retinal image [50]Niemeijer M,Staal J,van Ginneken B,et al.Comparative study of segmentation utilizing structural redundancy in vessel networks / retinal vessel segmentation methods on a new publicly available 2020 IEEE Winter Conference on Applications of Computer Vision database /l Proceedings of SPIE-The International Society for (WACV).Snowmass,2020:3645 Optical Engineering,2004,5370 1:648 [47]Jin Q G,Meng Z P.Pham T D,et al.DUNet:A deformable [51]Hoover A D,Kouznetsova V,Goldbaum M.Locating blood network for retinal vessel segmentation.Knowl Based Syst,2019, vessels in retinal images by piecewise threshold probing of a 178:149 matched filter response.IEEE Trans Med Imaging,2000,19(3): [48]Wang B,Qiu S,He H G.Dual encoding U-net for retinal vessel 203 segmentation /Medical Image Computing and Computer Assisted [52]Owen C G,Rudnicka A R,Mullen R,et al.Measuring retinal Intervention-MICCA/2019.Shenzhen,2019:84 vessel tortuosity in 10-year-old children:Validation of the [49]Wang X H,Jiang X D,Ren J F.Blood vessel segmentation from computer-assisted image analysis of the retina(CAIAR)program fundus image by a cascade classification framework.Pattern Imvest Ophthalmol Vis Sci,2009,50(5):2004

5-20) [2021-6-10]. https://arxiv.org/abs/1804.03999 Li  L  Z,  Verma  M,  Nakashima  Y,  et  al.  IterNet:  retinal  image segmentation utilizing structural redundancy in vessel networks // 2020 IEEE Winter Conference on Applications of Computer Vision (WACV). Snowmass, 2020: 3645 [46] Jin  Q  G,  Meng  Z  P,  Pham  T  D,  et  al.  DUNet:  A  deformable network for retinal vessel segmentation. Knowl Based Syst, 2019, 178: 149 [47] Wang B, Qiu S, He H G. Dual encoding U-net for retinal vessel segmentation // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 84 [48] Wang X H, Jiang X D, Ren J F. Blood vessel segmentation from fundus  image  by  a  cascade  classification  framework. Pattern [49] Recognit, 2019, 88: 331 Niemeijer M, Staal J, van Ginneken B, et al. Comparative study of retinal  vessel  segmentation  methods  on  a  new  publicly  available database  // Proceedings of SPIE ‒The International Society for Optical Engineering, 2004, 5370 I: 648 [50] Hoover  A  D,  Kouznetsova  V,  Goldbaum  M.  Locating  blood vessels  in  retinal  images  by  piecewise  threshold  probing  of  a matched  filter  response. IEEE Trans Med Imaging,  2000,  19（3）: 203 [51] Owen  C  G,  Rudnicka  A  R,  Mullen  R,  et  al.  Measuring  retinal vessel  tortuosity  in  10-year-old  children:  Validation  of  the computer-assisted image analysis of the retina (CAIAR) program. Invest Ophthalmol Vis Sci, 2009, 50（5）: 2004 [52] · 1252 · 工程科学学报，第 43 卷，第 9 期