骨架图引导的级联视网膜血管分割网络

针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架。该框架包含血管骨架图提取网络模块、血管分割网络模块和若干自适应特征融合结构体。骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓扑结构特征；自适应特征融合结构体嵌入在两个模块的特征层间。该结构体通过学习像素级的融合权重，有效地将血管拓扑结构特征与血管局部特征相融合，加强血管特征的结构信息响应。为了获得更完整的骨架图，骨架图提取网络还引入了基于图的正则化损失函数用于训练。与最新的血管分割方法相比，该方法在3个公共视网膜图像数据集上均获得第一名，在DRIVE，STARE和CHASEDB1中其F1值分别为83.1%，85.8%和82.0%。消融实验表明骨架图引导的视网膜血管分割效果更好，并且，基于图的正则化损失也能进一步提高血管分割准确性。通过将骨架提取模块和血管分割模块替换成不同的卷积网络验证了框架的普适性。

团购合买资源类别：文库，文档格式：PDF，文档页数：10，文件大小：1.54MB

工程科学学报 Chinese Journal of Engineering 骨架图引导的级联视网膜血管分割网络姜大光李明鸣陈羽中丁文达彭晓婷李瑞瑞 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong.DING Wen-da,PENG Xiao-ting.LI Rui-rui 引用本文：姜大光，李明鸣，陈羽中，丁文达，彭晓婷，李瑞瑞.骨架图引导的级联视网膜血管分割网络).工程科学学报，2021,43(9)： 1244-1252.doi:10.13374.issn2095-9389.2021.01.13.005 JIANG Da-guang,LI Ming-ming.CHEN Yu-zhong,DING Wen-da,PENG Xiao-ting,LI Rui-rui.Cascaded retinal vessel segmentation network guided by a skeleton map[J].Chinese Journal of Engineering,2021,43(9):1244-1252.doi: 10.13374/i.issn2095-9389.2021.01.13.005 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.13.005 您可能感兴趣的其他文章 Articles you may be interested in 基于参考模型的视网膜特征量化 Retinal feature quantization method based on a reference model 工程科学学报.2019,41(9外：1222htps:/doi.org10.13374.issn2095-9389.2019.09.015 基于免疫遗传形态学的视网膜光学相干断层图像边缘 Edge detection method of retinal optical coherence tomography images based on immune genetic morphology 工程科学学报.2019,41(4：539 https::/1doi.org/10.13374斩.issn2095-9389.2019.04.015 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报.2017,39(12：1866htps:/doi.org10.13374.issn2095-9389.2017.12.013 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报.2020,42(10)：1362htps:/1doi.0rg10.13374j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报.2017,3911：1735htps:oi.org10.13374.issn2095-9389.2017.11.017 图像分割评估方法在显微图像分析中的应用 Image segmentation metric and its application in the analysis of microscopic image 工程科学学报.2021,43(1)：137 https:/doi.org10.13374.issn2095-9389.2020.05.28.002

骨架图引导的级联视网膜血管分割网络姜大光李明鸣陈羽中丁文达彭晓婷李瑞瑞 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang, LI Ming-ming, CHEN Yu-zhong, DING Wen-da, PENG Xiao-ting, LI Rui-rui 引用本文: 姜大光, 李明鸣, 陈羽中, 丁文达, 彭晓婷, 李瑞瑞. 骨架图引导的级联视网膜血管分割网络[J]. 工程科学学报, 2021, 43(9): 1244-1252. doi: 10.13374/j.issn2095-9389.2021.01.13.005 JIANG Da-guang, LI Ming-ming, CHEN Yu-zhong, DING Wen-da, PENG Xiao-ting, LI Rui-rui. Cascaded retinal vessel segmentation network guided by a skeleton map[J]. Chinese Journal of Engineering, 2021, 43(9): 1244-1252. doi: 10.13374/j.issn2095-9389.2021.01.13.005 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005 您可能感兴趣的其他文章 Articles you may be interested in 基于参考模型的视网膜特征量化 Retinal feature quantization method based on a reference model 工程科学学报. 2019, 41(9): 1222 https://doi.org/10.13374/j.issn2095-9389.2019.09.015 基于免疫遗传形态学的视网膜光学相干断层图像边缘 Edge detection method of retinal optical coherence tomography images based on immune genetic morphology 工程科学学报. 2019, 41(4): 539 https://doi.org/10.13374/j.issn2095-9389.2019.04.015 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报. 2017, 39(12): 1866 https://doi.org/10.13374/j.issn2095-9389.2017.12.013 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报. 2020, 42(10): 1362 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报. 2017, 39(11): 1735 https://doi.org/10.13374/j.issn2095-9389.2017.11.017 图像分割评估方法在显微图像分析中的应用 Image segmentation metric and its application in the analysis of microscopic image 工程科学学报. 2021, 43(1): 137 https://doi.org/10.13374/j.issn2095-9389.2020.05.28.002

工程科学学报.第43卷.第9期：1244-1252.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1244-1252,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005;http://cje.ustb.edu.cn 骨架图引导的级联视网膜血管分割网络姜大光”，李明鸣，陈羽中》，丁文达”，彭晓婷，李瑞瑞)四 1)北京化工大学信息科学与技术学院，北京1000292)北京离瞳科技发展股份有限公司.北京1000893)北京富通东方科技有限公司，北京100010 ☒通信作者，E-mail:ilydouble@gmail..com 摘要针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架.该框架包含血管骨架图提取网络模块、血管分割网络模块和若干自适应特征融合结构体.骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓扑结构特征：自适应特征融合结构体嵌入在两个模块的特征层间.该结构体通过学习像素级的融合权重，有效地将血管拓扑结构特征与血管局部特征相融合，加强血管特征的结构信息响应.为了获得更完整的骨架图，骨架图提取网络还引人了基于图的正则化损失函数用于训练.与最新的血管分割方法相比，该方法在3个公共视网膜图像数据集上均获得第一名，在 DRIVE,STARE和CHASEDB1中其F1值分别为83.1%，85.8%和82.0%.消融实验表明骨架图引导的视网膜血管分割效果更好，并且，基于图的正则化损失也能进一步提高血管分割准确性.通过将骨架提取模块和血管分割模块替换成不同的卷积网络验证了框架的普适性. 关键词骨架提取；视网膜血管分割：多任务：级联网络：基于图的正则化分类号TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong?.DING Wen-da,PENG Xiao-ting,LI Rui-rui 1)School of Information Science and Technology,Beijing University of Chemical and Technology,Beijing 100029,China 2)Beijing Airdoc Technology Co.,Ltd,Beijing 100089,China 3)Beijing Futong Dongfang Technology Co.,Ltd,Beijing 100010,China Corresponding author,E-mail:ilydouble@gmail.com ABSTRACT Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases.Diabetes, hypertension,and cardiovascular disease can cause abnormalities of the retinal vascular structure.Retinal vessel segmentation maps can be quickly obtained using the automated retinal vessel segmentation technology,which saves time and cost of manually identifying retinal vessels.Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels,this paper explored the design of a multitask convolutional neural network and the topological relationship of retinal vessels.A cascaded retinal vessel segmentation network framework guided by a skeleton map was proposed.The auxiliary task of skeleton extraction was used to extract vessel centerlines,which could maximally preserve topological structure information.SAFF cascaded the two modules by remaining embedded between their feature layers.This process could effectively fuse the structural features with the vessel local features by learning pixel- wise fusion weight and thus enhancing the structural response of features in the vessel segmentation module.To obtain a complete skeleton map,the skeleton map extraction module introduced a graph-based regularization loss function for training.Compared with the latest vessel segmentation methods,the proposed approach wins the first place among the three public retinal image datasets.F1 metrics 收稿日期：2020-12-30 基金项目：北京化工大学-中日友好医院生物医学转化工程研究中心联合资助项目(XK2020-7):科技部重点研发资助项目(2020YFF0305100)

骨架图引导的级联视网膜血管分割网络姜大光1)，李明鸣1)，陈羽中2)，丁文达1)，彭晓婷1)，李瑞瑞1,3) 苣 1) 北京化工大学信息科学与技术学院，北京 100029 2) 北京鹰瞳科技发展股份有限公司，北京 100089 3) 北京富通东方科技有限公司，北京 100010 苣通信作者，E-mail：ilydouble@gmail.com 摘要针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架. 该框架包含血管骨架图提取网络模块、血管分割网络模块和若干自适应特征融合结构体. 骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓扑结构特征；自适应特征融合结构体嵌入在两个模块的特征层间. 该结构体通过学习像素级的融合权重，有效地将血管拓扑结构特征与血管局部特征相融合，加强血管特征的结构信息响应. 为了获得更完整的骨架图，骨架图提取网络还引入了基于图的正则化损失函数用于训练. 与最新的血管分割方法相比，该方法在 3 个公共视网膜图像数据集上均获得第一名，在 DRIVE，STARE 和 CHASEDB1 中其 F1 值分别为 83.1%，85.8% 和 82.0%. 消融实验表明骨架图引导的视网膜血管分割效果更好，并且，基于图的正则化损失也能进一步提高血管分割准确性. 通过将骨架提取模块和血管分割模块替换成不同的卷积网络验证了框架的普适性. 关键词骨架提取；视网膜血管分割；多任务；级联网络；基于图的正则化分类号 TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang1) ，LI Ming-ming1) ，CHEN Yu-zhong2) ，DING Wen-da1) ，PENG Xiao-ting1) ，LI Rui-rui1,3) 苣 1) School of Information Science and Technology, Beijing University of Chemical and Technology, Beijing 100029, China 2) Beijing Airdoc Technology Co., Ltd, Beijing 100089, China 3) Beijing Futong Dongfang Technology Co., Ltd, Beijing 100010, China 苣 Corresponding author, E-mail: ilydouble@gmail.com ABSTRACT Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases. Diabetes, hypertension, and cardiovascular disease can cause abnormalities of the retinal vascular structure. Retinal vessel segmentation maps can be quickly obtained using the automated retinal vessel segmentation technology, which saves time and cost of manually identifying retinal vessels. Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels, this paper explored the design of a multitask convolutional neural network and the topological relationship of retinal vessels. A cascaded retinal vessel segmentation network framework guided by a skeleton map was proposed. The auxiliary task of skeleton extraction was used to extract vessel centerlines, which could maximally preserve topological structure information. SAFF cascaded the two modules by remaining embedded between their feature layers. This process could effectively fuse the structural features with the vessel local features by learning pixelwise fusion weight and thus enhancing the structural response of features in the vessel segmentation module. To obtain a complete skeleton map, the skeleton map extraction module introduced a graph-based regularization loss function for training. Compared with the latest vessel segmentation methods, the proposed approach wins the first place among the three public retinal image datasets. F1 metrics 收稿日期: 2020−12−30 基金项目: 北京化工大学‒中日友好医院生物医学转化工程研究中心联合资助项目（XK2020-7）；科技部重点研发资助项目（2020YFF0305100）工程科学学报，第 43 卷，第 9 期：1244−1252，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1244−1252, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005; http://cje.ustb.edu.cn

姜大光等：骨架图引导的级联视网膜血管分割网络 ·1245 of the proposed method achieved 83.1%,85.8%,and 82.0%on the DRIVE,STARE,and CHASEDBI datasets,respectively.Ablation studies have shown that skeleton map-guided vessel segmentation is more effective,and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network.Moreover,the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS skeleton extraction;retinal vessel segmentation;multitask;cascaded network;graph-based regularization 视网膜血管分割是医学图像处理-的一个关联特征有效建模和表征的能力，不能对血管形重要分支，是眼底图像分析的基础，在眼底疾病筛状拓扑关系很好地表示和利用查和诊断中发挥着重要的作用.许多类型的眼底为了使血管脉络能够被更完整和清晰地分割病变都会导致视网膜血管形状、数量、结构发生出来，从而辅助医生实现微小病变发现或者准确改变，例如：高血压性视网膜病变会引起视网膜血疾病分级诊断，本文从血管形状拓扑关系的表示管直径、曲折度和分岔角度发生变化：糖尿病性和利用角度出发，探索多任务卷积神经网络设计，视网膜病变会带来视网膜静脉的扩张：而年龄相提出骨架图引导的级联视网膜血管分割网络框关的黄斑变性最终导致脉络膜毛细血管萎缩和形架.该框架包含两个级联的沙漏状网络模块，并采成大量新生血管用层次化的方式传递特征.方法引入了一个提取视网膜血管形态结构复杂、狭长且空间跨度骨架图的辅助任务，并设计了基于图的结构平滑大，血管间常常会交错重叠.这让视网膜血管的有正则损失函数，帮助更好地刻画物体的拓扑和几效表征和特征提取任务变得富有挑战.不仅如此，何关联特性.不仅如此，方法将骨架图和层次化特血管末端常分岔出更细微的血管，呈现出较大的征通过融合机制传递到第二个网络模块，引导整尺度变化，也使得许多跟早期疾病筛查相关的不体视网膜血管的分割.本文在DRIVE、STARE和规律弯折和多角度交错等现象不易被观察到.经 CHASEDB1这3个著名公开的视网膜血管分割数典机器学习方法)1的分类特征需要手动设计和据集上验证了提出的网络框架，与该领域近3年提取，非常依赖研究人员的领域相关知识，特征的最新的8种方法相比，该框架得到的结果的准确优劣很大程度影响模型效果.基于特定算子的目性最高.同时通过消融实验，本文定量分析了提取标形态检测方法[⑧10往往只针对特定的场景和条骨架的辅助任务、基于图的结构平滑正则损失函件，难以进一步提高血管分割的准确性数以及骨架提取任务和血管分割任务使用不同网近年来，得益于深度学习技术的发展，基于深络实现时对分割任务的影响.综上所述，本文的主度卷积神经网络的视网膜血管分割方法成为一个要创新点如下：(1)提出了一个多任务级联网络框研究热点.许多工作采用全卷积神经网络来完成架.能够将不同的任务级联在一起同时训练，提高这一任务，例如：Zhang和Chung使用UNet!2实模型的准确性和泛化性.该框架与选取的主干网现端到端的视网膜血管分割：Guo等则采用络无关，具有灵活的适用性：(2)设计了一个骨架图 ResNet!4来更好地提取高维抽象特征.一些研究提取的辅助任务，提出基于血管标注的弱监督骨人员观察到血管分割任务中所存在的数据不平衡、架图提取方法，方法采用伪标注与基于图的结构细节特征易丢失等问题，从网络结构和训练策略平滑正则损失函数相结合来准确提取骨架；(3)提等角度提出改进的方法，通过将注意力机制s6、出骨架引导的准确血管分割的方法，通过自适应空洞卷积-20、长短期记忆网络模块2叫和深监督特征选择机制来有效融合的拓扑结构特征学习四等技术适配到视网膜血管分割网络中，来 1国内外相关工作加强网络的特征提取能力.这些研究工作有效地提升了血管分割性能，但是在医学临床应用中还长期以来，国内外研究者提出了大量的血管有许多亟待解决的问题，特别地，细小血管的分割分割方法.传统的方法包含：概率图模型1、线检准确性和结构完整性是一个难点，需要进一步提测器24、Gabor小波变换)和手工特征结合有监督升和加强.一方面，细小血管在图像中所占的像素分类器5,25-21的方法.2016年以后，得益于深度学比例少，在训练中可能得不到有效的关注和充分习技术的快速发展，涌现出大量基于深度卷积神的监督：另一方面，卷积神经网络本身缺乏对结构经网络的视网膜血管分割方法.Maninis等P7采

of the proposed method achieved 83.1%, 85.8%, and 82.0% on the DRIVE, STARE, and CHASEDB1 datasets, respectively. Ablation studies have shown that skeleton map-guided vessel segmentation is more effective, and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network. Moreover, the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS skeleton extraction；retinal vessel segmentation；multitask；cascaded network；graph-based regularization 视网膜血管分割是医学图像处理[1−2] 的一个重要分支，是眼底图像分析的基础，在眼底疾病筛查和诊断中发挥着重要的作用. 许多类型的眼底病变都会导致视网膜血管形状、数量、结构发生改变，例如：高血压性视网膜病变会引起视网膜血管直径、曲折度和分岔角度发生变化[3] ；糖尿病性视网膜病变会带来视网膜静脉的扩张[4] ；而年龄相关的黄斑变性最终导致脉络膜毛细血管萎缩和形成大量新生血管. 视网膜血管形态结构复杂、狭长且空间跨度大，血管间常常会交错重叠. 这让视网膜血管的有效表征和特征提取任务变得富有挑战. 不仅如此，血管末端常分岔出更细微的血管，呈现出较大的尺度变化，也使得许多跟早期疾病筛查相关的不规律弯折和多角度交错等现象不易被观察到. 经典机器学习方法[5−7] 的分类特征需要手动设计和提取，非常依赖研究人员的领域相关知识，特征的优劣很大程度影响模型效果. 基于特定算子的目标形态检测方法[8−10] 往往只针对特定的场景和条件，难以进一步提高血管分割的准确性. 近年来，得益于深度学习技术的发展，基于深度卷积神经网络的视网膜血管分割方法成为一个研究热点. 许多工作采用全卷积神经网络来完成这一任务，例如：Zhang 和 Chung [11] 使用 UNet[12] 实现端到端的视网膜血管分割； Guo 等 [13] 则采用 ResNet[14] 来更好地提取高维抽象特征. 一些研究人员观察到血管分割任务中所存在的数据不平衡、细节特征易丢失等问题，从网络结构和训练策略等角度提出改进的方法，通过将注意力机制[15−16]、空洞卷积[17−20]、长短期记忆网络模块[21] 和深监督学习[22] 等技术适配到视网膜血管分割网络中，来加强网络的特征提取能力. 这些研究工作有效地提升了血管分割性能，但是在医学临床应用中还有许多亟待解决的问题，特别地，细小血管的分割准确性和结构完整性是一个难点，需要进一步提升和加强. 一方面，细小血管在图像中所占的像素比例少，在训练中可能得不到有效的关注和充分的监督；另一方面，卷积神经网络本身缺乏对结构关联特征有效建模和表征的能力，不能对血管形状拓扑关系很好地表示和利用. 为了使血管脉络能够被更完整和清晰地分割出来，从而辅助医生实现微小病变发现或者准确疾病分级诊断，本文从血管形状拓扑关系的表示和利用角度出发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架. 该框架包含两个级联的沙漏状网络模块，并采用层次化的方式传递特征. 方法引入了一个提取骨架图的辅助任务，并设计了基于图的结构平滑正则损失函数，帮助更好地刻画物体的拓扑和几何关联特性. 不仅如此，方法将骨架图和层次化特征通过融合机制传递到第二个网络模块，引导整体视网膜血管的分割. 本文在 DRIVE、STARE 和 CHASEDB1 这 3 个著名公开的视网膜血管分割数据集上验证了提出的网络框架，与该领域近 3 年最新的 8 种方法相比，该框架得到的结果的准确性最高. 同时通过消融实验，本文定量分析了提取骨架的辅助任务、基于图的结构平滑正则损失函数以及骨架提取任务和血管分割任务使用不同网络实现时对分割任务的影响. 综上所述，本文的主要创新点如下：（1）提出了一个多任务级联网络框架. 能够将不同的任务级联在一起同时训练，提高模型的准确性和泛化性. 该框架与选取的主干网络无关，具有灵活的适用性；（2）设计了一个骨架图提取的辅助任务，提出基于血管标注的弱监督骨架图提取方法，方法采用伪标注与基于图的结构平滑正则损失函数相结合来准确提取骨架；（3）提出骨架引导的准确血管分割的方法，通过自适应特征选择机制来有效融合的拓扑结构特征. 1 国内外相关工作长期以来，国内外研究者提出了大量的血管分割方法. 传统的方法包含：概率图模型[23]、线检测器[24]、Gabor 小波变换[7] 和手工特征结合有监督分类器[5, 25−26] 的方法. 2016 年以后，得益于深度学习技术的快速发展，涌现出大量基于深度卷积神经网络的视网膜血管分割方法. Maninis 等[27] 采姜大光等：骨架图引导的级联视网膜血管分割网络 · 1245 ·

·1246 工程科学学报，第43卷，第9期用VGG网络P1提取特征，并将不同层次特征相融导致整个任务性能的降低合作为分类特征，完成逐像素分类.Zhang等2 2多任务级联视网膜血管分割网络 Guo等30、Mou等B创分别在他们的工作中使用了UNet,并加入了空间和通道注意力机制，使网络本文提出的骨架图引导的多任务级联视网膜能够更好地关注到有效目标区域.Jiang等B、分割框架如图1所示，该框架由骨架提取辅助任 Hatamizadeh等3)、Gu等B在全卷积网络中使用了务、特征级联模块和血管分割主任务3部分组成空洞卷积金字塔，能够提取不同尺度的目标特征，骨架提取辅助任务和血管分割主任务分别由两个丰富了特征层的上下文信息.Zhang和Chung山、编码-解码结构的沙漏型网络实现.骨架提取网 Mo和Zhang Bs使用了深监督的训练方式，对网络络能够对血管的中心线逐像素标记，输出血管骨不同深度的隐层特征施加监督信号，有利于梯度架图：血管分割网络将眼底图像划分为血管区域在网络深层传递，使网络能够更有效地提取深层和非血管区域.两个网络之间采用多个自适应特特征征融合模块连接，模块在训练中学习到如何将视网膜眼底图像分割比普通视觉图像分割难骨架提取网络挖掘到的多层次结构信息和分割网度更大，主要表现在：眼底照样本少、尺度变化络的血管特征进行融合，增强分割血管的结构完大、内容细节丰富和结构信息敏感.一些方法采整性用特殊的损失函数设计来更好地提取特征.这类 Binary cross entropy 方法的基本思路是对占比少且难学习的像素施加 Graph-based regularization Binary cross entropy 更大的损失权重，例如：细血管或血管边缘像素，使网络在训练中能够更有效地挖掘这些样本的特征.Hu等通过对交叉嫡损失函数设置权重来平衡前景和背景、粗与细血管间的训练损失.Yan 等B7结合血管的长度和管壁直径设计损失函数，加大对细血管的训练权重，这些精心设计的损失函数能够有效提升血管分割的精度，但对于不同的数据分布，需要对此多次手工调整参数，不具备很好的适用性 Skeleton extraction Feature cascaded Retinal vessel segmentation 为了更好地提取细血管和结构信息，另一些 SAFF Self-adaptive feature fusion block 方法则采用多任务网络设计，即：设置一个或者多图1骨架图引导的视网膜血管分割网络框架个相关子任务来协助更好地完成血管分割.例如 Fig.I Skeleton map-guided retinal vessel segmentation framework 使用一个边缘分割的子任务！或使用一个血管连该框架中的两个网络的主干结构是一致的，接点提取的子任务也有研究人员尝试将血管但整个框架与主干网络的选择无关，可根据具体分割的任务进行分解.Zhang等o就将血管特征分割任务灵活设置.在本文中，主干网络选择使提取分解为血管结构特征提取和纹理特征提取，用ResNet3.4.ResNet3.4具有4个编码层，深层编并设置两个子任务，使用浅层网络提取低层的纹码特征对应着更大的感受野，具有更大范围的结理特征，使用深层网络提取高层的结构特征构信息，浅层编码特征则蕴含着较为精细的局部 Zheng等对血管进行细粒度的分类，分为细血结构信息，每个编码层的空间分辨率均为上层编管、血管边缘和粗血管三个部分，使用多任务网络码层的14，网络末端的全连接层被替换为若干个对这些子类进行分类.Zou等2根据位置分布将转置卷积层和上采样层，用于恢复空间分辨率，构血管分成五个部分分别进行处理，采用局部回归成了解码路径.编码层的特征通过跳跃连接传递的技术促使在分割结果中保留更多的细血管.采至具有相同空间分辨率的解码层，弥补在下采样用了由粗到细的串行多任务分割学习框架，粗分中丢失的空间信息割网络的输出结果连接到细分割网络的输入，进 2.1基于伪标注的骨架图提取行进一步优化.遗憾的是，上述这些方法难以有效骨架，也称为“中心线”，是一种基于结构的目利用子任务网络之间的多层次特征的相关性，缺标描述符，能够对血管这类拓扑结构清晰和有效乏任务间的协同机制，造成的特征层信息冗余会地表示（如图2）

用 VGG 网络[28] 提取特征，并将不同层次特征相融合作为分类特征，完成逐像素分类. Zhang 等[29]、 Guo 等[13,30]、Mou 等[31] 分别在他们的工作中使用了 UNet，并加入了空间和通道注意力机制，使网络能够更好地关注到有效目标区域 . Jiang 等 [32]、 Hatamizadeh 等[33]、Gu 等[34] 在全卷积网络中使用了空洞卷积金字塔，能够提取不同尺度的目标特征，丰富了特征层的上下文信息. Zhang 和 Chung [11]、 Mo 和 Zhang [35] 使用了深监督的训练方式，对网络不同深度的隐层特征施加监督信号，有利于梯度在网络深层传递，使网络能够更有效地提取深层特征. 视网膜眼底图像分割比普通视觉图像分割难度更大，主要表现在：眼底照样本少、尺度变化大、内容细节丰富和结构信息敏感. 一些方法采用特殊的损失函数设计来更好地提取特征. 这类方法的基本思路是对占比少且难学习的像素施加更大的损失权重，例如：细血管或血管边缘像素，使网络在训练中能够更有效地挖掘这些样本的特征. Hu 等[36] 通过对交叉熵损失函数设置权重来平衡前景和背景、粗与细血管间的训练损失. Yan 等[37] 结合血管的长度和管壁直径设计损失函数，加大对细血管的训练权重. 这些精心设计的损失函数能够有效提升血管分割的精度，但对于不同的数据分布，需要对此多次手工调整参数，不具备很好的适用性. 为了更好地提取细血管和结构信息，另一些方法则采用多任务网络设计，即：设置一个或者多个相关子任务来协助更好地完成血管分割. 例如：使用一个边缘分割的子任务[38] 或使用一个血管连接点提取的子任务[39] . 也有研究人员尝试将血管分割的任务进行分解. Zhang 等[40] 就将血管特征提取分解为血管结构特征提取和纹理特征提取，并设置两个子任务，使用浅层网络提取低层的纹理特征，使用深层网络提取高层的结构特征 . Zheng 等 [41] 对血管进行细粒度的分类，分为细血管、血管边缘和粗血管三个部分，使用多任务网络对这些子类进行分类. Zou 等 [42] 根据位置分布将血管分成五个部分分别进行处理，采用局部回归的技术促使在分割结果中保留更多的细血管. 采用了由粗到细的串行多任务分割学习框架，粗分割网络的输出结果连接到细分割网络的输入，进行进一步优化. 遗憾的是，上述这些方法难以有效利用子任务网络之间的多层次特征的相关性，缺乏任务间的协同机制，造成的特征层信息冗余会导致整个任务性能的降低. 2 多任务级联视网膜血管分割网络本文提出的骨架图引导的多任务级联视网膜分割框架如图 1 所示，该框架由骨架提取辅助任务、特征级联模块和血管分割主任务 3 部分组成. 骨架提取辅助任务和血管分割主任务分别由两个编码‒解码结构的沙漏型网络实现. 骨架提取网络能够对血管的中心线逐像素标记，输出血管骨架图；血管分割网络将眼底图像划分为血管区域和非血管区域. 两个网络之间采用多个自适应特征融合模块连接，模块在训练中学习到如何将骨架提取网络挖掘到的多层次结构信息和分割网络的血管特征进行融合，增强分割血管的结构完整性. Binary cross entropy Skeleton extraction Feature cascaded Retinal vessel segmentation SAFF Self-adaptive feature fusion block Binary cross entropy + Graph-based regularization SAFF SAFF SAFF 图 1 骨架图引导的视网膜血管分割网络框架 Fig.1 Skeleton map-guided retinal vessel segmentation framework 该框架中的两个网络的主干结构是一致的，但整个框架与主干网络的选择无关，可根据具体分割任务灵活设置. 在本文中，主干网络选择使用 ResNet34[14] . ResNet34 具有 4 个编码层，深层编码特征对应着更大的感受野，具有更大范围的结构信息，浅层编码特征则蕴含着较为精细的局部结构信息，每个编码层的空间分辨率均为上层编码层的 1/4. 网络末端的全连接层被替换为若干个转置卷积层和上采样层，用于恢复空间分辨率，构成了解码路径. 编码层的特征通过跳跃连接传递至具有相同空间分辨率的解码层，弥补在下采样中丢失的空间信息. 2.1 基于伪标注的骨架图提取骨架，也称为“中心线”，是一种基于结构的目标描述符，能够对血管这类拓扑结构清晰和有效地表示（如图 2）. · 1246 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1247 Vessel skeleton 架化算法)从血管标注中生成骨架的伪标注来作为监督信息 2.1.1伪标注生成方法生成伪标注采用一种称为快速并行细化的算图2血管骨架法)，它通过迭代的方式，逐步将二值图像中的目 Fig.2 Vessel skeleton 标轮廓去除，仅保留目标中心线像素.第n次迭代观察发现，单任务血管分割模型对结构特征后每个像素点的值取决于在第1次迭代后其自感知不足，提取出来血管存在部分丢失、断裂的现身的值以及其8邻域内其他像素的值.每轮迭代象.本文提出的框架包含一个骨架提取的辅助任包括两步，第一步删除像素8邻域内的东南边界务，通过训练深度卷积神经网络来准确提取骨架点和西北角点，第二步删除西北边界点和东南角信息.由于缺乏骨架的标注数据，因此本文采用骨点.整个算法的处理流程如图3所示 N Exist south-east Remove south-east boundaryand Exist north-west Begin boundary and north-west north-west boundary and south-east End corner points corner points in 8-neighbor Rerpouny south-east comner points 图3快速并行细化算法流程图 Fig.3 Flowchart of the fast,parallel thinning algorithm 2.1.2基于图的结构平滑正则损失坐标，y为一维向量，每个单元的值表示区域内网为了使模型提取的骨架结构更加完整，在训络对像素的预测值.骨架提取任务的训练损失函练骨架提取网络时，引入了一个基于图的结构平数为二元交叉嫡损失函数加正则项：滑正则项作为损失函数该损失函数使模型输 Ls=Loce+yLreg (4) 出的类内预测概率的分布更加均匀，在阈值二值式中，y为权重系数化时有利于保留完整的血管，减少分割图中背景 2.2骨架图引导的视网膜血管分割噪声和血管断裂的现象.设血管为前景类，非血管本文将来自骨架提取网络中包含结构信息多为背景类，在一个局部区域中，标注中正类像素的尺度特征通过本文设计的特征融合机制与视网膜集合为G,负类像素的集合为GB,网络把像素预测血管分割网络中的特征以适当的权重进行像素级为正类的概率为y.前景和背景的损失项表示为：融合，加强特征层的结构信息响应.融合后的特征 L年=∑0年-y2 (1) 作为血管分割网络中的编码特征分别以采样和跳 (FkF)EGF 跃连接的方式前向传播 LB=∑GB-a2 (2) 受注意力门控啊的启发，本文设计了自适应 (jB.kB)EGB 特征融合模块(SAFF).注意力门控（图4(a)的思本文通过构建图来简化计算，在类内像素间构路是利用深层特征包含的关键语义信息过滤浅层建权值为1的边，得到邻接矩阵AF、AB和度矩阵特征包含的冗余信息和噪声，输出表现为浅层特 D、DB.基于图的正则损失函数Lree可以表示为：征的线性映射：自适应特征融合模块（图4(b))则 Lreg =LF+LB 是对血管特征进行结构信息补充，输出为两个特 =∑0-%P+∑0%-尸征的仿射组合，具体地，自适应特征融合模块的 (F,年)EGr (B.KB)EGB 输入分别为骨架提取网络的解码层特征∈ =yT(DF-AF)y'+yT(DB-AB)y' RCxHxW和血管分割网络中相同尺度的编码层特征 (3) fves∈RCxHxW.特征融合模块会计算出值域为式中，，k)和(B,B)分别表示前景和背景的像素 [0,1]的融合系数矩阵a∈[0,1]CxHxW,其上每个单元

观察发现，单任务血管分割模型对结构特征感知不足，提取出来血管存在部分丢失、断裂的现象. 本文提出的框架包含一个骨架提取的辅助任务，通过训练深度卷积神经网络来准确提取骨架信息. 由于缺乏骨架的标注数据，因此本文采用骨架化算法[43] 从血管标注中生成骨架的伪标注来作为监督信息. 2.1.1 伪标注生成方法生成伪标注采用一种称为快速并行细化的算法[43] ，它通过迭代的方式，逐步将二值图像中的目标轮廓去除，仅保留目标中心线像素. 第 n 次迭代后每个像素点的值取决于在第 n−1 次迭代后其自身的值以及其 8 邻域内其他像素的值. 每轮迭代包括两步，第一步删除像素 8 邻域内的东南边界点和西北角点，第二步删除西北边界点和东南角点. 整个算法的处理流程如图 3 所示. Remove north-west boundary and south-east corner points Begin End Exist south-east boundary and north-west corner points in 8-neighbor? Remove south-east boundaryand north-west corner points Exist north-west boundary and south-east corner points in 8-neighbor? N Y Y N 图 3 快速并行细化算法流程图 Fig.3 Flowchart of the fast, parallel thinning algorithm 2.1.2 基于图的结构平滑正则损失 GF GB i yi 为了使模型提取的骨架结构更加完整，在训练骨架提取网络时，引入了一个基于图的结构平滑正则项作为损失函数[44] . 该损失函数使模型输出的类内预测概率的分布更加均匀，在阈值二值化时有利于保留完整的血管，减少分割图中背景噪声和血管断裂的现象. 设血管为前景类，非血管为背景类，在一个局部区域中，标注中正类像素的集合为 , 负类像素的集合为 , 网络把像素预测为正类的概率为 . 前景和背景的损失项表示为: LF = ∑ (jF,kF)∈GF (y jF −ykF ) 2 （1） LB = ∑ (jB,kB)∈GB (yjB −ykB ) 2 （2） AF AB DF DB Lreg 本文通过构建图来简化计算，在类内像素间构建权值为 1 的边，得到邻接矩阵、和度矩阵、 . 基于图的正则损失函数可以表示为： Lreg = LF + LB = ∑ (jF,kF)∈GF (yjF −ykF ) 2 + ∑ (jB,kB)∈GB (yjB −ykB ) 2 = y ′T (DF − AF)y ′ + y ′T (DB − AB)y ′ （3）式中， (jF, kF) 和 (jB, kB) 分别表示前景和背景的像素 y 坐标， ′为一维向量，每个单元的值表示区域内网络对像素的预测值. 骨架提取任务的训练损失函数为二元交叉熵损失函数加正则项: Ls = Lbce +γ · Lreg （4）式中， γ 为权重系数. 2.2 骨架图引导的视网膜血管分割本文将来自骨架提取网络中包含结构信息多尺度特征通过本文设计的特征融合机制与视网膜血管分割网络中的特征以适当的权重进行像素级融合，加强特征层的结构信息响应. 融合后的特征作为血管分割网络中的编码特征分别以采样和跳跃连接的方式前向传播. fs ∈ R C×H×W fves ∈ R C×H×W [0,1] α ∈ [0,1]C×H×W 受注意力门控[45] 的启发，本文设计了自适应特征融合模块 (SAFF). 注意力门控（图 4（a））的思路是利用深层特征包含的关键语义信息过滤浅层特征包含的冗余信息和噪声，输出表现为浅层特征的线性映射；自适应特征融合模块（图 4（b））则是对血管特征进行结构信息补充，输出为两个特征的仿射组合. 具体地，自适应特征融合模块的输入分别为骨架提取网络的解码层特征和血管分割网络中相同尺度的编码层特征 . 特征融合模块会计算出值域为的融合系数矩阵，其上每个单元 Vessel skeleton 图 2 血管骨架 Fig.2 Vessel skeleton 姜大光等：骨架图引导的级联视网膜血管分割网络 · 1247 ·

·1248 工程科学学报，第43卷，第9期的值km,表示结构特征f的融合系数，融合后的RGB三通道彩色眼底图像；STAREIS]数据集的新特征fes计算公式如下：包含20张分辨率为700×605的RGB三通道图像； fves'=aofs+(0-a)ofves (5) CHASEDB1S☑数据集包含28张分辨率为999× 960的RGB三通道图像，从14个孩童的左右眼拍 Attention gate (a) 照采集 C×H×WW11 ReLU Sigmoid DRIVE数据集提供了各包含20张图片的训 g:1×1 练集和测试集，本文选取了训练集中的第1张图 Cx【× CxHx甲：1x1 片作为验证，其余19张图片用作训练.对于STARE 数据集，本文采用了Yan等B)、Wang等使用的留一法划分方式，1张图片用作测试，其余19张用 Self-adaptive feature fusion block (b) 于训练，20张图片轮流作为测试图片进行实验，计 ReLU Sigmoid 算20次实验中各项指标的平均值作为结果.对于 CxH×W CxH×:1x1 CHASEDBI数据集，实验采用了和Yan等B7、Wang 等9，、Li等、Wang等4s相同的划分方式，前20张图4自适应特征融合模块和注意力门控的对比.(a)深层特征∫过滤用作训练，其余8张用于测试.3个数据集中的训浅层特征f:(b)包含结构信息的骨架特征f和血管特征∫融合练图片分别采用旋转和翻转的方式进行扩充，缓 Fig.4 Comparison of the self-adaptive feature fusion block and 解由于训练数据太少导致的模型过拟合现象.由 attention gating:(a)deeper features f filter shallower features fi;(b) 于CHASEDBI数据集的图片分辨率较高，这个数 vessel features fves fuse skeleton features fs containing structural information 据集中的图片切片为720×720的图像块. 式中，O是维度为C×H×W的全1矩阵，o表示哈达 3.3评价方法玛积.融合系数矩阵通过两种特征的线性和非线本文使用了FI值、敏感性(Se)、准确率(Acc)、性变换得到，变换参数支持反向传播和梯度下降特征曲线ROC下的面积(AUC)这4个常用的指的优化策略.融合矩阵α的计算公式为：标对提出的方法定量评估.从二值分割图和标注 a=2((I(W:fsi+Wfves1+b1))+b2)(6) 图中统计出被正确分类为正类(TP)、被正确分类式中，人1 ERCXHXW和fesl∈RCxHxW分别由f和人es 为负类(TN)、被误分类为正类(FP)、被误分类为负类(FN)这四类像素的数目并进而计算出指标值，经过线性变换后得到，W∈RCxC、W,∈RCxC和如下所示： p∈RCxC分别为线性变换矩阵，通过1×1的卷积核 TP 实现；b1∈RCxHxW和b2∈RCxHxW为偏移量，G1和 Se=TP+F×100% (7) σ2分别为ReLU和sigmoid激活函数， TP+TN Acc= TP+TN+FP+FN X 100% (8) 3实验与分析 TP Pre= 3.1实验设计 TP+FP X100% (9) 为了说明该方法的有效性，本文在3个公开的 F1=2 Pre.Se ×100% Pre+Se (10) 视网膜血管分割数据集进行了实验，与近3年最新的方法山，4306网进行比较.每组实验的结果特征曲线从使用不同阈值得到的二值化分割为模型10次训练结果的平均值.本文提出的方法图计算出的敏感性和假正率(FP/FP+TN×100%) 采用Python语言编程，基于PyTorch框架实现，模做出，计算此曲线与坐标轴围成的面积得到型在配备16G内存和英伟达GTX1080Ti显卡的 AUC值. 计算机上运行.网络训练轮次总数设置为20，优化 3.4实验结果算法使用Adam,使用0.001作为学习率.基于图的本文提出的方法在3个数据集上与其他方法结构平滑正则损失的局部区域设置为边长为的对比结果如表1所示，在所有指标上基本达到 30个像素的正方形，权重系数y设置为0.000001. 了领先.方法在3个数据集上的F1值分别为 3.2数据介绍 83.1%、85.8%和82.0%，在所有对比方法中达到了 DRIVEIS0]数据集包含40张分辨率为565×584 最高：敏感值分别为83.7%、86.4%和84.5%.同样

α c (h,w) f c s(h,w) fves ′ 的值表示结构特征的融合系数，融合后的新特征计算公式如下: fves ′ = α◦ fs +(O−α) ◦ fves （5） Attention gate C × H × W C × H × W C × H × W C × H × W C × H × W C × H × W fg f1 fs ReLU ReLU Sigmoid Sigmoid Self-adaptive feature fusion block Wg : 1×1 φ: 1×1 φ: 1×1 WS : 1×1 WV: 1×1 W1 : 1×1 α α α 1−α f ′ves fves f ′1 (a) (b) fg fl fs fves 图 4 自适应特征融合模块和注意力门控的对比. （a）深层特征过滤浅层特征；（b）包含结构信息的骨架特征和血管特征融合 fg fl fves fs Fig.4 Comparison of the self-adaptive feature fusion block and attention gating: (a) deeper features filter shallower features ; (b) vessel features fuse skeleton features containing structural information O C × H × W ，◦ α 式中，是维度为的全 1 矩阵表示哈达玛积. 融合系数矩阵通过两种特征的线性和非线性变换得到，变换参数支持反向传播和梯度下降的优化策略. 融合矩阵的计算公式为: α = σ2(φ T (σ1(WT s fs1 +WT v fves1 + b1))+ b2) （6） fs1 ∈ R C×H×W fves1 ∈ R C×H×W fs fves Ws ∈ R C×C Wv ∈ R C×C φ ∈ R C×C 1×1 b1 ∈ R C×H×W b2 ∈ R C×H×W σ1 σ2 ReLU sigmoid 式中，和分别由和经过线性变换后得到，、和分别为线性变换矩阵，通过的卷积核实现；和为偏移量，和分别为和激活函数. 3 实验与分析 3.1 实验设计 γ 为了说明该方法的有效性，本文在 3 个公开的视网膜血管分割数据集进行了实验，与近 3 年最新的方法[11, 34, 37, 40, 46−49] 进行比较. 每组实验的结果为模型 10 次训练结果的平均值. 本文提出的方法采用 Python 语言编程，基于 PyTorch 框架实现，模型在配备 16 G 内存和英伟达 GTX1080Ti 显卡的计算机上运行. 网络训练轮次总数设置为 20，优化算法使用 Adam，使用 0.001 作为学习率. 基于图的结构平滑正则损失的局部区域设置为边长为 30 个像素的正方形，权重系数设置为 0.000001. 3.2 数据介绍 DRIVE[50] 数据集包含 40 张分辨率为 565×584 的 RGB 三通道彩色眼底图像； STARE[51] 数据集包含 20 张分辨率为 700×605 的 RGB 三通道图像； CHASEDB1[52] 数据集包含 28 张分辨率为 999× 960 的 RGB 三通道图像，从 14 个孩童的左右眼拍照采集. DRIVE 数据集提供了各包含 20 张图片的训练集和测试集，本文选取了训练集中的第 1 张图片作为验证，其余 19 张图片用作训练. 对于 STARE 数据集，本文采用了 Yan 等[37]、Wang 等[49] 使用的留一法划分方式，1 张图片用作测试，其余 19 张用于训练，20 张图片轮流作为测试图片进行实验，计算 20 次实验中各项指标的平均值作为结果. 对于 CHASEDB1 数据集，实验采用了和 Yan 等[37]、Wang 等[49]、Li 等[46]、Wang 等[48] 相同的划分方式，前 20 张用作训练，其余 8 张用于测试. 3 个数据集中的训练图片分别采用旋转和翻转的方式进行扩充，缓解由于训练数据太少导致的模型过拟合现象. 由于 CHASEDB1 数据集的图片分辨率较高，这个数据集中的图片切片为 720×720 的图像块. 3.3 评价方法本文使用了 F1 值、敏感性 (Se)、准确率 (Acc)、特征曲线 ROC 下的面积 (AUC) 这 4 个常用的指标对提出的方法定量评估. 从二值分割图和标注图中统计出被正确分类为正类 (TP)、被正确分类为负类 (TN)、被误分类为正类 (FP)、被误分类为负类 (FN) 这四类像素的数目并进而计算出指标值，如下所示: Se = TP TP+FN ×100% （7） Acc = TP+TN TP+TN+FP+FN ×100% （8） Pre = TP TP+FP ×100% （9） F1 = 2 Pre ·Se Pre+Se ×100% （10） FP/(FP+TN)×100% 特征曲线从使用不同阈值得到的二值化分割图计算出的敏感性和假正率 ( ) 做出，计算此曲线与坐标轴围成的面积得到 AUC 值. 3.4 实验结果本文提出的方法在 3 个数据集上与其他方法的对比结果如表 1 所示，在所有指标上基本达到了领先 . 方法在 3 个数据集上的 F1 值分别为 83.1%、85.8% 和 82.0%，在所有对比方法中达到了最高；敏感值分别为 83.7%、86.4% 和 84.5%，同样 · 1248 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1249 达到了领先.虽然方法DS[II]的敏感值在DRIVE 平均比其他方法高出0.3%：Acc值分别为97.1%、数据集上高于本文的方法，但对于医学数据，F1值 97.1%和97.7%，平均比其他方法高出0.9%.考虑是更为重要的指标.它不仅包含着敏感性信息，还到眼底图像中非血管区域和粗血管占比较大，细考虑了精确度，F1值越高意味着识别出的血管更血管和噪声样本的占比较小，模型对这类小样本为齐全，而且准确.本文提出的方法在3个数据集的分割性能提升反映在这两个指标上的变化不明上的F1值比其他方法平均高出2.6%，证明了该方显，因此尽管指标值只有略微提升，但同样能够说法能够更加准确地识别出更多血管.同时，明方法对细小血管的识别准确率更高，同时减少 AUC值在3个数据集分别为98.8%、99.1%和99.1%，了对噪声样本的误分类表1本文提出的方法和近期的先进方法在F1值、敏感性Se、准确率Acc、AUC的比较结果 Table 1 Comparison results between our proposed method and the recent advanced methods of the FI score,Sensitivity,Accuracy,and AUC DRIVE STARE CHASEDBI Method F1/%Se/%Acc/% AUC/%F1/%Se/%Acc/% AUC/%F1/%Se/%Acc/% AUC/% Segment 76.5 95.4 97.5 一 75.8 96.1 98.0 一 76.3 96.1 97.8 DSt 一 87.3 95.0 98.0 一 76.7 97.1 98.8 76.7 97.7 99.0 DUNet!7 一 78.9 97.0 98.6 一 74.3 97.3 98.7 一 82.3 97.2 98.6 Cascade] 80.9 76.5 95.4 81.3 75.2 96.4 78.1 77.3 96.0 DualUNet!4 82.7 79.4 95.7 97.7 一 80.4 80.7 96.6 98.1 CE-Net4 83.1 95.5 97.8 78.4 95.8 97.9 STDHOI 81.5 97.0 98.6 IterNet6 82.2 77.9 95.7 98.1 81.5 77.2 97.0 98.8 80.7 79.7 96.6 98.5 Our method 83.183.7 97.1 98.8 85.886.4 97.1 99.1 82.084.5 97.7 99.1 3.5消融实验管的骨架，同时也证明了提取出更精确的骨架能为了进一步说明框架中各个组成部分的效够进一步提高血管分割的效果果，本文进行了消融实验第一组消融实验验证了骨架的辅助任务和基表2第一组消融实验结果于图的结构平滑正则损失分别起到的作用.首先， Table 2 Results of the first ablation experiments Control DRIVE CHASEDBI 实验使用单任务分割网络ResNet34作为基准，在 group DRIVE和CHASEDBI训练集上训练，计算出在验 F1/%Se/%Acc/%AUC/%F1/%Se/%Acc/%AUC/% 证集上的指标.然后，网络递增加入了提取骨架的 Single task 84.284.696.598.8 81.382.997.198.8 network 辅助任务，使用二元交叉嫡损失函数训练，评估该 +Skeleton 85.085.597.7 99.2 81.883.697.6 99.0 子任务对分割性能的影响.最后，骨架提取网络的 extraction +Structure 训练损失中再次递增加入了基于图的结构平滑正 85.186.397.7 99.3 82.084.597.7 99.1 loss 则项，评估该损失的效果.在3个数据集上实验结果如表2所示，实验曲线图如图5所示.实验结果第二组消融实验验证了框架中主干网络的普表明：使用提取骨架的辅助任务的分割模型在两适性，实验将骨架提取网络和血管分割网络的编个验证集上的F1值分别达到了85.0%和81.8%，码路径共同替换为ResNetl8和VGGl6中去除全 Se达到了85.5%和83.6%，相比于单任务分割网络连接层的部分，框架在两个数据集训练完成后，计有大幅提升，并且模型在训练中收敛速度较快，说算在测试集上的指标，结果如表3所示.3种主干明骨架特征能够提供给分割网络充分的拓扑和几网络在2个数据集上的指标都较高，说明该框架何信息，使网络能够准确分割出更完整的血管结具有灵活的适用性.在F1指标上，ResNet34高于构，而且减小了单任务网络对特征的学习难度；使 ResNet18和VGGl6实验组，可以推断出效果越好用结构平滑正则损失后，F1值和AUC值比单独使的单任务网络应用在该框架下会取得一定程度的用二元交叉嫡平均提高了0.1%，Se提升了0.8%，提升.使用ResNet34作为主干网络的实验组在两说明该损失能够促使模型准确提取出更多细小血个数据集的训练损失如图6所示

达到了领先. 虽然方法 DS[11] 的敏感值在 DRIVE 数据集上高于本文的方法，但对于医学数据，F1 值是更为重要的指标. 它不仅包含着敏感性信息，还考虑了精确度，F1 值越高意味着识别出的血管更为齐全，而且准确. 本文提出的方法在 3 个数据集上的 F1 值比其他方法平均高出 2.6%，证明了该方法能够更加准确地识别出更多血管 . 同时， AUC 值在 3 个数据集分别为 98.8%、99.1% 和 99.1%，平均比其他方法高出 0.3%；Acc 值分别为 97.1%、 97.1% 和 97.7%，平均比其他方法高出 0.9%. 考虑到眼底图像中非血管区域和粗血管占比较大，细血管和噪声样本的占比较小，模型对这类小样本的分割性能提升反映在这两个指标上的变化不明显，因此尽管指标值只有略微提升，但同样能够说明方法对细小血管的识别准确率更高，同时减少了对噪声样本的误分类. 表 1 本文提出的方法和近期的先进方法在 F1 值、敏感性 Se、准确率 Acc、AUC 的比较结果 Table 1 Comparison results between our proposed method and the recent advanced methods of the F1 score, Sensitivity, Accuracy, and AUC Method DRIVE STARE CHASEDB1 F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% Segment[37] — 76.5 95.4 97.5 — 75.8 96.1 98.0 — 76.3 96.1 97.8 DS[11] — 87.3 95.0 98.0 — 76.7 97.1 98.8 — 76.7 97.7 99.0 DUNet[47] — 78.9 97.0 98.6 — 74.3 97.3 98.7 — 82.3 97.2 98.6 Cascade[49] 80.9 76.5 95.4 — 81.3 75.2 96.4 — 78.1 77.3 96.0 — DualUNet[48] 82.7 79.4 95.7 97.7 — — — — 80.4 80.7 96.6 98.1 CE-Net[34] — 83.1 95.5 97.8 — 78.4 95.8 97.9 — — — — STD[40] — 81.5 97.0 98.6 — — — — — — — — IterNet[46] 82.2 77.9 95.7 98.1 81.5 77.2 97.0 98.8 80.7 79.7 96.6 98.5 Our method 83.1 83.7 97.1 98.8 85.8 86.4 97.1 99.1 82.0 84.5 97.7 99.1 3.5 消融实验为了进一步说明框架中各个组成部分的效果，本文进行了消融实验. 第一组消融实验验证了骨架的辅助任务和基于图的结构平滑正则损失分别起到的作用. 首先，实验使用单任务分割网络 ResNet34 作为基准，在 DRIVE 和 CHASEDB1 训练集上训练，计算出在验证集上的指标. 然后，网络递增加入了提取骨架的辅助任务，使用二元交叉熵损失函数训练，评估该子任务对分割性能的影响. 最后，骨架提取网络的训练损失中再次递增加入了基于图的结构平滑正则项，评估该损失的效果. 在 3 个数据集上实验结果如表 2 所示，实验曲线图如图 5 所示. 实验结果表明：使用提取骨架的辅助任务的分割模型在两个验证集上的 F1 值分别达到了 85.0% 和 81.8%， Se 达到了 85.5% 和 83.6%，相比于单任务分割网络有大幅提升，并且模型在训练中收敛速度较快，说明骨架特征能够提供给分割网络充分的拓扑和几何信息，使网络能够准确分割出更完整的血管结构，而且减小了单任务网络对特征的学习难度；使用结构平滑正则损失后，F1 值和 AUC 值比单独使用二元交叉熵平均提高了 0.1%，Se 提升了 0.8%，说明该损失能够促使模型准确提取出更多细小血管的骨架，同时也证明了提取出更精确的骨架能够进一步提高血管分割的效果. 表 2 第一组消融实验结果 Table 2 Results of the first ablation experiments Control group DRIVE CHASEDB1 F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% Single task network 84.2 84.6 96.5 98.8 81.3 82.9 97.1 98.8 +Skeleton extraction 85.0 85.5 97.7 99.2 81.8 83.6 97.6 99.0 +Structure loss 85.1 86.3 97.7 99.3 82.0 84.5 97.7 99.1 第二组消融实验验证了框架中主干网络的普适性，实验将骨架提取网络和血管分割网络的编码路径共同替换为 ResNet18 和 VGG16 中去除全连接层的部分. 框架在两个数据集训练完成后，计算在测试集上的指标，结果如表 3 所示. 3 种主干网络在 2 个数据集上的指标都较高，说明该框架具有灵活的适用性. 在 F1 指标上，ResNet34 高于 ResNet18 和 VGG16 实验组，可以推断出效果越好的单任务网络应用在该框架下会取得一定程度的提升. 使用 ResNet34 作为主干网络的实验组在两个数据集的训练损失如图 6 所示. 姜大光等：骨架图引导的级联视网膜血管分割网络 · 1249 ·

·1250 工程科学学报，第43卷，第9期 85/a segmentation and registration methods based on supervised 08 learning.Chin J Eng,2020,42(10):1362 E83 Singel task network (丛明，吴童，刘冬，等.基于监督学习的前列腺MR/TRUS图像分 82 割和配准方法.工程科学学报，2020,42(10)：1362) 1234567891011121314151617181920 [2] Training iteration Ma B Y,Jiang S F,Yin D,et al.Image segmentation metric and its application in the analysis of microscopic image.Chin J Eng, 82.5(b) 82.0 2021,43(1):137 (马博渊，姜淑芳，尹豆，等.图像分割评估方法在显微图像分析 80.0 二中的应用.工程科学学报，2021,43(1)：137) 90 [3] 234567891011121314151617181920 Tso M O M,Jampol L M.Pathophysiology of hypertensive Training iteration retinopathy.Ophthalmology,1982.89(10):1132 图5消融实验中每轮训练后在不同验证集上的F1值.(a)DRIVE: [4] Yu S,Xiao D,Kanagasingam Y.Machine learning based (b)CHASEDBI automatic neovascularization detection on optic disc region./EEE Fig.5 Fl on the validation set after each training iteration in ablation J Biomed Heal Inform,2018,22(3):886 experiments:(a)DRIVE;(b)CHASEDBI [5] Becker C,Rigamonti R,Lepetit V,et al.Supervised feature leamning for curvilinear structure segmentation /International 表3第二组消融实验结果 Conference on Medical Image Computing and Computer-Assisted Table 3 Results of the second ablation experiments Intervention.Berlin,2013:526 DRIVE CHASEDB Network [6]Tolias Y A.Panas S M.A fuzzy vessel tracking algorithm for F1/%Se/%Acc/%AUC/%F1/%Se/%Acc/%AUC/% retinal images based on fuzzy clustering.IEEE Trans Med ResNet3483.183.797.198.882.084.597.199.1 1 naging,1998,17(2):263 ResNet1882.983.597.098.781.783.897.6 99.0 [7] Soares J V B,Leandro JJ G,Cesar R M,et al.Retinal vessel VGG1682.883.2 97.0 98.7 81.683.797.6 99.0 segmentation using the 2-D Gabor wavelet and supervised classification.IEEE Trans Med Imaging,006,25(9):1214 035 [8] 0.30 Sebbe R,Gosselin B,Coche E,et al.Segmentation of opacified (a) 025 3020 thorax vessels using model-driven active contour //2005 IEEE 90.15 Engineering in Medicine and Biology 27th Annual Conference 0.10 0.05 Shanghai,2006:2535 0 1234567891011121314151617181920 [9] Pal S,Chatterjee S,Dey D,et al.Morphological operations with Epoch iterative rotation of structuring elements for segmentation of 0.35 0.30 6 retinal vessel structures.Multidimens Syst Signal Process,2019, 025 30(1):373 0.20 0.15 [10]Chang C C,Lin CC,Pai P Y,et al.A novel retinal blood vessel 0.10 0.05 segmentation method based on line operator and edge detector// 0 1234567891011121314151617181920 2009 Fifth International Conference on Intelligent Information Epoch Hiding and Multimedia Signal Processing.Kyoto,2009:299 图6框架在DRIVE(a)和CHASEDBI(b)数据集上的训练损失 [11]Zhang Y S,Chung A C S.Deep supervision with additional labels Fig.6 Training loss of the framework on the DRIVE (a)and for retinal vessel segmentation task /International Conference on CHASEDB1 (b)datasets Medical Image Computing and Computer-Assisted Intervention. 4结论 Granada,2018:83 [12]Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks 本文提出了一种骨架图引导的多任务级联视 for biomedical image segmentation /International Conference on 网膜血管分割框架，能够克服视网膜血管分割中 Medical Image Computing and Computer-Assisted Intervention. 存在的细小血管提取不完整、分割不准确的问题 Munich,2015:234 从而辅助医生开展早期眼底病变筛查.提出的框 [13]Guo CL,Szemenyei M,Hu H,et al.Channel attention residual U- Net for retinal vessel segmentation [J/OL].arXiv preprint (2020- 架与主干网络结构无关，也可以灵活扩展到其他 10-20)[2021-6-10].https://arxiv..0rg/abs/2004.03702 与拓扑结构相关的分割任务 [14]He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition /2016 IEEE Conference on Computer Vision 参考文献 and Pattern Recognition (CVPR).Las Vegas,2016:770 [1]Cong M,Wu T,Liu D,et al.Prostate MR/TRUS image [15]Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need//

85 84 83 82 81 1 2 3 4 5 6 7 8 9 1011121314151617181920 Singel task network +Skeleton extraction +Structure loss Training iteration (a) F1/ % 82.5 82.0 81.5 81.0 80.5 80.0 79.5 79.0 1 2 3 4 5 6 7 8 9 1011121314151617181920 Training iteration (b) F1/ % Singel task network +Skeleton extraction +Structure loss 图 5 消融实验中每轮训练后在不同验证集上的 F1 值. （a）DRIVE；（b）CHASEDB1 Fig.5 F1 on the validation set after each training iteration in ablation experiments: (a) DRIVE; (b) CHASEDB1 表 3 第二组消融实验结果 Table 3 Results of the second ablation experiments Network DRIVE CHASEDB1 F1/% Se/% Acc/% AUC/% F1/% Se/% Acc/% AUC/% ResNet34 83.1 83.7 97.1 98.8 82.0 84.5 97.1 99.1 ResNet18 82.9 83.5 97.0 98.7 81.7 83.8 97.6 99.0 VGG16 82.8 83.2 97.0 98.7 81.6 83.7 97.6 99.0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Epoch 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Epoch Loss 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 Loss 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 (a) (b) 图 6 框架在 DRIVE（a）和 CHASEDB1（b）数据集上的训练损失 Fig.6 Training loss of the framework on the DRIVE (a) and CHASEDB1 (b) datasets 4 结论本文提出了一种骨架图引导的多任务级联视网膜血管分割框架，能够克服视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题. 从而辅助医生开展早期眼底病变筛查. 提出的框架与主干网络结构无关，也可以灵活扩展到其他与拓扑结构相关的分割任务. 参考文献 [1] Cong M, Wu T, Liu D, et al. Prostate MR/TRUS image segmentation and registration methods based on supervised learning. Chin J Eng, 2020, 42（10）: 1362 （丛明, 吴童, 刘冬, 等. 基于监督学习的前列腺MR/TRUS图像分割和配准方法. 工程科学学报, 2020, 42（10）：1362） Ma B Y, Jiang S F, Yin D, et al. Image segmentation metric and its application in the analysis of microscopic image. Chin J Eng, 2021, 43（1）: 137 （马博渊, 姜淑芳, 尹豆, 等. 图像分割评估方法在显微图像分析中的应用. 工程科学学报, 2021, 43（1）：137） [2] Tso M O M, Jampol L M. Pathophysiology of hypertensive retinopathy. Ophthalmology, 1982, 89（10）: 1132 [3] Yu S, Xiao D, Kanagasingam Y. Machine learning based automatic neovascularization detection on optic disc region. IEEE J Biomed Heal Inform, 2018, 22（3）: 886 [4] Becker C, Rigamonti R, Lepetit V, et al. Supervised feature learning for curvilinear structure segmentation // International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, 2013: 526 [5] Tolias Y A, Panas S M. A fuzzy vessel tracking algorithm for retinal images based on fuzzy clustering. IEEE Trans Med Imaging, 1998, 17（2）: 263 [6] Soares J V B, Leandro J J G, Cesar R M, et al. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification. IEEE Trans Med Imaging, 2006, 25（9）: 1214 [7] Sebbe R, Gosselin B, Coche E, et al. Segmentation of opacified thorax vessels using model-driven active contour // 2005 IEEE Engineering in Medicine and Biology 27th Annual Conference. Shanghai, 2006: 2535 [8] Pal S, Chatterjee S, Dey D, et al. Morphological operations with iterative rotation of structuring elements for segmentation of retinal vessel structures. Multidimens Syst Signal Process, 2019, 30（1）: 373 [9] Chang C C, Lin C C, Pai P Y, et al. A novel retinal blood vessel segmentation method based on line operator and edge detector // 2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Kyoto, 2009: 299 [10] Zhang Y S, Chung A C S. Deep supervision with additional labels for retinal vessel segmentation task // International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada, 2018: 83 [11] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, 2015: 234 [12] Guo C L, Szemenyei M, Hu H, et al. Channel attention residual UNet for retinal vessel segmentation [J/OL]. arXiv preprint (2020- 10-20) [2021-6-10]. https://arxiv.org/abs/2004.03702 [13] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 770 [14] [15] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need// · 1250 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1251 Proceedings of the 31st Conference on neural information 10-20)[2021-6-101.https://arxiv.org/abs/2004.03696 processing systems (NIPS 2017).Long Beach,2017:5998 [31]Mou L,Zhao Y T,Chen L,et al.CS-net:Channel and spatial [16]Hu J,Shen L,Sun G.Squeeze-and-excitation networks /2018 attention network for curvilinear structure segmentation /Medical IEEE/CVF Conference on Computer Vision and Pattern Image Computing and Computer Assisted Intervention -MICCAl Recognition.Salt Lake City,2018:7132 2019.Shenzhen,2019:721 [17]Yu F,Koltun V.Multi-scale context aggregation by dilated [32]Jiang Y,Tan N,Peng T T,et al.Retinal vessels segmentation convolutions //Proceedings of the 4th International Conference on based on dilated multi-scale convolutional neural network./EEE Learning Representations.San Juan,2016 4 ccess,,2019,7:76342 [1]Chen LC.Papandreou G.Kokkinos I,et al.DeepLab:semantic [33]Hatamizadeh A,Hosseini H,Liu Z Y,et al.Deep dilated image segmentation with deep convolutional nets,atrous convolutional nets for the automatic segmentation of retinal convolution,and fully connected CRFs.IEEE Trans Pattern Anal vessels[J/OL].arXiv preprint (2019-7-21)[2021-6-10]. Mach Intell,2018.40(4):834 https://arxiv.org/abs/1905.12120 [19]Chen L C,Szemenyei M,Schroff F,et al.Rethinking atrous [34]Gu Z,Cheng J,Fu H,et al.CE-net:Context encoder network for convolution for semantic image segmentation[J/OL].arYiv 2D medical image segmentation.IEEE Trans Med Imaging,2019, preprint(2017-12-5)[2021-6-10].https:://arxiv.org/abs/1706.05587 38(10):2281 [20]Chen L C.Papandreou G.Papandreou G,et al.Encoder-decoder [35]Mo J,Zhang L.Multi-level deep supervised networks for retinal with atrous separable convolution for semantic image vessel segmentation.Int J Comput Assist Radiol Surg,2017, segmentation /Computer Vision -ECCV 2018.Munich,2018: 12(12):2181 833 [36]Hu K,Zhang ZZ,Niu X R,et al.Retinal vessel segmentation of [21]Song H M,Wang W G,Zhao S Y,et al.Pyramid dilated deeper color fundus images using multiscale convolutional neural network ConvLSTM for video salient object detection /Computer Vision- with an improved cross-entropy loss function.Neurocomputing, ECCV 2018.Munich,2018:744 2018,309:179 [22]Xie S N,Tu Z W.Holistically-nested edge detection /2015 IEEE [37]Yan Z Q,Yang X,Cheng K T.Joint segment-level and pixel-wise International Conference on Computer Vision (ICCV).Santiago, losses for deep learning based retinal vessel segmentation.IEEE 2015:1395 Trans Biomed Eng,2018,65(9):1912 [23]Orlando JI,Blaschko M.Leamning fully-connected CRFs for blood [38]Zhang Z J,Fu HZ,Dai H,et al.ET-net:A generic edge-aTtention vessel segmentation in retinal images Interational Conference guidance network for medical image segmentation /Medical on Medical Image Computing and Computer-Assisted Imtervention Image Computing and Computer Assisted Intervention-MICCAl Boston,2014:634 2019.Shenzhen,.2019:442 [24]Ricci E,Perfetti R.Retinal blood vessel segmentation using line [39]Kang H,Gao Y Q,Guo S,et al.AVNet:A retinal artery/vein operators and support vector classification.IEEE Trans Med classification network with category-attention weighted fusion maging,2007,26(10):1357 Comput Methods Programs Biomed,020,195:105629 [25]Ganin Y,Lempitsky V.N'fields:Neural network nearest neighbor [40]Zhang S H,Fu H Z,Xu Y W,et al.Retinal image segmentation fields for image transforms /Asian Conference on Computer with a structure-texture demixing network /Medical Image Vision.Singapore,2015:536 Computing and Computer Assisted Intervention -MICCAl 2020. [26]Dollar P,Zitnick C L.Structured forests for fast edge detection / Lima,2020:765 2013 IEEE International Conference on Computer Vision.Sydney, [41]Zheng S M,Zhang T Y,Zhuang J W,et al.A two-stream 2013:1841 meticulous processing network for retinal vessel [27]Maninis KK,Pont-Tuset J,Arbelaez P,et al.Deep retinal image segmentation[J/OL].arXiy preprint (2020-1-15)[2021-6-10]. understanding /Medical Image Computing and Computer- https://arxiv.org/abs/2001.05829 Assisted Intervention-MICCAl 2016.Athens,2016:140 [42]Zou B J,Dai YL,He Q.et al.Multi-label classification scheme [28]Simonyan K,Zisserman A.Very deep convolutional networks for based on local regression for retinal vessel segmentation. large-scale image recognition I/Proceedings of the 3th IEEE/ACM Trans Comput Biol Bioinform,2020,PP(99):1 International Conference on Learning Representations.San Diego, [43]Zhang T Y,Suen C Y.A fast parallel algorithm for thinning digital 2015 patterns.Commun ACM,1984,27(3):236 [29]Zhang S H,Fu HZ,Yan Y G,et al.Attention guided network for [44]Hakim L,Yudistira N,Kavitha M,et al.U-net with graph based retinal image segmentation II Medical Image Computing and smoothing regularizer for small vessel segmentation on fundus Computer Assisted Intervention MICCAl 2019.Shenzhen,2019: image l/Proceedings of the 26th International Conference on 797 Neural Information Processing.Sydney,2019:515 [30]Guo C L,Szemenyei M,Yi Y G,et al.SA-UNet:spatial attention [45]Oktay O,Schlemper J,Folgoc LL,et al.Attention U-net:Learning U-net for retinal vessel segmentation [J/OL].arYiv preprint (2020- where to look for the pancreas.2018[J/OL].arXi preprint (2018-

Proceedings of the 31st Conference on neural information processing systems (NIPS 2017). Long Beach, 2017: 5998 Hu J, Shen L, Sun G. Squeeze-and-excitation networks // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 7132 [16] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions //Proceedings of the 4th International Conference on Learning Representations. San Juan, 2016 [17] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Trans Pattern Anal Mach Intell, 2018, 40（4）: 834 [18] Chen L C, Szemenyei M, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation[J/OL]. arXiv preprint (2017-12-5) [2021-6-10].https://arxiv.org/abs/1706.05587 [19] Chen L C, Papandreou G, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation // Computer Vision – ECCV 2018. Munich, 2018: 833 [20] Song H M, Wang W G, Zhao S Y, et al. Pyramid dilated deeper ConvLSTM for video salient object detection // Computer Vision – ECCV 2018. Munich, 2018: 744 [21] Xie S N, Tu Z W. Holistically-nested edge detection // 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, 2015: 1395 [22] Orlando J I, Blaschko M. Learning fully-connected CRFs for blood vessel segmentation in retinal images // International Conference on Medical Image Computing and Computer-Assisted Intervention. Boston, 2014: 634 [23] Ricci E, Perfetti R. Retinal blood vessel segmentation using line operators and support vector classification. IEEE Trans Med Imaging, 2007, 26（10）: 1357 [24] Ganin Y, Lempitsky V. N4 -fields: Neural network nearest neighbor fields for image transforms // Asian Conference on Computer Vision. Singapore, 2015: 536 [25] Dollár P, Zitnick C L. Structured forests for fast edge detection // 2013 IEEE International Conference on Computer Vision. Sydney, 2013: 1841 [26] Maninis K K, Pont-Tuset J, Arbeláez P, et al. Deep retinal image understanding // Medical Image Computing and ComputerAssisted Intervention – MICCAI 2016. Athens, 2016: 140 [27] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition //Proceedings of the 3th International Conference on Learning Representations. San Diego, 2015 [28] Zhang S H, Fu H Z, Yan Y G, et al. Attention guided network for retinal image segmentation // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 797 [29] Guo C L, Szemenyei M, Yi Y G, et al. SA-UNet: spatial attention U-net for retinal vessel segmentation [J/OL]. arXiv preprint (2020- [30] 10-20) [2021-6-10]. https://arxiv.org/abs/2004.03696 Mou L, Zhao Y T, Chen L, et al. CS-net: Channel and spatial attention network for curvilinear structure segmentation // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 721 [31] Jiang Y, Tan N, Peng T T, et al. Retinal vessels segmentation based on dilated multi-scale convolutional neural network. IEEE Access, 2019, 7: 76342 [32] Hatamizadeh A, Hosseini H, Liu Z Y, et al. Deep dilated convolutional nets for the automatic segmentation of retinal vessels[J/OL]. arXiv preprint (2019-7-21) [2021-6-10]. https://arxiv.org/abs/1905.12120 [33] Gu Z, Cheng J, Fu H, et al. CE-net: Context encoder network for 2D medical image segmentation. IEEE Trans Med Imaging, 2019, 38（10）: 2281 [34] Mo J, Zhang L. Multi-level deep supervised networks for retinal vessel segmentation. Int J Comput Assist Radiol Surg, 2017, 12（12）: 2181 [35] Hu K, Zhang Z Z, Niu X R, et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross-entropy loss function. Neurocomputing, 2018, 309: 179 [36] Yan Z Q, Yang X, Cheng K T. Joint segment-level and pixel-wise losses for deep learning based retinal vessel segmentation. IEEE Trans Biomed Eng, 2018, 65（9）: 1912 [37] Zhang Z J, Fu H Z, Dai H, et al. ET-net: A generic edge-aTtention guidance network for medical image segmentation // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Shenzhen, 2019: 442 [38] Kang H, Gao Y Q, Guo S, et al. AVNet: A retinal artery/vein classification network with category-attention weighted fusion. Comput Methods Programs Biomed, 2020, 195: 105629 [39] Zhang S H, Fu H Z, Xu Y W, et al. Retinal image segmentation with a structure-texture demixing network // Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. Lima, 2020: 765 [40] Zheng S M, Zhang T Y, Zhuang J W, et al. A two-stream meticulous processing network for retinal vessel segmentation[J/OL]. arXiv preprint (2020-1-15) [2021-6-10]. https://arxiv.org/abs/2001.05829 [41] Zou B J, Dai Y L, He Q, et al. Multi-label classification scheme based on local regression for retinal vessel segmentation. IEEE/ACM Trans Comput Biol Bioinform, 2020, PP（99）: 1 [42] Zhang T Y, Suen C Y. A fast parallel algorithm for thinning digital patterns. Commun ACM, 1984, 27（3）: 236 [43] Hakim L, Yudistira N, Kavitha M, et al. U-net with graph based smoothing regularizer for small vessel segmentation on fundus image // Proceedings of the 26th International Conference on Neural Information Processing. Sydney, 2019: 515 [44] Oktay O, Schlemper J, Folgoc L L, et al. Attention U-net: Learning where to look for the pancreas. 2018[J/OL]. arXiv preprint (2018- [45] 姜大光等：骨架图引导的级联视网膜血管分割网络 · 1251 ·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录

骨架图引导的级联视网膜血管分割网络