姜大光等：骨架图引导的级联视网膜血管分割网络 ·1245 of the proposed method achieved 83.1%,85.8%,and 82.0%on the DRIVE,STARE,and CHASEDBI datasets,respectively.Ablation studies have shown that skeleton map-guided vessel segmentation is more effective,and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network.Moreover,the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS skeleton extraction;retinal vessel segmentation;multitask;cascaded network;graph-based regularization 视网膜血管分割是医学图像处理-的一个 关联特征有效建模和表征的能力，不能对血管形 重要分支，是眼底图像分析的基础，在眼底疾病筛 状拓扑关系很好地表示和利用 查和诊断中发挥着重要的作用.许多类型的眼底 为了使血管脉络能够被更完整和清晰地分割 病变都会导致视网膜血管形状、数量、结构发生 出来，从而辅助医生实现微小病变发现或者准确 改变，例如：高血压性视网膜病变会引起视网膜血 疾病分级诊断，本文从血管形状拓扑关系的表示 管直径、曲折度和分岔角度发生变化：糖尿病性 和利用角度出发，探索多任务卷积神经网络设计， 视网膜病变会带来视网膜静脉的扩张：而年龄相 提出骨架图引导的级联视网膜血管分割网络框 关的黄斑变性最终导致脉络膜毛细血管萎缩和形 架.该框架包含两个级联的沙漏状网络模块，并采 成大量新生血管 用层次化的方式传递特征.方法引入了一个提取 视网膜血管形态结构复杂、狭长且空间跨度 骨架图的辅助任务，并设计了基于图的结构平滑 大，血管间常常会交错重叠.这让视网膜血管的有 正则损失函数，帮助更好地刻画物体的拓扑和几 效表征和特征提取任务变得富有挑战.不仅如此， 何关联特性.不仅如此，方法将骨架图和层次化特 血管末端常分岔出更细微的血管，呈现出较大的 征通过融合机制传递到第二个网络模块，引导整 尺度变化，也使得许多跟早期疾病筛查相关的不 体视网膜血管的分割.本文在DRIVE、STARE和 规律弯折和多角度交错等现象不易被观察到.经 CHASEDB1这3个著名公开的视网膜血管分割数 典机器学习方法)1的分类特征需要手动设计和 据集上验证了提出的网络框架，与该领域近3年 提取，非常依赖研究人员的领域相关知识，特征的 最新的8种方法相比，该框架得到的结果的准确 优劣很大程度影响模型效果.基于特定算子的目 性最高.同时通过消融实验，本文定量分析了提取 标形态检测方法[⑧10往往只针对特定的场景和条 骨架的辅助任务、基于图的结构平滑正则损失函 件，难以进一步提高血管分割的准确性 数以及骨架提取任务和血管分割任务使用不同网 近年来，得益于深度学习技术的发展，基于深 络实现时对分割任务的影响.综上所述，本文的主 度卷积神经网络的视网膜血管分割方法成为一个 要创新点如下：(1)提出了一个多任务级联网络框 研究热点.许多工作采用全卷积神经网络来完成 架.能够将不同的任务级联在一起同时训练，提高 这一任务，例如：Zhang和Chung使用UNet!2实 模型的准确性和泛化性.该框架与选取的主干网 现端到端的视网膜血管分割：Guo等则采用 络无关，具有灵活的适用性：(2)设计了一个骨架图 ResNet!4来更好地提取高维抽象特征.一些研究 提取的辅助任务，提出基于血管标注的弱监督骨 人员观察到血管分割任务中所存在的数据不平衡、 架图提取方法，方法采用伪标注与基于图的结构 细节特征易丢失等问题，从网络结构和训练策略 平滑正则损失函数相结合来准确提取骨架；(3)提 等角度提出改进的方法，通过将注意力机制s6、 出骨架引导的准确血管分割的方法，通过自适应 空洞卷积-20、长短期记忆网络模块2叫和深监督 特征选择机制来有效融合的拓扑结构特征 学习四等技术适配到视网膜血管分割网络中，来 1国内外相关工作 加强网络的特征提取能力.这些研究工作有效地 提升了血管分割性能，但是在医学临床应用中还 长期以来，国内外研究者提出了大量的血管 有许多亟待解决的问题，特别地，细小血管的分割 分割方法.传统的方法包含：概率图模型1、线检 准确性和结构完整性是一个难点，需要进一步提 测器24、Gabor小波变换)和手工特征结合有监督 升和加强.一方面，细小血管在图像中所占的像素 分类器5,25-21的方法.2016年以后，得益于深度学 比例少，在训练中可能得不到有效的关注和充分 习技术的快速发展，涌现出大量基于深度卷积神 的监督：另一方面，卷积神经网络本身缺乏对结构 经网络的视网膜血管分割方法.Maninis等P7采of the proposed method achieved 83.1%, 85.8%, and 82.0% on the DRIVE, STARE, and CHASEDB1 datasets, respectively. Ablation studies have shown that skeleton map-guided vessel segmentation is more effective, and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network. Moreover, the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS    skeleton extraction；retinal vessel segmentation；multitask；cascaded network；graph-based regularization 视网膜血管分割是医学图像处理[1−2] 的一个 重要分支，是眼底图像分析的基础，在眼底疾病筛 查和诊断中发挥着重要的作用. 许多类型的眼底 病变都会导致视网膜血管形状、数量、结构发生 改变，例如：高血压性视网膜病变会引起视网膜血 管直径、曲折度和分岔角度发生变化[3] ；糖尿病性 视网膜病变会带来视网膜静脉的扩张[4] ；而年龄相 关的黄斑变性最终导致脉络膜毛细血管萎缩和形 成大量新生血管. 视网膜血管形态结构复杂、狭长且空间跨度 大，血管间常常会交错重叠. 这让视网膜血管的有 效表征和特征提取任务变得富有挑战. 不仅如此， 血管末端常分岔出更细微的血管，呈现出较大的 尺度变化，也使得许多跟早期疾病筛查相关的不 规律弯折和多角度交错等现象不易被观察到. 经 典机器学习方法[5−7] 的分类特征需要手动设计和 提取，非常依赖研究人员的领域相关知识，特征的 优劣很大程度影响模型效果. 基于特定算子的目 标形态检测方法[8−10] 往往只针对特定的场景和条 件，难以进一步提高血管分割的准确性. 近年来，得益于深度学习技术的发展，基于深 度卷积神经网络的视网膜血管分割方法成为一个 研究热点. 许多工作采用全卷积神经网络来完成 这一任务，例如：Zhang 和 Chung [11] 使用 UNet[12] 实 现端到端的视网膜血管分割 ； Guo 等 [13] 则 采 用 ResNet[14] 来更好地提取高维抽象特征. 一些研究 人员观察到血管分割任务中所存在的数据不平衡、 细节特征易丢失等问题，从网络结构和训练策略 等角度提出改进的方法，通过将注意力机制[15−16]、 空洞卷积[17−20]、长短期记忆网络模块[21] 和深监督 学习[22] 等技术适配到视网膜血管分割网络中，来 加强网络的特征提取能力. 这些研究工作有效地 提升了血管分割性能，但是在医学临床应用中还 有许多亟待解决的问题，特别地，细小血管的分割 准确性和结构完整性是一个难点，需要进一步提 升和加强. 一方面，细小血管在图像中所占的像素 比例少，在训练中可能得不到有效的关注和充分 的监督；另一方面，卷积神经网络本身缺乏对结构 关联特征有效建模和表征的能力，不能对血管形 状拓扑关系很好地表示和利用. 为了使血管脉络能够被更完整和清晰地分割 出来，从而辅助医生实现微小病变发现或者准确 疾病分级诊断，本文从血管形状拓扑关系的表示 和利用角度出发，探索多任务卷积神经网络设计， 提出骨架图引导的级联视网膜血管分割网络框 架. 该框架包含两个级联的沙漏状网络模块，并采 用层次化的方式传递特征. 方法引入了一个提取 骨架图的辅助任务，并设计了基于图的结构平滑 正则损失函数，帮助更好地刻画物体的拓扑和几 何关联特性. 不仅如此，方法将骨架图和层次化特 征通过融合机制传递到第二个网络模块，引导整 体视网膜血管的分割. 本文在 DRIVE、STARE 和 CHASEDB1 这 3 个著名公开的视网膜血管分割数 据集上验证了提出的网络框架，与该领域近 3 年 最新的 8 种方法相比，该框架得到的结果的准确 性最高. 同时通过消融实验，本文定量分析了提取 骨架的辅助任务、基于图的结构平滑正则损失函 数以及骨架提取任务和血管分割任务使用不同网 络实现时对分割任务的影响. 综上所述，本文的主 要创新点如下：（1）提出了一个多任务级联网络框 架. 能够将不同的任务级联在一起同时训练，提高 模型的准确性和泛化性. 该框架与选取的主干网 络无关，具有灵活的适用性；（2）设计了一个骨架图 提取的辅助任务，提出基于血管标注的弱监督骨 架图提取方法，方法采用伪标注与基于图的结构 平滑正则损失函数相结合来准确提取骨架；（3）提 出骨架引导的准确血管分割的方法，通过自适应 特征选择机制来有效融合的拓扑结构特征. 1    国内外相关工作 长期以来，国内外研究者提出了大量的血管 分割方法. 传统的方法包含：概率图模型[23]、线检 测器[24]、Gabor 小波变换[7] 和手工特征结合有监督 分类器[5, 25−26] 的方法. 2016 年以后，得益于深度学 习技术的快速发展，涌现出大量基于深度卷积神 经网络的视网膜血管分割方法. Maninis 等[27] 采 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1245 ·