·1246 工程科学学报，第43卷，第9期 用VGG网络P1提取特征，并将不同层次特征相融 导致整个任务性能的降低 合作为分类特征，完成逐像素分类.Zhang等2 2多任务级联视网膜血管分割网络 Guo等30、Mou等B创分别在他们的工作中使用 了UNet,并加入了空间和通道注意力机制，使网络 本文提出的骨架图引导的多任务级联视网膜 能够更好地关注到有效目标区域.Jiang等B、 分割框架如图1所示，该框架由骨架提取辅助任 Hatamizadeh等3)、Gu等B在全卷积网络中使用了 务、特征级联模块和血管分割主任务3部分组成 空洞卷积金字塔，能够提取不同尺度的目标特征， 骨架提取辅助任务和血管分割主任务分别由两个 丰富了特征层的上下文信息.Zhang和Chung山、 编码-解码结构的沙漏型网络实现.骨架提取网 Mo和Zhang Bs使用了深监督的训练方式，对网络 络能够对血管的中心线逐像素标记，输出血管骨 不同深度的隐层特征施加监督信号，有利于梯度 架图：血管分割网络将眼底图像划分为血管区域 在网络深层传递，使网络能够更有效地提取深层 和非血管区域.两个网络之间采用多个自适应特 特征 征融合模块连接，模块在训练中学习到如何将 视网膜眼底图像分割比普通视觉图像分割难 骨架提取网络挖掘到的多层次结构信息和分割网 度更大，主要表现在：眼底照样本少、尺度变化 络的血管特征进行融合，增强分割血管的结构完 大、内容细节丰富和结构信息敏感.一些方法采 整性 用特殊的损失函数设计来更好地提取特征.这类 Binary cross entropy 方法的基本思路是对占比少且难学习的像素施加 Graph-based regularization Binary cross entropy 更大的损失权重，例如：细血管或血管边缘像素， 使网络在训练中能够更有效地挖掘这些样本的特 征.Hu等通过对交叉嫡损失函数设置权重来平 衡前景和背景、粗与细血管间的训练损失.Yan 等B7结合血管的长度和管壁直径设计损失函数， 加大对细血管的训练权重，这些精心设计的损失 函数能够有效提升血管分割的精度，但对于不同 的数据分布，需要对此多次手工调整参数，不具备 很好的适用性 Skeleton extraction Feature cascaded Retinal vessel segmentation 为了更好地提取细血管和结构信息，另一些 SAFF Self-adaptive feature fusion block 方法则采用多任务网络设计，即：设置一个或者多 图1骨架图引导的视网膜血管分割网络框架 个相关子任务来协助更好地完成血管分割.例如 Fig.I Skeleton map-guided retinal vessel segmentation framework 使用一个边缘分割的子任务！或使用一个血管连 该框架中的两个网络的主干结构是一致的， 接点提取的子任务也有研究人员尝试将血管 但整个框架与主干网络的选择无关，可根据具体 分割的任务进行分解.Zhang等o就将血管特征 分割任务灵活设置.在本文中，主干网络选择使 提取分解为血管结构特征提取和纹理特征提取， 用ResNet3.4.ResNet3.4具有4个编码层，深层编 并设置两个子任务，使用浅层网络提取低层的纹 码特征对应着更大的感受野，具有更大范围的结 理特征，使用深层网络提取高层的结构特征 构信息，浅层编码特征则蕴含着较为精细的局部 Zheng等对血管进行细粒度的分类，分为细血 结构信息，每个编码层的空间分辨率均为上层编 管、血管边缘和粗血管三个部分，使用多任务网络 码层的14，网络末端的全连接层被替换为若干个 对这些子类进行分类.Zou等2根据位置分布将 转置卷积层和上采样层，用于恢复空间分辨率，构 血管分成五个部分分别进行处理，采用局部回归 成了解码路径.编码层的特征通过跳跃连接传递 的技术促使在分割结果中保留更多的细血管.采 至具有相同空间分辨率的解码层，弥补在下采样 用了由粗到细的串行多任务分割学习框架，粗分 中丢失的空间信息 割网络的输出结果连接到细分割网络的输入，进 2.1基于伪标注的骨架图提取 行进一步优化.遗憾的是，上述这些方法难以有效 骨架，也称为“中心线”，是一种基于结构的目 利用子任务网络之间的多层次特征的相关性，缺 标描述符，能够对血管这类拓扑结构清晰和有效 乏任务间的协同机制，造成的特征层信息冗余会 地表示（如图2）.用 VGG 网络[28] 提取特征，并将不同层次特征相融 合作为分类特征，完成逐像素分类. Zhang 等[29]、 Guo 等[13,30]、Mou 等[31] 分别在他们的工作中使用 了 UNet，并加入了空间和通道注意力机制，使网络 能够更好地关注到有效目标区域 . Jiang 等 [32]、 Hatamizadeh 等[33]、Gu 等[34] 在全卷积网络中使用了 空洞卷积金字塔，能够提取不同尺度的目标特征， 丰富了特征层的上下文信息. Zhang 和 Chung [11]、 Mo 和 Zhang [35] 使用了深监督的训练方式，对网络 不同深度的隐层特征施加监督信号，有利于梯度 在网络深层传递，使网络能够更有效地提取深层 特征. 视网膜眼底图像分割比普通视觉图像分割难 度更大，主要表现在：眼底照样本少、尺度变化 大、内容细节丰富和结构信息敏感. 一些方法采 用特殊的损失函数设计来更好地提取特征. 这类 方法的基本思路是对占比少且难学习的像素施加 更大的损失权重，例如：细血管或血管边缘像素， 使网络在训练中能够更有效地挖掘这些样本的特 征. Hu 等[36] 通过对交叉熵损失函数设置权重来平 衡前景和背景、粗与细血管间的训练损失. Yan 等[37] 结合血管的长度和管壁直径设计损失函数， 加大对细血管的训练权重. 这些精心设计的损失 函数能够有效提升血管分割的精度，但对于不同 的数据分布，需要对此多次手工调整参数，不具备 很好的适用性. 为了更好地提取细血管和结构信息，另一些 方法则采用多任务网络设计，即：设置一个或者多 个相关子任务来协助更好地完成血管分割. 例如： 使用一个边缘分割的子任务[38] 或使用一个血管连 接点提取的子任务[39] . 也有研究人员尝试将血管 分割的任务进行分解. Zhang 等[40] 就将血管特征 提取分解为血管结构特征提取和纹理特征提取， 并设置两个子任务，使用浅层网络提取低层的纹 理特征 ，使用深层网络提取高层的结构特征 . Zheng 等 [41] 对血管进行细粒度的分类，分为细血 管、血管边缘和粗血管三个部分，使用多任务网络 对这些子类进行分类. Zou 等 [42] 根据位置分布将 血管分成五个部分分别进行处理，采用局部回归 的技术促使在分割结果中保留更多的细血管. 采 用了由粗到细的串行多任务分割学习框架，粗分 割网络的输出结果连接到细分割网络的输入，进 行进一步优化. 遗憾的是，上述这些方法难以有效 利用子任务网络之间的多层次特征的相关性，缺 乏任务间的协同机制，造成的特征层信息冗余会 导致整个任务性能的降低. 2    多任务级联视网膜血管分割网络 本文提出的骨架图引导的多任务级联视网膜 分割框架如图 1 所示，该框架由骨架提取辅助任 务、特征级联模块和血管分割主任务 3 部分组成. 骨架提取辅助任务和血管分割主任务分别由两个 编码‒解码结构的沙漏型网络实现. 骨架提取网 络能够对血管的中心线逐像素标记，输出血管骨 架图；血管分割网络将眼底图像划分为血管区域 和非血管区域. 两个网络之间采用多个自适应特 征融合模块连接，模块在训练中学习到如何将 骨架提取网络挖掘到的多层次结构信息和分割网 络的血管特征进行融合，增强分割血管的结构完 整性. Binary cross entropy Skeleton extraction Feature cascaded Retinal vessel segmentation SAFF Self-adaptive feature fusion block Binary cross entropy + Graph-based regularization SAFF SAFF SAFF 图 1    骨架图引导的视网膜血管分割网络框架 Fig.1    Skeleton map-guided retinal vessel segmentation framework 该框架中的两个网络的主干结构是一致的， 但整个框架与主干网络的选择无关，可根据具体 分割任务灵活设置. 在本文中，主干网络选择使 用 ResNet34[14] . ResNet34 具有 4 个编码层，深层编 码特征对应着更大的感受野，具有更大范围的结 构信息，浅层编码特征则蕴含着较为精细的局部 结构信息，每个编码层的空间分辨率均为上层编 码层的 1/4. 网络末端的全连接层被替换为若干个 转置卷积层和上采样层，用于恢复空间分辨率，构 成了解码路径. 编码层的特征通过跳跃连接传递 至具有相同空间分辨率的解码层，弥补在下采样 中丢失的空间信息. 2.1    基于伪标注的骨架图提取 骨架，也称为“中心线”，是一种基于结构的目 标描述符，能够对血管这类拓扑结构清晰和有效 地表示（如图 2）. · 1246 · 工程科学学报，第 43 卷，第 9 期