姜大光等：骨架图引导的级联视网膜血管分割网络 1247 Vessel skeleton 架化算法)从血管标注中生成骨架的伪标注来作 为监督信息 2.1.1伪标注生成方法 生成伪标注采用一种称为快速并行细化的算 图2血管骨架 法)，它通过迭代的方式，逐步将二值图像中的目 Fig.2 Vessel skeleton 标轮廓去除，仅保留目标中心线像素.第n次迭代 观察发现，单任务血管分割模型对结构特征 后每个像素点的值取决于在第1次迭代后其自 感知不足，提取出来血管存在部分丢失、断裂的现 身的值以及其8邻域内其他像素的值.每轮迭代 象.本文提出的框架包含一个骨架提取的辅助任 包括两步，第一步删除像素8邻域内的东南边界 务，通过训练深度卷积神经网络来准确提取骨架 点和西北角点，第二步删除西北边界点和东南角 信息.由于缺乏骨架的标注数据，因此本文采用骨 点.整个算法的处理流程如图3所示 N Exist south-east Remove south-east boundaryand Exist north-west Begin boundary and north-west north-west boundary and south-east End corner points corner points in 8-neighbor Rerpouny south-east comner points 图3快速并行细化算法流程图 Fig.3 Flowchart of the fast,parallel thinning algorithm 2.1.2基于图的结构平滑正则损失 坐标，y为一维向量，每个单元的值表示区域内网 为了使模型提取的骨架结构更加完整，在训 络对像素的预测值.骨架提取任务的训练损失函 练骨架提取网络时，引入了一个基于图的结构平 数为二元交叉嫡损失函数加正则项： 滑正则项作为损失函数该损失函数使模型输 Ls=Loce+yLreg (4) 出的类内预测概率的分布更加均匀，在阈值二值 式中，y为权重系数 化时有利于保留完整的血管，减少分割图中背景 2.2骨架图引导的视网膜血管分割 噪声和血管断裂的现象.设血管为前景类，非血管 本文将来自骨架提取网络中包含结构信息多 为背景类，在一个局部区域中，标注中正类像素的 尺度特征通过本文设计的特征融合机制与视网膜 集合为G,负类像素的集合为GB,网络把像素预测 血管分割网络中的特征以适当的权重进行像素级 为正类的概率为y.前景和背景的损失项表示为： 融合，加强特征层的结构信息响应.融合后的特征 L年=∑0年-y2 (1) 作为血管分割网络中的编码特征分别以采样和跳 (FkF)EGF 跃连接的方式前向传播 LB=∑GB-a2 (2) 受注意力门控啊的启发，本文设计了自适应 (jB.kB)EGB 特征融合模块(SAFF).注意力门控（图4(a)的思 本文通过构建图来简化计算，在类内像素间构 路是利用深层特征包含的关键语义信息过滤浅层 建权值为1的边，得到邻接矩阵AF、AB和度矩阵 特征包含的冗余信息和噪声，输出表现为浅层特 D、DB.基于图的正则损失函数Lree可以表示为： 征的线性映射：自适应特征融合模块（图4(b))则 Lreg =LF+LB 是对血管特征进行结构信息补充，输出为两个特 =∑0-%P+∑0%-尸 征的仿射组合，具体地，自适应特征融合模块的 (F,年)EGr (B.KB)EGB 输入分别为骨架提取网络的解码层特征∈ =yT(DF-AF)y'+yT(DB-AB)y' RCxHxW和血管分割网络中相同尺度的编码层特征 (3) fves∈RCxHxW.特征融合模块会计算出值域为 式中，，k)和(B,B)分别表示前景和背景的像素 [0,1]的融合系数矩阵a∈[0,1]CxHxW,其上每个单元观察发现，单任务血管分割模型对结构特征 感知不足，提取出来血管存在部分丢失、断裂的现 象. 本文提出的框架包含一个骨架提取的辅助任 务，通过训练深度卷积神经网络来准确提取骨架 信息. 由于缺乏骨架的标注数据，因此本文采用骨 架化算法[43] 从血管标注中生成骨架的伪标注来作 为监督信息. 2.1.1    伪标注生成方法 生成伪标注采用一种称为快速并行细化的算 法[43] ，它通过迭代的方式，逐步将二值图像中的目 标轮廓去除，仅保留目标中心线像素. 第 n 次迭代 后每个像素点的值取决于在第 n−1 次迭代后其自 身的值以及其 8 邻域内其他像素的值. 每轮迭代 包括两步，第一步删除像素 8 邻域内的东南边界 点和西北角点，第二步删除西北边界点和东南角 点. 整个算法的处理流程如图 3 所示. Remove north-west boundary and south-east corner points Begin End Exist south-east boundary and north-west corner points in 8-neighbor? Remove south-east boundaryand north-west corner points Exist north-west boundary and south-east corner points in 8-neighbor? N Y Y N 图 3    快速并行细化算法流程图 Fig.3    Flowchart of the fast, parallel thinning algorithm 2.1.2    基于图的结构平滑正则损失 GF GB i yi 为了使模型提取的骨架结构更加完整，在训 练骨架提取网络时，引入了一个基于图的结构平 滑正则项作为损失函数[44] . 该损失函数使模型输 出的类内预测概率的分布更加均匀，在阈值二值 化时有利于保留完整的血管，减少分割图中背景 噪声和血管断裂的现象. 设血管为前景类，非血管 为背景类，在一个局部区域中，标注中正类像素的 集合为 , 负类像素的集合为 , 网络把像素 预测 为正类的概率为 . 前景和背景的损失项表示为: LF = ∑ (jF,kF)∈GF (y jF −ykF ) 2 （1） LB = ∑ (jB,kB)∈GB (yjB −ykB ) 2 （2） AF AB DF DB Lreg 本文通过构建图来简化计算，在类内像素间构 建权值为 1 的边，得到邻接矩阵 、 和度矩阵 、 . 基于图的正则损失函数 可以表示为： Lreg = LF + LB = ∑ (jF,kF)∈GF (yjF −ykF ) 2 + ∑ (jB,kB)∈GB (yjB −ykB ) 2 = y ′T (DF − AF)y ′ + y ′T (DB − AB)y ′ （3） 式中， (jF, kF) 和 (jB, kB) 分别表示前景和背景的像素 y 坐标， ′为一维向量，每个单元的值表示区域内网 络对像素的预测值. 骨架提取任务的训练损失函 数为二元交叉熵损失函数加正则项: Ls = Lbce +γ · Lreg （4） 式中， γ 为权重系数. 2.2    骨架图引导的视网膜血管分割 本文将来自骨架提取网络中包含结构信息多 尺度特征通过本文设计的特征融合机制与视网膜 血管分割网络中的特征以适当的权重进行像素级 融合，加强特征层的结构信息响应. 融合后的特征 作为血管分割网络中的编码特征分别以采样和跳 跃连接的方式前向传播. fs ∈ R C×H×W fves ∈ R C×H×W [0,1] α ∈ [0,1]C×H×W 受注意力门控[45] 的启发，本文设计了自适应 特征融合模块 (SAFF). 注意力门控（图 4（a））的思 路是利用深层特征包含的关键语义信息过滤浅层 特征包含的冗余信息和噪声，输出表现为浅层特 征的线性映射；自适应特征融合模块（图 4（b））则 是对血管特征进行结构信息补充，输出为两个特 征的仿射组合. 具体地，自适应特征融合模块的 输 入 分 别 为 骨 架 提 取 网 络 的 解 码 层 特 征 和血管分割网络中相同尺度的编码层特征 . 特征融合模块会计算出值域为 的融合系数矩阵 ，其上每个单元 Vessel skeleton 图 2    血管骨架 Fig.2    Vessel skeleton 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1247 ·