第2期 韩璐，等：多尺度特征融合网络的视网膜OCT图像分类 ·361· 医生通过对视网膜OCT图像的分析对眼底疾病 除冗余特征的同时，获得更细尺度的细节信息。 做出诊断。然而，利用OCT技术对视网膜疾病进 行人工诊断面临以下问题：视网膜黄斑病变患者 1双分支多尺度特征融合网络 逐年增加，医生面临巨大的阅片任务，依靠专业 2014年，牛津大学著名研究组Visual Geo- 医生的诊断已经无法满足大量患者的诊疗需求； metry Group提出VGG网络，斩获该年ImageN. OCT图像为灰度图像，个别病变特征不明显，医 ct竞赛定位任务第一名和Classification Task分类 师诊断时有误诊和漏诊情况发生：个别地区医疗 任务第二名。该工作探索了卷积神经网络的深度 水平较差，导致大量患者在患病初期没有及时发 对图像分类任务性能的影响，在固定网络架构中 现，造成疾病恶化&10。 其他参数的同时，通过增加卷积层来平稳地增加 计算机辅助诊断技术-(computer-aided dia- 网络深度，分类准确率获得显著提升。 gnosis,CAD)是解决这一问题的有效方法。早期 VGG网络由卷积层、最大池化下采样层和全 的CAD技术使用基于手工特征的传统机器学习 连接层组成。其中，卷积层均采用卷积核大小为 分类方法，尽管在视网膜OCT图像的分类领域取 3×3,步距为1，填充为1的卷积操作。VGG16相 得了一些成果，但是存在严重依赖于人工设计特征， 比于AlexNet,采用连续的几个3×3卷积核代替 特征级别低，在网络训练过程中存在计算代价 AlexNet中的较大卷积核。两个3×3卷积的堆叠 高、处理流程复杂等问题。近年来，深度学习迅速 层具有5×5的感受野，3个这样结构堆叠获得的 发展，并在计算机视觉领域表现优异。深度学习使 感受野是7×7。使用小卷积核堆叠代替大卷积核 用卷积神经网络在不同的层次上自动学习从低级 可以整合非线性映射层，使决策函数更加具有判 到高级的图像特征，弥补了传统技术需要手工提 别性；在拥有相同感受野的前提下能够减少网络 取特征这一缺陷，成为解决视网膜OCT图像分类 所需参数；同时增加网络非线性，让网络学习到更 的主流算法。其中具有代表性的有2017年，Karri 复杂、深层的特征。VGG提出的网络深度从11 等提出了一种基于迁移学习的视网膜OCT图 层到19层不等，本文选择VGG16作为基线网络。 像分类方法。该方法通过微调预训练后的Gool- 本文提出了一种基于改进VGG16的视网膜图 geNet网络，减小网络对大量数据的依赖，在训练 像分类网络—双分支多尺度特征融合网络。主 数据有限的情况下实现对DMEs1a、AMD和正常 要改进点如下： 图像的分类，分类精度分别为86%、89%和99%。 1)在VGG16网络中引入针对医学图像的门 2020年，张添福等1提出了一种轻量化0CT图 控注意力机制模块，从而消除医学图像中的大量 像分类网络。使用深度可分离卷积代替普通卷积 冗余，突出病变区域信息抑制图像中的无关区域； 层从而减小网络的参数。同时使用全局平均池化 2)在VGG16网络中使用并行的扩张卷积在 代替全连接层，提高空间鲁棒性，其网络准确率 不减小特征图大小的同时，获得较大感受野，得 可达97%。 到病变的细节信息，并与深度抽象特征融合，提 以上研究对视网膜OCT分类任务做出了突 高分类精度。 出贡献，但是尚存以下两点问题：1)视网膜OCT 1.1门控注意力机制 图像存在大量冗余，在特征提取过程中，显著病 近年来，注意力机制作为一种可以即插即用 变特征容易被忽略，造成有用信息的丢失；2)玻 在网络模型中的模块，在自然图像处理领域取得 璃疣(Drusen)病变位置小且形态模糊，导致Drusen 了良好的效果。其中最具代表性的工作有2017年 这类疾病的分类难度大，目前该类别的准确率尚 HU等9提出的通道注意力机制、2018年Woo等Pm 需提高。 提出的融合了通道注意力以及空间注意力的CBAM 针对以上问题，本文主要做了以下3个方面的 机制以及2020年Wang等2提出的改进通道注 工作：1)设计了一种双通道的多尺度融合网络， 意力机制。这种机制在通道和空间两个维度加权 有效利用包含了丰富语义信息的深层特征以及包 生成注意力图，使网络能够关注重要的通道特征 含纹理信息的浅层特征；2)引入扩张卷积，通过 以及空间上的位置信息。 在网络中加入一系列并行的扩张卷积，实现在不 相比于自然图像，医学图像具有目标区域局 降低特征图分辨率的同时，增大感受野，按不同 部化这一特性。尤其是本文使用的眼部OCT图 比例获得上下文信息；3)引入门控注意力模块，利 像，其病变位置均占整张OCT图像很小的区域。 用深层特征作为选通信号传递给浅层特征，在消 鉴于医学图像这一特性，若将通道和空间注意力医生通过对视网膜 OCT 图像的分析对眼底疾病 做出诊断。然而，利用 OCT 技术对视网膜疾病进 行人工诊断面临以下问题：视网膜黄斑病变患者 逐年增加，医生面临巨大的阅片任务，依靠专业 医生的诊断已经无法满足大量患者的诊疗需求； OCT 图像为灰度图像，个别病变特征不明显，医 师诊断时有误诊和漏诊情况发生；个别地区医疗 水平较差，导致大量患者在患病初期没有及时发 现，造成疾病恶化[8-10]。 计算机辅助诊断技术[11-13] (computer-aided dia￾gnosis,CAD) 是解决这一问题的有效方法。早期 的 CAD 技术使用基于手工特征的传统机器学习 分类方法，尽管在视网膜 OCT 图像的分类领域取 得了一些成果，但是存在严重依赖于人工设计特征， 特征级别低，在网络训练过程中存在计算代价 高、处理流程复杂等问题。近年来，深度学习迅速 发展，并在计算机视觉领域表现优异。深度学习使 用卷积神经网络在不同的层次上自动学习从低级 到高级的图像特征，弥补了传统技术需要手工提 取特征这一缺陷，成为解决视网膜 OCT 图像分类 的主流算法。其中具有代表性的有 2017 年，Karri 等 [14] 提出了一种基于迁移学习的视网膜 OCT 图 像分类方法。该方法通过微调预训练后的 Gool￾geNet 网络，减小网络对大量数据的依赖，在训练 数据有限的情况下实现对 DME[15-16] 、AMD 和正常 图像的分类，分类精度分别为 86%、89% 和 99%。 2020 年，张添福等[17] 提出了一种轻量化 OCT 图 像分类网络。使用深度可分离卷积代替普通卷积 层从而减小网络的参数。同时使用全局平均池化 代替全连接层，提高空间鲁棒性，其网络准确率 可达 97%。 以上研究对视网膜 OCT 分类任务做出了突 出贡献，但是尚存以下两点问题：1) 视网膜 OCT 图像存在大量冗余，在特征提取过程中，显著病 变特征容易被忽略，造成有用信息的丢失；2) 玻 璃疣 (Drusen) 病变位置小且形态模糊，导致 Drusen 这类疾病的分类难度大，目前该类别的准确率尚 需提高。 针对以上问题，本文主要做了以下 3 个方面的 工作：1) 设计了一种双通道的多尺度融合网络， 有效利用包含了丰富语义信息的深层特征以及包 含纹理信息的浅层特征；2) 引入扩张卷积，通过 在网络中加入一系列并行的扩张卷积，实现在不 降低特征图分辨率的同时，增大感受野，按不同 比例获得上下文信息；3) 引入门控注意力模块，利 用深层特征作为选通信号传递给浅层特征，在消 除冗余特征的同时，获得更细尺度的细节信息。 1 双分支多尺度特征融合网络 2014 年，牛津大学著名研究组 Visual Geo￾metry Group 提出 VGG 网络[18] ，斩获该年 ImageN￾et 竞赛定位任务第一名和 Classification Task 分类 任务第二名。该工作探索了卷积神经网络的深度 对图像分类任务性能的影响，在固定网络架构中 其他参数的同时，通过增加卷积层来平稳地增加 网络深度，分类准确率获得显著提升。 VGG 网络由卷积层、最大池化下采样层和全 连接层组成。其中，卷积层均采用卷积核大小为 3×3，步距为 1，填充为 1 的卷积操作。VGG16 相 比于 AlexNet，采用连续的几个 3×3 卷积核代替 AlexNet 中的较大卷积核。两个 3×3 卷积的堆叠 层具有 5×5 的感受野，3 个这样结构堆叠获得的 感受野是 7×7。使用小卷积核堆叠代替大卷积核 可以整合非线性映射层，使决策函数更加具有判 别性；在拥有相同感受野的前提下能够减少网络 所需参数；同时增加网络非线性，让网络学习到更 复杂、深层的特征。VGG 提出的网络深度从 11 层到 19 层不等，本文选择 VGG16 作为基线网络。 本文提出了一种基于改进 VGG16 的视网膜图 像分类网络−双分支多尺度特征融合网络。主 要改进点如下： 1) 在 VGG16 网络中引入针对医学图像的门 控注意力机制模块，从而消除医学图像中的大量 冗余，突出病变区域信息抑制图像中的无关区域； 2) 在 VGG16 网络中使用并行的扩张卷积在 不减小特征图大小的同时，获得较大感受野，得 到病变的细节信息，并与深度抽象特征融合，提 高分类精度。 1.1 门控注意力机制 近年来，注意力机制作为一种可以即插即用 在网络模型中的模块，在自然图像处理领域取得 了良好的效果。其中最具代表性的工作有 2017 年 HU 等 [19] 提出的通道注意力机制、2018 年 Woo 等 [20] 提出的融合了通道注意力以及空间注意力的 CBAM 机制以及 2020 年 Wang 等 [21] 提出的改进通道注 意力机制。这种机制在通道和空间两个维度加权 生成注意力图，使网络能够关注重要的通道特征 以及空间上的位置信息。 相比于自然图像，医学图像具有目标区域局 部化这一特性。尤其是本文使用的眼部 OCT 图 像，其病变位置均占整张 OCT 图像很小的区域。 鉴于医学图像这一特性，若将通道和空间注意力 第 2 期 韩璐，等：多尺度特征融合网络的视网膜 OCT 图像分类 ·361·