第1期 徐立芳，等：基于改进的YOLOv3算法的乳腺超声肿瘤识别 ·23· 繁琐，极大地增加了专业医生标注的负担，因此 其中Darknet-53层由1个卷积块DBL和5个 并不适合大规模的应用。 残差块Res.(n=1,2,4,8)组成，DBL是卷积(conv)、 2019年5月Shin等u在IEEE Transac-.tions 批规范化(BN)和激活函数(leaky relu)的集合，这 on Medical Imaging首次提出采用基于深度学习中 也是YOLOv3中的最小组件，Resn中的n表示残 的目标检测算法来同时实现乳腺超声肿瘤的定位 差网络Res的个数，而Res是2个DBL加上短连 和分类，其采用Faster R-CNN算法并借助合作医 接(shortcut)组成，经过Darknet-53网络特征提取 院所提供的数据集对模型进行训练和测试，但由 后，输出大小为13×13×1024特征图，经过上采样 于Faster R-CNN算法检测速率和检测精度较低， 与浅层特征图拼接（见图1中的concat),输出3个 无法直接应用到实际中，因此本文仍沿着这一思 尺度的特征图用于YOLO层的检测结果的预测， 路，首先使用检测速率和精度均较高的YOLOv3 也就是每个box负责对3个Anchor box进行回 算法进行肿瘤识别，然后针对乳腺超声肿瘤识别 归，其预测结果包括目标的中心位置x和y、宽高 中的相关问题对算法进行改进。 w和h、置信度以及类别，在YOLOv1版本中，x、 2传统YOLOv23算法 八、w、h是直接预测物体实际值，预测值的微小变 化都会被放大到整个图像的范围，导致坐标波动 YOLO3算法将目标检测问题转化为回归问题， 较大，预测不准确，YOLOv3采用改进后的算法 合并分类和定位任务到一个步骤，直接预测物体的 求解预测值，之后通过对置信度设定阈值过滤掉 位置及类别，其包含了新特征提取网络Darknet-53 低分的预测框，然后对剩下的预测框执行非极大 以及3种尺度的YOLO层，分别用于特征提取和 值抑制算法(non-maximum suppression,NMS)处 与多尺度预测，网络结构如图1所示。 理，得到网络最终的预测结果。 Darknet-53 1卷积块×5 YOLO 卷积块resres,ress 卷积块 卷积块卷积层 13×13×256 416×416×3 卷积块上采样 卷积块× 拼接 积块 橙积块卷积层 26×26×256 卷积块上采样 卷积块×5 积块-卷积层批微活函数 拼接 卷积块 卷积块卷积层 52×52×256 「残差网络单元 卷积块卷积块 相加 Res 补零爸积典 Res Res 残差网络单元×n 图1 YOLOv.3网络结构 Fig.1 YOLOv3 network structure 3改进的YOLOv3算法 大每个网络层的感受野，提取更加有效的特征，充 分利用单层内的特征，考虑通过改进ResNet网络 尽管YOLOV3在目标识别算法中表现优异， 多样性角度来改进网络结构，提出将SE(sequeze 但乳腺超声肿瘤图像相对其他图像而言，边界更 加模糊、噪声更大、对比度更低，导致特征更难提 and excitation)模块和Res2Net2种网络进行融合 取，更容易出现错误识别和遗漏目标的问题，本 组成SE-Res2Net以改进原始的ResNet结构。 节针对乳腺超声图像特征难提取的问题，从3个 SE模块是2017年由胡杰提出的，SE模块 角度对YOLOv:3的特征提取网络DarkNet-.53进行 则是从卷积的通道特征角度通过局部的感受野 改进并进行实验验证，以提高网络图像特征的提 将深度信息和空间信息进行融合，其结构如图2 取能力。 所示。SE模块可分为Squeeze和Excitation2个部 3.1残差模块设计 分，其中X为输入，F。为卷积操作，U为卷积输出， YOLOv3中的Residual残差模块结构在特征 其特征图大小为W×H×C,其首先将卷积后的特 提取过程中参考了ResNet结构，ResNet克服了梯 征图U送到Squeeze中，对其沿着通道方向采用 度消失问题，增强了特征表达力，本节中，为了扩 一个全局平均池化操作对特征图进行压缩，将整繁琐，极大地增加了专业医生标注的负担，因此 并不适合大规模的应用。 2019 年 5 月 Shin 等 [19] 在 IEEE Transac-tions on Medical Imaging 首次提出采用基于深度学习中 的目标检测算法来同时实现乳腺超声肿瘤的定位 和分类，其采用 Faster R-CNN 算法并借助合作医 院所提供的数据集对模型进行训练和测试，但由 于 Faster R-CNN 算法检测速率和检测精度较低， 无法直接应用到实际中，因此本文仍沿着这一思 路，首先使用检测速率和精度均较高的 YOLOv3 算法进行肿瘤识别，然后针对乳腺超声肿瘤识别 中的相关问题对算法进行改进。 2 传统 YOLOv3 算法 YOLOv3 算法将目标检测问题转化为回归问题， 合并分类和定位任务到一个步骤，直接预测物体的 位置及类别，其包含了新特征提取网络 Darknet-53 以及 3 种尺度的 YOLO 层，分别用于特征提取和 与多尺度预测，网络结构如图 1 所示[20]。 其中 Darknet-53 层由 1 个卷积块 DBL 和 5 个 残差块 Resn (n=1,2,4,8) 组成，DBL 是卷积 (conv)、 批规范化 (BN) 和激活函数 (leaky relu) 的集合，这 也是 YOLOv3 中的最小组件，Resn 中的 n 表示残 差网络 Res 的个数，而 Res 是 2 个 DBL 加上短连 接 (shortcut) 组成，经过 Darknet-53 网络特征提取 后，输出大小为 13×13×1 024 特征图，经过上采样 与浅层特征图拼接 (见图 1 中的 concat)，输出 3 个 尺度的特征图用于 YOLO 层的检测结果的预测， 也就是每个 box 负责对 3 个 Anchor box 进行回 归，其预测结果包括目标的中心位置 x 和 y、宽高 w 和 h、置信度以及类别，在 YOLOv1 版本中， x、 y、w、h 是直接预测物体实际值，预测值的微小变 化都会被放大到整个图像的范围， 导致坐标波动 较大， 预测不准确，YOLOv3 采用改进后的算法 求解预测值，之后通过对置信度设定阈值过滤掉 低分的预测框，然后对剩下的预测框执行非极大 值抑制算法（non-maximum suppression, NMS）处 理，得到网络最终的预测结果。 Darknet-53 416×416×3 13×13×256 y1 26×26×256 y2 52×52×256 y3 卷积块×5 YOLO 卷积块×5 卷积块×5 Resn Res Res 卷积块 卷积块 卷积块 卷积块 卷积块 卷积块 卷积层 批归 一化 激活函数 卷积块 相加 卷积块 残差网络单元×n 补零 卷积块 卷积块 卷积块 卷积块卷积层 卷积层 上采样 上采样 拼接 拼接 res1 res2 res8 res8 res4 卷积块卷积层 残差网络单元 图 1 YOLOv3 网络结构 Fig. 1 YOLOv3 network structure 3 改进的 YOLOv3 算法 尽管 YOLOV3 在目标识别算法中表现优异， 但乳腺超声肿瘤图像相对其他图像而言，边界更 加模糊、噪声更大、对比度更低，导致特征更难提 取，更容易出现错误识别和遗漏目标的问题，本 节针对乳腺超声图像特征难提取的问题，从 3 个 角度对 YOLOv3 的特征提取网络 DarkNet-53 进行 改进并进行实验验证，以提高网络图像特征的提 取能力。 3.1 残差模块设计 YOLOv3 中的 Residual 残差模块结构在特征 提取过程中参考了 ResNet 结构，ResNet 克服了梯 度消失问题，增强了特征表达力，本节中，为了扩 大每个网络层的感受野，提取更加有效的特征，充 分利用单层内的特征，考虑通过改进 ResNet 网络 多样性角度来改进网络结构，提出将 SE (sequeze and excitation) 模块和 Res2Net 2 种网络进行融合 组成 SE-Res2Net 以改进原始的 ResNet 结构。 X Ftr U W × H ×C U SE 模块是 2017 年由胡杰[21] 提出的，SE 模块 则是从卷积的通道特征角度通过局部的感受野 将深度信息和空间信息进行融合，其结构如图 2 所示。SE 模块可分为 Squeeze 和 Excitation 2 个部 分，其中 为输入， 为卷积操作， 为卷积输出， 其特征图大小为 ，其首先将卷积后的特 征图 送到 Squeeze 中，对其沿着通道方向采用 一个全局平均池化操作对特征图进行压缩，将整 第 1 期 徐立芳，等：基于改进的 YOLOv3 算法的乳腺超声肿瘤识别 ·23·