第1期 徐立芳，等：基于改进的YOLO3算法的乳腺超声肿瘤识别 ·25· 展，之后采用池化层和几个不同大小的卷积核来做 的融合，特征图的尺寸不会发生改变，最后使用 下采样，接着将下采样后的特征图进行融合，这种 1×1滤波器来降低尺寸，将其尺寸变成整个Down- 融合与ResNet残差网络的融合不一样，其只是通道 sample下采样模块输入模块的一半，如图4所示。 1×1卷积 5×5卷积 步长为1 步长为2 残差 1×1卷积 3×3卷积 融合 1×1卷积 残差 模块 步长为1 步长为2 模块 1×1卷积 2×2最大 步长为1 池化 图4 Downsample下采样模块 Fig.4 Downsample network 3.3残差密集网络Res-DenseNet 冗余，为了消除冗余，提取更加高效的特征，在 DarkNet-.53每次下采样输出特征图后，均会 最后一个模块后加入1×1卷积进行降维，随着网 进入一个Residual的残差模块，3.1节将网络中的 络深度的增加，特征的增多，会造成网络难以训 ResNet替换为SE-Res2Net,3.2节将3×3的下采样 练，因此借鉴残差连接的思想，将残差密集网络 模块替换为Downsample模块，为进一步提高网络 中的所有模块均当作ResNet中的卷积层，将 的特征提取能力，在前文基础上，本节引入残差 Downsample下采样的输出与当前模块的输出进 网络ResNet和密集连接网络DenseNet并将其合 行像素相加，这样不仅实现了内部特征上的融 并为残差密集连接网络Res-DenseNet,为了方便 合，而且还会加快网络的收敛速度，除此之外，就 描述改进后的网络，本节以第5个Residual的残 参数上讲，添加1×1卷积层，对网络总参数量几乎 差模块为例解释这一过程，如图5所示，其由一 没有影响。 个Downsample下采样模块和4个残差网络 显然，整个网络输入特征图尺寸是26×26×512， Res2Net组成，输入特征图尺寸是26×26×512，先 在经过下采样模块后，特征图是13×13×1024，先 经过一个Downsample进行下采样特征图变成 将所有SE-Res2Net模块的输出都两两进行了连 13×13×1024,连续经过4个SE-Res2Net后输出。 接，使得网络中每一层输出都接受它前面所有层 的特征作为输入，则每个SE-Res2Net输出后，经 一下采样网络一Ra-5Ra-Raa网5Raa 过特征拼接，输出特征图大小分别为13× 26×26×51213×13×102413×13×102413×13×102413×13×102413×13×1024 13×1280、13×13×1536、13×13×1792、13×13× 图5原始残差模块网络结构 2048,考虑到最后一个残差网络SE-Res2Net输出 Fig.5 Network structure of original residual module 后，经过特征拼接，特征图维度是经过下采样后 在引入密集连接网络DensetNet和ResNet 特征图维度的2倍，采用一个conv1进行特征降 后，改进后的Res-DenseNet网络如图6所示，残差 维输出13×13×1024的特征图，之后借鉴残差网 密集网络Res-DenseNet在DenseNet网络基础上 络ResNet对应通道像素相加的思想，将第一个 引入ResNet,.以充分利用图像的特征，前面所有 conv3下采样输出的特征图与经过conv1特征降 模块的输出均作为下一个模块的输入，这样越靠 维后的特征图进行对应通道像素的相加，最后输 后的模块，特征数量就会越多，容易造成特征的 出大小为13×13×1024的特征图。 密集连接 残差连接 降维 下采样网络 ISF-Res7 SE-Res2 SE-Res2 SE-Res2 1×1卷积 →气相加)· 26×26×512 13×13×102413×13×128013×13×153613×13×179213×13×204813×13×102413×13×1024 图6Res-DenseNet网络 Fig.6 Res-DenseNet Network展，之后采用池化层和几个不同大小的卷积核来做 下采样，接着将下采样后的特征图进行融合，这种 融合与 ResNet 残差网络的融合不一样，其只是通道 的融合，特征图的尺寸不会发生改变，最后使用 1×1 滤波器来降低尺寸，将其尺寸变成整个 Down￾sample 下采样模块输入模块的一半，如图 4 所示。 残差 模块 1×1卷积 步长为1 1×1卷积 步长为1 1×1卷积 步长为1 5×5卷积 步长为2 3×3卷积 步长为2 2×2最大 池化 融合 1×1卷积 残差 模块 图 4 Downsample 下采样模块 Fig. 4 Downsample network 3.3 残差密集网络 Res-DenseNet DarkNet-53 每次下采样输出特征图后，均会 进入一个 Residual 的残差模块，3.1 节将网络中的 ResNet 替换为 SE-Res2Net，3.2 节将 3×3 的下采样 模块替换为 Downsample 模块，为进一步提高网络 的特征提取能力，在前文基础上，本节引入残差 网络 ResNet 和密集连接网络 DenseNet 并将其合 并为残差密集连接网络 Res-DenseNet，为了方便 描述改进后的网络，本节以第 5 个 Residual 的残 差模块为例解释这一过程，如图 5 所示，其由一 个 Downsampl e 下采样模块 和 4 个残差网 络 Res2Net 组成，输入特征图尺寸是 26×26×512，先 经过一个 Downsample 进行下采样特征图变成 13×13×1024，连续经过 4 个 SE-Res2Net 后输出。 下采样网络 SE-Res2Net SE-Res2Net SE-Res2Net SE-Res2Net 26×26×512 13×13×1 024 13×13×1 024 13×13×1 024 13×13×1 024 13×13×1 024 图 5 原始残差模块网络结构 Fig. 5 Network structure of original residual module 在引入密集连接网络 DensetNet 和 ResNet 后，改进后的 Res-DenseNet 网络如图 6 所示，残差 密集网络 Res-DenseNet 在 DenseNet 网络基础上 引入 ResNet，以充分利用图像的特征，前面所有 模块的输出均作为下一个模块的输入，这样越靠 后的模块，特征数量就会越多，容易造成特征的 冗余，为了消除冗余，提取更加高效的特征，在 最后一个模块后加入 1×1 卷积进行降维，随着网 络深度的增加，特征的增多，会造成网络难以训 练，因此借鉴残差连接的思想，将残差密集网络 中的所有模块均当作 ResNet 中的卷积层，将 Downsample 下采样的输出与当前模块的输出进 行像素相加，这样不仅实现了内部特征上的融 合，而且还会加快网络的收敛速度，除此之外，就 参数上讲，添加 1×1 卷积层，对网络总参数量几乎 没有影响。 显然，整个网络输入特征图尺寸是 26×26×512， 在经过下采样模块后，特征图是 13×13×1 024，先 将所有 SE-Res2Net 模块的输出都两两进行了连 接，使得网络中每一层输出都接受它前面所有层 的特征作为输入，则每个 SE-Res2Net 输出后，经 过特征拼接，输出特征图大小分别 为 13× 13×1 280、13×13×1 536、13×13×1 792、13×13× 2 048，考虑到最后一个残差网络 SE-Res2Net 输出 后，经过特征拼接，特征图维度是经过下采样后 特征图维度的 2 倍，采用一个 conv1 进行特征降 维输出 13×13×1 024 的特征图，之后借鉴残差网 络 ResNet 对应通道像素相加的思想，将第一个 conv3 下采样输出的特征图与经过 conv1 特征降 维后的特征图进行对应通道像素的相加，最后输 出大小为 13×13×1024 的特征图。 降维 密集连接 残差连接 下采样网络 SE-Res2 SE-Res2 SE-Res2 SE-Res2 26×26×512 13×13×1 024 13×13×1 280 13×13×1 536 13×13×1 792 13×13×2 048 1×1卷积 相加 13×13×1 024 13×13×1 024 图 6 Res-DenseNet 网络 Fig. 6 Res-DenseNet Network 第 1 期 徐立芳，等：基于改进的 YOLOv3 算法的乳腺超声肿瘤识别 ·25·