·1100· 智能系统学报 第16卷 效应，接着，使用SeNet进行通道更新，得到特征 图尺寸为38×38比较大，因此在进行P4与Conv43 图P; 的特征融合时需要先对P4进行归一化，接着使用 4)由于特征图Conv53通道数为512，并且 3x3的卷积和SeNet得到特征图Ps; 特征图尺寸与P,大小一致，因此直接对Conv53 6)对P,进行2倍上采样，Conv33特征图尺 和P3进行相加融合，对融合结果同样使用3×3的 寸为75×75，先对P,进行归一化，再与Conv33 卷积和SeNet得到特征图Pa; 特征相加融合，接着使用3×3的卷积和SeNet得 5)对P,进行2倍上采样，由于Conv43特征 到特征图P6。 Conv11 2 Conv10 2 Conv9 2 Conv8 2 目标位 FC7 Conv5 3 置与类别预测层 非极大抑制算法 自底向上融合 ⑨：注意力机制 ):自顶向下的特征融合 原始图像 自顶向下融合 ①：自底向上的特征融合 图1双向特征融合与注意力机制结合的模型 Fig.1 Target model based on the combination of bidirectional feature fusion and an attention mechanism 2.1.2自底向上特征融合 2.1.3双向特征融合模块 图1中自底向上的特征融合分为5个步骤： 文献[18-22]中提出了不同的特征融合的方 1)将自顶向下融合中步骤6)中的P。作为起 法可以增强语义信息的表达能力，本文提出的双 始特征图B,然后，对B1进行2倍降采样，接着对 向特征融合机制首先将深层特征层进行双线性插 降采样后的特征图进行归一化，对Cov43、P,和 值放大与浅层特征层进行特征融合，然后将得到 归一化后的特征图进行相加融合，对融合后的结 的特征通过降采样的方式与深层信息进行融合， 果使用3×3的卷积和SeNet得到特征图B2; 这样可以充分结合深层和浅层信息进行特征提 2)对B2进行2倍降采样，由于Conv43特征 取，进而提升浅层特征网络对目标语义信息的表 图尺寸为38×38，比较大，因此，在B2与Conv5_3、 达能力。双向特征融合过程细节如图2所示，图1 P,融合时，需要先对B2进行L2归一化，接着使用 中的自顶向下的方式进行特征融合如图(a)所示， 3×3的卷积和SeNet得到特征图B; 自底向上的方式进行特征融合如图(b)所示，图 3)由于特征图Conv53通道数为512，并且 中以Conv82和Conv92为例进行特征融合的表 特征图尺寸与B,大小一致，因此直接对B,与 示。如图2所示，首先，将SSD提取到的高层特 FC7、P,进行相加融合，对融合后的结果同样使 征Conv92使用双线性插值的方法与SSD提取 用3×3的卷积和SeNet得到特征图B: 的原始特征Cov82通过自顶向下的方式进行融 4)对B,进行2倍降采样，然后与Conv82、 合得到P;然后将B,通过降采样的方式与P2进 P2进行相加融合，对融合后的结果同样使用 行融合。在进行自底向上的特征融合过程中，为了 3×3的卷积和SeNet得到特征图Bs: 得到表征能力更强的特征，同时融合了S$D提取 5)对B,进行2倍降采样，然后与Conv92 的原始Conv82特征。为了防止出现梯度爆炸问题， P,进行相加融合，对融合后的结果同样使用 在进行双向特征融合中，在自顶向下和自底向上 3x3的卷积和SeNet得到特征图B6o 都加入了BN层，经过ReLU激活函数和SeNet注效应，接着，使用 SeNet 进行通道更新，得到特征 图 P3； 4) 由于特征图 Conv5_3 通道数为 512，并且 特征图尺寸与 P3 大小一致，因此直接对 Conv5_3 和 P3 进行相加融合，对融合结果同样使用 3×3 的 卷积和 SeNet 得到特征图 P4； 5) 对 P4 进行 2 倍上采样，由于 Conv4_3 特征 图尺寸为 38×38 比较大，因此在进行 P4 与 Conv4_3 的特征融合时需要先对 P4 进行归一化，接着使用 3×3 的卷积和 SeNet 得到特征图 P5； 6) 对 P5 进行 2 倍上采样，Conv3_3 特征图尺 寸为 75×75，先对 P4 进行归一化，再与 Conv3_3 特征相加融合，接着使用 3×3 的卷积和 SeNet 得 到特征图 P6。 Conv4_3 Conv5_3 FC7 Conv8_2 Conv9_2 目 标 位 置 与 类 别 预 测 层 P1 P2 P3 P4 P5 P6 B1 B2 B3 B4 B5 B6 非 极 大 抑 制 算 法 原始图像 f S S S S S f f f S F F F F F F S S S S S f f Conv10_2 Conv11_2 自顶向下融合 自底向上融合 : 注意力机制 : 自顶向下的特征融合 : 自底向上的特征融合 Conv3_3 图 1 双向特征融合与注意力机制结合的模型 Fig. 1 Target model based on the combination of bidirectional feature fusion and an attention mechanism 2.1.2 自底向上特征融合 图 1 中自底向上的特征融合分为 5 个步骤： 1) 将自顶向下融合中步骤 6) 中的 P6 作为起 始特征图 B1，然后，对 B1 进行 2 倍降采样，接着对 降采样后的特征图进行归一化，对 Conv4_3、P5 和 归一化后的特征图进行相加融合，对融合后的结 果使用 3×3 的卷积和 SeNet 得到特征图 B2； 2) 对 B2 进行 2 倍降采样，由于 Conv4_3 特征 图尺寸为 38×38，比较大，因此，在 B2 与 Conv5_3、 P4 融合时，需要先对 B2 进行 L2 归一化，接着使用 3×3 的卷积和 SeNet 得到特征图 B3； 3) 由于特征图 Conv5_3 通道数为 512，并且 特征图尺寸与 B3 大小一致，因此直接对 B3 与 FC7、P3 进行相加融合，对融合后的结果同样使 用 3×3 的卷积和 SeNet 得到特征图 B4； 4) 对 B4 进行 2 倍降采样，然后与 Conv8_2、 P2 进行相加融合，对融合后的结果同样使 用 3×3 的卷积和 SeNet 得到特征图 B5； 5) 对 B5 进行 2 倍降采样，然后与 Conv9_2、 P1 进行相加融合，对融合后的结果同样使 用 3×3 的卷积和 SeNet 得到特征图 B6。 2.1.3 双向特征融合模块 文献 [18-22] 中提出了不同的特征融合的方 法可以增强语义信息的表达能力，本文提出的双 向特征融合机制首先将深层特征层进行双线性插 值放大与浅层特征层进行特征融合，然后将得到 的特征通过降采样的方式与深层信息进行融合， 这样可以充分结合深层和浅层信息进行特征提 取，进而提升浅层特征网络对目标语义信息的表 达能力。双向特征融合过程细节如图 2 所示，图 1 中的自顶向下的方式进行特征融合如图 (a) 所示， 自底向上的方式进行特征融合如图 (b) 所示，图 中以 Conv8_2 和 Conv9_2 为例进行特征融合的表 示。如图 2 所示，首先，将 SSD 提取到的高层特 征 Conv9_2 使用双线性插值的方法与 SSD 提取 的原始特征 Conv8_2 通过自顶向下的方式进行融 合得到 P3；然后将 B4 通过降采样的方式与 P2 进 行融合。在进行自底向上的特征融合过程中，为了 得到表征能力更强的特征，同时融合了 SSD 提取 的原始 Conv8_2 特征。为了防止出现梯度爆炸问题， 在进行双向特征融合中，在自顶向下和自底向上 都加入了 BN 层，经过 ReLU 激活函数和 SeNet 注 ·1100· 智 能 系 统 学 报 第 16 卷