·1146- 智能系统学报 第14卷 为了能够清晰地展示本文提出的网络结构， 信息，而且融合了高层特征图与低层特征图之间 只展示用于预测层的特征图，采用不同的颜色表 的细节信息。 示不同的特征层之间的融合，构建跳跃连接金字 预测口 预测1 塔结构，并且提出利用全局感受野模块来提取网 预测2 →预测 络全局特征信息。 (a)单层特征层预测模型 (b)多层特征层预测模型 11跳跃连接金字塔 预测1 如图2所示，(a)(c)为现阶段应用较多的深 预测1 预测2 +预测2 -预侧3 度网络检测结构。图2()为本文提出的跳跃连接 +预测3 +顶测4 金字塔网络结构。图2(a)中只利用深度网络中最 (c)特征金字塔模型 (d)跳跃连接金字塔模型 后一层特征图进行预测，其中YOLO算法就是采 图2不同的结构形式的预测网络 用图2()的结构形式，该网络具有很高的检测速度， Fig.2 Different structure of predicting network 但是检测的准确率较低。图2(b)是对图2(a)算法 跳跃连接的金字塔的细节结构如图3所示。通过 结构的改进，通过在不同的尺度的高层特征上预 选择基础网络中的高层特征图，对每一个高层特 测，有效地弥补图2(a)结构中存在的问题，改善 征图利用大小为3×3通道数为256卷积核进行 了检测结果。图2(c)是一种自顶而下的金字塔结 卷积操作。这样做的目的是将不同特征层的特征 构模型，不仅采用不同的特征层进行预测，而且 图的通道数变成相同的数量，以便进行融合计算。 融合了相邻特征图之间的信息。但是这种结构的 在统一了每一层的通道数之后，采用2×2步长为 网络模型忽略了不同高层特征图与低层特征图之 2的反卷积操作来把相邻特征层的特征图进行上 间的联系。针对上述问题，提出如图2(d所示的 采用，上采样之后不同特征层就变为相同的大 跳跃金字塔结构模型，采用跳跃连接的方式，通 小。利用4×4步长为4的反卷积来上采样不相 过选择不同步长的反卷积进行上采样高层特征 图，并使用逐像素求和的计算方法来融合不相邻 邻的特征图。反卷积计算特征图的大小计算公式为 的特征图之间的信息。 0=-f+2迎1+1 (1) 在深度卷积网络中，网络的最深层的特征图 式中：i示输入特征图的尺寸；f为卷积核的大小； 包含最多的抽象特征信息。因此利用提出跳跃金 p为填充的像素数；s为反卷积的步长。最后对不 字塔结构，来融合不同的高层和低层特征图之间 同特征层不同通道数的特征层，可以用每个像素 的信息，不仅能有效利用不同特征层之间的尺度 对应点的和来作为融合之后的特征图。 层 卷积62 反卷积2×2×256 5×5 BN层 ReLU函数 U函数 z层 反卷积4×4×256 S3X3X256 函数 +⊕Eltw Sum BN层 全连接Fc7 10×10 反卷积2×2×256 ReLU函数 BN层 ReLU函数 函数 83X3X256 ReLU 对应元素求 ReLU 卷积 卷积53 和Eltw Sum /预测层P4 20×20 20×20 图3跳跃连接的金字塔的细节结构 Fig.3 The detailed structure of skip feature pyramid为了能够清晰地展示本文提出的网络结构， 只展示用于预测层的特征图，采用不同的颜色表 示不同的特征层之间的融合，构建跳跃连接金字 塔结构，并且提出利用全局感受野模块来提取网 络全局特征信息。 1.1 跳跃连接金字塔 如图 2 所示，(a)~(c) 为现阶段应用较多的深 度网络检测结构。图 2(d) 为本文提出的跳跃连接 金字塔网络结构。图 2(a) 中只利用深度网络中最 后一层特征图进行预测，其中 YOLO 算法就是采 用图 2(a) 的结构形式，该网络具有很高的检测速度， 但是检测的准确率较低。图 2(b) 是对图 2(a) 算法 结构的改进，通过在不同的尺度的高层特征上预 测，有效地弥补图 2(a) 结构中存在的问题，改善 了检测结果。图 2(c) 是一种自顶而下的金字塔结 构模型，不仅采用不同的特征层进行预测，而且 融合了相邻特征图之间的信息。但是这种结构的 网络模型忽略了不同高层特征图与低层特征图之 间的联系。针对上述问题，提出如图 2(d) 所示的 跳跃金字塔结构模型，采用跳跃连接的方式，通 过选择不同步长的反卷积进行上采样高层特征 图，并使用逐像素求和的计算方法来融合不相邻 的特征图之间的信息。 在深度卷积网络中，网络的最深层的特征图 包含最多的抽象特征信息。因此利用提出跳跃金 字塔结构，来融合不同的高层和低层特征图之间 的信息，不仅能有效利用不同特征层之间的尺度 信息，而且融合了高层特征图与低层特征图之间 的细节信息。 (a) 单层特征层预测模型 预测1 预测1 预测2 预测3 (c) 特征金字塔模型 预测1 预测2 预测3 (b) 多层特征层预测模型 (d) 跳跃连接金字塔模型 预测1 预测2 预测3 预测4 图 2 不同的结构形式的预测网络 Fig. 2 Different structure of predicting network 3×3 2×2 4×4 跳跃连接的金字塔的细节结构如图3所示。通过 选择基础网络中的高层特征图，对每一个高层特 征图利用大小为 通道数为 256 卷积核进行 卷积操作。这样做的目的是将不同特征层的特征 图的通道数变成相同的数量，以便进行融合计算。 在统一了每一层的通道数之后，采用 步长为 2 的反卷积操作来把相邻特征层的特征图进行上 采用，上采样之后不同特征层就变为相同的大 小。利用 步长为 4 的反卷积来上采样不相 邻的特征图。反卷积计算特征图的大小计算公式为 o = [ i− f +2p s ]+1 (1) i f p s 式中： 示输入特征图的尺寸； 为卷积核的大小； 为填充的像素数； 为反卷积的步长。最后对不 同特征层不同通道数的特征层，可以用每个像素 对应点的和来作为融合之后的特征图。 预测层 P4 ReLU函数 卷积3×3×256 ReLU函数 卷积3×3×256 ReLU函数 卷积3×3×256 BN 层BN 层BN 层 ReLU函数ReLU函数ReLU函数 BN 层 ReLU 函数 BN 层 ReLU 函数 BN 层 ReLU 函数 卷积 6_2 全连接 Fc7 卷积 5_3 5×5 10×10 20×20 Eltw Sum 对应元素求 和 Eltw Sum ReLU函数 卷积3×3×256 ReLU函数 20×20 反卷积 2×2×256 反卷积 2×2×256 反卷积 4×4×256 图 3 跳跃连接的金字塔的细节结构 Fig. 3 The detailed structure of skip feature pyramid ·1146· 智 能 系 统 学 报 第 14 卷