第1期 陈丽，等：多视角数据融合的特征平衡YOLOv3行人检测研究 ·61 获得的自标注图像数据集，以提高特征点提取的 准确性。增强特征点检测网络如图3所示。 合并 特征点检测 卷积+归一化 +Reu激活 全局池化 1×1卷积 p Relu活 1×1卷积 Sigmoid激活 描述子生成 ↓ (b)FN:融合网格 全局池化 图像 样 1×1卷积 HxW 1 HxWxD 批量归一化 Sigmoid激活 (a)总体结构 (c)AM:注意力模块 图3增强特征点检测网络结构 Fig.3 Enhanced feature point detection network 多层次编码器：为了兼顾实时性与精确性，增 注意力模块(attention model,AM):经过全局 强特征点检测网络被设计成2个分支，分别用来 池化之后，可以简单得到深层全局语义信息，并 处理不同的任务。上边的分支通过非对称的编码 通过1×1卷积操作平衡多层次编码器得到的不同 解码网络实现对原始图像进行深层特征点的提 特征图通道之间的差异。 取。对原始单视图像进行特征描述子的生成，通 2.1.4加权平滑算法 过多通道、低层次的编码器网络（图3的下方分 在实际应用中，自行采集的数据集由于相机 支)，提取原始图像表层的特征描述。 的架设位置和光照条件变化原因，存在2个视角 特征点检测：在特征点检测网铬部分时，经过 点信息因光场变化产生的色差问题，影响后续融 深层、少通道、非对称的编码解码网络得到图像 合效果。因此，在融合时本文采用加权平滑算法 的特征点。 来解决存在的色差问题。加权平滑算法主要思 融合网络(fusion network,FN):由于网络的特 想：用f(x,y表示重叠区域融合后的图像，由2幅 征图并不具有相同的通道和尺寸，描述子生成网 待融合图像f和fR加权平均得到，即：f(x,y)= 络提取到的特征是浅层的，包含大量的位置信 a×f(xy)+(1-a)f(xy),其中a是可调因子。 息，而特征点检测网络经过多层编码器之后得到 一般情况下0<α<1，即在图像交叉区域中， 的是深层的特征点，包含胳膊、人脸等信息。为 沿视角1图像向视角2图像的方向，α由1渐变 了融合不同层级的特征，融合网络先通过Concat- 为0，从而实现交叉区域的平滑融合。为了给 enate操作实现不同层次特征图的简单融合。为 2幅图像建立更大的相关性，使用式(2)进行融合 了平衡不同尺寸的特征，在Concatenate之后使用 处理： 了BatchNorm操作。把相连接的特征经过全局池 (fL(x,y),(x,y)E fL 化、1×1卷积得到一个新的权重。这样做的目的 f(x,y)= a×f(x,y+(1-a)×fR(x,y,(x,y)∈fnfR 是对连接后的特征进行一个新的特征选择和结 fR(x,y),(x,y)∈fR (2) 合。至此，本文得到了W×H×D的描述子检测结 果，其中W是原始图像的宽、H是原始图像的长、 +店则1-as 令= d +店其中d、山分别 D是原始图像的通道。 表示交叉区域中的点到2个不同视角图像交叉区获得的自标注图像数据集，以提高特征点提取的 准确性。增强特征点检测网络如图 3 所示。 特征点检测 描述子生成 AM FN 上 采 样 H×W×D 图像 H×W H×W×1 合并 全局池化 全局池化 1×1 卷积 1×1 卷积 1×1 卷积 批量归一化 Sigmoid 激活 Sigmoid 激活 相乘相乘 (b) FN: 融合网格 (c) AM: 注意力模块 (a) 总体结构 p Relu 激活 卷积+归一化 +Relu 激活 图 3 增强特征点检测网络结构 Fig. 3 Enhanced feature point detection network 多层次编码器：为了兼顾实时性与精确性，增 强特征点检测网络被设计成 2 个分支，分别用来 处理不同的任务。上边的分支通过非对称的编码 解码网络实现对原始图像进行深层特征点的提 取。对原始单视图像进行特征描述子的生成，通 过多通道、低层次的编码器网络 (图 3 的下方分 支)，提取原始图像表层的特征描述。 特征点检测：在特征点检测网络部分时，经过 深层、少通道、非对称的编码解码网络得到图像 的特征点。 融合网络 (fusion network, FN)： 由于网络的特 征图并不具有相同的通道和尺寸，描述子生成网 络提取到的特征是浅层的，包含大量的位置信 息，而特征点检测网络经过多层编码器之后得到 的是深层的特征点，包含胳膊、人脸等信息。为 了融合不同层级的特征，融合网络先通过 Concat￾enate 操作实现不同层次特征图的简单融合。为 了平衡不同尺寸的特征，在 Concatenate 之后使用 了 BatchNorm 操作。把相连接的特征经过全局池 化、1×1 卷积得到一个新的权重。这样做的目的 是对连接后的特征进行一个新的特征选择和结 合。至此，本文得到了 W×H×D 的描述子检测结 果，其中 W 是原始图像的宽、H 是原始图像的长、 D 是原始图像的通道。 注意力模块 (attention model, AM)：经过全局 池化之后，可以简单得到深层全局语义信息，并 通过 1×1 卷积操作平衡多层次编码器得到的不同 特征图通道之间的差异。 2.1.4 加权平滑算法 f (x, y) fL fR f (x, y)= α× fL (x, y)+(1−α)fR (x, y) α 在实际应用中，自行采集的数据集由于相机 的架设位置和光照条件变化原因，存在 2 个视角 点信息因光场变化产生的色差问题，影响后续融 合效果。因此，在融合时本文采用加权平滑算法 来解决存在的色差问题。加权平滑算法主要思 想：用 表示重叠区域融合后的图像，由 2 幅 待融合图像 和 加权平均得到，即： ，其中 是可调因子。 0 < α < 1 α 一般情况下 ，即在图像交叉区域中， 沿视角 1 图像向视角 2 图像的方向， 由 1 渐变 为 0，从而实现交叉区域的平滑融合。为了给 2 幅图像建立更大的相关性，使用式 (2) 进行融合 处理： f(x, y) =        fL(x, y), (x, y) ∈ fL α× fL(x, y)+(1−α)× fR(x, y), (x, y) ∈ fL ∩ fR fR(x, y), (x, y) ∈ fR (2) α= d 2 1 d 2 1 +d 2 2 1−α= d 2 2 d 2 1 +d 2 2 令 ，则 ，其中 d1、d2 分别 表示交叉区域中的点到 2 个不同视角图像交叉区 第 1 期 陈丽，等：多视角数据融合的特征平衡 YOLOv3 行人检测研究 ·61·