工程科学学报，第44卷，第X期 1.3损失函数 IoU(Intersection over Union)就是所谓的交并 Gc(VwiL)= 〉VwL (6) V2πo 比，是目前检测中比较常用的指标，可以反映出预 测检测框与真实检测框的检测效果. 其中，w:(i=1,2,,W)代表权重向量，VwL代表损 YOLO V4目标检测算法回归损失函数采用 失函数对权重向量w:的梯度，μ为当前训练次数 CIoU Loss(Complete-IoU Loss),该回归损失函数将 与总训练次数epochf的比值.在这里v(=, V2元d 目标与anchors之间的距离、重叠率、尺度及惩罚 项都考虑进去，使得目标框回归变得更加稳定，不 。-兮为梯度平滑曲线，选取σ的值为04，该曲线的 图像如图3所示 会出现训练中发散的问题，公式如下： p2(b,b8） 1.00 CIoU=IoU- -av (3) c2 0.95 0.90 = (4) 1-loU+v 0.85 V= π2 arctan (5) 复0.80 0.75 其中，gt为groundtruth的缩写，表示真实框的信 0.70 息，d为真实框的宽度，h为真实框的高度， 0.65 ρ（亿，b)代表了预测框和真实框中心点的欧式距 0.6 离，c表示同时包含预测框和真实框的最小闭包区 0 500 1000 1500 2000 Epoch 域的对角线距离，α为权重函数，v用来度量长宽比 图3梯度平滑曲线 的相似度 Fig.3 Gradient smoothing curve 2算法改进 只需求得梯度矩阵的均值，在每个梯度的列 向量中减掉该均值后再与梯度平滑系数相乘，就 2.1梯度压缩 可以得到最优的权重更新方向.该方法的计算廉 目前目标检测算法的优化方法主要有在激活 价，不涉及除法运算，只需要几行代码就可以实 函数中起作用的BN(Batch normalization)l和在 现.实验表明，采用卷积神经网络模型来训练 权重上操作的WS(Weight standardization)o,除了 Mnist数据集，每个epoch只需多花费0.5s左右的 在这两方面操作外，本文考虑直接在梯度方面进 时间 行操作，来优化训练过程和检测精度 将上述公式写成矩阵形式如下： 目标检测算法中对梯度进行操作的优化算法 1 中，最常用的就是计算梯度的动量.借用物理中动 Gc(VwL)=- -e-Σ(PTwL (7) 量的概念，模拟物体运动时的惯性，在更新时一定 程度上保留之前更新的方向，并根据梯度微调下 P=I-iiT (8) 一步的更新方向.利用动量思想的优化算法主要有 P2=P=P2 (9) SGDM(Stochastic gradient descent with momentum)211 iTPVwL=0 (10) 和Adam(Adaptive moment estimation)2.经过文献 其中，P表示权值空间法向量为e的超平面的投影 参考，Adam相比于SGDM算法具有更高的性能， 矩阵，i=1/VN为N维单位向量，I为N维单位矩阵 它利用梯度的一阶矩估计（即梯度的均值）与二阶 PvwL是在该平面上的投影梯度2)，在超平面上的 矩估计（及梯度的方差）对更新步长进行动态调 投影梯度会压缩权值空间，并且图3所示梯度平 整.为进一步提高算法性能及方便操作者使用本 滑曲线值的范围在0.6~1之间，会进一步缩小投 文方法，提出了一种在Adam优化器上根据训练 影梯度进而压缩权值空间.本文的梯度压缩方法 的epoch自动更新梯度的方法，称为梯度压缩，改 可以简单地在Adam优化算法中实施，带梯度压缩 进后的优化器简称为Adam-GC. 的Adam优化算法的流程如下 梯度压缩的公式如下： Input:Weight vector,w1.3    损失函数 IoU（ Intersection over Union）就是所谓的交并 比，是目前检测中比较常用的指标，可以反映出预 测检测框与真实检测框的检测效果. YOLO v4 目标检测算法回归损失函数采用 CIoU Loss（Complete-IoU Loss），该回归损失函数将 目标与 anchors 之间的距离、重叠率、尺度及惩罚 项都考虑进去，使得目标框回归变得更加稳定，不 会出现训练中发散的问题，公式如下： CIoU = IoU− ρ 2 ( b,b gt) c 2 −αv （3） α = v 1−IoU+v （4） v = 4 π 2 ( arctan d gt h gt −arctan d h ) （5） d gt h gt ρ 2 ( b,b gt) c α ν 其中， gt 为 groundtruth 的缩写，表示真实框的信 息 ， 为 真 实 框 的 宽 度 ， 为 真 实 框 的 高 度 ， 代表了预测框和真实框中心点的欧式距 离， 表示同时包含预测框和真实框的最小闭包区 域的对角线距离， 为权重函数， 用来度量长宽比 的相似度. 2    算法改进 2.1    梯度压缩 目前目标检测算法的优化方法主要有在激活 函数中起作用的 BN（Batch normalization） [19] 和在 权重上操作的 WS（Weight standardization） [20] ，除了 在这两方面操作外，本文考虑直接在梯度方面进 行操作，来优化训练过程和检测精度. 目标检测算法中对梯度进行操作的优化算法 中，最常用的就是计算梯度的动量. 借用物理中动 量的概念，模拟物体运动时的惯性，在更新时一定 程度上保留之前更新的方向，并根据梯度微调下 一步的更新方向. 利用动量思想的优化算法主要有 SGDM(Stochastic gradient descent with momentum)[21] 和 Adam(Adaptive moment estimation)[22] . 经过文献 参考，Adam 相比于 SGDM 算法具有更高的性能， 它利用梯度的一阶矩估计（即梯度的均值）与二阶 矩估计（及梯度的方差）对更新步长进行动态调 整. 为进一步提高算法性能及方便操作者使用本 文方法，提出了一种在 Adam 优化器上根据训练 的 epoch 自动更新梯度的方法，称为梯度压缩，改 进后的优化器简称为 Adam−GC. 梯度压缩的公式如下： φGC(∇wiL) = 1 √ 2πσ e − µ 2 2   ∇wiL− 1 N ∑ N j=1 ∇wi, jL   （6） wi(i = 1,2,...,N) ∇wiL wi µ t epoch φ(µ) = 1 √ 2πσ e − µ 2 2 σ 其中， 代表权重向量， 代表损 失函数对权重向量 的梯度， 为当前训练次数 与总训练次数 的比值. 在这里 为梯度平滑曲线，选取 的值为 0.4，该曲线的 图像如图 3 所示. 1.00 0.95 0.90 0.85 0.80 0.75 0.70 0.65 0.60 0 500 1000 Epoch Value 1500 2000 图 3 梯度平滑曲线 Fig.3 Gradient smoothing curve 只需求得梯度矩阵的均值，在每个梯度的列 向量中减掉该均值后再与梯度平滑系数相乘，就 可以得到最优的权重更新方向. 该方法的计算廉 价，不涉及除法运算，只需要几行代码就可以实 现. 实验表明 ，采用卷积神经网络模型来训练 Mnist 数据集，每个 epoch 只需多花费 0.5 s 左右的 时间. 将上述公式写成矩阵形式如下： φGC(∇wL) = 1 √ 2πσ e − µ 2 2 (P∇wL) （7） P = I− iiT （8） P 2= P =P 2 （9） i T P∇wL = 0 （10） P e i = 1/ √ N N I N P∇wL 其中， 表示权值空间法向量为 的超平面的投影 矩阵， 为 维单位向量， 为 维单位矩阵 是在该平面上的投影梯度[23] ，在超平面上的 投影梯度会压缩权值空间，并且图 3 所示梯度平 滑曲线值的范围在 0.6～1 之间，会进一步缩小投 影梯度进而压缩权值空间. 本文的梯度压缩方法 可以简单地在 Adam 优化算法中实施，带梯度压缩 的 Adam 优化算法的流程如下. w 0 Input: Weight vector, · 4 · 工程科学学报，第 44 卷，第 X 期