赵坤等：弱光照条件下交通标志检测与识别 ·1079· 0.7之间，10%的样本宽高比小于0.6，可见聚类结 物理尺寸较小且大部分样本中最多出现3个交通 果与统计结果存在一定偏差.通过如式(10)所示 标志，前景与背景比例严重失衡，应用One-stage目 的处理，先验锚点框的聚类结果得到修正.如 标检测器时，大部分的边界框不包含目标，这些 图5所示，对比优化前后训练损失值发现，优化聚 无目标边界框的置信度误差比较大，前景的损 类算法后网络的损失值明显低于优化前的损失 失淹没于背景的损失中.因此本文在原有损失函 值，说明优化后的锚点框提高了对交通标志的边 数的基础上进行了优化，主要思路是自适应的 框归回精度和置信度 均衡前景与背景的损失.损失函数包括两大部分， 2.3Y0L0v3损失函数优化 分别为回归损失和分类损失，具体计算公式如下 在交通场景中，相比于行人或车辆，交通标志 所示： Loss= 2m-P+0g-P+(-2+(a- i=0j=0k=0 (11) ∑∑5Cg-C,1+[o5cCa-Cp+∑∑Pa-P,P =0=0k=0 =0=0k=0 式中，S为特征图的宽和高，本文中特征图的大小 的网络，网络结构如图6所示 有三种：52×52,26×26,13×13，B为每个锚点位置先 对于以上这两个网络，本文都采用未经图像 验框的数量；微表示该锚点框是否负责预测目标， 增强的原始样本进行训练.为了使模型适应多种 如果负责，那么E-1,否则为0：表示不负责 尺度的测试图片，训练过程中采用多尺度训练的 预测目标；xgyg、Wghg为真值，x、p、wp、h,为 方式，每10个批次(batch)更改一次图片尺寸，优化 预测值，表示目标的坐标以及宽和高（以像素为单 器采用自适应性矩估计(Adaptive moment estimation, 位)；C和C。分别表示真值置信度和预测置信度； Adam),学习率设置为10，迭代训练1000次.本 P:和P。分别表示分类真值概率和分类预测概率； 文实验平台为：NVIDIA1080 Ti GPU加速运算，11G 0分别表示各个损失部分的权重系数，对于权重 显存，16G内存 的取值本文的设定为：0oora=5,0obl,0nob-0.5, 32图像增强对比实验 这样设置的目的是减小非目标区域的损失，增大 为了验证本文自适应图像增强算法的有效 目标区域的损失；为了进一步避免背景的损失值 性，对三种不同光照条件下含交通标志的图片进 对置信度损失的影响，本文将C。也作为权重的一 行测试，结果如图7至图9所示 部分自适应调整背景框的损失值 图7是整体亮度和对比度都低的图像处理前 后对比，经自适应图像增强后，从像素概率直方图 3实验 看出像素值分布在更广的范围内，图像的对比度 31网络结构、参数设置及训练过程 和亮度明显提高，图像的细节也能凸显出来，这对 本文采用YOLOv3框架作为检测算法的基 于交通标志的检测和识别是有利的 础，分别训练了两个网络，其中一个是标准YOLOv3 图8是局部光照不均的图像处理前后对比，处 网络，将其作为本文方法的对比方法，详细的网络 理前图像的对比度相对较高，但交通标志处在阴 结构和参数细节见文献25]：另外一个是本文构建 影位置，不便于检测与识别.经自适应图像增强 10 后，像素概率直方图中暗区分布减少，整体直方图 Before optimization 103 After optimization 分布更加均匀，图像中光照不足的部分被加强，标 志被凸显出来，且没有出现过处理的现象 图9是亮度和强度均值都相对适中的图像样 本处理前后对比，经自适应图像增强后，从像素值 10 概率直方图和处理后的图像能看出，仅仅只是蓝色 背景区域稍微加深，其余部分均无较大改变，原图像 0 0.51.01.52.02.5 30 Number of iterations/10 质量基本得以保留，符合本文自适应算法的要求. 图5优化前后损失值示意图 通过对以上三种不同光照情况的增强对比分 Fig.5 Loss value before and after optimization 析，本文提出的自适应增强算法能有效提高多种0.7 之间，10% 的样本宽高比小于 0.6，可见聚类结 果与统计结果存在一定偏差. 通过如式（10）所示 的处理 ，先验锚点框的聚类结果得到修正. 如 图 5 所示，对比优化前后训练损失值发现，优化聚 类算法后网络的损失值明显低于优化前的损失 值，说明优化后的锚点框提高了对交通标志的边 框归回精度和置信度. 2.3    YOLOv3 损失函数优化 在交通场景中，相比于行人或车辆，交通标志 物理尺寸较小且大部分样本中最多出现 3 个交通 标志，前景与背景比例严重失衡，应用 One-stage 目 标检测器时，大部分的边界框不包含目标，这些 无目标边界框的置信度误差比较大，前景的损 失淹没于背景的损失中. 因此本文在原有损失函 数的基础上进行了优化，主要思路是自适应的 均衡前景与背景的损失. 损失函数包括两大部分， 分别为回归损失和分类损失，具体计算公式如下 所示： Loss = ∑ S i=0 ∑ S j=0 ∑ B k=0 E obj i jk { ωcoord[ (xgt − xp) 2 +(ygt −yp) 2 +( √ wgt − √ wp) 2 + ( √ hgt − √ hp )2 ]}+ ∑ S i=0 ∑ S j=0 ∑ B k=0 {[ωobjE obj i jk (Cgt −Cp) 2 ]+[ωnoobjE noobj i jk Cp(Cgt −Cp) 2 ]}+ ∑ S i=0 ∑ S j=0 ∑ B k=0 (Pgt − Pp) 2 （11） E obj i jkE obj i jk E noobj i jk 式中，S 为特征图的宽和高，本文中特征图的大小 有三种：52×52，26×26，13×13，B 为每个锚点位置先 验框的数量； 表示该锚点框是否负责预测目标， 如果负责，那么 =1，否则为 0； 表示不负责 预测目标；xgt、ygt、wgt、hgt 为真值，xp、yp、wp、hp 为 预测值，表示目标的坐标以及宽和高（以像素为单 位）；Cgt 和 Cp 分别表示真值置信度和预测置信度； Pgt 和 Pp 分别表示分类真值概率和分类预测概率； ω 分别表示各个损失部分的权重系数，对于权重 的取值本文的设定为：ωcoord=5，ωobj=1，ωnoobj=0.5， 这样设置的目的是减小非目标区域的损失，增大 目标区域的损失；为了进一步避免背景的损失值 对置信度损失的影响，本文将 Cp 也作为权重的一 部分自适应调整背景框的损失值. 3    实验 3.1    网络结构、参数设置及训练过程 本文采用 YOLOv3 框架作为检测算法的基 础，分别训练了两个网络，其中一个是标准 YOLOv3 网络，将其作为本文方法的对比方法，详细的网络 结构和参数细节见文献 [25]；另外一个是本文构建 的网络，网络结构如图 6 所示. 对于以上这两个网络，本文都采用未经图像 增强的原始样本进行训练. 为了使模型适应多种 尺度的测试图片，训练过程中采用多尺度训练的 方式，每 10 个批次（batch）更改一次图片尺寸，优化 器采用自适应性矩估计（Adaptive moment estimation， Adam），学习率设置为 10−5，迭代训练 1000 次. 本 文实验平台为：NVIDIA 1080Ti GPU 加速运算，11 G 显存，16 G 内存. 3.2    图像增强对比实验 为了验证本文自适应图像增强算法的有效 性，对三种不同光照条件下含交通标志的图片进 行测试，结果如图 7 至图 9 所示. 图 7 是整体亮度和对比度都低的图像处理前 后对比，经自适应图像增强后，从像素概率直方图 看出像素值分布在更广的范围内，图像的对比度 和亮度明显提高，图像的细节也能凸显出来，这对 于交通标志的检测和识别是有利的. 图 8 是局部光照不均的图像处理前后对比，处 理前图像的对比度相对较高，但交通标志处在阴 影位置，不便于检测与识别. 经自适应图像增强 后，像素概率直方图中暗区分布减少，整体直方图 分布更加均匀，图像中光照不足的部分被加强，标 志被凸显出来，且没有出现过处理的现象. 图 9 是亮度和强度均值都相对适中的图像样 本处理前后对比，经自适应图像增强后，从像素值 概率直方图和处理后的图像能看出，仅仅只是蓝色 背景区域稍微加深，其余部分均无较大改变，原图像 质量基本得以保留，符合本文自适应算法的要求. 通过对以上三种不同光照情况的增强对比分 析，本文提出的自适应增强算法能有效提高多种 104 Loss 103 102 101 0 0.5 1.0 1.5 2.0 2.5 3.0 Number of iterations/104 Before optimization After optimization 图 5    优化前后损失值示意图 Fig.5    Loss value before and after optimization 赵    坤等： 弱光照条件下交通标志检测与识别 · 1079 ·