弱光照条件下交通标志检测与识别

工程科学学报 Chinese Journal of Engineering 弱光照条件下交通标志检测与识别 赵坤刘立孟宇孙若灿 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun.LIU Li,MENG Yu,SUN Ruo-can 引用本文： 赵坤，刘立，孟宇，孙若灿.弱光照条件下交通标志检测与识别].工程科学学报，2020,42(8)：1074-1084.doi: 10.13374j.issn2095-9389.2019.08.14.003 ZHAO Kun,LIU Li,MENG Yu,SUN Ruo-can.Traffic signs detection and recognition under low-illumination conditions[J].Chinese Journal of Engineering,.2020.42(8:1074-1084.doi:10.13374j.issn2095-9389.2019.08.14.003 在线阅读View online::https://doi..org10.13374/.issn2095-9389.2019.08.14.003 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6：817 https::/doi.org10.13374.issn2095-9389.2019.06.014 基于YOL0v3的无人机识别与定位追踪 Drone identification and location tracking based on YOLOv3 工程科学学报.2020.42(4)：463 https:/1doi.org10.13374.issn2095-9389.2019.09.10.002 基于TATLNet的输电场景威胁检测 Threat detection in transmission scenario based on TATLNet 工程科学学报.2020,42(4：509 https::/1doi.0rg/10.13374.issn2095-9389.2019.09.15.004 复杂环境下一种基于Siam Mask的时空预测移动目标跟踪算法 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask 工程科学学报.2020,42(3：381 https:1doi.org10.13374.issn2095-9389.2019.06.06.005 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019.4110：1229 https:doi.org10.13374.issn2095-9389.2019.03.27.002 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报.2020.42(5)：557 https:1doi.org/10.13374.issn2095-9389.2019.03.21.003

弱光照条件下交通标志检测与识别 赵坤 刘立 孟宇 孙若灿 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun, LIU Li, MENG Yu, SUN Ruo-can 引用本文: 赵坤, 刘立, 孟宇, 孙若灿. 弱光照条件下交通标志检测与识别[J]. 工程科学学报, 2020, 42(8): 1074-1084. doi: 10.13374/j.issn2095-9389.2019.08.14.003 ZHAO Kun, LIU Li, MENG Yu, SUN Ruo-can. Traffic signs detection and recognition under low-illumination conditions[J]. Chinese Journal of Engineering, 2020, 42(8): 1074-1084. doi: 10.13374/j.issn2095-9389.2019.08.14.003 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于YOLOv3的无人机识别与定位追踪 Drone identification and location tracking based on YOLOv3 工程科学学报. 2020, 42(4): 463 https://doi.org/10.13374/j.issn2095-9389.2019.09.10.002 基于TATLNet的输电场景威胁检测 Threat detection in transmission scenario based on TATLNet 工程科学学报. 2020, 42(4): 509 https://doi.org/10.13374/j.issn2095-9389.2019.09.15.004 复杂环境下一种基于SiamMask的时空预测移动目标跟踪算法 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask 工程科学学报. 2020, 42(3): 381 https://doi.org/10.13374/j.issn2095-9389.2019.06.06.005 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报. 2020, 42(5): 557 https://doi.org/10.13374/j.issn2095-9389.2019.03.21.003

工程科学学报.第42卷.第8期：1074-1084.2020年8月 Chinese Journal of Engineering,Vol.42,No.8:1074-1084,August 2020 https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003;http://cje.ustb.edu.cn 弱光照条件下交通标志检测与识别 赵 坤，刘立，孟宇⑧，孙若灿 北京科技大学机械工程学院，北京100083 ☒通信作者.E-mail:myu@ustb.edu.cn 摘要针对弱光照条件下交通标志易发生漏检和定位不准的问题.本文提出了增强YOLOv3(You only look once)检测算 法，一种实时自适应图像增强与优化YOLO3网络结合的交通标志检测与识别方法.首先构建了大型复杂光照中国交通标 志数据集；然后针对复杂的弱光照图像提出自适应增强算法，通过调整图像亮度和对比度强化交通标志与背景之间的差异； 最后采用YOLO3网络框架检测交通标志.为了降低先验锚点框设置精度以及图像中背景与前景比例严重失衡对检测精度 造成的影响，优化了先验锚点框聚类算法和网络的损失函数.对比实验结果表明.在实时性大致相当的情况下，本文提出的 增强YOLOv3检测算法较标准YOLO3算法对交通标志有更高的回归精度和置信度，召回率和准确率分别提高0.96%和 0.48%. 关键词交通标志检测：弱光照：自适应图像增强；YOLOv3:深度学习 分类号TP391.4 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun,LIU Li,MENG Yu,SUN Ruo-can School of Mechanical Engineering,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:myu@ustb.edu.cn ABSTRACT Traffic sign detection and recognition,which are important to ensure traffic safety,have been a research hotspot.In recent years,with the rapid development of automated driving technology,significant progress has been made in developing more accurate and efficient deep learning algorithms for traffic sign detection and recognition.However,these studies mainly focus on foreign traffic signs and do not consider the low-illumination conditions in practical application,which is a common scene.Therefore,many challenges still exist in the application of traffic sign detection and recognition in traffic scenes.To solve the problems of easy omission and inaccurate positioning for traffic sign detection and recognition under complex illumination conditions,the enhanced YOLOv3(You only look once)detection algorithm,a traffic sign detection and recognition method combining real-time adaptive image enhancement and the YOLOv3 frame was proposed.First,a large and complex illumination traffic sign dataset for Chinese traffic was constructed;it included globally low illumination,locally low illumination,and sufficient illumination images.Then an adaptive enhancement algorithm was proposed for low-illumination images,which can enhance the difference between traffic signs and background by adjusting the brightness and contrast of the images.Finally,high-quality and discrimination images as input were transmitted to the YOLOv3 network framework,and traffic sign detection and recognition were performed.To reduce the influences of the prior anchor box setting accuracy and the imbalance between the background and foreground on the detection accuracy,the clustering algorithm for the prior anchor box and loss function for the network were optimized.The results of the comparison experiment with the LISA dataset and complex illumination traffic sign dataset for Chinese traffic show that the proposed enhanced YOLOv3 detection algorithm has 收稿日期：2019-08-14 基金项目：国家重点研发计划资助项目(2018YFE0192900.2018YFC0810500.2018YFC0604403):国家高技术研究发展计划资助项目 (2011AA060408):中央高校基本科研业务费专项资金资助项目(FRF-TP.17-010A2)

弱光照条件下交通标志检测与识别 赵    坤，刘    立，孟    宇苣，孙若灿 北京科技大学机械工程学院，北京 100083 苣通信作者，E-mail：myu@ustb.edu.cn 摘    要    针对弱光照条件下交通标志易发生漏检和定位不准的问题，本文提出了增强 YOLOv3（You only look once）检测算 法，一种实时自适应图像增强与优化 YOLOv3 网络结合的交通标志检测与识别方法. 首先构建了大型复杂光照中国交通标 志数据集；然后针对复杂的弱光照图像提出自适应增强算法，通过调整图像亮度和对比度强化交通标志与背景之间的差异； 最后采用 YOLOv3 网络框架检测交通标志. 为了降低先验锚点框设置精度以及图像中背景与前景比例严重失衡对检测精度 造成的影响，优化了先验锚点框聚类算法和网络的损失函数. 对比实验结果表明，在实时性大致相当的情况下，本文提出的 增强 YOLOv3 检测算法较标准 YOLOv3 算法对交通标志有更高的回归精度和置信度，召回率和准确率分别提高 0.96% 和 0.48%. 关键词    交通标志检测；弱光照；自适应图像增强；YOLOv3；深度学习 分类号    TP391.4 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun，LIU Li，MENG Yu苣 ，SUN Ruo-can School of Mechanical Engineering, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: myu@ustb.edu.cn ABSTRACT    Traffic  sign  detection  and  recognition,  which  are  important  to  ensure  traffic  safety,  have  been  a  research  hotspot.  In recent  years,  with  the  rapid  development  of  automated  driving  technology,  significant  progress  has  been  made  in  developing  more accurate and efficient deep learning algorithms for traffic sign detection and recognition. However, these studies mainly focus on foreign traffic signs and do not consider the low-illumination conditions in practical application, which is a common scene. Therefore, many challenges still exist in the application of traffic sign detection and recognition in traffic scenes. To solve the problems of easy omission and inaccurate positioning for traffic sign detection and recognition under complex illumination conditions, the enhanced YOLOv3 (You only look once) detection algorithm, a traffic sign detection and recognition method combining real-time adaptive image enhancement and the YOLOv3 frame was proposed. First, a large and complex illumination traffic sign dataset for Chinese traffic was constructed; it included  globally  low  illumination,  locally  low  illumination,  and  sufficient  illumination  images.  Then  an  adaptive  enhancement algorithm  was  proposed  for  low-illumination  images,  which  can  enhance  the  difference  between  traffic  signs  and  background  by adjusting  the  brightness  and  contrast  of  the  images.  Finally,  high-quality  and  discrimination  images  as  input  were  transmitted  to  the YOLOv3 network framework, and traffic sign detection and recognition were performed. To reduce the influences of the prior anchor box setting accuracy and the imbalance between the background and foreground on the detection accuracy, the clustering algorithm for the prior anchor box and loss function for the network were optimized. The results of the comparison experiment with the LISA dataset and  complex  illumination  traffic  sign  dataset  for  Chinese  traffic  show  that  the  proposed  enhanced  YOLOv3  detection  algorithm  has 收稿日期: 2019−08−14 基金项目: 国家重点研发计划资助项目（ 2018YFE0192900， 2018YFC0810500， 2018YFC0604403） ；国家高技术研究发展计划资助项目 （2011AA060408）；中央高校基本科研业务费专项资金资助项目（FRF-TP-17-010A2） 工程科学学报，第 42 卷，第 8 期：1074−1084，2020 年 8 月 Chinese Journal of Engineering, Vol. 42, No. 8: 1074−1084, August 2020 https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003; http://cje.ustb.edu.cn

赵坤等：弱光照条件下交通标志检测与识别 1075· higher regression accuracy and category confidence than the published YOLOv3 algorithm for traffic signs;the recall and precision are higher by 0.96%and 0.48%,respectively,which indicates the application potential of the proposed algorithm in actual traffic scenarios KEY WORDS traffic sign detection:low illumination;adaptive image enhancement;YOLOv3;deep learning 近年来，人工智能的快速发展极大的加快了 在图像上提取2000个目标候选区，然后采用深层 无人车技术的研究进程，特别是深度学习山在环 卷积网络对目标候选区进行分类.但由于其对每 境感知、路径规划、决策控制等关键技术上的研 个候选区都执行卷积运算而不是共享计算，因此 究与应用，使得自动驾驶时代在不久的将来真正 检测速度较慢.文献[11]提出了空间金字塔网络 成为可能.交通标志检测与识别是智能交通领域 (Spatial pyramid pooling network,SPPnets),通过共 环境感知四系统的一个重要分支，对于保证交通 享卷积特征图来提高速度.快速区域卷积神经网 安全具有十分重要的研究意义，逐渐成为国内外 络(Fast R-CNN)I能够对共享卷积特征进行端到 学者的研究重点，近几年虽然对交通标志检测与 端训练，提高了检测精度与速度.但是SPPnets 识别的研究取得了较为满意的结果，但是在实际 和Fast R-CNN仍然使用SS方法生成目标候选区， 应用中仍然存在较多问题，针对应用场景下的交 此阶段成为提高实时性的瓶颈.更快区域卷积神 通标志检测与识别方法仍需进一步深入研究 经网络(Faster R-CNN)B1引入了区域提案网络 目前交通标志检测与识别方法主要分为两大 (Region proposals network,RPN)生成目标候选区， 类：基于传统手工特征和机器学习分类的方法以 极大的提高了目标检测的速度.YOLO(You only 及基于深度学习的方法 look once)将目标检测任务重构为一个从图像像 (1)基于传统手工特征和机器学习的方法 素直接到边界框坐标和类概率的回归问题，单阶 基于传统手工特征和机器学习的方法大致可 段多盒检测器(Single shot multibox detector,SSD) 以分为以下三个子类：1)应用颜色和边缘信息； 利用特征图上的小型卷积滤波器来预测边界框位 2)应用形状信息；3)应用机器学习机制.在第一类 置中的目标类别和偏移，以提高目标检测的性能. 方法中通常先用颜色分割图像，然后进行边缘检 随着以上目标检测框架逐渐成熟以及大型国 测，最后使用随机一致性采样(RANSAC)或Hough 外交通标志数据集的出现，已出现许多基于深度 变换等方法处理，从边缘图中识别特定的形状B! 学习的交通标志检测与识别实证研究6-1，研究 第二类方法只依靠边缘信息，在文献[5]和[6]中 结果显示出了深度学习在交通标志检测与识别领 实现了一种基于径向对称性的快速算法，该算法 域的优越性，基于深度学习的交通标志进行检测 可以适应各种规则形状，包括三角形、正方形、菱形 与识别方法成为当前的研究主流 八边形和圆形.第三类方法应用机器学习技术，其 当采用上述较为成熟的深度学习框架检测交 中神经网络、支持向量机(SVM)和AdaBoost是最 通标志时，发现检测失败的样本通常为阴天、傍晚 常用的方法.例如文献[7]对输人图像进行颜色分 或背光等弱光照条件样本，具有亮度或对比度低 割后提取出块，然后使用线性SVM将其分类为不 的特点：检测失败的表现形式为漏检和定位不准、 同的形状.文献[8]应用AdaBoost方法使用一组 置信度较低.在无人驾驶应用中，不可避免的出现 考虑颜色和位置的Haar小波特征检测交通标志. 很多复杂的弱光照情况，因此需要对弱光照条件 基于传统手工特征和机器学习的方法需要针 下交通标志检测与识别方法进行深入研究，以提 对不同的标志设计不同的手工特征，且无法同时 高其在实际应用中的效果 识别所有类别的交通标志，算法的实时性无法得 针对以上的问题，本文提出了用于提高弱光照 到保证 条件下交通标志检测与识别性能的增强YOLOv3 (2)基于深度学习的方法 检测算法.首先提出了实时自适应图像增强算法， 近年来，深度卷积神经网络在目标检测任务 调整图像亮度和对比度，便于降低后续检测漏检 中取得了巨大的成功.Girshick等9提出了用于精 率：然后采用YOLO3框架检测增强后的图像并 确目标检测和语义分割的丰富特征层次结构区域 优化了损失函数和先验锚点框聚类算法，提高交 卷积神经网络(Regions with CNN,R-CNN),利用选 通标志边框回归精度和置信度；此外，开发了复杂 择性搜索(Selective search,SS)Io代替传统滑窗法 光照中国交通标志数据集用于对中国交通标志检

higher regression accuracy and category confidence than the published YOLOv3 algorithm for traffic signs; the recall and precision are higher by 0.96% and 0.48%, respectively, which indicates the application potential of the proposed algorithm in actual traffic scenarios. KEY WORDS    traffic sign detection；low illumination；adaptive image enhancement；YOLOv3；deep learning 近年来，人工智能的快速发展极大的加快了 无人车技术的研究进程，特别是深度学习[1] 在环 境感知、路径规划、决策控制等关键技术上的研 究与应用，使得自动驾驶时代在不久的将来真正 成为可能. 交通标志检测与识别是智能交通领域 环境感知[2] 系统的一个重要分支，对于保证交通 安全具有十分重要的研究意义，逐渐成为国内外 学者的研究重点. 近几年虽然对交通标志检测与 识别的研究取得了较为满意的结果，但是在实际 应用中仍然存在较多问题，针对应用场景下的交 通标志检测与识别方法仍需进一步深入研究. 目前交通标志检测与识别方法主要分为两大 类：基于传统手工特征和机器学习分类的方法以 及基于深度学习的方法. （1）基于传统手工特征和机器学习的方法. 基于传统手工特征和机器学习的方法大致可 以分为以下三个子类： 1）应用颜色和边缘信息； 2）应用形状信息；3）应用机器学习机制. 在第一类 方法中通常先用颜色分割图像，然后进行边缘检 测，最后使用随机一致性采样（RANSAC）或 Hough 变换等方法处理，从边缘图中识别特定的形状[3−4] . 第二类方法只依靠边缘信息，在文献 [5] 和 [6] 中 实现了一种基于径向对称性的快速算法，该算法 可以适应各种规则形状，包括三角形、正方形、菱形、 八边形和圆形. 第三类方法应用机器学习技术，其 中神经网络、支持向量机（SVM）和 AdaBoost 是最 常用的方法. 例如文献 [7] 对输入图像进行颜色分 割后提取出块，然后使用线性 SVM 将其分类为不 同的形状. 文献 [8] 应用 AdaBoost 方法使用一组 考虑颜色和位置的 Haar 小波特征检测交通标志. 基于传统手工特征和机器学习的方法需要针 对不同的标志设计不同的手工特征，且无法同时 识别所有类别的交通标志，算法的实时性无法得 到保证. （2）基于深度学习的方法. 近年来，深度卷积神经网络在目标检测任务 中取得了巨大的成功. Girshick 等[9] 提出了用于精 确目标检测和语义分割的丰富特征层次结构区域 卷积神经网络（Regions with CNN，R-CNN），利用选 择性搜索（Selective search，SS） [10] 代替传统滑窗法 在图像上提取 2000 个目标候选区，然后采用深层 卷积网络对目标候选区进行分类. 但由于其对每 个候选区都执行卷积运算而不是共享计算，因此 检测速度较慢. 文献 [11] 提出了空间金字塔网络 （Spatial pyramid pooling network，SPPnets），通过共 享卷积特征图来提高速度. 快速区域卷积神经网 络（Fast R-CNN） [12] 能够对共享卷积特征进行端到 端训练 ，提高了检测精度与速度. 但是 SPPnets 和 Fast R-CNN 仍然使用 SS 方法生成目标候选区， 此阶段成为提高实时性的瓶颈. 更快区域卷积神 经网络（ Faster R-CNN） [13] 引入了区域提案网络 （Region proposals network, RPN）生成目标候选区， 极大的提高了目标检测的速度. YOLO （You only look once） [14] 将目标检测任务重构为一个从图像像 素直接到边界框坐标和类概率的回归问题. 单阶 段多盒检测器（Single shot multibox detector，SSD） [15] 利用特征图上的小型卷积滤波器来预测边界框位 置中的目标类别和偏移，以提高目标检测的性能. 随着以上目标检测框架逐渐成熟以及大型国 外交通标志数据集的出现，已出现许多基于深度 学习的交通标志检测与识别实证研究[16−19] ，研究 结果显示出了深度学习在交通标志检测与识别领 域的优越性，基于深度学习的交通标志进行检测 与识别方法成为当前的研究主流. 当采用上述较为成熟的深度学习框架检测交 通标志时，发现检测失败的样本通常为阴天、傍晚 或背光等弱光照条件样本，具有亮度或对比度低 的特点；检测失败的表现形式为漏检和定位不准、 置信度较低. 在无人驾驶应用中，不可避免的出现 很多复杂的弱光照情况，因此需要对弱光照条件 下交通标志检测与识别方法进行深入研究，以提 高其在实际应用中的效果. 针对以上的问题，本文提出了用于提高弱光照 条件下交通标志检测与识别性能的增强 YOLOv3 检测算法. 首先提出了实时自适应图像增强算法， 调整图像亮度和对比度，便于降低后续检测漏检 率；然后采用 YOLOv3 框架检测增强后的图像并 优化了损失函数和先验锚点框聚类算法，提高交 通标志边框回归精度和置信度；此外，开发了复杂 光照中国交通标志数据集用于对中国交通标志检 赵    坤等： 弱光照条件下交通标志检测与识别 · 1075 ·

·1076 工程科学学报，第42卷，第8期 测与识别方法的研究 交通标志.因此研究中国交通标志识别与检测方 1弱光照中国交通标志数据集 法以及后续算法的应用必须具备大型复杂光照中 国交通标志数据集 目前对交通标志检测与识别的研究，研究者 本文采集并标注了北京市道路交通主要类别 多采用比较知名的公共交通标志数据集对算法性 的交通标志组成数据集，包括警告类、禁令类、指 能进行测试，如美国交通标志数据集(LISA)20,、德 示类等7种交通标志.数据集中包含雨雪天气，阴 国交通标志数据集（包括检测基准数据集GTSDB 天及傍晚等光照条件复杂的交通标志图像，部分 和识别数据集GTSRB)2和比利时交通标志数据 图像如图1所示.数据集共包括6258张图像（内 集(BTSRB)四.但以上数据集仅限于欧洲交通标 含8675个交通标志，无负样本，数据分布如图2所 志且样本大多是在光照条件良好的情况下采集 示)，涵盖了目前常出现的城市道路交通标志，与 的，国内相关机构还没有开发和公布大型完备的 现有大型欧洲交通标志数据集相比图像数量略少 复杂光照中国交通标志数据集以用于检测中国的 但基本可保证数据量充足 (a) (b) (d) 图1不同天气及光照条件的图像样本.(a)阴天，(b)雨雪天，(c)光照充足：(d)光照不足 Fig.I Image samples under different weather and illumination conditions:(a)overcast,(b)rain and snow;(c)sufficient illumination;(d)insufficient illumination 一部分在阴天傍晚等情况下通过拍照实地（北京 1350 1323 市北三环与北四环之间的交通主干道)采集，主要 1299 1261 1265 为弱光照样本.为了提高数据集的普适性，从不同 1250 1237 的角度和距离对同一个交通标志进行多次采集 1200 1172 1150 2)数据处理.参照2.1中的分类原则，按照强 1138 1100 度均值将图像分类为偏暗类(2621张)和明亮类 1050 (3637张).为了保证数据大致均衡，对其中500张 1000 0 2 34 6 明亮类图像进行了随机调暗处理，最终偏暗类图 Categories 像和明亮类图像分别为3121张3137张 图2交通标志数据分布示意图 3)标注方法及内容.采用LableMe软件标注 Fig.2 Data distribution diagram for traffic signs 每幅图像，标注信息包括交通标志的类别属性，图 数据集构建过程具体如下： 像的光照情况，标志边框的左上坐标和右下坐标 1)数据采集.样本主要通过两种方式获得，一 (像素单位)，信息保存在xml格式下的文件中 部分通过百度地图剪裁，主要为光照充足的样本；另 4)数据划分.分别将偏暗类图像和明亮类图

测与识别方法的研究. 1    弱光照中国交通标志数据集 目前对交通标志检测与识别的研究，研究者 多采用比较知名的公共交通标志数据集对算法性 能进行测试，如美国交通标志数据集（LISA） [20]、德 国交通标志数据集（包括检测基准数据集 GTSDB 和识别数据集 GTSRB)[21] 和比利时交通标志数据 集（BTSRB） [22] . 但以上数据集仅限于欧洲交通标 志且样本大多是在光照条件良好的情况下采集 的，国内相关机构还没有开发和公布大型完备的 复杂光照中国交通标志数据集以用于检测中国的 交通标志. 因此研究中国交通标志识别与检测方 法以及后续算法的应用必须具备大型复杂光照中 国交通标志数据集. 本文采集并标注了北京市道路交通主要类别 的交通标志组成数据集，包括警告类、禁令类、指 示类等 7 种交通标志. 数据集中包含雨雪天气，阴 天及傍晚等光照条件复杂的交通标志图像，部分 图像如图 1 所示. 数据集共包括 6258 张图像（内 含 8675 个交通标志，无负样本，数据分布如图 2 所 示），涵盖了目前常出现的城市道路交通标志，与 现有大型欧洲交通标志数据集相比图像数量略少 但基本可保证数据量充足. 数据集构建过程具体如下： 1）数据采集. 样本主要通过两种方式获得，一 部分通过百度地图剪裁，主要为光照充足的样本；另 一部分在阴天傍晚等情况下通过拍照实地（北京 市北三环与北四环之间的交通主干道）采集，主要 为弱光照样本. 为了提高数据集的普适性，从不同 的角度和距离对同一个交通标志进行多次采集. 2）数据处理. 参照 2.1 中的分类原则，按照强 度均值将图像分类为偏暗类（2621 张）和明亮类 （3637 张）. 为了保证数据大致均衡，对其中 500 张 明亮类图像进行了随机调暗处理，最终偏暗类图 像和明亮类图像分别为 3121 张 3137 张. 3）标注方法及内容. 采用 LableMe 软件标注 每幅图像，标注信息包括交通标志的类别属性，图 像的光照情况，标志边框的左上坐标和右下坐标 （像素单位），信息保存在 xml 格式下的文件中. 4）数据划分. 分别将偏暗类图像和明亮类图 (a) (b) (c) (d) 图 1    不同天气及光照条件的图像样本. （a）阴天; （b）雨雪天; （c）光照充足; （d）光照不足 Fig.1    Image samples under different weather and illumination conditions: (a) overcast; (b) rain and snow; (c) sufficient illumination; (d) insufficient illumination 1350 1300 1250 1200 Number of taffic signs 1150 1100 1050 1000 0 1 2 3 4 Categories 5 6 7 No parking Slow down Pedestrian crossing Motor vehicle No motor vehicle Keep right Turn right 1172 1323 1261 1299 1265 1237 1138 图 2    交通标志数据分布示意图 Fig.2    Data distribution diagram for traffic signs · 1076 · 工程科学学报，第 42 卷，第 8 期

赵坤等：弱光照条件下交通标志检测与识别 1077· 像按照约1：1的比例划分组成训练集和测试集. 数c和y有不同的计算方式 为了增加数据量，训练时采用数据增广对初始图 图像标准差反映了像素值与均值的离散程 像随机平移 度，标准差越大图像质量越好，因此，本文先采用 2增强YOLOv3算法 图像强度标准差对图像分类，判别公式如下所示： h,4c≤ (2) 2.1自适应图像增强 (a,其他 弱光照交通标志图像数据集中主要存在以下 式(2)中，σ为图像标准差，p为图像对比度衡 四种情况的图像：整体亮度较低、半明半暗且交通 量系数，根据实验发现，取p=3能够作为分类不同 标志在偏暗区、半明半暗且交通标志在偏亮区以 对比度图像的标准；h表示低对比度图像，表示 及整体亮度良好的图像，光照条件较为复杂.而图 中高对比度图像 像增强的目的就是针对不同光照条件的图像合理 同一对比度类别的图像也会有不同的亮度， 的均衡化像素分布范围，调整图像亮度和对比度， 需要对图像进一步划分.图像强度均值反映了图 提高交通标志与背景间的区分度 像的亮度，均值越大图像亮度越大，本文采用λ表 现有的方法一般采用直方图均衡化全局图像)， 示图像强度均值.经过多组实验发现，图像强度均 但采用全局加强的方法可能会导致图像部分过加 值小于0.5时，亮度不佳，大于等于0.5时，亮度良 强或欠加强；也有局部加强方法，Celik和Tjahjadi2 好.因此，本文设置=0.5作为区别图像亮度高低 提出局部加强技术对图片部分进行不同程度的强 的界限，最终图像分类类别如表1所示 化，但其未考虑全局亮度信息 Gamma校正常用于调整图像的整体亮度，传 表1图像分类 统的Gamma校正对所有的图像都采用同样的处 Table 1 Image classification 理方式，使得图像质量好的图像被过度地处理.对 Contrast category Intensity mean,A Image category 此，本文提出自适应Gamma校正(Adaptive Gamma ≥0.5 Low contrast and high brightness correction,AGC),可对不同光照程度的图像进行 0.5 Low contrast and low brightness 自适应处理.首先将图像转换到HSV颜色空间， ≥0.5 High contrast and high brightness 然后对V通道进行自适应Gamma处理以调整图 0.5 High contrast and low brightness 像亮度，最后再将图像转换到RGB颜色空间进行 后续检测，主要流程如图3所示.其中，对图像进 2.1.1h类图像处理 上类图像σ值小，图像中的大部分像素有相近 行自适应Gamma校正处理时，图像强度变换函数 的强度值，聚集在小的像素范围内，对于这样的图 设置为： 像，需要使像素分布扩展到更大的范围以提高对 s=cRY (1) 比度.在Gamma校正中，y值越大，相应的图像强 式中，s为输出图像的强度，R为输入图像的强度， 度越大，对比度也越大.在本文的自适应Gamma y为控制输入输出曲线的参数，c为修正系数，两参 校正中，对于1类别图像采用下面的公式计算y值： 数共同控制曲线形状.对于不同光照下的图像，参 y=-l0g2(c) (3) V Channel 对于系数c值，传统的Gamma校正方法通常 取1，本文针对不同对比度图像采用不同的c值： Yes Low contrast? No 1 c=1+s0.5-0×(@-1) (4) Parameters c and y Parameters c and y 式中，a有以下定义： a=RY+(1-RY)XAY (5) Image processing with intensity transform function 0.5-)为阶跃函数： f1,0.5->0 (6) Transformed V channel s0.5-0={00.5-A≤0 图3自适应Gamma校正流程图 这样处理y和c值使得算法能够对1类别中 Fig.3 Flow diagram of adaptive gamma correction 亮度不同的图像分别采取合适的变换

像按照约 1∶1 的比例划分组成训练集和测试集. 为了增加数据量，训练时采用数据增广对初始图 像随机平移. 2    增强 YOLOv3 算法 2.1    自适应图像增强 弱光照交通标志图像数据集中主要存在以下 四种情况的图像：整体亮度较低、半明半暗且交通 标志在偏暗区、半明半暗且交通标志在偏亮区以 及整体亮度良好的图像，光照条件较为复杂. 而图 像增强的目的就是针对不同光照条件的图像合理 的均衡化像素分布范围，调整图像亮度和对比度， 提高交通标志与背景间的区分度. 现有的方法一般采用直方图均衡化全局图像[23] ， 但采用全局加强的方法可能会导致图像部分过加 强或欠加强；也有局部加强方法，Celik 和 Tjahjadi[24] 提出局部加强技术对图片部分进行不同程度的强 化，但其未考虑全局亮度信息. Gamma 校正常用于调整图像的整体亮度，传 统的 Gamma 校正对所有的图像都采用同样的处 理方式，使得图像质量好的图像被过度地处理. 对 此，本文提出自适应 Gamma 校正（Adaptive Gamma correction，AGC），可对不同光照程度的图像进行 自适应处理. 首先将图像转换到 HSV 颜色空间， 然后对 V 通道进行自适应 Gamma 处理以调整图 像亮度，最后再将图像转换到 RGB 颜色空间进行 后续检测，主要流程如图 3 所示. 其中，对图像进 行自适应 Gamma 校正处理时，图像强度变换函数 设置为： s = cRγ （1） 式中，s 为输出图像的强度，R 为输入图像的强度， γ 为控制输入输出曲线的参数，c 为修正系数，两参 数共同控制曲线形状. 对于不同光照下的图像，参 数 c 和 γ 有不同的计算方式. 图像标准差反映了像素值与均值的离散程 度，标准差越大图像质量越好，因此，本文先采用 图像强度标准差对图像分类，判别公式如下所示： Icls =    IL,4σ ⩽ 1 p IH,其他 （2） 式（2）中，σ 为图像标准差，p 为图像对比度衡 量系数，根据实验发现，取 p=3 能够作为分类不同 对比度图像的标准；IL 表示低对比度图像，IH 表示 中高对比度图像. 同一对比度类别的图像也会有不同的亮度， 需要对图像进一步划分. 图像强度均值反映了图 像的亮度，均值越大图像亮度越大，本文采用 λ 表 示图像强度均值. 经过多组实验发现，图像强度均 值小于 0.5 时，亮度不佳，大于等于 0.5 时，亮度良 好. 因此，本文设置 λ=0.5 作为区别图像亮度高低 的界限，最终图像分类类别如表 1 所示. 2.1.1    IL 类图像处理 IL 类图像 σ 值小，图像中的大部分像素有相近 的强度值，聚集在小的像素范围内，对于这样的图 像，需要使像素分布扩展到更大的范围以提高对 比度. 在 Gamma 校正中，γ 值越大，相应的图像强 度越大，对比度也越大. 在本文的自适应 Gamma 校正中，对于 IL 类别图像采用下面的公式计算 γ 值： γ = −log2 (σ) （3） 对于系数 c 值，传统的 Gamma 校正方法通常 取 1，本文针对不同对比度图像采用不同的 c 值： c = 1 1+ε(0.5−λ)×(α−1) （4） 式中，α 有以下定义： α=R γ +(1−R γ )×λ γ （5） ε(0.5−λ) 为阶跃函数： ε(0.5−λ) = { 1,0.5−λ > 0 0,0.5−λ ⩽ 0 （6） 这样处理 γ 和 c 值使得算法能够对 IL 类别中 亮度不同的图像分别采取合适的变换. 表 1    图像分类 Table 1    Image classification Contrast category Intensity mean, λ Image category IL ≥ 0.5 Low contrast and high brightness <0.5 Low contrast and low brightness IH ≥ 0.5 High contrast and high brightness <0.5 High contrast and low brightness Low contrast? V Channel Parameters c and γ Parameters c and γ Image processing with intensity transform function Transformed V channel Yes No 图 3    自适应 Gamma 校正流程图 Fig.3    Flow diagram of adaptive gamma correction 赵    坤等： 弱光照条件下交通标志检测与识别 · 1077 ·

·1078 工程科学学报，第42卷，第8期 1h类别中亮度高的图像（≥0.5），算法主要是 处理后再将尺寸恢复到原图大小，对于压缩的插 要增加其对比度，突出图像更多的细节，因此根据 值方式，本文进行了测试，发现采用双线性插值法 式(4)，此时c=1,式(1)转化为： 的时间和效果较其他插值方法好.这种处理方式 S=RY (7) 的唯一缺点是造成了图像轻微模糊，但对后续检 为了增加这类图像的对比度，变换曲线需要 测结果影响不大，且大大提高了图像增强的实时 扩展图像的像素范围，分布一定的亮灰度值到暗 性，改动后图像增强处理一张图像只需要9ms 灰度范围，在自适应Gamma算法中，根据式(2)和 2.2 YOLOv3锚点框聚类算法优化 (3)证明得，y大于1. YOLO框架将目标检测看作回归问题，YOLOv32 1类别中亮度低的图像(1<0.5)，通常其大部 替换了YOLOv1直接从图像像素中得到边界框的 分像素值分布在暗灰度水平，且聚集在较小的范 思想，借用RPN的方法生成锚点框.而先验锚点 围内，对于这类图像，变换曲线需要将一部分暗灰 框的尺度比例和数目对计算速度和最终的边界框 度值扩展到更亮的灰度范围，此时的变换曲线会 回归效果有较大影响)不同于Faster R-CNN,SSD 落在s=R曲线之上.结合式(4)和(5)，式(1)变换 的人为设定，YOLOv3延用YOLOv22的方法，采 函数转化为： 用k-means聚类分析法聚类出均值先验锚点框.但 RY 是实际应用时发现，聚类结果与样本统计结果存 5=Rr+(1-R)×D (8) 在一定偏差，影响了后续检测性能，因此本文对先 2.1.2H类图像处理 验锚点框的聚类算法进行了优化，增加了对聚类 H类图像σ值大，图像像素值在动态范围内 结果的随机修正处理： 明显呈分散分布，相比加强其对比度，亮度调节显 W=O{random[v1,2]×wb} (10) 得更加重要，输出图像的强度和c值依然如式(1) 其中，O表示每三个聚类中心随机选两个进行修 和(4)所示，y值控制输入输出曲线的斜率，y值越 正，y1取1.4,2取1.55；wb为先验锚点框修正前的 大，图像对比度越大，因此，对于类别的图像， 宽，W。为修正后的宽 y值的计算调整为： 对本文构建的交通标志数据集，首选确定聚 y=eL-4e) (9) 类中心数目Q,根据聚类统计平均交并比(Intersection 可以看出，对于此类图像，？值的变化不大，对图像 over union,.IOU)结果，结合YOLOv3框架中多尺度 对比度的影响相对较小.由式(9)分析可知，y值的 预测的特点，分别取Q=6,9,12三个值做训练，权 衡回归速度和准确度后，选择O=9,如图4所示 取值范围为[1,1.649] 1H类中亮度高的图像(1≥0.5)质量较好，亮度 1.00 0.90 和对比度也合适，对这类图像算法主要目标是保 0.85 留图像原有的质量，s、c和y值的计算均同式(1)、 日080 (4)和(9) 05 4类别中亮度低的图像(<0.5)，1+o≤1，由于 0.65 1和σ的值均小于0.5，所以y≥1.分析可知，这类 0.60 图像的输入输出曲线必定落在s=R这条线性曲线 0.55 123456789101112131415 之上的，算法会使这类图像中的偏暗的像素转换 Number of anchors 到亮度大一些的范围内，图像的亮度分布更为均 图4聚类中心数目测试结果 匀.对于亮度稍微偏低但强度均值较大的图像来 Fig.4 Test results of number for cluster centers 说，变换曲线非常接近s=R曲线. 聚类10次取平均后锚点框的尺寸为(14,21)、 在实时性方面，以处理416像素×416像素的 (19.32)、(25.38)、(29.55)、(30.43)、(37.56)、 图像为标准，在本文的实验平台上，自适应图像增 (41,70)、(55,77)、(73,108).括号中数字分别表 强阶段的耗时约为32ms,较为影响整体检测实时 示锚点框的宽和高，观察发现上述聚类结果的宽 性，为此本文对图像增强过程进行了如下改动：分 高比最小是0.527，最大是0.714.而对于本文的数 离出图像V通道后，先将V通道的尺寸压缩到原 据集，统计训练样本的宽高比发现.70%的样本宽 图的四分之一，然后进行上文自适应Gamma校正 高比在0.72~1之间，20%的样本宽高比在0.6~

IL 类别中亮度高的图像（λ≥0.5），算法主要是 要增加其对比度，突出图像更多的细节，因此根据 式（4），此时 c=1，式（1）转化为： s=R γ （7） 为了增加这类图像的对比度，变换曲线需要 扩展图像的像素范围，分布一定的亮灰度值到暗 灰度范围，在自适应 Gamma 算法中，根据式（2）和 （3）证明得，γ 大于 1. IL 类别中亮度低的图像（λ<0.5），通常其大部 分像素值分布在暗灰度水平，且聚集在较小的范 围内，对于这类图像，变换曲线需要将一部分暗灰 度值扩展到更亮的灰度范围，此时的变换曲线会 落在 s=R 曲线之上. 结合式（4）和（5），式（1）变换 函数转化为： s= R γ Rγ +(1−Rγ )×λ γ （8） 2.1.2    IH 类图像处理 IH 类图像 σ 值大，图像像素值在动态范围内 明显呈分散分布，相比加强其对比度，亮度调节显 得更加重要，输出图像的强度和 c 值依然如式（1） 和（4）所示，γ 值控制输入输出曲线的斜率，γ 值越 大，图像对比度越大，因此，对于 IH 类别的图像， γ 值的计算调整为： γ = e 1−(λ+σ) 2 （9） 可以看出，对于此类图像，γ 值的变化不大，对图像 对比度的影响相对较小. 由式（9）分析可知，γ 值的 取值范围为 [1,1.649]. IH 类中亮度高的图像（λ≥0.5）质量较好，亮度 和对比度也合适，对这类图像算法主要目标是保 留图像原有的质量，s、c 和 γ 值的计算均同式（1）、 （4）和（9）. IH 类别中亮度低的图像（λ<0.5），λ+σ≤1，由于 λ 和 σ 的值均小于 0.5，所以 γ≥1. 分析可知，这类 图像的输入输出曲线必定落在 s=R 这条线性曲线 之上的，算法会使这类图像中的偏暗的像素转换 到亮度大一些的范围内，图像的亮度分布更为均 匀. 对于亮度稍微偏低但强度均值较大的图像来 说，变换曲线非常接近 s=R 曲线. 在实时性方面，以处理 416 像素×416 像素的 图像为标准，在本文的实验平台上，自适应图像增 强阶段的耗时约为 32 ms，较为影响整体检测实时 性，为此本文对图像增强过程进行了如下改动：分 离出图像 V 通道后，先将 V 通道的尺寸压缩到原 图的四分之一，然后进行上文自适应 Gamma 校正 处理后再将尺寸恢复到原图大小. 对于压缩的插 值方式，本文进行了测试，发现采用双线性插值法 的时间和效果较其他插值方法好. 这种处理方式 的唯一缺点是造成了图像轻微模糊，但对后续检 测结果影响不大，且大大提高了图像增强的实时 性，改动后图像增强处理一张图像只需要 9 ms. 2.2    YOLOv3 锚点框聚类算法优化 YOLO 框架将目标检测看作回归问题，YOLOv3[25] 替换了 YOLOv1 直接从图像像素中得到边界框的 思想，借用 RPN 的方法生成锚点框. 而先验锚点 框的尺度比例和数目对计算速度和最终的边界框 回归效果有较大影响[13] . 不同于 Faster R-CNN，SSD 的人为设定，YOLOv3 延用 YOLOv2[26] 的方法，采 用 k-means 聚类分析法聚类出均值先验锚点框. 但 是实际应用时发现，聚类结果与样本统计结果存 在一定偏差，影响了后续检测性能，因此本文对先 验锚点框的聚类算法进行了优化，增加了对聚类 结果的随机修正处理： Wb = O 2 3 {random[v1, v2]×wb} （10） O 2 其中， 3 表示每三个聚类中心随机选两个进行修 正，v1 取 1.4，v2 取 1.55；wb 为先验锚点框修正前的 宽，Wb 为修正后的宽. 对本文构建的交通标志数据集，首选确定聚 类中心数目 Q，根据聚类统计平均交并比（Intersection over union, IOU）结果，结合 YOLOv3 框架中多尺度 预测的特点，分别取 Q=6，9，12 三个值做训练，权 衡回归速度和准确度后，选择 Q=9，如图 4 所示. 聚类 10 次取平均后锚点框的尺寸为（14, 21）、 （19, 32）、（25, 38）、（29, 55）、（30, 43）、（37, 56）、 （41, 70）、（55, 77）、（73, 108）. 括号中数字分别表 示锚点框的宽和高，观察发现上述聚类结果的宽 高比最小是 0.527，最大是 0.714. 而对于本文的数 据集，统计训练样本的宽高比发现，70% 的样本宽 高比在 0.72～1 之间，20% 的样本宽高比在 0.6～ 1.00 0.90 0.85 0.80 Average IOU 0.75 0.70 0.65 0.60 0.55 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Number of anchors 图 4    聚类中心数目测试结果 Fig.4    Test results of number for cluster centers · 1078 · 工程科学学报，第 42 卷，第 8 期

赵坤等：弱光照条件下交通标志检测与识别 ·1079· 0.7之间，10%的样本宽高比小于0.6，可见聚类结 物理尺寸较小且大部分样本中最多出现3个交通 果与统计结果存在一定偏差.通过如式(10)所示 标志，前景与背景比例严重失衡，应用One-stage目 的处理，先验锚点框的聚类结果得到修正.如 标检测器时，大部分的边界框不包含目标，这些 图5所示，对比优化前后训练损失值发现，优化聚 无目标边界框的置信度误差比较大，前景的损 类算法后网络的损失值明显低于优化前的损失 失淹没于背景的损失中.因此本文在原有损失函 值，说明优化后的锚点框提高了对交通标志的边 数的基础上进行了优化，主要思路是自适应的 框归回精度和置信度 均衡前景与背景的损失.损失函数包括两大部分， 2.3Y0L0v3损失函数优化 分别为回归损失和分类损失，具体计算公式如下 在交通场景中，相比于行人或车辆，交通标志 所示： Loss= 2m-P+0g-P+(-2+(a- i=0j=0k=0 (11) ∑∑5Cg-C,1+[o5cCa-Cp+∑∑Pa-P,P =0=0k=0 =0=0k=0 式中，S为特征图的宽和高，本文中特征图的大小 的网络，网络结构如图6所示 有三种：52×52,26×26,13×13，B为每个锚点位置先 对于以上这两个网络，本文都采用未经图像 验框的数量；微表示该锚点框是否负责预测目标， 增强的原始样本进行训练.为了使模型适应多种 如果负责，那么E-1,否则为0：表示不负责 尺度的测试图片，训练过程中采用多尺度训练的 预测目标；xgyg、Wghg为真值，x、p、wp、h,为 方式，每10个批次(batch)更改一次图片尺寸，优化 预测值，表示目标的坐标以及宽和高（以像素为单 器采用自适应性矩估计(Adaptive moment estimation, 位)；C和C。分别表示真值置信度和预测置信度； Adam),学习率设置为10，迭代训练1000次.本 P:和P。分别表示分类真值概率和分类预测概率； 文实验平台为：NVIDIA1080 Ti GPU加速运算，11G 0分别表示各个损失部分的权重系数，对于权重 显存，16G内存 的取值本文的设定为：0oora=5,0obl,0nob-0.5, 32图像增强对比实验 这样设置的目的是减小非目标区域的损失，增大 为了验证本文自适应图像增强算法的有效 目标区域的损失；为了进一步避免背景的损失值 性，对三种不同光照条件下含交通标志的图片进 对置信度损失的影响，本文将C。也作为权重的一 行测试，结果如图7至图9所示 部分自适应调整背景框的损失值 图7是整体亮度和对比度都低的图像处理前 后对比，经自适应图像增强后，从像素概率直方图 3实验 看出像素值分布在更广的范围内，图像的对比度 31网络结构、参数设置及训练过程 和亮度明显提高，图像的细节也能凸显出来，这对 本文采用YOLOv3框架作为检测算法的基 于交通标志的检测和识别是有利的 础，分别训练了两个网络，其中一个是标准YOLOv3 图8是局部光照不均的图像处理前后对比，处 网络，将其作为本文方法的对比方法，详细的网络 理前图像的对比度相对较高，但交通标志处在阴 结构和参数细节见文献25]：另外一个是本文构建 影位置，不便于检测与识别.经自适应图像增强 10 后，像素概率直方图中暗区分布减少，整体直方图 Before optimization 103 After optimization 分布更加均匀，图像中光照不足的部分被加强，标 志被凸显出来，且没有出现过处理的现象 图9是亮度和强度均值都相对适中的图像样 本处理前后对比，经自适应图像增强后，从像素值 10 概率直方图和处理后的图像能看出，仅仅只是蓝色 背景区域稍微加深，其余部分均无较大改变，原图像 0 0.51.01.52.02.5 30 Number of iterations/10 质量基本得以保留，符合本文自适应算法的要求. 图5优化前后损失值示意图 通过对以上三种不同光照情况的增强对比分 Fig.5 Loss value before and after optimization 析，本文提出的自适应增强算法能有效提高多种

0.7 之间，10% 的样本宽高比小于 0.6，可见聚类结 果与统计结果存在一定偏差. 通过如式（10）所示 的处理 ，先验锚点框的聚类结果得到修正. 如 图 5 所示，对比优化前后训练损失值发现，优化聚 类算法后网络的损失值明显低于优化前的损失 值，说明优化后的锚点框提高了对交通标志的边 框归回精度和置信度. 2.3    YOLOv3 损失函数优化 在交通场景中，相比于行人或车辆，交通标志 物理尺寸较小且大部分样本中最多出现 3 个交通 标志，前景与背景比例严重失衡，应用 One-stage 目 标检测器时，大部分的边界框不包含目标，这些 无目标边界框的置信度误差比较大，前景的损 失淹没于背景的损失中. 因此本文在原有损失函 数的基础上进行了优化，主要思路是自适应的 均衡前景与背景的损失. 损失函数包括两大部分， 分别为回归损失和分类损失，具体计算公式如下 所示： Loss = ∑ S i=0 ∑ S j=0 ∑ B k=0 E obj i jk { ωcoord[ (xgt − xp) 2 +(ygt −yp) 2 +( √ wgt − √ wp) 2 + ( √ hgt − √ hp )2 ]}+ ∑ S i=0 ∑ S j=0 ∑ B k=0 {[ωobjE obj i jk (Cgt −Cp) 2 ]+[ωnoobjE noobj i jk Cp(Cgt −Cp) 2 ]}+ ∑ S i=0 ∑ S j=0 ∑ B k=0 (Pgt − Pp) 2 （11） E obj i jkE obj i jk E noobj i jk 式中，S 为特征图的宽和高，本文中特征图的大小 有三种：52×52，26×26，13×13，B 为每个锚点位置先 验框的数量； 表示该锚点框是否负责预测目标， 如果负责，那么 =1，否则为 0； 表示不负责 预测目标；xgt、ygt、wgt、hgt 为真值，xp、yp、wp、hp 为 预测值，表示目标的坐标以及宽和高（以像素为单 位）；Cgt 和 Cp 分别表示真值置信度和预测置信度； Pgt 和 Pp 分别表示分类真值概率和分类预测概率； ω 分别表示各个损失部分的权重系数，对于权重 的取值本文的设定为：ωcoord=5，ωobj=1，ωnoobj=0.5， 这样设置的目的是减小非目标区域的损失，增大 目标区域的损失；为了进一步避免背景的损失值 对置信度损失的影响，本文将 Cp 也作为权重的一 部分自适应调整背景框的损失值. 3    实验 3.1    网络结构、参数设置及训练过程 本文采用 YOLOv3 框架作为检测算法的基 础，分别训练了两个网络，其中一个是标准 YOLOv3 网络，将其作为本文方法的对比方法，详细的网络 结构和参数细节见文献 [25]；另外一个是本文构建 的网络，网络结构如图 6 所示. 对于以上这两个网络，本文都采用未经图像 增强的原始样本进行训练. 为了使模型适应多种 尺度的测试图片，训练过程中采用多尺度训练的 方式，每 10 个批次（batch）更改一次图片尺寸，优化 器采用自适应性矩估计（Adaptive moment estimation， Adam），学习率设置为 10−5，迭代训练 1000 次. 本 文实验平台为：NVIDIA 1080Ti GPU 加速运算，11 G 显存，16 G 内存. 3.2    图像增强对比实验 为了验证本文自适应图像增强算法的有效 性，对三种不同光照条件下含交通标志的图片进 行测试，结果如图 7 至图 9 所示. 图 7 是整体亮度和对比度都低的图像处理前 后对比，经自适应图像增强后，从像素概率直方图 看出像素值分布在更广的范围内，图像的对比度 和亮度明显提高，图像的细节也能凸显出来，这对 于交通标志的检测和识别是有利的. 图 8 是局部光照不均的图像处理前后对比，处 理前图像的对比度相对较高，但交通标志处在阴 影位置，不便于检测与识别. 经自适应图像增强 后，像素概率直方图中暗区分布减少，整体直方图 分布更加均匀，图像中光照不足的部分被加强，标 志被凸显出来，且没有出现过处理的现象. 图 9 是亮度和强度均值都相对适中的图像样 本处理前后对比，经自适应图像增强后，从像素值 概率直方图和处理后的图像能看出，仅仅只是蓝色 背景区域稍微加深，其余部分均无较大改变，原图像 质量基本得以保留，符合本文自适应算法的要求. 通过对以上三种不同光照情况的增强对比分 析，本文提出的自适应增强算法能有效提高多种 104 Loss 103 102 101 0 0.5 1.0 1.5 2.0 2.5 3.0 Number of iterations/104 Before optimization After optimization 图 5    优化前后损失值示意图 Fig.5    Loss value before and after optimization 赵    坤等： 弱光照条件下交通标志检测与识别 · 1079 ·

·1080 工程科学学报，第42卷，第8期 Block Type Number Size/Stride Output Convolutional 24 3×3/1 416×416 Convolutional 3×3/2 208×208 Convolutional 24 1×1/1 年 Convolutional 48 3×3/1 Residual 208×208 Convolutional 96 3×3/2 104×104 Convolutional 48 1×1/1 2× Convolutional 96 3×3/1 Residual 104×104 Convolutional 192 3×3/2 52×52 Convolutional 96 1×1/1 Scale3 8× Convolutional 192 3×3/1 Residual 52×52 Convolutional 384 3×3/2 26×26 Convolutional 192 1×1/1 Scale2 8× Convolutional 384 3×3/1 Residual 26×26 Convolutional 768 3×3/2 13×13 Convolutional 384 1×1/1 Scalel 4× Convolutional 768 3×3/1 Residual 13×13 Avgpool Global Connected 1000 Convs Convs Convs Softmax YOLO Detection 图6网络参数图 Fig.6 Network parameter diagram (a) (b) (c) 0.040 (d) 0.05 -Blue channel -Blue channel -Green channel 0.035 -Green channel Red channel 0.04 0.030 Red channel 0.025 0.03 0.020 0.02 0.015 0.010 0.01 0.005 0 0 50 100150200250 0 50 100150200 250 Pixel value Pixel value 图7整体光照不足的图像.()图像处理前：(b)图像处理后：(c)图像处理前的像素概率直方图：()图像处理后的像素概率直方图 Fig.7 Images with low overall illumination:(a)image before processing;(b)image after processing,(c)pixel probability histograms of image before processing.(d)pixel probability histograms of image after processing 复杂光照条件下的图像质量，为后续检测提供质 3.3实验检测结果及分析 量良好的样本，有利于检测性能的提升 由于目前没有公开的弱光照交通标志数据集

复杂光照条件下的图像质量，为后续检测提供质 量良好的样本，有利于检测性能的提升. 3.3    实验检测结果及分析 由于目前没有公开的弱光照交通标志数据集， Type Number Output Size / Stride Convolutional 24 3×3/1 416×416 Convolutional 48 3×3/2 208×208 Convolutional 24 1×1/1 Convolutional 48 3×3/1 Residual 208×208 Convolutional 96 3×3/2 104×104 Convolutional 48 1×1/1 Convolutional 96 3×3/1 Residual 104×104 1× 2× Convolutional 192 3×3/2 52×52 Convolutional 96 1×1/1 Convolutional 192 3×3/1 Residual 52×52 8× Convolutional 384 3×3/2 26×26 Convolutional 192 1×1/1 Convolutional 384 3×3/1 Residual 26×26 8× Convolutional 768 3×3/2 13×13 Convolutional 384 1×1/1 Convolutional 768 3×3/1 Residual 13×13 4× Avgpool Global Connected 1000 Softmax Convs Convs Convs YOLO Detection Scale1 Scale2 Scale3 Block 图 6    网络参数图 Fig.6    Network parameter diagram (c) Pixel value Red channel Blue channel Green channel Probability Probability Pixel value (d) Red channel Blue channel Green channel 0.05 0.035 0.040 0.04 0.030 0.03 0.025 0.02 0.020 0.01 0.015 0 0.010 0.005 0 0 100 150 200 250 50 0 50 100 150 200 250 (a) (b) 图 7    整体光照不足的图像. （a）图像处理前；（b）图像处理后；（c）图像处理前的像素概率直方图；（d）图像处理后的像素概率直方图 Fig.7    Images with low overall illumination: (a) image before processing; (b) image after processing; (c) pixel probability histograms of image before processing; (d) pixel probability histograms of image after processing · 1080 · 工程科学学报，第 42 卷，第 8 期

赵坤等：弱光照条件下交通标志检测与识别 ·1081 (3 (b) 0.016 (c) -Blue channel 0.0200(d 0.0175 Blue channel 0.014 -Green channel -Green channel -Red channel 0.0150 -Red channel 0.012 0.0125 0.010 0.0100 0.008 0.006 0.0075 0.004 0.0050 0.002 0.0025 0 0 0 100150200 250 0 50 100150200250 Pixel value Pixel value 图8局部光照不足图像.(a)图像处理前：(b)图像处理后：(c)图像处理前像素概率直方图：()图像处理后像素概率直方图 Fig.8 Images with low local illumination:(a)image before processing,(b)image after processing.(c)pixel probability histograms of image before processing;(d)pixel probability histograms of image after processing (a) (b) 0.030F(c) -Blue channel 0.030F(d -Blue channel Green channel 一Green channel 0.025 -Red channel 0.025 Red channel 0.020 0.020 0.015 0.015 0.010 0.00 0.005 0.005 0 0 50 100150200250 50 100150200250 Pixel value Pixel value 图9光照充足图像.(a)图像处理前：(b)图像处理后：(c)图像处理前像素概率直方图：(d)图像处理后像素概率直方图 Fig.9 Images with sufficient illumination:(a)image before processing,(b)image after processing,(c)pixel probability histograms of image before processing;(d)pixel probability histograms of image after processing 本文进行了两组测试实验，首先在公开的LISA数据 算法的改进，不包含自适应图像增强算法)进行测 集上对改进YOLOv3算法(2.2和2.3节中对YOLOv3 试验证，然后在本文开发的弱光照中国交通标志

本文进行了两组测试实验，首先在公开的 LISA 数据 集上对改进YOLOv3 算法（2.2 和2.3 节中对YOLOv3 算法的改进，不包含自适应图像增强算法）进行测 试验证，然后在本文开发的弱光照中国交通标志 Pixel value Probability Probability Pixel value 0.016 0.0175 0.0200 0.014 0.0150 0.012 0.0125 0.006 0.0100 0.002 0.0075 0 0.0050 0.0025 0 0 50 100 150 200 250 0.004 0.008 0.010 0 100 150 200 250 50 (a) (b) (c) Red channel Blue channel Green channel (d) Red channel Blue channel Green channel 图 8    局部光照不足图像. （a）图像处理前；（b）图像处理后；（c）图像处理前像素概率直方图；（d）图像处理后像素概率直方图 Fig.8    Images with low local illumination: (a) image before processing; (b) image after processing; (c) pixel probability histograms of image before processing; (d) pixel probability histograms of image after processing Pixel value Probability 0.025 0.020 0.015 0 0.005 0.010 0 100 150 200 250 50 0.030 Pixel value Probability 0.025 0.020 0.015 0 0.005 0.010 0 100 150 200 250 50 0.030 (a) (b) (c) Red channel Blue channel Green channel (d) Red channel Blue channel Green channel 图 9    光照充足图像. （a）图像处理前；（b）图像处理后；（c）图像处理前像素概率直方图；（d）图像处理后像素概率直方图 Fig.9     Images  with  sufficient  illumination:  (a)  image  before  processing;  (b)  image  after  processing;  (c)  pixel  probability  histograms  of  image  before processing; (d) pixel probability histograms of image after processing 赵    坤等： 弱光照条件下交通标志检测与识别 · 1081 ·

1082 工程科学学报，第42卷，第8期 数据集（测试集）上对本文提出的增强YOLOv3算 种方法的漏检标志数量较多；准确率方面，两种方 法进行对比验证.对于检测结果的评判，本文设置 法相差不大，说明两种方法很少出现错检的交通标 置信度阈值为0.8，即置信度超过0.8时认为检测 志.造成这种现象的原因主要是LISA数据集中的样 到的目标是交通标志，设置IOU阈值为0.7，即 本通过车载相机采集，车辆运动和抖动造成图像 1OU超过0.7时认定为正样本，否则为负样本 较为模糊，从而对检测的召回率造成较大的影响 (1)LISA数据集 在LISA数据集上对YOLOv3和改进YOLOv3 LISA数据集是以美国交通标志为基础构建的 算法的部分检测结果进行了可视化展示，如图10 数据集，数据集中共包含6610个样本，47类7855 所示.通过图10(a,b)和图10(c,d)对比发现，尽 个交通标志，标志尺寸从6像素×6像素到167像 管YOLO3成功的检测到了图中的交通标志，但其 素×168像素不等，图像尺寸从640像素×480像 检测置信度较改进YOLOv3算法的置信度略低， 素到1024像素×522像素不等.由于47类交通标 约为0.9~1之间，而改进YOLOv3的检测置信度 志的数量不平衡，本文只选取了停止(Stop)和人行 基本都接近于1：此外，YOLOv3对交通标志的回 道(Pedestrian crossing)两个数量较多的类别进行 归误差也较改进YOLOv3算法略大.以上实验数 训练和测试，其中行人标志1085个，停止标志 据说明本文的改进YOLOv3算法不仅能够降低检 1821个，按照约1：1的比例划分组成训练集和测 测漏检率，还能提升检测正确情况下的检测效果 试集，测试集中标志个数为1446个.改进YOLOv:3 (2)弱光照中国交通标志数据集， 算法和YOLOv3算法的测试结果如表2所示 本文构建的弱光照中国交通标志数据集（测 表2在LISA数据集上的测试结果（國值=0.8，IOU=0.7) 试集)共包含样本3130张，内含4478个交通标志， 在此数据集上分别测试了标准YOLOv3网络和增 Table 2 Test results on LISA dataset (threshold=0.8,IOU =0.7) 强YOLOv3算法的检测性能并进行对比分析，对 Algorithm Number of traffic signs Recall/%Accuracy/% 比实验结果如表3所示 Standard YOLOv3 1446 88.80 99.07 从表中可看出，标准YOLO3对偏暗类图像、 Improved YOLOv3 1446 91.36 98.44 明亮类图像的检测召回率分别为96.30%和98.49%， 从表2可以看出，在召回率上改进YOLOv3算 偏暗类图像的召回率较明亮类图像的召回率低 法较YOL0v3高2.56%，但都只有90%左右，说明两 2.19%,说明标准YOL03并没有很好的学习到弱 (a) (b) (c) 图10不同算法测试结果可视化对比.(a,b)标准YOLOv3:(c,d)改进YOLOv3 Fig.10 Visual comparison of different algorithm for test results:(a,b)standard YOLOv3;(c,d)improved YOLOv3

数据集（测试集）上对本文提出的增强 YOLOv3 算 法进行对比验证. 对于检测结果的评判，本文设置 置信度阈值为 0.8，即置信度超过 0.8 时认为检测 到的目标是交通标志 ，设 置 IOU 阈 值 为 0.7， 即 IOU 超过 0.7 时认定为正样本，否则为负样本. （1）LISA 数据集. LISA 数据集是以美国交通标志为基础构建的 数据集，数据集中共包含 6610 个样本，47 类 7855 个交通标志，标志尺寸从 6 像素 × 6 像素到 167 像 素 × 168 像素不等，图像尺寸从 640 像素 × 480 像 素到 1024 像素 × 522 像素不等. 由于 47 类交通标 志的数量不平衡，本文只选取了停止（Stop）和人行 道（Pedestrian crossing）两个数量较多的类别进行 训练和测试 ，其中行人标 志 1085 个 ，停止标 志 1821 个，按照约 1∶1 的比例划分组成训练集和测 试集，测试集中标志个数为 1446 个. 改进 YOLOv3 算法和 YOLOv3 算法的测试结果如表 2 所示. 从表 2 可以看出，在召回率上改进 YOLOv3 算 法较 YOLOv3 高 2.56%，但都只有 90% 左右，说明两 种方法的漏检标志数量较多；准确率方面，两种方 法相差不大，说明两种方法很少出现错检的交通标 志. 造成这种现象的原因主要是 LISA 数据集中的样 本通过车载相机采集，车辆运动和抖动造成图像 较为模糊，从而对检测的召回率造成较大的影响. 在 LISA 数据集上对 YOLOv3 和改进 YOLOv3 算法的部分检测结果进行了可视化展示，如图 10 所示. 通过图 10（a，b）和图 10（c，d）对比发现，尽 管 YOLO3 成功的检测到了图中的交通标志，但其 检测置信度较改进 YOLOv3 算法的置信度略低， 约为 0.9～1 之间，而改进 YOLOv3 的检测置信度 基本都接近于 1；此外，YOLOv3 对交通标志的回 归误差也较改进 YOLOv3 算法略大. 以上实验数 据说明本文的改进 YOLOv3 算法不仅能够降低检 测漏检率，还能提升检测正确情况下的检测效果. （2）弱光照中国交通标志数据集. 本文构建的弱光照中国交通标志数据集（测 试集）共包含样本 3130 张，内含 4478 个交通标志， 在此数据集上分别测试了标准 YOLOv3 网络和增 强 YOLOv3 算法的检测性能并进行对比分析，对 比实验结果如表 3 所示. 从表中可看出，标准 YOLO3 对偏暗类图像、 明亮类图像的检测召回率分别为 96.30% 和 98.49%， 偏暗类图像的召回率较明亮类图像的召回率低 2.19%，说明标准 YOLO3 并没有很好的学习到弱 表 2    在 LISA 数据集上的测试结果（阈值=0.8，IOU=0.7） Table 2    Test results on LISA dataset (threshold = 0.8, IOU = 0.7) Algorithm Number of traffic signs Recall/% Accuracy/% Standard YOLOv3 1446 88.80 99.07 Improved YOLOv3 1446 91.36 98.44 (a) Stop(Cp= 0.92) Stop (Cp= 0.96) (b) Pedestrian Crossing (Cp= 0.97) Pedestrian Crossing (Cp= 0.89) (c) Stop (Cp= 1.00) Stop (Cp= 1.00) (d) Pedestrian Crossing (Cp= 0.98) Pedestrian Crossing (Cp= 1.00) 图 10    不同算法测试结果可视化对比. （a, b）标准 YOLOv3；（c, d）改进 YOLOv3 Fig.10    Visual comparison of different algorithm for test results: (a, b) standard YOLOv3; (c, d) improved YOLOv3 · 1082 · 工程科学学报，第 42 卷，第 8 期