第13卷第3期 智能系统学报 Vol.13 No.3 2018年6月 CAAI Transactions on Intelligent Systems Jun.2018 D0:10.11992/tis.201706040 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180411.0849.002.html 自动驾驶场景下小且密集的交通标志检测 葛园园，许有疆，赵帅2，韩亚洪 (1.天津大学计算机科学与技术学院，天津300350：2.中国汽车技术研究中心教据资源中心，天津300300) 摘要：在自动驾驶场景中，交通标志的检测和识别对行车周围环境的理解至关重要。行车过程中拍摄的图片中存 在许多较小的交通标志，它们很难被现有的物体检测方法检测到。为了能够精确地检测到这部分小的交通标志，我 们提出了用浅层VGG16网络作为物体检测框架R-FCN的主体网络，并改进VGG16网络，主要有两个改进点：1)减 小特征图缩放倍数，去掉VGG16网络卷积cov4_3后面的特征图，使用RPN网络在浅层卷积conv4_3上提取候选 框；2)特征拼层，将尺度相同的卷积conv4_1、conv4_2、conv4_3层的特征拼接起来形成组合特征(aggregated feature))。改进后的物体检测框架能够检测到更多的小物体，在驭势科技提供的交通标志数据集上取得了很好的性 能，检测的准确率mAP达到了65%。 关键词：交通标志：目标检测：深度学习：组合特征：卷积神经网络：特征图：候选框：自动驾驶 中图分类号：TP183文献标志码：A文章编号：1673-4785(2018)03-0366-07 中文引用格式：葛园园，许有疆，赵帅，等.自动驾驶场景下小且密集的交通标志检测J.智能系统学报，2018,133：366-372 英文引用格式：GE Yuanyuan,,XU Youjiang,ZHAO Shuai,,etal.Detection of small and dense traffic signs in self-driving scenarios[JI.CAAI transactions on intelligent systems,2018,13(3):366-372. Detection of small and dense traffic signs in self-driving scenarios GE Yuanyuan',XU Youjiang',ZHAO Shuai,HAN Yahong (1.School of Computer Science and Technology,Tianjin University,Tianjin 300350,China;2.Data Resource Center,China Auto- motive Technology and Research Center,Tianjin 300300,China) Abstract:In self-driving scenarios,the detection and recognition of traffic signs is critical to understanding the driving environment.The plethora of small traffic signs are hard to detect by the existing object detection technology.To detect these small traffic signs accurately,we propose the use of the shallow network VGG16 as the R-FCN's backbone and the modification of the VGG16 network.There are mainly two improvements in the VGG16 network.First,we reduce the multiple zooming of feature maps,remove the feature maps behind the VGG16 network convolution conv4_3,and use the RPN network to extract the region proposal in the shallow convolution conv4 3 layer.We then concatenate the feature maps.The features of the layers of the convolutions conv4_1,conv4_2,and conv4_3 are adjoined to form an ag- gregated feature.The improved object detection framework can detect more small objects.We use a dataset of traffic signs to test the performance and mAP accuracy. Keywords:traffic sign;object detection;deep learning,aggregate feature;CNN;feature map;region proposal;self-driv- ing 近年来，随着深度学习技术的发展，自动驾 检测对后续的识别、辅助定位和导航起着决定性的 驶引起了人们的广泛关注。在自动驾驶场景中，交 作用。在真实的拍摄场景中，交通标志种类众多， 通标志的检测和识别起着非常重要的作用。精确的 大小不一，存在着颜色差异，且受到天气、光照、拍 摄角度等因素的影响。这些复杂的因素使得交通标 收稿日期：2017-06-10.网络出版日期：2018-04-11 基金项目：国家自然科学基金项目(61472276). 志的检测变得非常困难，尤其是图片中存在大量小 通信作者：韩亚洪.E-mail:yahong@tju.edu.cn 且密集的交通标志。为了能够更好地解决小物体的DOI: 10.11992/tis.201706040 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180411.0849.002.html 自动驾驶场景下小且密集的交通标志检测 葛园园1 ，许有疆1 ，赵帅2 ，韩亚洪1 （1. 天津大学 计算机科学与技术学院，天津 300350; 2. 中国汽车技术研究中心 数据资源中心，天津 300300） 摘 要：在自动驾驶场景中，交通标志的检测和识别对行车周围环境的理解至关重要。行车过程中拍摄的图片中存 在许多较小的交通标志，它们很难被现有的物体检测方法检测到。为了能够精确地检测到这部分小的交通标志，我 们提出了用浅层 VGG16 网络作为物体检测框架 R-FCN 的主体网络，并改进 VGG16 网络，主要有两个改进点：1) 减 小特征图缩放倍数，去掉 VGG16 网络卷积 conv4_3 后面的特征图，使用 RPN 网络在浅层卷积 conv4_3 上提取候选 框；2) 特征拼层，将尺度相同的卷积 conv4_1、conv4_2、conv4_3 层的特征拼接起来形成组合特征 (aggregated feature)。改进后的物体检测框架能够检测到更多的小物体，在驭势科技提供的交通标志数据集上取得了很好的性 能，检测的准确率 mAP 达到了 65%。 关键词：交通标志；目标检测；深度学习；组合特征；卷积神经网络；特征图；候选框；自动驾驶 中图分类号：TP183 文献标志码：A 文章编号：1673−4785(2018)03−0366−07 中文引用格式：葛园园, 许有疆, 赵帅, 等. 自动驾驶场景下小且密集的交通标志检测[J]. 智能系统学报, 2018, 13(3): 366–372. 英文引用格式：GE Yuanyuan, XU Youjiang, ZHAO Shuai, et al. Detection of small and dense traffic signs in self-driving scenarios[J]. CAAI transactions on intelligent systems, 2018, 13(3): 366–372. Detection of small and dense traffic signs in self-driving scenarios GE Yuanyuan1 ，XU Youjiang1 ，ZHAO Shuai2 ，HAN Yahong1 (1. School of Computer Science and Technology, Tianjin University, Tianjin 300350, China; 2. Data Resource Center, China Auto￾motive Technology and Research Center, Tianjin 300300, China) Abstract: In self-driving scenarios, the detection and recognition of traffic signs is critical to understanding the driving environment. The plethora of small traffic signs are hard to detect by the existing object detection technology. To detect these small traffic signs accurately, we propose the use of the shallow network VGG16 as the R-FCN ’s backbone and the modification of the VGG16 network. There are mainly two improvements in the VGG16 network. First, we reduce the multiple zooming of feature maps, remove the feature maps behind the VGG16 network convolution conv4_3, and use the RPN network to extract the region proposal in the shallow convolution conv4_3 layer. We then concatenate the feature maps. The features of the layers of the convolutions conv4_1, conv4_2, and conv4_3 are adjoined to form an ag￾gregated feature. The improved object detection framework can detect more small objects. We use a dataset of traffic signs to test the performance and mAP accuracy. Keywords: traffic sign; object detection; deep learning; aggregate feature; CNN; feature map; region proposal; self-driv￾ing 近年来，随着深度学习技术[1-8]的发展，自动驾 驶引起了人们的广泛关注。在自动驾驶场景中，交 通标志的检测和识别起着非常重要的作用。精确的 检测对后续的识别、辅助定位和导航起着决定性的 作用。在真实的拍摄场景中，交通标志种类众多， 大小不一，存在着颜色差异，且受到天气、光照、拍 摄角度等因素的影响。这些复杂的因素使得交通标 志的检测变得非常困难，尤其是图片中存在大量小 且密集的交通标志。为了能够更好地解决小物体的 收稿日期：2017−06−10. 网络出版日期：2018−04−11. 基金项目：国家自然科学基金项目 (61472276). 通信作者：韩亚洪. E-mail：yahong@tju.edu.cn. 第 13 卷第 3 期 智 能 系 统 学 报 Vol.13 No.3 2018 年 6 月 CAAI Transactions on Intelligent Systems Jun. 2018