【机器学习】一种改进的深度学习的道路交通标识识别算法

团购合买资源类别：文库，文档格式：PDF，文档页数：10，文件大小：5.07MB

第15卷第6期智能系统学报 Vol.15 No.6 2020年11月 CAAI Transactions on Intelligent Systems Nov.2020 D0L:10.11992tis.201811009 一种改进的深度学习的道路交通标识识别算法何锐波2，狄岚'，梁久祯 (1.江南大学人工智能与计算机学院，江苏无锡214122,2.中国电子科技集团公司第二十八研究所，江苏南京210007：3.常州大学信息科学与工程学院，江苏常州213164) 摘要：针对复杂的环境，结合图像预处理与深度学习神经网络，提出了一种道路交通标识识别算法。该方法不仅利用图像分割技术，而且利用卷积神经网络模型对道路交通标识进行了更准确的识别。首先，通过调节光照影响、去除复杂背景、数据增强和归一化等批量预处理操作，形成一个完整的数据集；然后，结合squeeze-and- excitation思想和残差网络结构，充分训练出自己的卷积神经网络模型；最后，将优化的网络模型用于道路交通标识的识别。实验结果表明，该方法使训练时间缩短了12%左右，识别精度可达99.26%。关键词：道路交通标识识别；图像分割；卷积神经网络：去除复杂背景；数据增强；归一化；压缩和激励网络：残差连接中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2020)06-1121-10 中文引用格式：何锐波，狄岚，梁久祯.一种改进的深度学习的道路交通标识识别算法J.智能系统学报，2020,15(6)： 1121-1130. 英文引用格式：HE Ruibo,DI Lan,LIANG Jiuzhen..An improved deep learning algorithm for road traffic identificationJ.CAAl transactions on intelligent systems,2020,15(6):1121-1130. An improved deep learning algorithm for road traffic identification HE Ruibo2,DI Lan',LIANG Jiuzhen (1.School of Artificial Intelligence and Computer Science,Jiangnan University,Wuxi 214122,China:2.The 28th Research Institute of China Electronics Technology Group Corporation,Nanjing 210007,China;3.School of Information Science and Engineering, Changzhou University,Changzhou 213164,China) Abstract:This study proposes a road traffic identification algorithm based on image preprocessing and deep-learning neural networks for complex environments.The proposed method uses not only the image segmentation technology but also the convolutional neural network model to more accurately identify the road traffic signs.First,a complete dataset is obtained via batch preprocessing operations,including illumination effect adjustment,complex background elimina- tion,data enhancement,and normalization.Next,the convolutional neural network model is sufficiently trained based on the combination of the squeeze-and-excitation network and residual network structure concepts.Finally,the optimized network model is used to identify the road traffic signs.The experimental result shows that the proposed method re- duces the training time by approximately 12%and that the recognition accuracy can reach 99.26%. Keywords:road traffic identification;image segmentation;convolutional neural network;complex background elimina- tion:data enhancement;normalization:squeeze-and-excitation network;residual connection 道路交通标识的探测和检验在快速发展的智道路交通的通行效率和通行安全提供了保障，对能交通领域受到了广泛的关注，其含有的限速、其内容的研究具有重要意义。限行、限高提示、车道方向的指示等提示信息，为现今有许多针对路标的检测方法，如：采用不收稿日期：2018-11-11. 同色彩空间进行匹配检测的方法，对形状及轮基金项目：江苏省研究生科研与实践创新计划项目(KYCXI8 廓进行分割提取的方法，或融合形状与色彩特 1872). 通信作者：狄岚.E-mail:dilan@jiangnan.edu.cn 征m的检测方法、或采用深度学习、神经网络有

DOI: 10.11992/tis.201811009 一种改进的深度学习的道路交通标识识别算法何锐波1,2，狄岚1 ，梁久祯3 （1. 江南大学人工智能与计算机学院，江苏无锡 214122; 2. 中国电子科技集团公司第二十八研究所，江苏南京 210007; 3. 常州大学信息科学与工程学院，江苏常州 213164）摘要：针对复杂的环境，结合图像预处理与深度学习神经网络，提出了一种道路交通标识识别算法。该方法不仅利用图像分割技术，而且利用卷积神经网络模型对道路交通标识进行了更准确的识别。首先，通过调节光照影响、去除复杂背景、数据增强和归一化等批量预处理操作，形成一个完整的数据集；然后，结合 squeeze-andexcitation 思想和残差网络结构，充分训练出自己的卷积神经网络模型；最后，将优化的网络模型用于道路交通标识的识别。实验结果表明，该方法使训练时间缩短了 12% 左右，识别精度可达 99.26%。关键词：道路交通标识识别；图像分割；卷积神经网络；去除复杂背景；数据增强；归一化；压缩和激励网络；残差连接中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2020)06−1121−10 中文引用格式：何锐波, 狄岚, 梁久祯. 一种改进的深度学习的道路交通标识识别算法 [J]. 智能系统学报, 2020, 15(6): 1121–1130. 英文引用格式：HE Ruibo, DI Lan, LIANG Jiuzhen. An improved deep learning algorithm for road traffic identification[J]. CAAI transactions on intelligent systems, 2020, 15(6): 1121–1130. An improved deep learning algorithm for road traffic identification HE Ruibo1,2 ，DI Lan1 ，LIANG Jiuzhen3 (1. School of Artificial Intelligence and Computer Science, Jiangnan University, Wuxi 214122, China; 2. The 28th Research Institute of China Electronics Technology Group Corporation, Nanjing 210007, China; 3. School of Information Science and Engineering, Changzhou University, Changzhou 213164, China) Abstract: This study proposes a road traffic identification algorithm based on image preprocessing and deep-learning neural networks for complex environments. The proposed method uses not only the image segmentation technology but also the convolutional neural network model to more accurately identify the road traffic signs. First, a complete dataset is obtained via batch preprocessing operations, including illumination effect adjustment, complex background elimination, data enhancement, and normalization. Next, the convolutional neural network model is sufficiently trained based on the combination of the squeeze-and-excitation network and residual network structure concepts. Finally, the optimized network model is used to identify the road traffic signs. The experimental result shows that the proposed method reduces the training time by approximately 12% and that the recognition accuracy can reach 99.26%. Keywords: road traffic identification; image segmentation; convolutional neural network; complex background elimination; data enhancement; normalization; squeeze-and-excitation network; residual connection 道路交通标识的探测和检验在快速发展的智能交通领域受到了广泛的关注，其含有的限速、限行、限高提示、车道方向的指示等提示信息，为道路交通的通行效率和通行安全提供了保障，对其内容的研究具有重要意义。现今有许多针对路标的检测方法，如：采用不同色彩空间[1-3] 进行匹配检测的方法，对形状及轮廓 [4-6] 进行分割提取的方法，或融合形状与色彩特征 [7] 的检测方法、或采用深度学习、神经网络有收稿日期：2018−11−11. 基金项目：江苏省研究生科研与实践创新计划项目 (KYCX18_ 1872). 通信作者：狄岚. E-mail：dilan@jiangnan.edu.cn. 第 15 卷第 6 期智能系统学报 Vol.15 No.6 2020 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2020

·1122· 智能系统学报第15卷关知识进行检测的方法1。以色彩空间为模板道的取值范围为[0,1]。YCbCr色彩空间较的检测方法最早由Yang等提出，通过提取 RGB色彩空间能显示图像整体的亮度信息。将 R层信息，构建待选模板，对路标图像进行粗略分 RGB图像转换成YCbCr空间表示的具体转换公割；因YCbCr色彩空间具有受亮度变化影响较式20为小的特点，采用依据图像Cb、Cr分量进行图像分 16 0.257 0.504 0.098 R 割；提取形状特征模板的检测识别方法最早由 128 -0.148 -0.291 0.439 G Piccioli等I)提出，后逐渐改进为SNCC算法 Cr 128 0.439 -0.368 -0.071 B 现今采用多尺度的算法来识别检测，如马尔科夫经过空间换算，经过大量实验得到图像亮度随机场和基于贝叶斯的)、基于特征点采样和阈值在Y∈[85,200]内较为正常，通过图像增强等 OSPA距离的16识别检测路标的算法，这些算法方式对阈值外图像进行处理。通过RGB色彩空虽然在速度和准确率上有着特有的优势，但却有间的叠加或删减来对图像进行增强，具体效果如图1 着严苛的限制条件，缺乏普适性。深度学习模型所示，对曝光不足图像的处理公式为可以看作由多个人工神经网络层组成叨，通过构 R=R+k(1-R)R 建含有多个隐层的神经网络模型，将低层特征通式中k为一个可调节参数。过逐层非线性特征组合变换，形成更加抽象的高层特征表达。加深模型网络是常用于提高检测识别准确率的方法之一，但随之而来会出现“退化” 问题。He等usI就提出了ResNet(residual neural network),缓解了“退化现象，但并没有解决梯度爆炸问题。WMW团队提出了SENet(squeeze- and-excitation networks)模型，使用特征通道融合的方式，通过建模展现特征通道间依赖关系，从而强化有用特征并抑制无用特征。本文结合 (a)原图 b)Y空间 SENet和ResNet模型的原理，取各自优点，使用 (©)图像增强较小的网络层数来达到较高的识别水平。图1曝光不足图像增强因此针对上述存在的问题，本文所做的工 Fig.1 Insufficient exposure image enhancement 作是：对于过曝图片的增强公式R=R-k(1-)R, 1)提出了将HU不变量与色彩空间多尺度相 k是一个可调节参数，实验效果如图2。结合进行处理的方法，减少光照影响，并除去复杂背景，降低无用特征被学习到的几率； 2)通过旋转数据增强及归一化操作，对小型数据集进行增强，满足网络训练要求，提高识别准确率； 3)结合SE网络和残差网络结构，构建了自己的网络模型。同时，通过调整相应的参数以适应路标图像的特点，采用浅层网络模型使训练时间得到大幅减少，保证具有较高识别准确率。 (a)原图 (b)Y空间 (c)图像增强 1 图像预处理图2过曝图像增强 1.1数据集的光照处理 Fig.2 Overexposure image enhancement 环境因素会给交通标识的图像采集工作带来 1.2 特征匹配很大的负面影响，从而造成识别困难。本文从数字图像处理中，通过提取轮廓边界及形状 RGB和YCbCr两个不同的颜色空间对图像进行特征进行分割是图像识别领域的一种常用的方阈值划分，从而实现对图像的预处理，降低环境法。本文整合交通标识图像的共有形状特征进行因素干扰。RGB色彩空间模型通过构建红、绿、特征提取，降低神经网络在数据集训练时的无用蓝3个通道的笛卡尔坐标系，来表示色彩图像，通特征学习。图3所示为交通标识形状特征图

关知识进行检测的方法[8-10]。以色彩空间为模板的检测方法最早由 Yang 等 [ 1 1 ] 提出，通过提取 R 层信息，构建待选模板，对路标图像进行粗略分割；因 YCbCr 色彩空间[12] 具有受亮度变化影响较小的特点，采用依据图像 Cb、Cr 分量进行图像分割；提取形状特征模板的检测识别方法最早由 Piccioli 等 [13] 提出，后逐渐改进为 SNCC 算法[14]。现今采用多尺度的算法来识别检测，如马尔科夫随机场和基于贝叶斯的[15] 、基于特征点采样和 OSPA 距离的[16] 识别检测路标的算法，这些算法虽然在速度和准确率上有着特有的优势，但却有着严苛的限制条件，缺乏普适性。深度学习模型可以看作由多个人工神经网络层组成[17] ，通过构建含有多个隐层的神经网络模型，将低层特征通过逐层非线性特征组合变换，形成更加抽象的高层特征表达。加深模型网络是常用于提高检测识别准确率的方法之一，但随之而来会出现“退化” 问题。He 等 [18] 就提出了 ResNet (residual neural network)，缓解了“退化”现象，但并没有解决梯度爆炸问题。WMW 团队提出了 SENet (squeezeand-excitation networks) 模型[19] ，使用特征通道融合的方式，通过建模展现特征通道间依赖关系，从而强化有用特征并抑制无用特征。本文结合 SENet 和 ResNet 模型的原理，取各自优点，使用较小的网络层数来达到较高的识别水平。因此针对上述存在的问题，本文所做的工作是： 1) 提出了将 HU 不变量与色彩空间多尺度相结合进行处理的方法，减少光照影响，并除去复杂背景，降低无用特征被学习到的几率； 2) 通过旋转数据增强及归一化操作，对小型数据集进行增强，满足网络训练要求，提高识别准确率； 3) 结合 SE 网络和残差网络结构，构建了自己的网络模型。同时，通过调整相应的参数以适应路标图像的特点，采用浅层网络模型使训练时间得到大幅减少，保证具有较高识别准确率。 1 图像预处理 1.1 数据集的光照处理环境因素会给交通标识的图像采集工作带来很大的负面影响，从而造成识别困难。本文从 RGB 和 YCbCr 两个不同的颜色空间对图像进行阈值划分，从而实现对图像的预处理，降低环境因素干扰。RGB 色彩空间模型通过构建红、绿、蓝 3 个通道的笛卡尔坐标系，来表示色彩图像，通道的取值范围为 [0,1]。 YCbCr 色彩空间较 RGB 色彩空间能显示图像整体的亮度信息。将 RGB 图像转换成 YCbCr 空间表示的具体转换公式 [20] 为   Y Cb Cr   =   16 128 128   +   0.257 0.504 0.098 −0.148 −0.291 0.439 0.439 −0.368 −0.071     R G B   Y ∈ [85,200] 经过空间换算，经过大量实验得到图像亮度阈值在内较为正常，通过图像增强等方式对阈值外图像进行处理。通过 RGB 色彩空间的叠加或删减来对图像进行增强，具体效果如图 1 所示，对曝光不足图像的处理公式为 R = R+k(1− R)·R 式中 k 为一个可调节参数。 (a) 原图 (b) Y 空间 (c) 图像增强图 1 曝光不足图像增强 Fig. 1 Insufficient exposure image enhancement R = R−k(1− R)·R k 对于过曝图片的增强公式，是一个可调节参数，实验效果如图 2。 (a) 原图 (b) Y 空间 (c) 图像增强图 2 过曝图像增强 Fig. 2 Overexposure image enhancement 1.2 特征匹配数字图像处理中，通过提取轮廓边界及形状特征进行分割是图像识别领域的一种常用的方法。本文整合交通标识图像的共有形状特征进行特征提取，降低神经网络在数据集训练时的无用特征学习。图 3 所示为交通标识形状特征图。 ·1122· 智能系统学报第 15 卷

第6期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1123· M5=(030-312)(30+12)[30+12)2-3(721+a)P]+ (3n21-7a3)21+70m)[3(721+o)）2-(21+7o3)3] M6=(720-7m)[730+112)2-(21+)P]+ 4711(730+712)21+0s）图3交通标识形状特征图 Fig.3 Traffic-sign shape feature chart M,=(20-72)[730+12)2-(721+)2]+ 4711(730+712)721+1as）通过形态学的开闭操作降低图像中的噪声，后用最大类间方差法寻找图像阈值，以阈值为界这7个不变矩构成了一组特征向量，通过将灰度图像转换为二值图像；最后使用孔洞填充提交通标识图像与标准轮廓图像形状进行特征向量取图像特征形状。图4为操作示意图。的匹配，形成mask掩膜，进行路标特征的提取。图5 表示mask掩膜的匹配生成及数据集图片的特征提取去背景。 (a)mask掩膜 TOP STOP STOP STOP STOP (b)特征提取 (a)原图 (b)开操作(c)闭操作(d最大类(e)孔洞填充图5掩膜与特征提取间方差 Fig.5 Mask and decontextualization 图4图像形状特征提取 1.3归一化与数据增强 Fig.4 Shape feature extraction 本文采用三次样条插值的方法将深度学习在取得图像的形状特征后，可通过对比轮廓模型所需的训练集归一化处理到128×128的尺寸矩21的方式判断形状相似度。轮廓的(p,q)矩大小。对小于尺寸的图片，根据深度学习模型的定义为特性，可以通过图像的几何变换（如平移、旋转、尺度拉伸、对比度调整以及颜色变换)进行数据增强；对于大尺寸的，则采用均值缩减降低图像式中：p=1,2,;q=12,…。对于离散图像fx,y), 尺寸。本文对数据量较少的进行旋转变换来扩充其阶标准矩网定义公式为数据集。 N M m x"yf(x.y), p=01,2,…q=1,2,… 2模型与算法 =1=1 p+q阶中心矩定义为 2.1卷积神经网络结构 44-∑∑c-0-驴f在随着人们对神经网络的深入探索研究，衍生 3=1=1 出了名为深度学习的思维理念，其中较为常用的 p=0,1,2,…9=1,2 叫卷积神经网络模型。其核心思想是通过反复式中元和)代表图像的重心，归一化的中心矩定的迭代，逐层反向调节网络中的权重参数来最小义为7m=4g/o,其中，r=(p+q/2+1o 化损失函数同时提高识别率。为解决参数多、复通过二阶和三阶归一化中心矩可以构造出杂度高等问题采用权值共享策略，而其稀疏连接 7个不变矩M1~M: 的特性提高了并行处理能力及误差的容忍程 M1=2o+7m2 度。卷积层(convolution layer)、池化层(pooling M2=(720-o2)2+47ii layer)和全连接层(Full-connection Layer)是卷积 M3=(730-37122+(321-0)P 神经网络的主要构成部分；卷积神经网络结构示 M4=(730+12)2+(21+7)P 意图如图6

图 3 交通标识形状特征图 Fig. 3 Traffic-sign shape feature chart 通过形态学的开闭操作降低图像中的噪声，后用最大类间方差法寻找图像阈值，以阈值为界灰度图像转换为二值图像；最后使用孔洞填充提取图像特征形状。图 4 为操作示意图。 (a) 原图 (b) 开操作 (c) 闭操作 (d) 最大类间方差 (e) 孔洞填充图 4 图像形状特征提取 Fig. 4 Shape feature extraction (p,q) 在取得图像的形状特征后，可通过对比轮廓矩 [ 2 1 ] 的方式判断形状相似度。轮廓的矩定义为 mp,q = ∫ ∞ −∞ ∫ ∞ −∞ I(x, y)x p y q f (x, y)dxdy 式中： p = 1,2,···； q = 1,2,···。对于离散图像 f(x, y)，其阶标准矩[22] 定义公式为 mp,q = ∑N y=1 ∑M x=1 x p y q f(x, y), p = 0,1,2,··· ;q = 1,2,··· p+q 阶中心矩定义为 µp,q = ∑N y=1 ∑M x=1 (x− x¯) p (y−y¯) q f(x, y) p = 0,1,2,··· ;q = 1,2,··· x¯ y¯ ηpq = µpq/µr 00 r = (p+q)/2+1 式中和代表图像的重心，归一化的中心矩定义为，其中，。 M1 M7 通过二阶和三阶归一化中心矩可以构造出 7 个不变矩 ~ ： M1 = η20 +η02 M2 = (η20 −η02) 2 +4η 2 11 M3 = (η30 −3η12) 2 +(3η21 −η03) 2 M4 = (η30 +η12) 2 +(η21 +η03) 2 M5 = (η30 −3η12)(η30 +η12)[(η30 +η12) 2 −3(η21 +η03) 2 ]+ (3η21 −η03)(η21 +η03)[3(η21 +η03) 2 −(η21 +η03) 2 ] M6 = (η20 −η02)[(η30 +η12) 2 −(η21 +η03) 2 ]+ 4η11(η30 +η12)(η21 +η03) M7 = (η20 −η02)[(η30 +η12) 2 −(η21 +η03) 2 ]+ 4η11(η30 +η12)(η21 +η03) 这 7 个不变矩构成了一组特征向量，通过将交通标识图像与标准轮廓图像形状进行特征向量的匹配，形成 mask 掩膜，进行路标特征的提取。图 5 表示 mask 掩膜的匹配生成及数据集图片的特征提取去背景。 (a) mask 掩膜 (b) 特征提取图 5 掩膜与特征提取 Fig. 5 Mask and decontextualization 1.3 归一化与数据增强 128×128 本文采用三次样条插值的方法[23] 将深度学习模型所需的训练集归一化处理到的尺寸大小。对小于尺寸的图片，根据深度学习模型的特性，可以通过图像的几何变换 (如平移、旋转、尺度拉伸、对比度调整以及颜色变换) 进行数据增强；对于大尺寸的，则采用均值缩减降低图像尺寸。本文对数据量较少的进行旋转变换来扩充数据集。 2 模型与算法 2.1 卷积神经网络结构随着人们对神经网络的深入探索研究，衍生出了名为深度学习的思维理念，其中较为常用的叫卷积神经网络模型。其核心思想是通过反复的迭代，逐层反向调节网络中的权重参数来最小化损失函数同时提高识别率。为解决参数多、复杂度高等问题采用权值共享策略，而其稀疏连接的特性提高了并行处理能力及误差的容忍程度。卷积层 (convolution layer)、池化层 (pooling layer) 和全连接层 (Full-connection Layer) 是卷积神经网络的主要构成部分；卷积神经网络结构示意图如图 6。第 6 期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1123·

·1124· 智能系统学报第15卷输入层 C:特征层 S:池化层 S:池化层 C:特征层输出层卷积操作池化操作 …(卷积-池化-卷积操作) 全连接操作图6卷积神经网络结构 Fig.6 Structure of the convolutional neural network 2.2局部响应归一化与残差连接鉴侧抑制思想，利用附近几层对特征中间层进行文献[24]针对梯度爆炸问题，提出了一种局平滑处理，计算公式为部响应归一化的思想，为提高网络模型的泛化能力减少过拟合程度，采用竞争机制，增大局部特 min(N-1.i+) k+a 征值的差距分化；文献[25]提出一种恒等映射拟 ∑a j户nax(0.-) 合的方法优化深层网络的训练学习。局部响应归式中：k、n、a、B为超参数；d,表示第i个核在一化(local response normalization)如图7所示：借 (x,y)位置的输出；N表示该层中核的总数。 (a) 0 (at 0 (d人 +∑ (a) 0 a (a 0 图7局部响应归一化示意图 Fig.7 Local response normalization diagram 图8为残差连接示意图，为降低梯度爆炸 2.3 Squeeze-and-Excitation模块问题，简化训练学习过程，利用数学运算把式深度学习模型的改进方法中，许多都从空间 H(x)=F(x)+x转化成F(x)=H(x)-x的思想，其中维度进行考量；而SENet(squeeze-.and-excitation 当F(x)=0时H(x)=x;若F()≈0，则只考虑H(x) networks)通过使用特征重标定方法，不引入新的与x的相差部分，残差连接用此思想，保留了学空间维度并考虑特征通道间的关系来进行特征通道融合。Squeeze-and-Excitation可以被任何形式习到的深层特征，又简化了层级梯度。如：Fr:X→U,XERHxWxc,UE RHXWXC的运算定义，本质是个计算模块，把F.视为一种卷积运算，让 V=M2…e表示滤波核的集合，其中'c为第权重层 c层滤波的参数。输出结果可以被表示为U= F(x) [山…4c],其中 ReLU 恒等 x 权重层 4e=ye*X=） *r 式中：=[足…]和X=[x2…](为 H(x)=F(x)+x 了简化符号，省略了偏差项)，其中是一个二维空间内核，'中包含了通道与通道之间的相互依图8残差连接赖关系。 Fig.8 Residual connection 图9是Squeeze-and-Excitation模块思想的直观图

2.2 局部响应归一化与残差连接文献 [24] 针对梯度爆炸问题，提出了一种局部响应归一化的思想，为提高网络模型的泛化能力减少过拟合程度，采用竞争机制，增大局部特征值的差距分化；文献 [25] 提出一种恒等映射拟合的方法优化深层网络的训练学习。局部响应归一化 (local response normalization) 如图 7 所示：借鉴侧抑制思想，利用附近几层对特征中间层进行平滑处理，计算公式为 b i x,y = a i x,y   k+α min(N−1,i+ n 2 ∑ ) j=max(0,i− n 2 ) (a j x,y ) 2   β k、n、α、β a i x,y i (x, y) N 式中：为超参数；表示第个核在位置的输出；表示该层中核的总数。 ( )2 ax,y j−2 ax,y j−2 ax,y j−1 ax,y j+1 ax,y j+2 ax,y j bx,y j ax,y j ( )2 ax,y j−1 ( )2 ax,y j+1 ( )2 ax,y j+2 ax,y j ( )2 ÷ 0 0 0 0 ∑ ( )β k + ( )·∑• n α − 图 7 局部响应归一化示意图 Fig. 7 Local response normalization diagram H(x) = F(x)+ x F(x) = H(x)− x F(x) = 0 H(x) = x F(x) ≈ 0 H(x) x 图 8 为残差连接示意图，为降低梯度爆炸问题，简化训练学习过程，利用数学运算把式转化成的思想，其中当时；若，则只考虑与的相差部分，残差连接用此思想，保留了学习到的深层特征，又简化了层级梯度。权重层权重层 H(x)=F(x)+x + F(x) x ReLU 恒等 x 图 8 残差连接 Fig. 8 Residual connection 2.3 Squeeze-and-Excitation 模块 Ftr:X → U,X ∈ R H ′ ×W ′ ×C ′ ,U ∈ R H×W×C Ftr V = [ v1 v2 ··· vC ] vC U = [ u1 u2 ··· uC ] 深度学习模型的改进方法中，许多都从空间维度进行考量；而 SENet(squeeze-and-excitation networks) 通过使用特征重标定方法，不引入新的空间维度并考虑特征通道间的关系来进行特征通道融合。Squeeze-and-Excitation 可以被任何形式如：的运算定义，本质是个计算模块，把视为一种卷积运算，让表示滤波核的集合，其中为第 c 层滤波的参数。输出结果可以被表示为，其中 uc = vc ∗ X = C∑′ s=1 v s c ∗ x s vc = [ v 1 c v 2 c ··· v C ′ c ] X = [ x 1 x 2 ··· x C ′ ] v s c vc 式中：和 (为了简化符号，省略了偏差项)，其中是一个二维空间内核，中包含了通道与通道之间的相互依赖关系。图 9 是 Squeeze-and-Excitation 模块思想的直观图。输入层卷积操作池化操作 ...(卷积-池化-卷积操作) 全连接操作 C1 : 特征层 S1 : 池化层 Sn : 池化层 Cn+1: 特征层输出层图 6 卷积神经网络结构 Fig. 6 Structure of the convolutional neural network ·1124· 智能系统学报第 15 卷

第6期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1125· Fa(,W 差连接思想，形成本文的算法，具体流程如图10： 1)对数据集进行特征提取及亮度值批量预处理操作； 2)对数据集进行归一化及数据增强操作：图9 Squeeze-.and-Excitation模块 3)结合Squeeze-.and-Excitation模块及残差连 Fig.9 A Squeeze-and-Excitation block 接思想，调节参数优化网络模型结构，构建自己 2.4基于深度学习改进的路标识别算法的网络模型，并对训练集进行充分训练学习：通过整合上述理论与公式，优化网络结构 4)利用训练好的模型结构对任意交通标识图调节模型参数、结合Squeeze-and-Excitation与残像进行识别检测，验证模型算法。训光照处理局去背景完整数进的卷积神经网响应充分训练的交通测试化数据增强测试集型图10基于深度学习改进的路标识别算法流程 Fig.10 Improved road sign recognition algorithm flow using deep learning 3实验结果与分析验。表1为经典网络及本文模型训练时间表。图11 为模型层级及参数设定，图12和图13为不同深度实验采用德国交通标识标准数据库(GTSRB), 模型在BelgiumTSC和GTSRB两数据集上的实验其包含39209张训练集路标图像及12630张测试结果，迭代次数设置为30000，是多次实验抽取的集路标图像，共有43类：以及比利时交通标识数结果展示，通过实验可得准确率与网络层级并非据库(BelgiumTSC),其包含4590张训练集图像及线性正相关关系，因为梯度爆炸问题，导致实验层 2520张测试集图像，共62类。数据集中的图像级增加到10层之后模型开始无法收敛。大小从15×15到250×250不等，通过对训练集进行归一化和数据增强，得到增强后的Belgi- 表1训练时间（比利时数据库） umTSC训练集含图像6272张，GTSRB的训练集 Table 1 Training time(BelgiumTSC) 含图像51989张，图像大小统一为(128×128)。模型名称训练时间（仕10min) 5层LeNet模型实验所用电脑型号为Dell Precision T7910,中央处 1 h25 min AlexNet 1 h30 min 理器为E5-2600v4八核，内存大小为32GB,图形 8层网络结构模型 2h 处理器为NVIDIA QUADRO M2000,具有4GB显残差网络 6h 存，使用软件为MATLAB2016b及VisualStudio SENets 4h40 min 2010,并采用Caffe框架26，为减少对比实验误本文网络模型 2 h20 min 差，将非对比项参数固定，如初始学习率设置为 0.001,训练集图像一次处理量设为100，测试集图本文的网络模型结构如图14所示，分别为与像一次处理量为10，优化算法为随机梯度下降法经典的网络进行原始数据、数据增强及预处理操 (stochastic gradient dscent,SGD),学习率下降函数作不同训练集的对比分析。表2和表3给出了多为step函数，momentum值为0.9。模型的好坏通次实验下不同网络模型的准确率及损失值。由表过损失函数来衡量，当损失函数值趋于平稳则代格实验结果横向对比可知，对数据集进行归一化表模型已充分学习。处理、数据增强操作以及预处理操作能防止过拟整合Squeeze--and-Excitation Networks思想和合现象，增加模型的识别准确率；同时通过实验残差连接到经典AlexNet网络模型中进行对比实结果纵向对比发现残差连接及SENet的思想均能

X X ~ U Fsq (·) Fex (·,W) Fsxale (·,·) H H H Ftr ′ W′ C′ C C 1×1×C 1×1×C W W 图 9 Squeeze-and-Excitation 模块 Fig. 9 A Squeeze-and-Excitation block 2.4 基于深度学习改进的路标识别算法通过整合上述理论与公式，优化网络结构、调节模型参数、结合 Squeeze-and-Excitation 与残差连接思想，形成本文的算法，具体流程如图 10： 1) 对数据集进行特征提取及亮度值批量预处理操作； 2) 对数据集进行归一化及数据增强操作； 3) 结合 Squeeze-and-Excitation 模块及残差连接思想，调节参数优化网络模型结构，构建自己的网络模型，并对训练集进行充分训练学习； 4) 利用训练好的模型结构对任意交通标识图像进行识别检测，验证模型算法。光照处理充分训练测试测试集完整数据集改进的卷积神经网络训练好的交通标识卷积模型局部响应归一化整合残差连接和 Squeeze-and-Excitation 模块去背景归一化数据增强图 10 基于深度学习改进的路标识别算法流程 Fig. 10 Improved road sign recognition algorithm flow using deep learning 3 实验结果与分析 15×15 250×250 (128×128) 实验采用德国交通标识标准数据库 (GTSRB)，其包含 39 209 张训练集路标图像及 12 630 张测试集路标图像，共有 43 类；以及比利时交通标识数据库 (BelgiumTSC)，其包含 4 590 张训练集图像及 2 520 张测试集图像，共 62 类。数据集中的图像大小从到不等，通过对训练集进行归一化和数据增强，得到增强后的 BelgiumTSC 训练集含图像 6 272 张，GTSRB 的训练集含图像 51 989张，图像大小统一为。实验所用电脑型号为 Dell Precision T7910，中央处理器为 E5-2600v4八核，内存大小为 32 GB，图形处理器为 NVIDIA QUADRO M2000，具有 4 GB 显存，使用软件为 MATLAB2016b 及 VisualStudio 2010，并采用 Caffe 框架[26] ，为减少对比实验误差，将非对比项参数固定，如初始学习率设置为 0.001，训练集图像一次处理量设为 100，测试集图像一次处理量为 10，优化算法为随机梯度下降法 (stochastic gradient dscent, SGD)，学习率下降函数为 step 函数，momentum 值为 0.9。模型的好坏通过损失函数来衡量，当损失函数值趋于平稳则代表模型已充分学习。整合 Squeeze-and-Excitation Networks 思想和残差连接到经典 AlexNet 网络模型中进行对比实验。表 1 为经典网络及本文模型训练时间表。图 11 为模型层级及参数设定，图 12 和图 13 为不同深度模型在 BelgiumTSC 和 GTSRB 两数据集上的实验结果，迭代次数设置为 30 000，是多次实验抽取的结果展示，通过实验可得准确率与网络层级并非线性正相关关系，因为梯度爆炸问题，导致实验层级增加到 10 层之后模型开始无法收敛。表 1 训练时间 (比利时数据库) Table 1 Training time(BelgiumTSC) 模型名称训练时间(±10 min) 5层LeNet模型 1 h 25 min AlexNet 1 h 30 min 8层网络结构模型 2 h 残差网络 6 h SENets 4 h 40 min 本文网络模型 2 h 20 min 本文的网络模型结构如图 14 所示，分别为与经典的网络进行原始数据、数据增强及预处理操作不同训练集的对比分析。表 2 和表 3 给出了多次实验下不同网络模型的准确率及损失值。由表格实验结果横向对比可知，对数据集进行归一化处理、数据增强操作以及预处理操作能防止过拟合现象，增加模型的识别准确率；同时通过实验结果纵向对比发现残差连接及 SENet 的思想均能第 6 期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1125·

·1126· 智能系统学报第15卷提高网络模型的识别率。综合上述实验结果可增加了模型的计算复杂度，延长了训练时间，而得，神经网络模型学习需要大量数据支持，对数残差连接思想简化了网络层级间的运算，降低了据集进行数据增强能有效避免过拟合现象，而对训练时间，同时保障了识别准确率。结合两种算数据的预处理能够减少无效特征的学习从而增加法思想形成的本文网络模型结构，在GTSRB数识别准确率；Squeeze-and-Excitation block思想是据集上的实验结果表明其识别准确率可以达到一个特征重标定的计算模块，为提高识别准确率 99.26%,并且有着较优的训练时长。 Conv1:96×5×5,2,0 Conv1:96×5×5.2.0 Pool1:3×3.2.0 Conv1:96×5×5.2.0 Pool1:3×3.2.0 Conw2:256×5×5.2.2 Conv1:96×5×5,2,0 Pool1:3×3.2.0 Conv2:256×5×5,2,2 Conv3:384×5×5,2,2 Pool1:3×3,2,0 Conv2:256×5×5,2,2 Cov3:384×5×5,2,2 Pool3:3×3,2,0 Conv2:256×5×5,2,2 Pool2:3×3,2,0 Pool3:3×3,2,0 Conv4:384×3×3,1,1 Pool2:3×3,2,0 Conv3:384×3×3,1,1 Conw4:384×3×3,1,1 Conv5:384×3×3,1,1 Conw3:384×3×3,1,1 Conv4:384×3×3,1,1 Cov5:256×3×3,1,1 Conv6:256×3×3,L,1 Conv4:256×3×3,L,1 Conv5:256×3×3,1,1 Conv6:256×3×3,1,1 Conv7:256×3×3,L,1 Pool4:3×3,2,0 Pool5:3×3,2,0 Pool6:3×3,2,0 Pool7:3×3,2,0 fc1:4096×1,dropout fe6:4096×1,dropout fc7:4096×1,dropout fc8:4096×l,dropout fc2:43×l×1,dropout fe7:43×1×l,dropout fc8:43×l×l,dropout fe9:43×1×1,dropout (a)6层结构及参数 (b)7层结构及参数 (c)8层结构及参数 (d)9层结构及参数图11网络结构模型及参数设置图 Fig.11 Network structure model and parameter setting 90 0.008 88 ,6层网络签0.006 86 层网 004 84 8层网络 0.002 9层网络 4 2 5 实验次数实验次数 (a)准确率 (b)损失值 ◆6层网络图3不同网络深度下的准确率以及损失值（德国标准 0.007 0.006 8 层网数据库) 0.005 ◆一9层网绍 Fig.13 Accuracy and loss values of different network 0.004 0.003 depths(GTSRB) 0.002 0.001 0 Conv1:64×3×3,2,1 2 实验次数 Pool 1: ×3.2.0 (b)损失值 Conv2:64×3×3,2,1 图12不同网络深度下的准确率以及损失值（比利时数 Conv3:64×3×3,1,1 据库) ------------- Fig.12 Accuracy and loss values of different network SE 1 Conv4:64×3×3,1,1 Conv5:64×3×3,1,1 res 1 depths (BelgiumTSC) =---=------- Conv6:128×3×3,2,1 Conv7:128×3×3,1,1 92.0 SE 2 Conv8:128×3×3,1,I res2 Conv9:128×3×3,1,1 90.0 Pool2:3×3.2.0 88.5 fe18:43×1×1 87.5 2 3 实验次数图14本文网络结构模型及参数设置 (a)准确率 Fig.14 Network structure model and parameter setting

提高网络模型的识别率。综合上述实验结果可得，神经网络模型学习需要大量数据支持，对数据集进行数据增强能有效避免过拟合现象，而对数据的预处理能够减少无效特征的学习从而增加识别准确率；Squeeze-and-Excitation block 思想是一个特征重标定的计算模块，为提高识别准确率增加了模型的计算复杂度，延长了训练时间，而残差连接思想简化了网络层级间的运算，降低了训练时间，同时保障了识别准确率。结合两种算法思想形成的本文网络模型结构，在 GTSRB 数据集上的实验结果表明其识别准确率可以达到 99.26%，并且有着较优的训练时长。 Conv 1: 96×5×5, 2, 0 Pool 1: 3×3, 2, 0 Conv 2: 256×5×5, 2, 2 Pool 2: 3×3, 2, 0 Conv 3: 384×3×3, 1, 1 Conv 4: 256×3×3, 1, 1 Pool 4: 3×3, 2, 0 fc 1: 4096×1, dropout fc 2: 43×1×1, dropout Conv 1: 96×5×5, 2, 0 Pool 1: 3×3, 2, 0 Conv 2: 256×5×5, 2, 2 Pool 2: 3×3, 2, 0 Conv 3: 384×3×3, 1, 1 Conv 5:256×3×3, 1, 1 Pool 5: 3×3, 2, 0 fc 6: 4096×1, dropout fc 7: 43×1×1, dropout Conv 4: 384×3×3, 1, 1 Conv 1: 96×5×5, 2, 0 Pool 1: 3×3, 2, 0 Conv 2: 256×5×5, 2, 2 Pool 3: 3×3, 2, 0 Conv 4: 384×3×3, 1, 1 Conv 6: 256×3×3, 1, 1 Pool 6: 3×3, 2, 0 fc 7: 4096×1, dropout fc 8: 43×1×1, dropout Conv 5: 256×3×3, 1, 1 Conv 3: 384×5×5, 2, 2 Conv 1: 96×5×5, 2, 0 Pool 1: 3×3, 2, 0 Conv 2: 256×5×5, 2, 2 Pool 3: 3×3, 2, 0 Conv 4: 384×3×3, 1, 1 Conv 6: 256×3×3, 1, 1 Pool 7: 3×3, 2, 0 fc 8: 4096×1, dropout fc 9: 43×1×1, dropout Conv 3: 384×5×5, 2, 2 Conv 7: 256×3×3, 1, 1 Conv 5: 384×3×3, 1, 1 (a) 6 层结构及参数 (b) 7 层结构及参数 (c) 8 层结构及参数 (d) 9 层结构及参数图 11 网络结构模型及参数设置图 Fig. 11 Network structure model and parameter setting 准确率/% 实验次数 90 88 86 84 82 0.007 0.006 0.005 0.004 损失值实验次数 0.003 0.002 0.001 0 1 2 3 4 5 1 2 3 4 5 6 层网络 7 层网络 8 层网络 9 层网络 6 层网络 7 层网络 8 层网络 9 层网络 (b) 损失值 (a) 准确率图 12 不同网络深度下的准确率以及损失值 (比利时数据库) Fig. 12 Accuracy and loss values of different network depths (BelgiumTSC) 92.0 91.0 90.0 88.5 87.5 1 2 3 实验次数 4 5 准确率/% 6 7 8 9 (a) 准确率实验次数 0.008 损失值 (b) 损失值 0.006 0.004 0.002 0 1 2 3 4 5 6 7 8 9 图 13 不同网络深度下的准确率以及损失值 (德国标准数据库) Fig. 13 Accuracy and loss values of different network depths (GTSRB) Conv 1: 64×3×3, 2, 1 Pool 1: 3×3, 2, 0 Conv 2: 64×3×3, 2, 1 Conv 3: 64×3×3, 1, 1 Conv 4: 64×3×3, 1, 1 Conv 5: 64×3×3, 1, 1 Conv 6: 128×3×3, 2, 1 Conv 7: 128×3×3, 1, 1 res 1 Conv 8: 128×3×3, 1, 1 Conv 9: 128×3×3, 1, 1 res 2 Pool 2: 3×3, 2, 0 fc 18: 43×1×1 SE 1 SE 2 图 14 本文网络结构模型及参数设置 Fig. 14 Network structure model and parameter setting ·1126· 智能系统学报第 15 卷

表 2 图像预处理与残差连接对网络模型影响 (比利时数据库) Table 2 Influence of image preprocessing and residual connection on a network model (BelgiumTSC) 模型名称原始数据归一化与数据增强预处理数据损失值准确率/% 损失值准确率/% 损失值准确率/% LeNet-5 0.012 691 80.9767 0.012 205 82.321 5 0.008716 85.410 7 0.011 784 80.8957 0.010 177 83.001 2 0.009872 85.125 8 0.010 335 81.3458 0.017 484 81.982 4 0.011178 84.842 4 0.016 348 80.8816 0.014 532 82.195 8 0.009867 85.019 1 0.009 871 81.2183 0.012 031 82.650 7 0.009915 84.943 8 ResNet-50 0.003 014 93.2184 0.003 717 93.428 1 0.003928 95.993 8 0.002 958 93.1048 0.002 458 93.521 4 0.003215 96.174 1 0.003 234 92.9437 0.002 714 94.169 7 0.003001 96.348 1 0.002 917 93.4414 0.002 848 94.154 8 0.003128 96.174 9 0.003 418 92.2184 0.003 171 93.628 1 0.002714 97.128 4 SENet 0.003 478 92.6481 0.002 917 94.248 3 0.003288 96.204 2 0.002 951 93.1008 0.003 058 94.123 1 0.002114 97.142 5 0.003 104 92.9861 0.003 014 94.192 7 0.003018 96.765 7 0.002 719 93.4266 0.004 048 93.633 5 0.003141 96.528 3 0.002 814 93.1528 0.004 175 92.628 1 0.002101 97.217 7 AlexNet 0.004 827 88.0827 0.003 527 90.218 0 0.004282 91.847 2 0.004 897 87.3413 0.003 208 90.138 2 0.003019 92.458 2 0.005 316 88.8632 0.004 083 89.647 2 0.002318 92.006 9 0.003 037 90.0012 0.002 544 91.040 1 0.001827 93.310 1 0.004 096 89.0825 0.004 218 89.543 8 0.004148 91.981 1 8层结构 0.003 028 90.1058 0.005 487 90.328 4 0.004281 91.528 7 0.004 017 90.9521 0.005 284 90.624 8 0.005414 90.185 7 0.004 857 88.7632 0.004 018 91.518 7 0.001217 94.001 0 0.004 247 89.8211 0.003 528 92.528 4 0.002108 93.828 4 0.003 848 89.3844 0.004 281 91.258 4 0.003031 93.322 6 本文模型 0.002 561 94.1011 0.002 017 95.080 7 0.001727 97.961 5 0.003 151 93.8217 0.003 093 93.846 8 0.001958 97.766 8 0.003 039 93.0124 0.003 442 93.764 9 0.002018 97.582 1 0.003 096 92.7192 0.003 031 93.524 6 0.003001 96.991 8 0.002 189 94.2158 0.002 515 94.121 8 0.002364 98.083 7 第 6 期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1127·

表 3 图像预处理与残差连接对网络模型影响 (德国数据库) Table 3 Influence of image preprocessing and residual connection on a network model (GTSRB) 模型名称原始数据归一化与数据增强预处理数据损失值准确率/% 损失值准确率/% 损失值准确率/% LeNet-5 0.092 814 83.9382 0.008 746 85.927 1 0.009894 86.281 4 0.008 988 85.5620 0.011 276 83.524 7 0.008892 87.018 5 0.010 205 84.5821 0.009 687 86.369 1 0.010583 86.001 9 0.010 018 84.6411 0.009 825 86.182 7 0.009571 86.514 7 0.012 530 82.1582 0.009 825 85.242 8 0.011759 85.486 2 ResNet-50 0.002 727 94.0121 0.001 978 96.214 2 0.001872 97.950 1 0.002 715 94.7283 0.002 214 95.582 7 0.001378 98.260 5 0.002 428 94.7151 0.003 014 94.851 7 0.001457 97.756 8 0.002 823 94.2184 0.002 013 96.085 1 0.001311 98.664 7 0.003 410 93.9281 0.002 401 95.472 4 0.001554 98.025 8 SENet 0.002 979 94.0713 0.003 478 94.921 2 0.001002 99.001 3 0.002 807 94.8411 0.002 814 95.528 7 0.001498 98.260 5 0.003 101 93.7151 0.002 717 95.754 7 0.002052 97.756 8 0.002 914 94.2634 0.003 071 95.589 8 0.002118 97.664 7 0.003 075 93.9826 0.002 401 96.480 1 0.001559 98.025 8 AlexNet 0.003 248 89.8255 0.003 421 90.078 5 0.002952 91.828 7 0.003 180 90.2402 0.003 718 90.828 7 0.004859 91.258 4 0.002 861 90.3042 0.004 182 89.938 7 0.002148 93.001 9 0.003 225 89.9821 0.003 655 90.007 2 0.002281 92.180 0.002 962 90.3902 0.004 557 89.871 8 0.002881 91.885 1 8层结构 0.003 058 91.2827 0.004 272 91.855 2 0.003048 94.528 4 0.003 180 91.3542 0.003 229 92.463 2 0.002917 93.481 2 0.003 055 91.2102 0.003 138 92.043 9 0.003017 94.002 1 0.004 085 90.9087 0.002 927 93.384 7 0.002837 95.052 8 0.003 017 91.2921 0.004 317 91.928 2 0.002827 93.922 3 本文模型 0.002 176 96.0020 0.002 488 96.221 2 0.000972 99.050 0 0.002 707 95.8123 0.001 914 96.528 7 0.000198 99.260 5 0.002 801 95.7151 0.002 418 95.855 7 0.001458 98.756 8 0.002 018 96.2184 0.002 041 96.585 3 0.001510 98.664 7 0.002 675 95.9916 0.001 901 96.482 7 0.001154 99.025 8 ·1128· 智能系统学报第 15 卷

第6期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1129· 4结束语 2006,17(4):675-685 [8]STALLKAMP J,SCHLIPSING M,SALMEN J,et al.Man 本文提出用基于深度学习方法来实现道路交 vs.computer:benchmarking machine learning algorithms 通标志识别。该方法分为两部分：图像预处理和 for traffic sign recognition[J].Neural networks,2012,32: 卷积神经网络模型。在第一部分中，利用不变矩 323-332. 运算、多色彩空间融合和形状特征提取等方法 [9]SEEBOCK P.Deep learning in medical image analysis[D]. 对数据集图像进行归一化、数据增强及去背景特 Vienna,Vienna:Vienna University of Technology,2015: 征提取。在第二部分中，结合残差连接思想及 333-338. Squeeze--and-Excitation block思想形成本文网络模 [10]丁頠洋，刘格，王贤哲，等.基于深度学习的游行示威视型。由实验可得，本文建立的网络模型识别准确频图像检测方法).指挥信息系统与技术，2018,9(6)： 75-79. 率可达99.26%，并且训练学习时间SENt减少了 DING Weiyang,LIU Ge,WANG Xianzhe,et al.Demon- 12%。进一步工作，通过结合主成分分析法思想 stration video image detection method based on deep 及自适应阈值调整方法的思想，提取图像特征并 learning[J.Command information system and techno- 进行增强，从而达到尽量减少人工干预的方式， 1ogy,2018,96):75-79 减少神经网络参数的调整和输入，并保证识别的 [11]YANG H M,LIU CL,LIU K H,et al.Traffic sign recog- 准确率。 nition in disturbing environments[C]//Foundations of In- 参考文献： telligent Systems,14th International Symposium,ISMIS 2003.Maebashi,Japan,2003:28-31. [1]KHAN J F,ADHAMI RR,et al.Traffic sign recognition [12]ISLAM K T.RAJ R G.Real-time (vision-based)road based on pictogram contours[J].IEEE ninth international sign recognition using an artificial neural network]] workshop on image analysis for multimedia interactive ser- Sensors,2017,14(4)853. vices,.2011,1(1):83-96. [13]PICCIOLI G,DE MICHELI E,PARODI P,et al.Robust [2]YANG H M.LIU Chaolin,LIU Kunhao,et al.Traffic sign method for road sign detection and recognition[J].Image recognition in disturbing environments[Cl//Proceedings of and vision computing,1996,14(3):209-223. the 14th International Symposium on Methodologies for [14]房泽平，段建民，郑榜贵.基于特征颜色和SNCC的交 Intelligent Systems.Maebashi City,Japan,2003:252-261 通标志识别与跟踪[J).交通运输系统工程与信息， [3]BARTNECK N,RITTER W.Colour segmentation with 2014.14(1:47-52 polynomial classification[C]//Proceedings of the 11th FANG Zeping,DUAN Jianmin,ZHENG Banggui.Traffic IAPR International Conference on Pattern Recognition. signs recognition and tracking based on feature color and Vol.II.Conference B:Pattern Recognition Methodology SNCC algorithm[J].Journal of transportation systems en- and Systems.The Hague,Netherlands,1992:635-638 gineering and information technology,2014,14(1): [4]SANDOVAL H,HATTORI T,KITAGAWA S,et al. 47-52. Angle-dependent edge detection for traffic signs recogni- [15]ZHOU Jun,BAO Xu,LI Dawei,et al.Traffic video im- tion[C]//Proceedings of 2000 IEEE Intelligent Vehicles age segmentation model based on Bayesian and spatio- Symposium.Dearborn,USA,2000:308-313. temporal Markov random field[J].Journal of physics: [5]BARNES N.ZELINSKY A.FLETCHER L S.Real-time conference series,2017,910(1):012041. speed sign detection using the radial symmetry detector[J]. [16]陈利，刘伟峰，杨爱兰.基于OSPA距离和特征点采样 IEEE transactions on intelligent transportation systems, 的路标识别算法[).哈尔滨师范大学自然科学学报 2008.9(2):322-332 2017,33(2:55-57 [6]PAULO C F,CORREIA P L.Traffic sign recognition CHEN Li,LIU Weifeng,YANG Ailan.A recognition al- based on pictogram contours[C]//Proceedings of 2008 gorithm for road signs based on the OSPA metric and IEEE Ninth International Workshop on Image Analysis for characteristic point sampling[J].Natural Science Journal Multimedia Interactive Services.Klagenfurt,Austria, of Harbin Normal University,2017,33(2):55-57. 2008:67-70 [17]SHEN Dinggang,WU Guorong,SUK H I.Deep learning [7]GAO X W,PODLADCHIKOVA L,SHAPOSHNIKOV in medical image analysis[J].Annual review of biomedic- D.et al.Recognition of traffic signs based on their colour al engineering,2017,19:221-248. and shape features extracted using human vision models[J]. [18]HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. Journal of visual communication and image representation, Deep residual learning for image recognition[Cl//Proceed-

4 结束语本文提出用基于深度学习方法来实现道路交通标志识别。该方法分为两部分：图像预处理和卷积神经网络模型。在第一部分中，利用不变矩运算、多色彩空间融合和形状特征提取等方法对数据集图像进行归一化、数据增强及去背景特征提取。在第二部分中，结合残差连接思想及 Squeeze-and-Excitation block 思想形成本文网络模型。由实验可得，本文建立的网络模型识别准确率可达 99.26%，并且训练学习时间 SENet 减少了 12%。进一步工作，通过结合主成分分析法思想及自适应阈值调整方法的思想，提取图像特征并进行增强，从而达到尽量减少人工干预的方式，减少神经网络参数的调整和输入，并保证识别的准确率。参考文献： KHAN J F, ADHAMI R R, et al. Traffic sign recognition based on pictogram contours[J]. IEEE ninth international workshop on image analysis for multimedia interactive services, 2011, 1(1): 83–96. [1] YANG H M, LIU Chaolin, LIU Kunhao, et al. Traffic sign recognition in disturbing environments[C]//Proceedings of the 14th International Symposium on Methodologies for Intelligent Systems. Maebashi City, Japan, 2003: 252−261. [2] BARTNECK N, RITTER W. Colour segmentation with polynomial classification[C]//Proceedings of the 11th IAPR International Conference on Pattern Recognition. Vol. II. Conference B: Pattern Recognition Methodology and Systems. The Hague, Netherlands, 1992: 635−638. [3] SANDOVAL H, HATTORI T, KITAGAWA S, et al. Angle-dependent edge detection for traffic signs recognition[C]//Proceedings of 2000 IEEE Intelligent Vehicles Symposium. Dearborn, USA, 2000: 308−313. [4] BARNES N, ZELINSKY A, FLETCHER L S. Real-time speed sign detection using the radial symmetry detector[J]. IEEE transactions on intelligent transportation systems, 2008, 9(2): 322–332. [5] PAULO C F, CORREIA P L. Traffic sign recognition based on pictogram contours[C]//Proceedings of 2008 IEEE Ninth International Workshop on Image Analysis for Multimedia Interactive Services. Klagenfurt, Austria, 2008: 67−70. [6] GAO X W, PODLADCHIKOVA L, SHAPOSHNIKOV D, et al. Recognition of traffic signs based on their colour and shape features extracted using human vision models[J]. Journal of visual communication and image representation, [7] 2006, 17(4): 675–685. STALLKAMP J, SCHLIPSING M, SALMEN J, et al. Man vs. computer: benchmarking machine learning algorithms for traffic sign recognition[J]. Neural networks, 2012, 32: 323–332. [8] SEEBÖCK P. Deep learning in medical image analysis[D]. Vienna, Vienna: Vienna University of Technology, 2015: 333−338. [9] 丁頠洋, 刘格, 王贤哲, 等. 基于深度学习的游行示威视频图像检测方法 [J]. 指挥信息系统与技术, 2018, 9(6): 75–79. DING Weiyang, LIU Ge, WANG Xianzhe, et al. Demonstration video image detection method based on deep learning[J]. Command information system and technology, 2018, 9(6): 75–79. [10] YANG H M, LIU C L, LIU K H, et al. Traffic sign recognition in disturbing environments[C]//Foundations of Intelligent Systems, 14th International Symposium, ISMIS 2003.Maebashi, Japan, 2003:28–31. [11] ISLAM K T, RAJ R G. Real-time (vision-based) road sign recognition using an artificial neural network[J]. Sensors, 2017, 14(4): 853. [12] PICCIOLI G, DE MICHELI E, PARODI P, et al. Robust method for road sign detection and recognition[J]. Image and vision computing, 1996, 14(3): 209–223. [13] 房泽平, 段建民, 郑榜贵. 基于特征颜色和 SNCC 的交通标志识别与跟踪 [J]. 交通运输系统工程与信息, 2014, 14(1): 47–52. FANG Zeping, DUAN Jianmin, ZHENG Banggui. Traffic signs recognition and tracking based on feature color and SNCC algorithm[J]. Journal of transportation systems engineering and information technology, 2014, 14(1): 47–52. [14] ZHOU Jun, BAO Xu, LI Dawei, et al. Traffic video image segmentation model based on Bayesian and spatiotemporal Markov random field[J]. Journal of physics: conference series, 2017, 910(1): 012041. [15] 陈利, 刘伟峰, 杨爱兰. 基于 OSPA 距离和特征点采样的路标识别算法 [J]. 哈尔滨师范大学自然科学学报, 2017, 33(2): 55–57. CHEN Li, LIU Weifeng, YANG Ailan. A recognition algorithm for road signs based on the OSPA metric and characteristic point sampling[J]. Natural Science Journal of Harbin Normal University, 2017, 33(2): 55–57. [16] SHEN Dinggang, WU Guorong, SUK H I. Deep learning in medical image analysis[J]. Annual review of biomedical engineering, 2017, 19: 221–248. [17] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceed- [18] 第 6 期何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1129·

·1130· 智能系统学报第15卷 ings of 2016 IEEE Conference on Computer Vision and works[C]//Proceedings of the 25th International Confer- Pattern Recognition.Las Vegas,USA,2016:770-778. ence on Neural Information Processing Systems.Lake [19]HU Jie,SHEN Li,SUN Gang.Squeeze-and-excitation Tahoe,USA,2012:1097-1105. networks[C]//Proceedings of 2018 IEEE/CVF Confer- [26]JIA Yangqing,SHELHAMER E,DONAHUE J,et al. ence on Computer Vision and Pattern Recognition.Salt Caffe:convolutional architecture for fast feature embed- Lake City,USA,2018:7132-7141. ding[C]//Proceedings of the 22nd ACM International [20]张懿，刘旭，李海峰.数字RGB与YCbCr颜色空间转 Conference on Multimedia.Orlando,USA,2014: 换的精度[).江南大学学报（自然科学版），2007,6(2： 675-678. 200-202. 作者简介： ZHANG Yi,LIU Xu,LI Haifeng.The precision of RGB 何锐波，硕士研究生，主要研究方 color space convert to YCbCr color space[J].Journal of 向为人工智能和数字图像处理。 JiangNan University (Natural Science Edition),2007, 6(2):200-202. [21]HU M K.Visual pattern recognition by moment invari- ants[J].IRE transactions on information theory,1962, 8(2):179-187. [22]孙即祥，模式识别中的特征提取与计算机视觉不变狄岚，副教授，中国人工智能学会量M.北京：国防工业出版社，2001. 粒计算与知识发现专业委员会委员， [23]温佩芝，陈晓，吴晓军，等.基于三次样条插值的主要研究方向为数字图像处理和计算 GrabCut自动目标分割算法).计算机应用研究，2014，机仿真。近年主持及参与国家级、省部级科研项目7项，主持校级科研项 31(7):2187-2190 目4项、企业合作项目近20项，获得 WEN Peizhi,CHEN Xiao,WU Xiaojun,et al.Automatic 省级自然科学学术奖1次，行业联合 target segmentation algorithm of GrabCut based on cubic 会技术奖3次。发表学术论文50余篇。 spline interpolation[J].Application research of computers, 2014,31(7:2187-2190. 梁久祯，教授，博士，中国计算机 [24]ZEILER M D.FERGUS R.Visualizing and understand- 学会多媒体专业委员会委员，江苏省人工智能学会理事，主要研究方向为 ing convolutional networks[C]//Proceedings of the 13th 计算机视觉和数字图像处理。主持项 European Conference on Computer Vision.Zurich, 目10余项，曾获得浙江省青年英才 Switzerland.2014:818-833. 奖。取得专利成果57项，软件著作 [25]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- 7项。发表学术论文160余篇.出版 ageNet classification with deep convolutional neural net- 教材及专著4部

ings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 770−778. HU Jie, SHEN Li, SUN Gang. Squeeze-and-excitation networks[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 7132−7141. [19] 张懿, 刘旭, 李海峰. 数字 RGB 与 YCbCr 颜色空间转换的精度 [J]. 江南大学学报(自然科学版), 2007, 6(2): 200–202. ZHANG Yi, LIU Xu, LI Haifeng. The precision of RGB color space convert to YCbCr color space[J]. Journal of JiangNan University (Natural Science Edition), 2007, 6(2): 200–202. [20] HU M K. Visual pattern recognition by moment invariants[J]. IRE transactions on information theory, 1962, 8(2): 179–187. [21] 孙即祥. 模式识别中的特征提取与计算机视觉不变量 [M]. 北京: 国防工业出版社, 2001. [22] 温佩芝, 陈晓, 吴晓军, 等. 基于三次样条插值的 GrabCut 自动目标分割算法 [J]. 计算机应用研究, 2014, 31(7): 2187–2190. WEN Peizhi, CHEN Xiao, WU Xiaojun, et al. Automatic target segmentation algorithm of GrabCut based on cubic spline interpolation[J]. Application research of computers, 2014, 31(7): 2187–2190. [23] ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland, 2014: 818−833. [24] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural net- [25] works[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, USA, 2012: 1097−1105. JIA Yangqing, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM International Conference on Multimedia. Orlando, USA, 2014: 675−678. [26] 作者简介：何锐波，硕士研究生，主要研究方向为人工智能和数字图像处理。狄岚，副教授，中国人工智能学会粒计算与知识发现专业委员会委员，主要研究方向为数字图像处理和计算机仿真。近年主持及参与国家级、省部级科研项目 7 项，主持校级科研项目 4 项、企业合作项目近 20 项，获得省级自然科学学术奖 1 次，行业联合会技术奖 3 次。发表学术论文 50 余篇。梁久祯，教授，博士，中国计算机学会多媒体专业委员会委员，江苏省人工智能学会理事，主要研究方向为计算机视觉和数字图像处理。主持项目 10 余项，曾获得浙江省青年英才奖。取得专利成果 57 项，软件著作 7 项。发表学术论文 160 余篇，出版教材及专著 4 部。 ·1130· 智能系统学报第 15 卷

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录