第6卷第6期 智能系统学报 Vol.6 No.6 2011年12月 CAAI Transactions on Intelligent Systems Dec.2011 doi:10.3969/j.issn.16734785.2011.06.008 形状标记图和Gabor小波的交通标志识别 谷明琴，蔡自兴，何芬芬 (中南大学信息科学与工程学院，湖南长沙410083) 摘要：交通标志识别为智能车辆行驶提供了有价值的道路环境信息.提出一种结合形状标记图和Gbor波的交通 标志识别方法，交通标志识别过程如下：1)变换图像的RGB像素值来增强交通标志主特征颜色（红，蓝，黄）区域并 进行分割，用形态学操作消除噪声点的影响；2)提取感兴趣区域的标记图作为其形状特征，用Euclidean距离来对其 进行初分类：3)对交通标志感兴趣区域的灰度图像进行Gor小波变换，获得其不同角度和尺度的小波图像，用二维 独立分量分析法提取其主特征，并送入线性支持向量机来判断感兴趣区域所属的交通标志类型.实验结果表明，提 出的算法能够稳定、有效地检测和识别智能车辆行驶环境中的多类交通标志. 关键词：交通标志识别；标记图；Gabor小波；支持向量机 中图分类号：TP391文献标志码：A文章编号：16734785(2011)06052605 Traffic sign recognition based on shape signature and Gabor wavelets GU Mingqin,CAI Zixing,HE Fenfen (School of Information Science and Engineering,Central South University,Changsha 410083,China) Abstract:Traffic sign recognition provides valuable information on road conditions for intelligent vehicles.The traf- fic sign recognition process was outlined as follows:1)The main colors of traffic signs were enhanced by transfor- ming the RGB pixel values of the image and then segmented by a threshold.Noise points of the binary image were filtered by morphological image processing.2)The signature of the region of interest(Rol)was extracted as a shape feature,and the shape of the RoI was primarily classified by Euclidean distance.3)The gray images of traf- fic signs was transformed into various orientations and scale wavelet images by the Gabor wavelet,and the main fea- tures were extracted by a 2-dimensional independent component analysis(2DICA)algorithm while the linear sup- port vector machine was applied to judge the type of traffic signs.Experimental results show that the proposed algo- rithm may stably and effectively detect and identify the roadside traffic signs Keywords:traffic sign recognition;signature;Gabor wavelet;support vector machine 近年来，智能车辆研究受到越来越多的重视.别是智能车辆研究的一个重要研究方向 20O7年美国国防部高级计划研究署(Defense Ad 从20世纪80年代开始，国内外研究人员提出 vanced Research Projects Agency,DARPA)举办了智 了多种交通标志检测和识别算法.检测算法通常在 能车辆城市挑战赛，期间智能车辆仅依靠传感和视 不同的颜色空间中对交通标志图像进行分割，获得 觉系统成功完成了道路环境的感知.在我国，2009 感兴趣区域，然后用形状特征对其进行检测.所用到 和2010年由国家自然科学基金委组织的未来挑战 的颜色空间主要有RGB、HSV、HIS、YCbCr、CEC 智能车比赛在西安成功举行，比赛包括静态和动态 AM97、IHLS等.而对交通标志感兴趣区域形状判别 交通标志的检测与识别.可见交通标志的检测与识 的方法有：利用图像边缘信息进行Hough变换能 够较精确地获得交通标志区域，但该方法计算复杂 收稿日期：201108-15. 基金项目：国家自然科学基金资助项目(90820302,60805027)：国家 度较高且占用较大的内存资源，实时性较差.文献 博士点基金资助项目(200805330005)；湖南省院士基金资 助项目(20010F4030). [24]使用快速径向对称检测算子，对光照变化和遮 通信作者：谷明琴.E-mail:l_mingqin@hotmail.com, 挡具有一定的鲁棒性，但只能对圆形交通标志进行
第6期 谷明琴，等：形状标记图和Gabor小波的交通标志识别 .527 检测.文献[5]利用自组织映射算法，以及文献[6] 期望的图像区域.因此，本文对RGB空间的每个像 用感兴趣区域的边缘到边界距离作为形状识别的特 素v=[v,ve,g]进行如下变换： 征，分别检测交通标志.文献[7]用快速傅里叶变换 rColor d max(0,min(vg -vc)/S,(tR -vg)/S), 的绝对值作为形状识别特征，对旋转、缩放、遮挡、投 Colorune max(0,min(vg -vR)/S,(vg-vc)/S), 影形变和噪声等有较好的鲁棒性，但计算复杂度高； Coloryolow max(0,min(vc -vB)/S,(vc -vB)/S). 文献[8]用扩展的FOSTS(foveal system for traffic 式中：S=vR+Ie+vB为RGB通道颜色值之和.通过 sgs)模型、人类视觉行为模型来提取形状特征.文 该变换，每种交通标志的特征颜色只用一个阈值便 献[9]使用模糊推理方法生成检测窗口来检测交通 可将其与周围环境分开，即： 标志，时间复杂度较高.Qi加等1o]利用边缘到边界 的分割块特征获取候选区域的形状信息，通过颜色 Binary.(x,）=l,Color..(x,）>h: l0,Color.(x,y）≤threshold. 几何模型和基于径向基函数核的支持向量机分别进 式中：ce{red,blue,yellow},(x,y)为像素点坐标， 行粗分类和细分类.Xie等利用方向梯度特征直 阈值threshold。随交通标志的不同颜色而定.分割 方图和支持向量机算法搜索交通标志显著性区域内 后，可得对应交通标志的3种特征颜色（如图2所示 的交通标志目标 的3幅二值图像)，从图2中可以看出，颜色分割后 在交通标志识别方面，A.Ruta等2]利用关键 的二值图像会有较多的噪声点，将影响后续的交通 局部特征和颜色距离变换来进行交通标志识别.J. 标志形状分类和识别.因此采用二值图像的腐蚀及 F.Khan等13]用Gabor滤波提取与亮度和颜色相关 膨胀形态学操作，消除干扰的噪声点，并恢复交通标 的稳定局部特征点与模板库进行匹配.Bahlmann 志区域的大小， 等[4针对几种简单的圆形标志采用Har小波特征 和AdaBoost分类器进行识别.M.Meuter等I3]用粒 子滤波器来跟踪多目标，融合每一帧的分类结果，最 终由推理系统选择给驾驶员提供哪个标志的信息· K.H.Lim等[9]用基于李雅普诺夫稳定性理论的径 向基函数神经网络进行分类， (a)原图像 b)阈值为0.1的红色分割图 本文提出在原始图像上进行颜色分割，获取交 通标志感兴趣区域，以形状标记图作为交通标志的 形状分类特征，对交通标志进行初分类.识别算法则 选择了Gbor小波、二维独立分量分析(2DICA)、 线性支持向量机(SVM)的综合处理技术，实验结果 表明该算法能够稳定、有效地检测和识别智能车辆 (c)國值为0.15的蓝色分剖图d阀值为0.15的黄色分割图 行驶环境中存在的多类交通标志。 图2颜色分割图 1 交通标志检测 Fig.2 Color-based segmentation image 我国的交通标志一般如图1所示 对3种不同特征颜色分割后的二值图像，标记 面积大于Twen的小区域Region.e,i∈{1,2，…，N}, 交通林志 送入感兴趣区域形状分类处理中，判断形状是否符 合交通标志。 色 蓝色 1.2兴趣区域形状分类 为了能对获得的感兴趣区域进行形状分类，首 ò7 先要建立交通标志的形状：圆形、倒等边三角形、八 角形、矩形、正等边三角形的模板数据库. 图1交通标志的分层递阶结构 本文选用标记图作为交通标志形状分类特征. Fig.1 Hierarchical structure of traffic signs 标记图是形状边界的一维表达，以重心到边界的距 1.1交通标志颜色分割 离作为角度的函数来描述形状的特征，不同形状的 图像RGB颜色空间的颜色值随亮度和饱和度 标记图如图3所示 变化较大，很难直接对其应用阈值选择算法分割出
·528· 智能系统学报 第6卷 RegionNum,c∈{red,blue,yellow.并用提取形状特 征数据库中特征相同的方法提取ComRegion.c的形 状标记图，记特征为（). 人人 π/2π3π/22m π/2π3π/22π π/2π3π22r 0/rad 0/rad 0/rad (a)圆形标记图 b)正方形标记图 (c三角形标i记图 (a圆形交通标志 )正等边三角形交通标志 图3形状的标记图 Fig.3 Signature of sharp 19 为了获得形状的标记图特征，首先提取形状的 17 顺时针边界，记为(，y:),i=1,2,…,Num.求取其 ISWVWW 重心： 13 50 091) 250 350 (c)圆形标已图 19 1 然后把边界序列(x,少：)转换到以重心为原点 的坐标系中，得到新边界序列： 13 ∫=名：-Xai西， 50 150 250 350 Lyger =yi-Yei 0/() 将边界序列点到重心原点的半径作为其与正向 d正等边三角形标记图 水平轴夹角的函数，进而获得一个半径随角度变化 图42个交通标志形状的标记图 的序列r:(9),0e[0,2r].对其进行归一化处理： Fig.4 Signature of two traffic signs shapes r(0)=r:(0)/max(r:(0)）,i=1,2,…,Num, 由图1的分层递阶结构可知，红色通道中的感 将归一化后的：(0)作为形状特征.形状之间的相 兴趣区域形状特征7.（θ）只需与r(0)(s∈{圆形， 似性用Euclidean距离度量： 倒等边三角形，八角形})进行比较；黄色通道中的 ED(,2)=I-2=√∑(：-x)只 感兴趣区域形状特征(0)只需与r.（0),s∈{正 等边三角形，矩形}进行比较；而蓝色通道中的感兴 (1) 趣区域形状特征r(0)只需与r(9),s∈{圆形，矩 式(1)即可以度量向量”、2之间的差异程度.向量 形}进行比较.进而通过式(2)求取感兴趣区域形状 间的相似性随Euclidean距离的增大而降低. 特征.（θ）与对应样本库特征r.(0)之间的最小 为了获得形状的特征库，把形状模板库中的二 Euclidean距离： 值图像用双线性插值算法归一化为30×30的图像 EDin min(ED(r;(0),ri(0)))= 然后用上述形状标记图特征提取算法提取其特征. min(Ir(0)-r.(0)‖z）. (2) 考虑到形状的边界点数量不同，各模板的特征数也 完成上述操作后，对形状类别进行判断： 不一致.因此需用插值算法把每个模板的特征序列 「s,EDia≤DisTheshold; 长度变为360，可进而得到不同形状类的特征集合 shape 10,EDn>DisTheshod. ra(0),i=1,2,…,SampleNum,其中SampleNum,是 式中：s是ED值对应的标志形状类别.若ED大于 形状类中模板个数，S∈{圆形、倒等边三角形、八角 距离阈值DisTheshold,则判断此区域为非交通标志区 形、矩形、正等边三角形}，用于不同颜色通道中的 域，可以过滤掉该区域；反之认为其形状属于s类， 感兴趣区域形状的分类. 对不同颜色通道中感兴趣区域重构后的二值图 2 交通标志识别 像，查找其连通区域，记为ConnRegion,.ej=1,2,…, 由图1的分层递阶结构，建立红色圆形、红色倒等
第6期 谷明琴，等：形状标记图和Gabor小波的交通标志识别 ·529· 边三角形、红色八边形、蓝色圆形、蓝色矩形、黄色矩 从原点到超平面的垂直距离，‖w‖是欧式空间的 形、黄色正等边三角形7类32种交通标志的模板库 2-范数.在可分的2类中，对任意的i,均满足约束条 对获得的感兴趣区域和模板库中的交通标志图 件： 像用二维Gabor小波变换，获得其不同方向和尺度 y:((x:·w〉+b)-1≥0 (3) 的小波图像，然后用二维独立分量分析(2DICA)[6] 满足式(1)的点可求得"、b的尺度因子.这些 提取其小波图像的主特征，用线性支持向量机离线 落点在2个超平面H:+b=1和H2: 训练各类特征库，在线分类感兴趣区域的交通标志. +b=-1.2个数据集的间隔可简化为 2.1交通标志特征提取 2/‖w‖，2个数据集最大间隔可由‖w‖2/2的最 二维Gabor小波核函数定义为 小化获得.引入正拉格朗日乘子a,i=1,2,…,1.目 :(k,)=1L exp IIx 标函数的最小化值为 2a2 (ep(k,gx)-ep(-2）月 L=1wn-a(w）+b)+名a 得到了优化函数，就可确定测试向量在超平面 式中：i为复数算子；σ为小波滤波器的带宽，一般取 的哪一边.系统的判别函数为 σ=2π；k为小波矢量，其不同取值构成了小波簇中 f(x8gn{〈x·w〉+b. 不同的小波函数，k=k(cosj,sinj)T,表示小波的 不同核频率，在本文中取)=0,1，…，5；p表示小波 3实验结果与分析 方向，每种核频率的小波可进一步衍生出6个不同 试验选择在校内一条带转弯的路上，每隔30m 方向的小波，其中 摆放一个交通标志.车速为30km/h,用车载摄像机 k,=2-*2)rπ，j=((V+1)m)/6, 以15帧/s的速率，采集包括禁令、警告、指示和限 V=0,1,…,5. 速的32种交通标志在不同天气和光照条件下的视 这样定义了一个6×6的Gbor小波簇与交通 频图像.对交通标志进行检测和识别，结果如表1所 标志灰度图像进行卷积，可获得6个方向，6个尺度 示，本文算法可以有效地检测和识别交通标志，检测 共36幅小波图像， 率和检测率均达到95%以上，明显地优于文献[6] 首先把获取的彩色图像转换为灰度图像，并用 的算法 双线性插值法把灰度图像归一化为30×30大小.然 图5为试验中3段视频的交通标志的识别结 后用二维Gbor小波变换，获取6个方向6个尺度 果.每行图像对应不同的视频序列，识别结果显示在 的36幅Gabor小波图像.由于这些图像较多，冗余 图像的左上角，从中可以看出，本文算法能够有效地 信息量大，为了降低计算的复杂度，用降采样方法采 识别出多种交通标志， 集Gabor小波图像的主要信息，作为二维独立分量 分析算法的输入信息， 对每类交通标志，用二维独立分量分析 (2DICA)离线提取其小波图像主特征作为特征库. 在交通标志实时识别中，对检测到的交通标志感兴 (a)85 )1351 (c)190项 趣区域的小波图像提取其主特征 2.2交通标志分类 在交通标志实时识别时，把提取的交通标志感 兴趣区域特征送入对应的支持向量机中进行分类， (d84 (e)104 (0136顿 得到感兴趣区域的交通标志类别. 支持向量机首先要对特征库2类之间进行分 离，训练数据集记为{x:,y:},其中，i=1,2,…,1,y:∈ {-1,1},x:eR.向量x:是2DICA算法提取的图像 特征，y:对一类为1，另一类为-1，d是向量x:的维 (g)119懒 h)193顿 (234帧 数，1是训练样本数量.如果用超平面(w,b)来分离 图53段视频中交通标志的识别结果 2类，超平面上的点满足〈x·w〉+b=0,b/‖w‖是 Fig.5 Recognition results of traffic signs in 3 videos
530. 智能系统学报 第6卷 表1交通标志实时检测率和识别率 Processing,2008,88(12):2943-2955. Table 1 Detection and recognition rate of traffic signs [8]GAO X W,PODLADCHIKOVA L.SHAPOSHNIKOV D. et al.Recognition of traffic signs based on their colour and 交通 检测率 识别率 总体识别率 shape features extracted using human vision models[J]. 标志文献[6]本文 文献[6]本文文献[6]本文 Journal of Visual Communication and Image Representation, 类型 2006,17(4):675685. 算法算法 算法算法 算法算法 [9]LIM K H,SENG K P,ANG L M.Intra color-shape classi- 禁令90.396.3 92.597.5 83.593.9 fication for traffic sign recognition[C]//2010 International 警告85.395.5 82.198.1 70.093.7 Computer Symposium (ICS).Tainan,China,2010:642- 指示87.898.4 85.596.7 75.095.1 647. 限速89.696.092.197.8 [10]QIN Fei,FANG Bin,ZHAO Hengjun.Traffic sign seg- 82.593.9 mentation and recognition in scene images[C]//2010 In- 4结束语 terational Conference on Artificial Intelligence and Com- putational Intelligence (AICI).Chongqing,China,2010: 本文提出一种用于智能车辆行驶中感知交通标 262-267. [11]XIE Yuan,LIU Lifeng,LI Cuihua,et al.Unifying visual 志信息的算法.首先对获取的图像用颜色分割和形态 saliency with HOG feature learning for traffic sign detection 学操作获得交通标志的感兴趣区域，并提取其标记图 C]//Intelligent Vehicles Symposium,2009 IEEE. 作为形状特征，用Euclidean距离来对候选交通标志 X'an,China,2009:24-29. [12]RUTA A,LI Y,LIU X.Robust class similarity measure 进行初分类.在交通标志识别中，结合Gabor小波和 for traffic sign recognition[J].IEEE Transactions on Intel- 二维独立分量分析法提取交通标志感兴趣区域的主 ligent Transportation Systems,2010,11(4):846-855. 特征，用线性支持向量机来分类交通标志.在不同天 [13]KONCAR A,JANBN H,HALGAMUGE S.Gabor wavelet similarity maps for optimising hierarchical road sign classi- 气、光照等情况下，采集了包括禁令、警告、指示和限 fiers[J].Pattern Recognition Letters,2007,28(2):260- 速等32种交通标志视频图像，并用本文算法来检测 267. 和识别交通标志，检测率和识别率均在95%以上，说 [14]BAHLMANN C.ZHU Y,RAMESH V,et al.A system for traffic sign detection,tracking,and recognition using 明该算法能够有效地检测和识别交通标志. color,shape,and motion information[C]//Proceedings on Intelligent Vehicles Symposium 2005.Las Vegas,USA, 参考文献： 2005:255-260. [15]GB5768.2.道路交通标志和标线[S].北京：中国国家 [1]GARC I A,GARRIDO M,SOTELO M.Fast road sign de- 标准化管理员会，2009. tection using Hough transform for assisted driving of road ve- [16]杨福生，洪波著.独立分量分析的原理与应用[M].北 hicles[C]//Computer Aided Systems Theory-EUROCAST 京：清华大学出版社，2006：3346. 2005.Las Paimas de Gran Canaria,Spain,2005:543- 作者简介： 548. 谷明琴，女，1981年生，博士研究生，主 [2]BARNES N,ZELINSKY A,FLETCHER L S.Real-time 要研究方向为图像处理模式识别. speed sign detection using the radial symmetry detector[]. IEEE Transactions on Intelligent Transportation Systems, 2008,9(2):322-332. [3]MEUTER M,MULLER SS,NUNNY C,et al.Decision fusion and reasoning for traffic sign recognition[C]/The International IEEE Conference on Intelligent Transportation Systems,Funchal,Portugal,2010:324-329. 蔡自兴，男，1938年生，教授，博士 [4]LIU Wei,LIU Yujie,YU Hongfei,et al.Real-time speed 生导师，国际导航与运动控制科学院院 limit sign detection and recognition from image sequences 士、中国自动化学会理事.主要研究方 [C]//Artificial Intelligence and Computational Intelligence 向为人工智能、机器人、智能控制，发表 (AICI).Sanya,China,2010,1:262-267. 学术论文500余篇， [5]PRIETO M S,ALLEN A R.Using self-organising maps in the detection and recognition of road signs[J].Image and Vision Computing,2009,27(6):673-683. 6]MALDONADO-BASCON S,LAFUENTE-ARROYO S,GIL 何芬芬，女，1987年生，硕士研究生， JIMENEZ P,et al.Road-sign detection and recognition 主要研究方向为图像处理、模式识别： based on support vector machines[J].IEEE Transactions on Intelligent Transportation Systems,2007,8(2):264- 278. 7]GIL JE,NEZ P,BASC O N S M,et al.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2-D homographies[J].Signal