第5卷第6期 智能系统学报 Vol.5 No.6 2010年12月 CAAI Transactions on Intelligent Systems Dec.2010 doi:10.3969/j.issn.1673-4785.2010.06.012 实时矩形交通限速标志识别系统 张燕昆，洪初阳，WANG Charles (哈曼国际中国研究中心核心技术研发部，上海200233) 摘要：交通限速标志识别系统是汽车辅助驾驶系统的一项重要组成部分，本文提出了一种实时矩形交通标志识别 系统.首先采用多尺度多区域的局部二值模式(LBP)特征训练Adaboost分类器进行交通限速标志的检测，然后利用 线性预测的算法进行标志跟踪.识别预处理阶段，首先采用投影分析的方法对交通标志进行旋转校正，然后采用基 于积分图的自适应二值化方法将图像进行二值化，再利用连通区域标记方法得到包含限速标志数字的最小矩形区 域.识别时首先采用主元分析(P℃A)进行特征向量提取，然后用聚类的方法构建二叉树的线性支持向量机进行分类 识别.在普通笔记本电脑系统配置下，通过大量的实际道路场景的视频数据测试，系统取得了98.3%的正确识别率， 平均处理速度达16帧/s. 关键词：交通限速标志：辅助驾驶系统：局部二值模式；主元分析；二叉树：支持向量机 中图分类号：TP273文献标志码：A文章编号：16734785(2010)060540-05 A real time rectangular speed limit sign recognition system ZHANG Yan-kun,HONG Chu-yang,WANG Charles (Harman Interational,Shanghai RD Center Corporate Technology Group,Shanghai 200233,China) Abstract:Speed limit sign recognition is one of the important components for a driver assistance system.An effi- cient real time rectangular speed limit sign recognition system was proposed.The system framework design consid- ered the computation load and hardware resources for a driver assistance system.First,multi-scale overlapping lo- cal binary pattern (LBP)image features were used to train an AdaBoost cascade classifier for sign detection.Then a simple linear prediction method was used to do the tracking task.In the recognition stage,the projection method was used to correct the rotation angle and then the integral image based adaptive threshold algorithm was applied to segment the speed limit number,and then the principal component analysis (PCA)was used for feature vector ex- traction.Finally,a clustering based binary tree of a linear support vector machine was designed for the classifica- tion task.The system achieved a 98.3%recognition rate with an approximate frame rate of 16fps in video files for the laptop computer system during actual road tests. Keywords:speed limit sign;driver assistant system;local binary pattern;PCA;binary tree;support vector ma- chine 伴随着电子技术、计算机技术和人工智能技术 全驾驶的目的四 的飞速发展，越来越多的车辆开始配备智能辅助驾 交通限速标志识别通常分成2个部分2：1)限速 驶系统.交通限速标志识别系统是智能辅助驾驶系 标志的检测，也就是从车内安装的摄像机拍摄到的场 统的一个重要组成部分，它能提醒驾驶者当前公路 景图像中实时检测出限速标志；2)对限速标志进行识 的最高限速从而让驾驶者调整相应的车速，达到安 别，也就是识别出具体的数字（限制的车速）. 近年来，很多研究者对交通限速标志识别进行 收稿日期：2009-12-17. 通信作者：张燕昆.E-mail:James.Zhang(@harman.com 了研究.大量的工作集中在圆形限速标志上，圆形限
第6期 张燕昆，等：实时矩形交通限速标志识别系统 ·541· 速标志广泛地应用于欧洲、亚洲和澳洲的国家3]， 对于辅助驾驶系统，需要在较低的硬件配置下，系统 很少对美国等国家的矩形交通限速标志进行研究 具备实时性，而且尽可能地少占用资源.在Adaboost 本文主要研究矩形交通限速标志识别系统， 框架内，Haar小波特征太多，例如，对于一个14×18 1相关工作 大小的训练样本，12种Haar小波对应的特征达 40000多个.近年来，0jala等人提出了一种更为简 基于视颜的交通限速标志识别是计算机视觉领 单的图像特征提取方法：局部二值化模式(local bi- 域中一个难题，近年来很多研究者进行了这方面的 nary pattern,LBP)特征)，它被广泛应用于纹理分 研究.G.Loy和N.Barnes利用径向对称变换(ra 析、目标识别和图像检索等领域中.相比Haar小波， dial symmetric transformation,RST)进行圆形、正多边 LBP计算速度更快，占用资源更少.Zhang等人将 形等交通标志的检测.这种方法主要是利用交通标 LBP扩展为多块区域的局部二值模式(mutil-block 志形状的对称信息.RST可以看作是霍夫(Hough) local binary pattern,MB-LBP)[8],用于训练Adaboost 变换的推广，这种方法对圆形比较有效，具有平面内 检测器进行人脸检测，其性能比基于Haar小波特征 的旋转不变性.相比霍夫变换，它更加有效和具有鲁 的好.本文采用多尺度具有重叠的MP-LBP特征来 棒性3] 训练Adaboost检测器进行矩形限速标志的检测 C.Bahlmann等人4提出了一种基于颜色、形状和 MB-LBP特征的详细计算方法可以参考文献 运动信息的圆形交通标志识别系统.圆形交通标志检 [8].跟Haar小波特征一样，MB-LBP可以通过积分 测时，在颜色信息的基础上，他们提出了一种融合颜色 图计算快速得到.多尺度具有重叠的MB-LBP特征 信息和形状信息的Adaboost检测方法.采用7种颜色 的计算伪代码如下： 表示待识别的目标，然后用Haar小波提取特征.识别 int offset img.width +1; 阶段，采用线性判别分析(linear discriminant analysis) for inxx 0;img.wiclth;++) 提取特征向量，贝叶斯分类器进行分类 for(int y -0;y img.height;y++) C.G.Keller等人在文献[5]提出了一个美国矩 for (int w 1;w <img.width/3;w++) 形限速标志识别系统.在检测时，首先采用改进的径 for (int h 1;h <img.height/3;h++) 向对称变换进行矩形目标初步检测，然后再用基于 if (+3*w<=img.width)&&(y+ Haar小波特征的Adaboost分类器进行进一步的精 3 *h<=img.height)) 确检测，从而消除误检测的限速标志.获得限速标志 features.pust_back(Feature (offset,x,y, 区域后，首先进行了一些校正、分割和归一化，然后 e,h)) 采用线性判别分析提取特征向量，贝叶斯分类器进 2.2限速标志的跟踪 行数字识别，为了提高识别率和稳定性，他们采用了 检测到限速标志后，采用线性预测的方法对交 多帧投票融合的识别策略 通标志进行跟踪.跟踪的作用一方面是消除检测器 在系统研究了Keller等人的方法并进行了实现 的误检测(false positives,把不是限速标志的目标检 后，针对辅助驾驶系统的特点：实时性和较低的硬件 测为限速标志)，因为对于误检测的目标，它在下一 资源占用，本文提出了一种高效的矩形交通限速标 帧中出现在同一位置附近的概率很低；另一方面是 志识别系统 在后续的图像序列中，检测范围可以在很小的区域 内进行，这样可以降低系统的负担和提高检测率.图 2系统的关键技术 1显示了线性预测的流程图， 2.1限速标志的检测 线性预测的方法是在检测到具有交通标志的第 对于交通标志的检测，很多研究者采用了基于 1帧后，后续帧的检测区域(R0)就在以前一帧交 Haar小波特征的Adaboost检测方法.基于Haar小 通标志为中心，很小的矩形区域范围内进行.矩形的 波特征的Adaboost检测器方法被成功地应用于人 高度和宽度分别为前一帧限速交通标志大小的3 脸检测与目标检测中[6.Haar小波可以采用积分图 倍.一旦在后续的图像帧中没有检测到限速标志目 进行快速计算，因此通常情况下能满足实时性要求. 标，检测器在随后的视频序列中，又重新开始在整幅
542. 智能系统学报 第5卷 图像的范围内进行检测， 化，而且速度非常快.在二值化的基础上，利用连通 第1帧 区域标记的方法求出含有数字的最小矩形区域，这 个矩形区域对应的灰度图像块就作为最终的待识别 区域.最后将图像块归一化为同样的大小 检测器在整幅图 范用内搜索检测 Rotate Projection Different 限速标志 Y 后续顿 Input 10°≤0≤10> 在很小的 范闱内检测 Maximum bnstoi18 Outpnt 图2旋转校正过程流程图 图1线性预测跟踪流程图 Fig.1 linear prediction tracking diagram Fig.2 The diagram of rotation correction 2.4 限速标志的识别 2.3限速标志数字的校正和分割 限速标志的数字识别是个数字的问题.但与通 检测到限速标志目标后，在进行识别之前，首先 常数字识别问题不同的是，限速标志的数字由于光 要把数字区域分割出来.对于矩形限速标志，由于车 照、标志残损、汽车高速行驶时导致的运动模糊等因 的晃动、道路、人为等因素的影响，它的2条边相对 素的影响，其质量一般都很差.因此，设计一个鲁棒 于图像平面的X轴和Y轴是不平行的，经常有轻微 性很强的分类器是相当关键的， 的旋转，因此首先需要对其进行旋转校正 首先采用主元分析(principal component analy 当矩形限速标志的两边分别与图像平面的X轴 s,PCA)对归一化后的灰度图像进行特征向量提 和Y轴平行时，它的外边缘在垂直和水平方向具有 取.然后采用基于聚类的二叉树线性支持向量机构 最大的梯度s],C.G.Keller通过直方图投票的方法 建分类器。 来求取旋转角.这里采用一种更加有效而简单的方 采集的交通限速标志共有16个类别：10,15， 法来进行校正。 20,…,80,85.首先采用无监督聚类的方法对这16 首先将Adaboost检测器检测到的限速标志区 个类的训练样本的特征向量进行聚类，找出它们之 域扩展1/4，这主要是保证它的4条边都在区域内. 间的相似性.根据它们的相似性，设计的二叉树线性 在扩展后的区域内，分别进行垂直投影和水平投影 支持向量机如图3所示 得到其对应的投影曲线，然后对投影曲线进行一阶 在树的根部，将所有的数字部分归为一类（正 差分，求出它们一阶差分的极大值的加权均方值.假 样本)，其他非数字（包括检测器误检的非限速标志 定旋转角位于[-100,100]区间范围内，这在实际 目标以及是限速标志目标但质量退化不能识别的) 大部分情况下是成立的.旋转扩展后的矩形区域20 归为另一类（负样本）.在到达第1个树节点的右 次，每次步长为1°，每一次都求出水平和垂直投影 边，负样本终止；左边部分，根据末位数字0和5分 曲线对应的一阶差分极大值的加权均方值.这样就 为2类：即10,20，…，80和15,25，…，85.根据聚类 分别得到20个加权均方极值.将这20个极值排序， 的结果，对这2类分别进一步构建二叉树，如此不断 最大值的对应的角度就是最终的旋转校正角度.整 的拓展二叉树，直到所有的类识别完为止： 个校正流程如图2所示. 实际系统中，当车通过一个限速标志路段时，检 校正后，要对数字区域进行分割这里采用基于 测器可以检测到多帧含有限速标志的图像.为了提 积分图的自适应阈值方法先将校正后的目标图像进 高识别的稳定性，采用文献[3]中多帧投票的策略 行二值化[91.这种方法的特点是能够消除光照变 来提高实际系统的识别率
第6期 张燕昆，等：实时矩形交通限速标志识别系统 ·543· 10.15.20..85,and none digits SVM 10,20,25,…,85 None digits SVM SVM 15,25,…,85 10,20,…,80 SVM SVM 30,50,60,80 10,20,40,7035,55,65,85 5,25,45,75 SVM SVM SVM SVM 35,65,85 30,60.80 10,40 420,70 15.45 25,75 SVM 50 SVM SVM SVM 55 SVM SVM 35,85 30.80 60 10 40 70 65 SVM 45 25 SVM 85 30 80 图3基于聚类的二叉树线性支持向量机的结构 Fig.3 Architecture of the binary tree support vector machine 3 实验分析 限速标志 系统的检测器获得了99,1%的正确检测率，只 将一个笔记型电脑计算机系统放置在车里，摄 有12个误检测.为了和基于Haar小波特征的Ada- 像机通过支架固定，通过1394接口与电脑连接进行 boost检测器进行比较，采用同样的训练样本训练基 实际视频数据的采集.摄像机的分辨率为640× 于Haar小波的Adaboost检测器，Haar小波特征选 480,帧率为30帧/s,图像为24位的彩色图像.视频 取了常用的12种不同类型.表1是两者结果的综合 数据具有多样性，包括了不同路段、不同时间段（早 比较 上、中午、黄昏、夜里)和不同天气情况下（晴天、阴 表1MB-LBP和HAAR小波的比较 天)的各种数据.数据集中一共包含了85个限速标 Table 1 Comparsion detection results of MB-LBP and 志路段的视频序列，超过10000帧含有限速标志和 Haar wavelet 100000多帧不含有限速标志.测试硬件平台的配置 总的特正确检误检测 训练检测时间 P8400 2.26GHz,1GB RAM. 算法 征数量测率/%个数时间/h/(帧·s1) 3.1限速标志检测的结果分析 MBABP153099.112 132 0.052 手工从2863帧含有限速标志的视频序列中分 Haar4795297.6 16 144 0.0802 割出限速标志目标，将其归一化为14×18大小作为 从表中可以看出，基于多尺度的MB-LBP的 正样本.负样本从不含有限速标志的图像序列中选 Adaboost检测器的性能要好于基于Haar小波Ada- 取，共5000个负样本.另外，通过boostrapping的方 boost检测器. 法得到另外的2100个负样本.这样一共有7100个 3.2限速标志识别的结果分析 负样本.图4是一些用于训练的正样本图像。 将分割出的含有限速标志数字的灰度图像块归 一化为12×8大小.先利用P℃A将特征维数从96 屋居遥彩屋器露诺霜 维降为40维，实验表明，增加维数不影响SVM的识 别结果.图5是一些限速标志目标经过旋转校正、分 图4用于训练Adaboost检测器的一些正样本图像 割以及归一化后的图像示例 Fig 4 The positive sample images for adaboost training 测试时，采用了近25000幅视频序列，其中含有 0520念%303540455055蹶65爱75领 限速标志的2210幅.测试图像序列与训练用的图像 图5归一化后训练二叉树线性支持向量机的样本图像 序列没有重叠.正确检测这里定义为当图像中有限 Fig.5 The normalized training samples for BTSVM 速标志并且能被人眼所感知时，检测器能正确地检 对于二叉树的每个节点的线性支持向量机，根 测出；误检测定义为图像中的非限速标志被检测为
·544 智能系统学报 第5卷 部的训练样本最多，每类1000个，随着树的深入递 ing,and recognition using color,shape,and motion infor- 减，树末端的训练样本为每类50个. mation [C]//IIEEE Intelligent Vehicles Symposium.Las 在2210帧测试图像上，二叉树线性支持向量机 Vegas,USA,2005:255-260. 的正确识别率为88.35%，而直接采用RBF核函数 [5]VIOLA P,JONES M.Robust real-time object detection 的非线性支持向量机的正确识别率为84.05%.这 [J].International Journal of Computer Vision,2004,57 (2):137-154. 也说明了设计的基于聚类的二叉树的线性支持向量 [6]陈春燕，章品正，罗立民.基于粒特征和连续Adaboost 机的性能要比非线性的支持向量机的性能要好 的人脸检测[J].智能系统学报，2009,4(5)：446452. 3.3系统总的性能分析 CHEN Chunyan,ZHANG Pinzheng,LUO Limin.Face de- 采用了60个不同限速标志路段的视频进行系 tection using real Adaboost on granular features[].CAAI 统测试.这60个不同限速标志路段的视频时间长达 Transactions on Intelligent Systems,2009,4(5):446-452. 40min左右，总的帧数近70000多帧.系统正确识别 [7 OJALA T,PIETIKAINEN M,M&ENPa T.Multiresolution 定义为当车经过一个限速标志时，多帧投票识别输 gray-scale and rotation invariant texture classification with lo- 出的结果和实际的限速标志一致.投票的数目采用 cal binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987. 10帧二叉树线性支持向量机的输出进行投票，当有 [8]ZHANG Lun,CHU Rufeng,XIANG Shiming,LI S Z.Face 6帧以上输出结果相同时，该输出就作为系统最终 detection based on multi-block LBP representation[C]/ 的识别结果.当输出的相同结果数小于6时，系统就 Proceedings of IAPR/IEEE Intermational Conference on Bio- 不输出. metrics.Seoul,Korea,2007:11-18. 在60个路段的视频上，系统只有1个限速标志 [9]BRADLEY G,ROTH G.Adaptive thresholding using inte- 路段识别错误，主要原因是该限速标志刚好位于转 gral image[J].Journal of Graphics Tools,2007,12(2): 弯路段，检测到的限速标志的帧数不多，无法满足投 13-21. [10]FEI B,LIU J.Binary tree of SVM:a new fast multiclass 票机制.也就是说在测试视频数据库上，系统总的识 training and classification algorithm[J].IEEE Trans on 别率为98.3%.性能方面，整个系统模块的处理速 Neural Networks,2006,17(3):696-704. 度平均为16帧，CPU占用率一直控制在40%以下. [11]张铭钧，尚云超，杨杰.基于灰度梯度不变矩的水下目标 4 结束语 识别系统[J].哈尔滨工程大学学报，2009,6：653657. ZHANG Mingjun,SHANG Yunchao,YANG Jie.Recognition 介绍了一种高效的矩形交通标志识别系统.该 system for underwater objects based on gray and grads invari- 系统整个流程的设计基于辅助驾驶系统的需要，在 ant moments[J].Joumal of Harbin Engineering University, 较低硬件配置下达到实时处理的要求，并且具有较 2009,6:663657. 作者简介： 低的资源占用.系统通过大量的实际道路视频序列 张燕昆，男，博士.主要研究方向为 的测试，取得了较好的性能.未来的工作，一方面是 计算机视觉、人脸检测与识别、三维计 对系统进行更大规模的实际测试；另一方面进行平 算机视觉：发表学术论文7篇。 台的移植和优化，进行系统整合， 参考文献： [1]BARGETON A,MOUTARDE F,NASHASHIBI F,BRA- DAI B.Improving pan-European speed-limit signs recogni- 洪初阳，男，硕士，主要研究方向为 tion with a new "global number segmentation before digit 图像处理、图像分割和机器视觉等 recognition C]//IEEE Intelligent Vehicles Symposium. Eindhoven,Netherlands,2008:349-354. [2]KELLER C G,SPRUNK C,BAHLMANN C,GIEBEL J, BARATOFF G.Real-time recognition of US speed signs [C]//IEEE Intelligent Vehicles Symposium.Eindhoven, Netherlands,2008:518-523. Wang Charles,博士，主要研究方向 [3]LOY G,BARNES N.Fast shape-based road sign detection 为视频分析、模式识别等.发表论文多 for a driver assistance system[C]//IEEE/RSJ International 篇，同时拥有多项专利. Conference on Intelligent Robots and Systems.Sendai,Ja- pan,2004:70-75. [4]BAHLMANN C,ZHU Ying,RAMESH V,PELLKOFER M,KOEHLER T.A system for traffic sign detection,track-