第5卷第6期 智能系统学报 Vol.5 No.6 2010年12月 CAAI Transactions on Intelligent Systems Dec.2010 doi:10.3969/i.isgn.1673-4785.2010.06.001 高斯差分的AdaBoost车牌定位方法 刘彬，严京旗，施鹏飞 (上海交通大学图像处理与模式识别研究所，上海200240) 摘要：针对实际拍摄场景中的复杂光照条件以及不同车牌颜色对车牌定位造成的影响，提出了一种基于高斯差分 图像的AdaBoost车牌检测算法.该算法首先对原始灰度图像进行高斯差分，得到其对应的高斯差分图像，然后利用 基于DoG图像的DoG+AdaBoost分类器与基于灰度图像的Gray+AdaBoost分类器构成二级车牌检测器进行车牌检 测，最后根据车牌中的车牌号码信息对车牌检测结果进行验证，得到最终的车牌定位结果.该算法利用高斯差分方 法，很好地抑制了复杂光照和不同车牌颜色对车牌检测造成的影响，具有较快的定位速度和很高的检出率.实验表 明，该算法能获得很好的车牌定位效果，具有较高的实用价值 关键词：复杂光照条件：车牌定位：AdaBoost算法；高斯差分 中图分类号：TP391.4文献标志码：A文章编号：16734785(2010)06047105 A license plate location method based on the DoG AdaBoost algorithm LIU Bin,YAN Jing-qi,SHI Peng-fei (Institute of Image Processing and Pattern Recognition,Shanghai Jiaotong University,Shanghai 200240,China) Abstract:While focusing on the effect of complex illumination conditions in an actual shooting scene and different colors of a license plate in various locations,a license plate detection method was presented based on the DoG+ AdaBoost algorithm.First,by differential Gaussian processing,the DoG image was obtained from the gray-scale image,and then a 2-stage detector formed by the DoG AdaBoost classifier and Gray +AdaBoost classifier was used to detect the license plate.Finally,the registration number information was used to verify the license plate and to produce the final result.The algorithm greatly reduced the effect of complex illumination conditions and different colors of the license plate in various locations with a fast processing time and high detection rate.The algorithm per- formed well in the experiment and possesses high practical value. Keywords:complex illumination conditions;license plate location;AdaBoost algorithm;differential of Gaussian (DoG) 车牌识别(LPR)是智能交通系统(TS)中的重连通域分析2]等；基于灰度图像的车牌定位，主要 要组成部分之一，应用十分广泛.它通过对摄像机所 包括二值化图像的车牌定位方法，包括边括整体图 拍摄的车辆图像或者视频序列进行分析和处理，得 像分析、局部图像分析)等：基于彩色图像的车牌 到车牌信息，进而可以实现停车场收费管理、汽车防 定位方法，主要有直方图分析、颜色空间变换4等： 盗等功能，对于实现交通自动化管理有着十分重要 基于机器学习的车牌定位方法，主要包括Ada 意义. Boost561、支持向量机和人工神经网络等.由于实际 车牌识别系统包括3个主要模块，即车牌定位、 拍摄到的车辆图像受很多因素的干扰，包括复杂光 车牌字符分割和字符识别.其中车牌定位效果的好 照（阴影、曝光等）、不同拍摄角度和拍摄距离、不同 坏直接影响着整个系统的性能.目前有关车牌定位 的拍摄背景等，这些都给车牌定位带来了不同程度 的算法主要有：基缘统计14]、数学形态学处理口和 的影响.针对以上这些问题，提出了DoG+AdaBoost 算法训练车牌分类器进行车牌检测，并结合车牌号 收稿日期：2010-04-17. 基金项目：国家自然科学基金资助项目(60873137) 码信息对检测到的车牌进行校验，进而得到最终的 通信作者：严京旗.E-mail:jqyane@jtu.edu.cn 车牌定位结果
·472· 智能系统学报 第5卷 1DoG原理 G-+y-2a。器， d 2Tos (3) 为了抑制复杂光照和车牌颜色差异给车牌检测 72G=+y2ae器， (4) 带来的影响（如图1），首先对原始灰度图像进行 2To DoG处理，然后在DoG图像上进行车牌检测，该方 由式(3)、式(4)可得 法很好地降低了复杂光照和车牌颜色差异对车牌检 aG =oV2G. (5) d 测造成的于扰.同时，通过DoG处理后，图像的边缘 通过式(5)可知，可以先计算G(x,y,σ)的有限 信息得到增强，进而提高了车牌区域与背景区域的 差分近似得到aG/?o,进而得到σ72G的近似值： 区分度，如图2所示 o7'G=C≈Gx,y,ko）-Gx,y.(6) do ko -0 当k无限接近1时，式(6)的近似误差接近0， 即 (a)正常 DoG≈(k-1)LoG (7) 由于式(7)中参数(k-1)是个常量，所以它不 会对DoG算子与图像进行卷积的结果产生影响， (b曝光 1.2获取DoG图像 将图像的尺度空间定义为S(x,y,σ)，它是由尺 度可变的高斯函数G(x,y,σ)和输入图像I(x,y)进 (c)阴影 行卷积得到的： 图1不同光照条件下拍摄到的车辆图像 S(x,y,)=G(x,y,)*I(x,y). Fig.1 Vehicle images with different illumination conditions 式中：*是卷积运算符号 通过式(8)计算得到原始灰度图像对应的DoG 图像： D(x,yx,o)=S(x,y,ko)-S(x,y,).(8) (a)正常 (b曝光 (a)原始灰度)不同尺度高斯卷积后的图像(c)Dg图像 {c阴彪 图3获取DoG图像 Fig.3 Get DoG images 图2图1中灰度图像对应的DoG图像 Fig.2 DoG vehicle images correspond to Fig.1 AdaBoost分类器 2 1.1DoG算子 DoG算子是尺度归一化的LoG(Laplacian of AdaBoost算法8]是1997年由Freund和Scha- Gaussian)算子的近似7，如式(1)~(2)所示，而且 pire提出来的一种自适应的机器学习算法，其基本 由于其运算更有效率，很适合进行图像卷积运算. 原理是利用大量的弱分类器通过一定的权重叠加， DoG算子： 组合成一个分类能力更强的分类器.2001年，Viola DoG A G(x,y,ko)-G(x,y,o), (1) 和Jones提出了一种基于Haar特征的级联AdaBoost LoG算子： 分类算法9，该文主要有以下几点创新：1)使用结 LoG△σ272G(x,y,σ). (2) 构简单的Haar特征训练弱分类器；2)引入积分图像 式中：72代表拉普拉斯算子，G(x,y,o)是尺度可变高 的概念，大大提高了Haar特征的计算效率；3)通过 斯函数，(x,y）是空间坐标，σ是尺寸坐标可知 AdaBoost算法构造二值分类器（人脸一非人脸），其 特点是具有较高的通过率和较低的拒绝率；4)将许
第6期 刘彬，等：高斯差分的AdaBoost车牌定位方法 ·473· 多个强分类器通过级联的方式构造成一个多级分类 到强分类器中， 器(cascaded classifier),这样做的好处是快速排除背 4)更新每个样本对应的权重： 景区域（非人脸），将更多的计算时间花费在目标区 0+1,=0,B- 域（人脸）的检测，能很大程度地提高检测速度， 式中：如果第i个样本x:被正确分类，则e:=0,否则 综合以上，本文采用文献[9]中提到的算法，训 练级联的AdaBoost分类器进行车牌检测. e,=16,=1-E 2.1特征选择 最终得到的强分类器： 根据车牌中的字符分布特征选取了几种基本的 1, Haar特征（边缘特征、线特征和中心环绕特征），除 h(x)= 此以外，还提出了几种新的Haar特征（这些特征能 0, 其他 很好地反映出车牌字符的分布特点)来训练车牌检 测器，见图4，灰色区域像素值之和减去白色区域像 式中：a,=log月 素值之和即为该Haar特征对应的特征值. 多个强分类器训练完成后，可以将这些强分类 器串联在一起构成一个级联分类器.级联分类器的 构造应遵循：保证目标区域通过，同时减少非目标区 a)边缘特征 域的通过率这样可以提前排除大量的非目标区域， 有助于提高检测速度， (3 2.3训练分类器 线特征 采集了2000张日文车牌图片作为正样本（图 像尺寸全部归一化为36×18大小)，1500张图片作 (1) 为负样本，分别训练了Gray+AdaBoost(JP)分类器 c中心环绕特征 (基于灰度图像)和DoG+AdaBoost(JP)分类器（基 (儿2覆3运4(5 于DoG图像)：采集了2300张中文车牌图片作为正 d)4字符线特征 样本（图像尺寸全部归一化为36×12大小），1500 张图片作为负样本，训练了Gray+AdaBoost（CN) 图4本文训练车牌分类器所使用的Haar特征 Fig.4 Types of features selected by AdaBoost 分类器和DoG+AdaBoost(CN)分类器.各分类器的 2.2 AdaBoost算法 具体性能如图5所示. 1.0 AdaBoost算法不需要预知弱学习算法的先验知 0.98 识，它能自适应地调整弱学习算法的分类效果，经过 0.9 0.96 0.94 若干次迭代后分类效果能达到预定的期望值.该算 0.92 法的具体描述如下： 0.8 0.90 08 假设输入共n个训练样本(x1,y1),…,（xn, 0.020.040.060.08 0.7 Gray+AdaBoost (JP) yn),其中y:=0,1分别对应着负样本和正样本. -Dog+AdaBoost (JP) -*·Dog+AdaBoost(CN 初始化权重若=0，则4=元者=1则 0.6 Gray+AdaBoost (CN) 0.02 0.060.100.140.18 =,其中m分别代表负样本和正样本数目。 虚警率 图52种分类器在中文和日文车牌中的R0C曲线 对于t=1,2,…,T（其中T迭代次数)： Fig.5 The different ROC curves of the classifiers in Chi- 1)权重归一化： nese and Japanese license plates 0← 10 3车牌定位 30小 利用训练好的车牌检测器进行检测的过程中， 2)对于每一个特征j,按照上面的方法训练得到相 不可避免地会出现漏检和虚警（伪车牌），这与该算 应的分类器h,计算相对于当前权重0，的误差： 法本身的原理有很大关系. e=∑0：1h,(x:-y)1. 对于漏检，利用DoG+AdaBoost分类器和 3)选择具有最小误差E,的简单分类器h,加入 Gray+AdaBoost分类器组成一个2级检测器，以降
474 智能系统学报 第5卷 低漏检率。 域3为真实车牌的可信度最高，故将车牌区域3作为 对于虚警，采用车牌号码验证的方法，即利用 最终的车牌定位结果。 AdaBoost算法训练出的大数字检测器（训练该检测器 的正样本为车牌中的车牌号码0~9，共1500个)去 牌域1 检测每个候选车牌区域中出现的车牌号码（可通过相 个牌区域2 对于车牌区域的位置信息和相对尺寸排除一部分虚 警，以提高车牌号码信息的可信度)，最后通过车牌号 码信息排除虚警区域，此外，这里检测出的车牌号码 年牌区域3 位置信息还可以为以后的车牌字符分割提供重要的 参考信息.如图6所示，车牌区域1中共检测出1个 图6利用AdaBoost车牌检测器得到的检测结果 车牌号码，车牌区域2中共检测出0个车牌号码，车 Fig.6 The detection results by AdaBoost classifier 牌区域3中共检测出4个车牌号码，由此可知车牌区 表1多种车牌定位方法的检测精度对比 Table 1 Comparison results about license plate location methods on location performance 多 正常图像(545幅) 曝光图像(354幅) 阴影图像(500幅)》 所有图像(1399幅) 定位方法 定位率漏检率虚警率定位率漏检率虚警率 定位率漏检率虚警率 定位率漏检率虚警率 连通域方法 87.71.8 10.5 76.6 2.5 20.9 81.8 6.0 12.2 82.8 3.5 13.7 Gray+AdaBoost's] 98.51.30.2 95.53.70.8 87.612.40.0 93.9 5.8 0.3 DoG+AdaBoost 97.42.60.0 97.52.20.3 93.86.0 0.2 96.2 3.7 0.1 本文方法 100.00.00.0 99.40.30.3 96.63.20.2 98.7 1.2 0.1 注：所有测试样本均为灰度图像；方法2,3、4均采用本文中提出车牌号码信息验证的方法排除虚警 表2多种车牌定位方法的平均检测时间对比 Table 2 Comparison results about license plate location methods on average time consuming ms 检测方法 连通域方法 Gray AdaBoost DoG+AdaBoost 本文方法 平均检测时间 38 95 93 135 注：测试平台为Intel Core(TM)2 Duo CPU E74002.80GHz,2 GB RAM.图像尺寸为1024×500 和Gray+AdaBoost分类器构成一个2级车牌检测 4 实验结果及分析 器，从而取得了更好的检测效果 由表1可知基于AdaBoost算法的车牌检测器 定位效果要明显优于基于连通域(connected compo- 5结束语 nents)算法的车牌检测器，这是由算法本身特点导 提出一种基于DoG图像的AdaBoost车牌检测 致的.1)基于连通域的车牌检测器是在二值图像上 算法，利用该算法与文献[5]中提出的算法构成一 对连通块进行统计，根据连通块信息确定车牌区域， 个二级车牌检测器对车辆图像进行车牌检测并结合 该方法对图像二值化效果很敏感.2)有些日文车牌 车牌区域的车牌号码信息对车牌区域进行校验，以 中只存在1个或2个车牌号码，直接用连通块信息 实现车牌区域的精确定位.实验结果表明本文采用 分析很容易产生虚警.3)基于AdaBoost算法的车牌 的车牌定位方法在各种光照条件下表现得都很鲁 检测器由于训练阶段准备的训练数据代表性比较强 棒，具有很高的实用价值.由于采用的是2级检测 (包含多种光照条件、多种颜色和不同角度（±15° 器，所以车牌的平均定位时间会有所增加，在实际系 范围)的正样本)，故其适应性非常强.通过车牌中 统中，目标检测的实时性是很重要的一个指标，如何 大数字信息对检测到的车牌区域进行验证，使该类 平衡检测器的检测精度和时间花费，将是下一步工 检测器虚警率非常低.4)DoG+AdaBoost分类器在 作的重点 曝光和阴影条件下表现优于Gray+AdaBoost分类 器，而Gray+AdaBoost分类器在正常光照条件下表 参考文献： 现要相对好一些，所以利用DoG+AdaBoost分类器 [1]HONGLIANG B,CHANGPING L.A hybrid licenseplate
第6期 刘彬，等：高斯差分的AdaBoost车牌定位方法 ·475… extraction method based on edge statistics and morphology [9]VIOLA P,JONES M.Rapid object detection using a boos- [C]/1CPR.[S.1.],2004:831-834. ted cascade of simple features[C]//Conference on Comput- [2]LLORENS D,MARZAL A,PALAZON V,et al.Car li- er Vision and Pattern Recognition.Kauai,USA:IEEE cense plates extraction and recognition based on connected Press,2001:511-518. components analysis and HMM decoding[C]//New York: 作者简介： Springer-Verlag,2005,3522:571-578. 刘彬，男，1984年生，硕士研究 [3]BROUMANDNIA A,FATHY M.Application of pattern rec- 生，主要研究方向为图像处理、机器学 ognition for Farsi license plate recognition[C]/GVIP.Cai- 习与生物特征识别. ro,Eypt,2005:623627. [4]郭捷，施鹏飞。基于颜色和纹理分析的车牌定位方法 [J].中国图象图形学报，2002,7(5)：472476. GUO Jie,SHI Penfei.Color and texture analysis based ve- hicle license plate location J].Joumal of Image and 严京旗，男，1975年生，副教授，硕 Graphics,2002,7(5):472476. 士生导师，主要研究方向为图像图形综 [5]DLAGNEKOV L.License plate detection using AdaBoost 合技术、可视计算、三维生物特征识别 [D].San Diego,USA:University of California,2004. 等.曾多次赴香港理工大学计算机系开 [6]盛曦，吴炜.一种基于AdaBoost的车牌定位算法[J].四 展合作研究并建立了密切的合作关系. 川大学学报，2007,44(3)：535539. 参与并主持了多项国家自然科学基金 SHENG Xi,WU Wei.A license plate location method 项目. based on Adaboost algorithm[J].Joumal of Sichuan Uni- versity,2007,44(3):535539. 施鹏飞，男，1940年生，教授，博士 [7]LOWE D G.Distinctive image features from scale-invariant 生导师.主要研究方向为图像处理、模 keypoints[J].International Joumnal of Computer Vision, 式识别及智能技术与系统.国家自然科 2004,60(2):91-110. 学基金信息学科、国家教育部、科技部 [8]FREUND Y,SCHAPIRE R E.A decision-theoretic gener- 评审与咨询专家.国际EEE高级会员， alization of on-line learing and an application to boosting 中国人工智能学会常务理事，中国科学 [C]//Computational Leaming Theory:Eurocolt'95.[S. 院自动化所模式识别国家重点实验室、北京大学机器感知与 1.],1995:2337. 智能教育部国家重点实验室学术委员.获国家、省部级科技 奖6项，发表学术论文100余篇