第7卷第1期 智能系统学报 Vol.7 No.1 2012年2月 CAAI Transactions on Intelligent Systems Feh.2012 D0I:10.3969/j.i8sn.1673-4785.201112021 基于图像验证的ETC干扰问题解决方法 王亮，鲁华祥，景为平2，陈天翔3 (1.中国科学院半导体研究所，北京100083；2.南通大学江苏省集成电路设计重点实验室，江苏南通226019； 3.厦门理工学院电子与电气工程系，福建度门361005) 摘要：电子不停车收费系统(ET℃)的干扰问题的原因在于现有的技术验证系统通过微波通信没有获得正确的 车辆信息，针对这个问题提出一种基于字符凹凸特征的快速牌照字符验证方法.该方法以系统获得的牌照信息为 已知信息，选择当前车辆牌照字符图像的凹凸特征验证其是否来源于当前待交易车辆，无需对牌照图像进行复杂 的预处理，也不是直接的牌照字符识别，从而满足了ETC系统的实时性要求.实验结果表明，采用该方法以及车 辆颜色和车型验证，能可靠地检查出非法车辆，切实解决ETC系统的干扰问题. 关键词：ETC:牌照验证：凹凸特征：跟车干扰：邻道干扰 中图分类号：TP39文献标志码：A文章编号：16734785(2012)01005006 A solution to interference problems in ETC systems based on image verification WANG Liang',LU Huaxiang,JING Weiping?,CHEN Tianxiang? (1.Institute of Semiconductors,Chinese Academy of Science,Beijing 100083,China;2.Jiangsu Key Lab of ASIC Design,Nantong University,Nantong 226019,China;3.Electronic and Electrical Engineering Department,Xiamen University of Technology,Xiamen 361005,China) Abstract:The cause for interference problems in electronic toll collection (ETC)systems is a lack of a means to verify the vehicle information collected through microwave communication.A fast license plate verification method based on the character image's convex-and-concave features was proposed in this paper.This method uses the ve- hicle information collected by an ETC system as known information and chooses the character image's convex-and- concave features to verify whether the vehicle information originates with the car in question.Because this method needs no complicated preprocessing and does not involve direct character recognition,it complies with the ETC sys- tem's real-time requirements.Experimental results show that this method,supplemented by color and size verifica- tion,can reliably detect illegal vehicles and solve interference problems in ETC systems. Keywords:electronic toll collection(ETC);license plate verification;convex-and-concave feature;following-car interference;adjacent lane interference 电子不停车收费系统(electronic toll collection, 别[4]，曾被广泛研究的基于图像抓拍的牌照自动 ETC)是国际上所努力推广的一种应用于道路、大桥 识别技术由于其识别率低、识别时间长而未被采 和隧道的电子收费技术，ETC系统能实现车辆的不 用[61]然而，仅依靠无线通信作为车辆识别的依据 停车收费，是提高高速公路通行能力和解决收费站 会给ET℃系统实际运行带来很多问题，如跟车干扰 拥堵问题的最有效手段之一13.标准ETC系统依 与邻道干扰7]，本文提出将图像信息应用于标准 靠车辆与收费站之间的微波通信来实现车辆自动识 ETC系统的车辆自动识别，用信息融合的手段解决 其实际运行中的干扰问题.同时为满足ET℃系统的 收稿日期：2011-12-31. 实时性要求，实现图像的快速准确识别是本文研究 基金项目：国家自然科学基金资助项目(61076014)；江苏省高校自然 的重点 科学基金资助项目(10KJA510042);厦门市重大科技计划 项目(3502Z20111008). 通信作者：王亮.E-mail:hy242@semi.ac.cm
第1期 王亮，等：基于图像验证的ET℃干扰问题解决方法 ·51 凸特征，提出一种应用于ET℃系统的快速牌照验证 1 ETC系统工作过程及其问题 方法，解决了应用牌照识别的长耗时问题.根据牌照 图1为ETC系统结构示意图.安装在汽车上的 验证结果，辅以车辆大小和颜色的一致性验证，便可 车载单元(on-board unit,OBU)(存储与车辆身份有 判定RSU收到的OBU信息是否来自于当前待交易 关的信息)与安装在收费车道旁的路侧单元(road 车辆，从而解决ETC系统的干扰问题. side unit,RSU),以微波通信进行快速的数据交换， 2基于图像验证的干扰问题解决方案 再通过联网的银行卡或提前预缴的储值卡进行费用 结算，若交易成功，则电子栏杆抬起，车辆通过ETC 为提高一致性验证的可靠性，选取牌照、车辆颜 车道.车道监视摄像机记录通过车辆以备日后检查 色、车型作为一致性验证的依据.其中牌照验证部分 占用时间最长，也最为关键，提高验证过程的速度， 电 车道监视 最重要的就是提高牌照验证的速度， 摄像机 本文选取牌照字符中的数字作为牌照鉴别的依 据，并选择数字图像的凹凸特性作为其鉴别特征.这 是因为数字识别是典型的小字符集识别，相对于汉 ETC车道 字和字母的识别，数字识别简单且准确得多.同时字 符的凹凸特征是字符的整体特征，选取凹凸特征作 为鉴别特征，无需对图像做细化、倾斜矫正等复杂的 预处理，同一字符的图像，即使形状位置有一定的偏 差，依然具有相同的凹凸整体特征，从而为实现准确 图1 ETC系统结构 快速的牌照验证提供了理论依据. Fig.1 Structural diagram of the ETC system 2.1图像的凹凸性整体特征描述 当ET℃系统的通信范围内同时存在2辆或者多 辆待交易车辆时，RSU可能误读其他车辆而不是当前 图像中的圈和凹区域等特性称为图像的凹凸特 征.文献[11]提出了一种提取字符图像凹凸特性的 车辆的OBU,并且成功交易，造成ETC系统的混乱. 其中来自同一车道上后车OBU的干扰称为跟车干 方法.该方法的主要步骤如下： 扰，来自邻车道车辆OBU的干扰称为邻道干扰.干扰 1)计算赋值背景.对字符图像的所有背景点 问题是ETC系统推广应用中所亟需解决的重要问 (二值化图中像素值为0的点)，从当前点出发，向 题.由于跟车干扰，目前普遍要求车辆通过ETC车道 右、右上、上、左上、左、左下、下、右下8个方向发出 时，保持车距并慢速通过9)，这显然与提高ETC车道 8条射线，与前景点（字符）相交的射线数目即为背 过车速度和高速公路吞吐量相矛盾.解决邻道干扰问 景点的赋值.图2(a)为字符6的二值化图像，图2 题主要依靠控制RSU的有效交易范围，希望RSU的 (b)为由图2(a)计算出的赋值背景 交易区域边界十分明显781.实际上，由于ETC产品 性能离散性较大，当有多个并行车道，安装有多个 RSU读写器时，很难避免邻道干扰. 干扰问题存在的本质在于现有ET℃系统中仅 仅依靠微波通信来实现车辆识别的正确性.要解决 ETC系统的干扰问题，仅需检验RSU获得的车辆信 息与当前待交易车辆的信息是否一致.因此，本文引 8o 入图像信息作为RSU所获车辆信息的验证依据，用 信息融合的手段解决ETC系统的干扰问题.在ETC a二值化图 )赋值背景图 (c)圈与左右凹陷 发展的过程中，也有学者提出通过融合IC卡和牌照 图2字符的圈及凹陷 图像信息，以提高系统车辆自动识别的识别率90； Fig.2 Convex-and-concave features of character 但这些方法都直接采用牌照识别的方法，始终没有 2)提取凹凸性.由赋值背景可以判定图像中的 解决其耗时长的问题，因此并未被ETC标准所采 圈和凹陷区域.背景赋值为8，表示该背景像素由前 纳.本文将图像用作验证信息，作为验证手段的图像 景像素所包围，其所在的区域为圈，用C表示.赋值 处理，比直接进行图像识别要快速得多.以RSU获 为56、7的背景区域即为凹陷区，其中每一背景点 得的车辆信息作为已知信息，利用数字字符图像凹
·52 智能系统学报 第7卷 的右边均可找到前景点的凹陷称为左凹陷，用L表 否则初步判定为非6，并进行相应的判决假设赋值， 示；每一背景点的左边均可找到前景点的凹陷称为 验证字符是否为6的判决树如图5所示.当判 右凹陷，用R表示.图2(c)为从图2(a)提取出的凹 决结果位于判决树的左叶子上时，判定为一致；当其 凸特征.10个数字的圈和左右凹陷分布情况如图3 位于判决树的右叶子上时，判定为不一致.叶子节点 所示，黑色部分为圈，水平线填充部分为左凹陷区， 中的字符为该情形下可能字符的集合， 垂直线填充部分为右凹陷区. [图像为字符6？ 0123456789 OPos1或Pos2或Pos3行圈？ 图3数字字符的圈与左右凹陷 W Fig.3 Circles and concaves in numbers Pos4有右凹陷？Q 1.2.3.4.7.9.其他 2.2基于图像整体特征的快速牌照验证 m(A0=0.05,m(0=0.9 选取牌照后5位中的数字作为牌照验证的依 m({A,])=0.05 据.以RSU获得的车辆牌照信息作为已知信息，由 右至左验证对应位置的牌照字符图像.根据其是否 6.G.5☐ 0.8其他 m(A0=0.58,m()=0.17,m(40=0.05,m=0.85 具有与已知字符相同的凹凸特性给出判别结果，作 m(A,4=0.25 m({A,})=0.10 为下一步决策网络的输入 图5数字6的验证判决树及判决结果赋值 2.2.1牌照字符验证方法 Fig.5 Decision tree of number 6's verification 文献[11]对所有背景点计算背景赋值，再提取 2.2.2判决结果赋值 图像凹凸特征以识别图像中的数字，该方法仍具有 一致性判决结果假设用3个集合来表示，即 较高的时间复杂度.为满足ETC系统实时性需求， {A,A,{A,A}},A表示判决图像字符与已知信息两 本文对其加以改进，避免对图像的直接识别，提出一 者一致，A表示判决两者不一致，{A,A}表示对判决 种快速的牌照验证方法，本文对每个数字建立一个 结果不确定，判决假设赋值的大小代表对该假设支 判别树，仅计算部分位置背景点的背景赋值，不同数 持的程度，用于作为决策融合网络的输入 字所要计算赋值的背景点位置也不相同.以下以数 本文分2种情况对一致性判决假设进行赋值： 字6为例，说明该牌照字符验证的快速方法.图4是 1)判决结果位于判决树的左叶子时，即判定两 从二值化牌照中截取的字符图像，设图像高为H,判 者一致.此时根据已排除的数字个数和未排除的字 别该牌照数字是否为6，算法的步骤如下： 符个数（包含具有相同凹凸特征的字母字符）来确 定对应假设的判决结果赋值： m(A)'=X-y+1 10+Z, (1) m(A)'=y+2-1 10+Z, (2) mAay=6+号 (3) 式中：X表示已排除数字的个数，Y表示未排除数字的 个数，Z表示满足相应凹凸特征的可能字母的个数再 图4数字6的二值化 将m(A)'m(A)'、m({A,A)进行归一化，即得到相应 Fig.4 Binary image of number 6 判快假设的信任度赋值.如在数字6的判决树中，若判 1)计算图像3H/4横线上的背景赋值，若其上 定两者为一致，此时已排除的数字(0,1,2,3,4,7,8,9) 赋值为8的背景点的个数多于相应阈值，则判断该 个数为8，未排除数字(5,6)个数为2，可能的字母(G) 横线部分包含于圈区域，跳至2)，否则跳至3). 个数为1，由式(1)~（3)，m'(A)=0.64,m'(A)= 2)计算图像H/4横线上的背景赋值.判断该横 0.18,m'({A,A})=0.27.归一化得m(A)=0.58, 线是否部分包含于右凹陷.若是，则判定该字符为 m(A)=0.17,m({A,A})=0.25. 6;否则，判定为非6.并对相应的判决假设赋值. 2)判决结果位于判决树的右叶子时，即判定两 3)计算图像5H/8横线和7H/8横线的背景赋 者不一致.此时根据判决结果在判决树的层数对判 值，判断其是否部分包含于圈区域.若是，则回到2)， 决假设进行赋值：
第1期 王亮，等：基于图像验证的ETC干扰问题解决方法 ·53 m(A)=0.05, (4) 性验证的整个流程，该流程包含2个数据融合的过 m(A)k=0.95-0.05K, (5) 程.本文选用D-S证据理论21s进行不确定性推理 m({A,A})=0.05K (6) 以融合各个鉴定结果，最后根据一定的决策规则选 式中：K为判决结点在判决树中的层数，规定根节点 择支持度最大的假设作为最终判决结果。 在第0层.如在数字6的判决树中，假设判定两者不 3 一致，此时判决结果位于判决树的右叶子.当为第1 实验结果及分析 层的右叶子时，字符图像的下部分无圈，由式(4)~ 3.1实验过程举例 (6),m(A)=0.05,m(A)=0.9,m({A,A})=0.05. 图7为ET℃车道监视摄像设备抓拍的待交易 当为第2层的右叶子时，字符图像下部分有圈，但是 车辆图像，图8为从中提取出的牌照图像.现在分一 上部分没有凹陷，判决结果依然为否定，但是不确定 致和不一致2种情形给出具体实验过程， 的程度增加，由式(4)~(6)，m(A)=0.05,m(A)= 0.85,m({A,A})=0.1. 其他数字的判别与数字6类似，此处不再赘述， 2.3 采用牌照图像进行一致性鉴定的过程 牌照字符 牌照字符2 DS 融合 牌照字符n 决 DS 合 车型 则 器 图7原始车辆 Fig.7 Original vehicle image 车辆颜色 图6牌照图像进行一致性鉴定的过程 8N8190 Fig.6 Consistency verification based-on vehicle image (a)点始图片中的牌照区域 )二值化牌照 牌照部分包含多个数字字符的一致性验证，需 图8车辆图片中提取的牌照图 要对各个字符的判定结果进行融合，以得到整个牌 Fig.8 License plate images 照的一致性鉴定结果.再辅以车辆颜色和车型的一 1)RSU得到的车辆信息与当前车辆图片一致 致性验证，即可实现车辆身份的高精度鉴别，车型采 假设从RSU提取的相关信息为{蓝色，小型车， 用大型、中型、小型来近似描述，车辆颜色用离散值 京BN8190},采用本文算法得到的相关特征一致性 表示红、黄、蓝、白、黑等.判决结果假设赋值表示与 检验及融合结果如表1所示.根据融合结果，判定车 标准值的相近程度.图6为采用车辆图像进行一致 辆图像与RSU获得的车辆信息一致. 表1一致情况下牌照字符验证及综合判决结果 Table 1 Results of license plate characters'verification and final decision under the condition of consistency 牌照 最终 参数 车辆颜色 车型 字符1(0)字符2(9)字符3(1)字符4(8)融合结果 融合结果 m(A) 0.70 0.85 0.50 0.75 0.86 0.54 0.63 0.963 m(A) 0.05 0.05 0.22 0.08 0.13 0.17 0.14 0.036 m({A,A}) 0.25 0.10 0.28 0.17 0.01 0.29 0.23 0.001 2)RSU得到的车辆信息与当前车辆图片不一 检验及融合结果如表2所示.根据融合结果，判定车 致.假设从RSU提取的部分信息为{蓝色，小型车， 辆图像与RSU获得的车辆信息不一致。 京NHT680},采取本文算法得到的相关特征一致性
54 智能系统学报 第7卷 表2不一致情况下牌照字符验证及综合判决结果 Table 2 Results of license plate characters'verification and final decision under the condition of inconsistency 牌照 最终 参数 车辆颜色 车型 字符1(0) 字符2(8) 字符3(6) 融合结果 融合结果 m(A) 0.70 0.05 0.05 0.046 0.54 0.63 0.296 m(A) 0.05 0.85 0.90 0.950 0.17 0.14 0.689 m({A,a}) 0.25 0.10 0.05 0.004 0.29 0.23 0.015 3.2实验结果 1)图像与车辆信息一一对应，模拟ETC系统没 在不同气候条件下，采集行驶汽车图像并将其 有干扰的情况，测试图像验证算法在车辆信息与车 分组，其中晴天545幅、阴天450幅、夜晚327幅，将 辆图像不一致时的效果。 每组图像与其对应的实际车辆信息（牌照、车辆颜 2)随机匹配图像与车辆信息，此时图像与车辆 色、车型)一起组成实验数据.实验中，将实际车辆 信息一致的概率较低（为1/M,M为图片的数量）， 信息作为已知信息，模拟RSU获得的OBU信息，将 模拟ET℃系统受干扰的情况，测试图像验证算法在 车辆图像作为其验证信息.针对每一组数据，进行如 车辆信息与车辆图像不一致时的效果， 下实验： 实验数据与结果如表3所示. 表3基于图像验证的T℃系统干扰问题解决方法的实验结果 Table 3 Results of the solution based on image verification of ETC system's interference problems 车辆信息 气候 测试次数 误识次数 拒识次数 正确识别次数 误识率/% 识别率/% 与图像 拒识率/% 一致 546 0 543 0 0.5 99.5 晴天 不一致 544 0 38 506 0 7.0 93.0 450 0 4 446 0 0.9 99.1 阴天 一致 不一致 450 0 47 403 0 10.4 89.6 一致 329 0 325 0 1.2 98.8 夜晚 不一致 325 2 35 288 0.6 10.8 88.6 一致 1325 0 11 1314 0 0.8 99.2 总计 不一致 1319 120 1197 0.2 9.1 90.7 3.3实验结果分析 实验中有2次误判（误判率约为2%0），均发在 实验结果表明：当给出的车辆信息与车辆图像一 将不一致的夜晚图片与车辆信息判定为一致的情 致时，识别率达到98.8%；当给出的车辆信息与车辆 形.原因在于其车辆图像比较模糊，车型与车辆颜色 图像发生冲突时，算法能以较高的识别率（晴天时达 特征难以辨认，虽然牌照部分比较清晰（汽车牌照 到93%)检查出车辆非法.算法在不一致的情况下存 为特殊材料)，但已知牌照信息中的数字位与牌照 在一定的拒识率，这与保证其高可靠性有关.算法选 图片十分吻合（如已知信息为“京N4N15”,实际牌 取的决策规则将不太确定的判快结果（判快假设的支 照图像为“京BG2415”),牌照字符验证结果一致， 持度赋值为0.5~0.65)解释为拒识，现实中表现为终 因而导致最终判决结果也误判为一致。 止ETC车道中RSU与OBU之间的交易，提示车辆转 该算法的误判率很低，在晴天时识别率很高，是 入人工收费车道缴费.可以看出，算法能够达到预期 精确鉴定车辆身份、解决ET℃干扰问题的一个行之 目标：在ETC系统没有干扰的情况下，能保证其正常 有效的方法.在阴天和黑夜的气候条件下可以考虑 运行；当系统出现干扰问题，能较可靠地检查出非法 改善光照等方式提高图像质量，进而提高系统的识 车辆，防止逃费问题的发生， 别率
第1期 王亮，等：基于图像验证的ET℃干扰问题解决方法 ·55 1171-1176. 4结束语 [8]KURIHARA H,HIRAI Y.TAKIZAWA K.et al.An im- 本文提出了一种基于数字字符整体特征的快速牌 provement of communication environment for ETC system by 照验证方法应用于ETC系统.该方法以RSU获得的车 using transparent EM wave absorber[J].IEICE Transac- tions on Electronics,2005,88(12):2350-2357. 辆信息为已知信息，用数字字符的凹凸特性验证已知 [9]吉宜立.ET℃系统跟车干扰解决方法初探[J].现代交通 信息的正确性.该方法不需要对牌照图像进行复杂的 技术，2010,7(1)：71-73. 预处理，也不是对牌照字符进行直接识别，因而能够很 JI Yili.Research on solving method of prevent interference 好地满足ET℃系统的实时性要求.再通过车辆颜色和 with car-following in ETC transactions[J].Modemn Trans- 车型的一致性验证，因此可实现车辆身份的高精度鉴 portation Technology,2010,7(1):71-73. 别，解决ETC系统实际运行中的干扰问题.实验结果表 [10]张天乐，张元，廉飞宇.博奔信息融合技术在ETC中应 明，本文提出的算法有较高的识别率。 用的研究[J].微计算机信息，2008,24(7)：228-230. 图像质量对实验结果影响较大，因此车辆图像 ZHANG Tianle,ZHANG Yuan,LIAN Feiyu.Research of 的清晰化和畸变校正预处理算法以及快速准确的牌 information fusion based on game theory and its application 照定位算法成为下一步研究的重点. on ETC[J].Microcomputer Information,2008,24 (7): 228-230. 参考文献： [11]龚才春，刘荣兴.基于整体特征的快速手写体数字字符 识别[J].计算机工程与应用，2004,40(19)：8283. [1]王健，安实，徐亚国道路拥挤定价下的公交收费模型研 GONG Caichun,LIU Rongxing.Fast hand-written digital 究[J].中国公路学报，2005,18(4)：100-103. character recognition based on global feature[J].Comput- WANG Jian,AN Shi,XU Yaguo.Study of bus toll model er Engineering and Applications,2004,40(19):82-83. under urban road congestion pricing[J].China Journal of [12]DEMPSTER A P.Upper and lower probabilities induced Highway and Transport,2005,18(4):100-103. by a multivalued mapping[J].Annals of Mathematical [2]XING J,TAKAHASHI H,KAMEOKA H.Mitigation of ex- Statistics,1967,38(2):325-339. pressway traffic congestion through TDM with toll discount [13 ]SHAFE G.A mathematical theory of evidence[M].Prin- [J].IET Intelligent Transport Systems,2010,4(1):50- ceton,USA:Princeton University Press,1976:1146. 60. 作者简介： [3 XIAO Zhihong,GUAN Zongqi,ZHENG Zihan.The re- 王亮，男，1987年生，硕士研究生，主要 search and development of the highway's electronic toll col- 研究方向为模式识别、最优化算法等。 lection system[C]//Proceedings of the 1st International Workshop on Knowledge Discovery and Data Mining.New York,USA:IEEE Computer Society,2007:359-362. [4]REN Zhengang,GAO Yingbo.Design of electronic toll col- lection system in expressway based on RFID[C]//Intera- tional Conference on Environmental Science and Information 鲁华祥，男，1965年生，研究员，主 Application Technology.New York,USA:IEEE Computer 要研究方向为智能信息处理、神经网络 Society,2009:779-782. 技术及其应用.近年来，作为项目负责 [5 ]SHIEH W Y,LEE W H,TUNG S L.Analysis of the opti- 人或骨干研究人员已完成国家重大科 mum configuration of roadside units and onboard units in 技攻关项目3项、国家“863”计划项目3 dedicated short-range communication systems[J].IEEE 项、国家自然科学基金重点项目3项， Transactions on Intelligent Transportation Systems,2006,7 发表学术论文50余篇。 (4):565-571. 6]ANAGNOSTOPOULOS C N E,ANAGNOSTOPOULOS I E. 景为平，男，1954年生，研究员，南 PSOROULAS I D.License plate recognition from still ima- 通大学江苏省专用集成电路设计重点 ges and video sequences:a survey[J].IEEE Transactions 实验室主任，中国半导体行业协会封装 on Intelligent Transportation Systems,2008,9(3):377- 分会理事.主要研究方向为数模混合集 391. 成电路设计，获得集成电路版图保护成 7]JORDAN J G,SORIANO F,GRAULLERA D,et al.A 果5项，发表学术论文20余篇. comparison of different technologies for EFC and other ITS applications C]//Proceedings of the IEEE Intelligent Transportation Systems Conference.Oakland,USA,2001: