第6卷第1期 智能系统学报 Vol.6 No.1 2011年2月 CAAI Transactions on Intelligent Systems Feb.2011 doi:10.3969/j.issn.16734785.2011.01.011 基于双目立体视觉的汽车安全车距测量方法 张凤静，周建江，夏伟杰 (南京航空航天大学信息科学与技术学院，江苏南京210016) 摘要：汽车安全车距测量作为智能交通系统的一个重要分支是近年来的研究热点.本文阐述了双目立体视觉的原 理，提出一种应用于高速公路上的安全车距测量方法.该方法根据目标车辆在左右摄像头所获的图像中对应的不同 坐标，利用公垂线中点法计算出目标车辆到摄像头的距离.实验结果表明：该测距方法测量范围广，对远距离测量也 适用：测量精度能满足智能交通中车辆安全距离测量的实际需要，是一种有效的前方车距测量方法 关键词：智能交通；安全车距；双目立体视觉；公垂线中点法 中图分类号：TP391文献标识码：A文章编号：16734785(2011)01-0079-06 Research of vehicle security spacing measurements based on binocular stereovision ZHANG Fengjing,ZHOU Jianjiang,XIA Weijie (College of Information Science Technology,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China) Abstract:As one of the research topics of intelligent transportation systems (ITS),systems for early-warning a- gainst collision have drawn much attention in recent years.Based on the principle of binocular stereovision,a spac- ing measurement program for security vehicles on the expressway was proposed.According to the coordinates corre- sponding to two binocular images of the target vehicle obtained by the left and right cameras,the distance between the target vehicle and the camera could be calculated by employing the common perpendicular midpoint method. The results show that this measurement program can measure a wide range of distance and can also be applied to re- mote distances.The high precision can meet the needs of intelligent transportation vehicles in a security vehicles spacing survey,which is an effective way for measuring the front car distance. Keywords:intelligent transportation;vehicle distance;binocular stereovision;common perpendicular midpoint 近年来车辆安全辅助驾驶系统越来越受到人们 究方向之一 的重视，汽车安全车距测量系统通过计算当前车与 目前国内外都开展了基于视觉探测的汽车主动 前方目标车之间的距离，当汽车车距较近时向司机 防护系统的相关研究工作.丰田汽车发布了雷克萨 预先发出报警信号，从而完成危险警告和防碰撞的 斯“LS460”配备的安全技术，采用立体摄像头及毫 功能. 米波雷达检测障碍物，实现车辆和行人的检测； 对前方车的探测手段包括：超声波探测、激光雷 富士重工配备的驾驶支援系统“EyeSight”的“力狮 达、毫米波雷达和视觉探测等.与其他探测手段相比 (Legacy)”,采用立体摄像头在极近的距离检测行驶 较，视觉探测手段能够获得汽车周围的图像信息，因 环境[21；加拿大Point Grey Research公司研制的 此可获得更精确、更丰富的道路信息.该方法不仅可 Bumblebee BB2双台CCD立体视觉系统，近距离测 以用来检测车距，而且还可以用来识别车道、障碍 量时相对误差为1.65%，距离增大时，误差急剧加 物、交通标志等，是未来汽车安全防护方面的主要研 大].吉林大学开发了JUTV系列智能车，它基于 收稿日期：201007-11. 单目视觉建立了安全车距预警模型4；重庆大学黄 基金项目：美国德州仪器大学计划创新基金资助项目；南京航空航天 席樾教授领导的团队开展了基于单目视觉的车道保 大学研究生创新基地资助项目(20090907). 通信作者：张凤静.E-mail:zhfengjingl986@yahoo.com.cm. 持、距离测量等研究工作56]；南京理工大学陆建峰
80 智能系统学报 第6卷 等开展了基于单目视觉的车辆检测、车距识别等相 mp mis 关研究工作们 m22 mis (1) 从目前国内外研究现状来看，大部分国外厂商 Z 推出的立体视觉产品尚未投入真正的工程应用，对 m m mas 1 我国普通车辆来说，配备国外已推出的立体视觉系 m mi2 mis m14 统必须付出高昂的代价；另外国外推出的产品大都 mz m24 (2) 只能实现近距离障碍物检测和距离测量，不适用于 mi Z 高速公路上的车距测量与保持.国内大部分的研究 mi2 mas m4八1 工作都是基于单目立体视觉的车距测量系统，而基 式中：（山1，，1）与(4.，”，1)分别为P与P在各自 于双目立体视觉的车距保持系统研究较少，目前国 图像中的图像齐次坐标：(X,Y,Z,1)为P点在实际 内还未见有厂商推出此类产品，因此本课题的研究 空间坐标系下的齐次坐标；m(k=1,r;i,j=1,2,3, 是非常有价值的. 4)为M的第i行第j列元素；Z1和Z.为物点P分 基于上述分析，开展了基于立体视觉的汽车安 别在摄像机坐标O-XY1Z,和O-XYZ.下的Z值 全车距测量技术研究，研究目的有2个：让普通车辆 坐标. 也装上立体视觉系统；增加系统的探测距离，提高远 由式(1)、(2)消去Z和Z.,得到如下关于X、 距离的车距测量精度.对于前一个目的，本文的实验 Y、Z的4个线性方程： 系统选用了市面上非常普及的几十元的普通摄像 (uma -mu)+(ums2 -m)Y+ 头，摄像头焦距f=3.85m,分辨率为640×480；针对 (hm3-mi3）Z=m4-hm4; (3) 后一个目的，从视觉车距算法角度开展了深入研究， (m31-m21)X+（hm2-m22)Y+ 以期达到设计目标. (hm33-m23)Z=m24-m4; (4) 1双目立体视觉原理 (u ma -mil)X+(u,m3z -mi2)Y+ (u,m33-m3)Z=mi4-u,m4; (5) 双目立体视觉8]是立体视觉的一个重要分支， （,m1-mi)X+(u,m2-m2)Y+ 它利用2台摄像机从不同位置获取被测物体的2幅 （om3-m23）Z=m4-v,m54: (6) 或多幅图像，已知两摄像机之间的位置关系，根据三 由解析几何知，三维空间的平面方程为线性方程，2 角测量原理，获取两摄像机公共视场内物体特征点 个平面方程的联立为空间的直线方程，式(3)和(4) 的三维坐标，进而测得摄像头与目标间的距离.双目 的几何意义是通过OP1的直线方程，式(5)和(6) 立体成像原理图如图1所示. 的几何意义是通过OP.的直线方程.由于空间点P 为直线0P1和0P.的交点，所以联立式(3)~(6)， 可以求出P点的三维坐标. 2摄像机标定 摄像机标定是借助已知点获取摄像机内部和外 部参数的过程.目前的摄像机标定方法大致分为2 类：传统标定方法和自标定方法.传统摄像机标定方 法有直接线性变换法和Tsai的两步法，其特点是要 求有摄像机标定模块，算法比较复杂，但精度高.直 图1双目立体视觉基本原理 接线性变换方法没有考虑镊像机镜头的畸变问题， Fig.1 Principle of binocular stereo-vision 得到的结果存在很大误差；Tsai两步法只考虑了径 空间任意点P在2个摄像机C,和C:上的摄影 向畸变而没有考虑切向畸变，这2种方法对本文选 点分别为P和P.假定C和C,摄像机已经标定， 用的普通摄像头都是不适用的.自标定方法是目前 它们的投影矩阵分别为满秩矩阵M和M,于是有： 研究的热点，它不需要标定块，仅仅利用摄像机在运 动过程中获取的周围环境的图像与图像之间的对应
第1期 张凤静，等：基于双目立体视觉的汽车安全车距测量方法 ·81 关系即可对摄像机进行标定；但是由于其精度不高， 取外部参数. 所以应用范围极窄. 对所使用的双目立体视觉系统进行标定得出的 针对采用的市面上普通的摄像头，本文研究并 系统主要参数如下（单位为像素）： 改进了张正友提出的基于平面标定板的标定算法， f=(798.21766,802.58199): 与张氏平面标定法不同的是，采用的畸变模型不仅 91=(345.25464,247.12364); 仅考虑了径向畸变，还考虑了切向畸变，得到的畸变 k1=（-0.24132,0.37859,0.00343,0.01505,0); 系数比张氏平面法多2个[9].假设模板平面在实 f=(779.13022,774.10939): 际空间坐标系Z=0的平面上，则空间点P的齐次 c.=(476.67079,221.79368); 坐标为(X,Y,0,1),摄像机固定，平面标定板在视场 k.=（-0.25676,0.0764,0.00312,0.01049,0); 内移动，拍摄多幅图像以待标定。 R=(-0.05356,-0.16503,-20.00266): 式(1)中，记3×4的矩阵为M,M为投影矩阵， T= M包含了摄像机所有参数，这些参数没有具体的物 (-1127.16892,-8.87755,-213.54507). 理意义，称为隐参数.通过矩阵分解得到具体的摄像 式中：f、G、片分别为左摄像头的焦距、图像中心点 机内部参数和外部参数，记M=A[RT],其中A为 坐标和畸变系数：f、c、k,分别为右摄像头的焦距 摄像机内部参数矩阵，R为3×3的旋转矩阵，T为 图像中心点坐标和畸变系数；R、T为旋转矩阵参数 3×1的平移矩阵，R和T为外部参数.张氏平面标定 和平移矢量 法中，用：表示旋转矩阵R的第i列向量，平面上每 3公垂线中点法重建三维点 一点根据式(1)有 本文在测距时做了大量实验，由于所要测的是 义2 远距离，而摄像机的精度又不高；因此试验时，加大 了图1中摄像机C,和C.的直线距离，且让C和C 式中：H为模板平面上的点与它的像点之间建立的 的光轴尽可能平行，这样2个摄像机的共同可视范 一个单应性映射，令H=[h1h2h3],则有 围增大，满足远距离测量的要求.在恢复特征点三维 [h,h2h3]=入A[r1r2t].其中A是任意标量.由于 坐标时采用的是以下方法， ”1和r2为单位正交向量，所以有： rhi(A-)A-2=0; (7) 直线L Lhi(A-)A=i(A-)A-h 令矩阵B=(A1)TA1,由矩阵A是上三角矩阵且 (X.Y.Z) 可逆，可知矩阵B是对称矩阵，用6维向量描述为 b =[Bu B2 B22 B3 B2s B33 ] 直线L, 设H的列向量为h:=[hh2h3]T,则有： M hBh;=vib, vy [haha,hahp hoha,hahp,hgha 图2公垂线中点求取模型 Fig.2 Model of common perpendicular midpoint haha,hahp haha,hahal. 这样，式(7)可写成2个关于向量b的方程： 考虑式(3)~(6)的几何意义，从几何学的角 b=0 度，计算出空间异面直线公垂线段中点，采用求解三 L(vu -vz)T] 维空间中2条射线相交的方法确定物点坐标21， 若有n幅图像，可以建立n个相关表达式，因此有 如图1所示，理论上直线OP和直线OP.应该相 b=0. (8) 交于P点，但是由于图像平面坐标的测量误差、噪 式中：V是一个2n×6的矩阵.每个摄像机拍摄了 声的影响以及求得的摄相机的相对位置存在误差 20幅标定图像，因此n=20.求解式(8)后得向量b (即摄相机的中心位置有误差)等，2条直线可能不 的解，从而解得矩阵B,由此可求出摄像机内部参 会相交，因此本文求取异面直线OP,和直线OP 数.得到摄像机内部参数矩阵A后，可以进一步求
·82 智能系统学报 第6卷 的公垂线的中点.如图2所示，2条异面直线L1和 需要进行静态试验，所以选取了一般道路的场景；另 L2,M1和M2为在这2条异面直线上滑动的点.当 外研究的是高速公路上本车道前方车辆的距离检 IMM2‖值最小时，MM2即为2条异面直线的公 测，对在本车道左边或右边的车道暂不考虑，所以试 垂线，(M,+M)即为公垂线中点的坐标 验时车辆一般在图像中间位置.试验所得数据如表 1所示. 4实验结果及分析 在高速公路上行驶车的速度高于100km/h时， 与前方车距应至少为100m,当有紧急情况发生，才 有足够的反应时间. 选取10~100m的10个间距进行试验，对图3 (a左图像 b)右图像 所示车辆在不同距离进行了实验测量.由于高速公 图3车距测量试验 路上只能进行动态测量，而本文在研究的开始阶段 Fig.3 Experiment of distance measurement 表1车距测量数据分析 Table 1 Data of the distance measurement 序号 标定点在 标定点在 标定点在左摄像机 实际车距/m实测车距/m相对误差/% 左图像上的坐标 右图像上的坐标 坐标下的三维坐标/m 1 (304,207) (215,224) (-0.523,-0.505,10.067) 10 10.067 0.67 (321,207) (232,224) (-0.307,-0.504,10.062) o 10.062 0.62 (313,211) (270,228) (-0.825,-0.921,20.351) 20 20.351 1.76 4 (341,207) (298,223) (-0.108,-1.033,20.292) 20 20.292 1.46 (302,237） (274,254) (-1.668,-0.386,30.680) 30 30.680 2.27 6 (336,222) (308,239) (-0.355,-0.959,30.515) 30 30.515 1.72 > (333,226) (313,244) (-0.639,-1.071,41.584) 40 41.584 3.96 8 (334,210) (314,228) (-0.588,-1.909.41.553) % 41.553 3.88 9 (332,224) (317,239) (-0.872,-1.601,52.997) 50 52.997 5.99 10 (354,208) (339,222) (-0.590,-2.637,51.686) 50 51.686 3.37 (315,211) (303,228) (-2.486,-2.966,65.369) 60 65.369 8.95 12 (316,225) (304,241) (-2.388,-1.845,65.104) 60 65.104 8.51 13 (323,221) (313,238) (-2.135,-2.502,76.409)） 70 76.409 9.16 14 (321,207） (311,224) (-2.320,-3.836,76.082) 0 76.082 8.69 15 (336,209) (328,229) (-0.971,-3.968,86.314) 80 86.314 7.89 16 (336,219) (327,237) (-0.965,-2.879,83.178) 80 83.178 3.97 人 (338,224) (332,238) (-0.817,-3.047,98.756) 90 98.756 9.73 18 (331,215) (324,230) (-1.662,-3.951,94.998) 90 94.998 5.55 19 (338,222) (332,239) (-1.050,-3.630,115.210) 100 115.210 15.21 20 (333,212) (326,229) (-1.570,-4.490,101.730） 100 101.730 1.73
第1期 张凤静，等：基于双目立体视觉的汽车安全车距测量方法 ·83 表1中给出实际测量的2组数据，根据这2组 前方车辆检测；2)将安全车距测量方法扩展到行 数据，画出试验测量距离与实际距离的曲线图如图 人、自行车等有轮廓和边缘的物体检测；3)车辆检 4所示.从图4可以看出，随着车距越来越大，测量 测时将车道扩展到左右车道，不仅仅局限于前方车 误差也呈现出越来越大的趋势.远距离测量时，采用 道；4)提高算法的速度和精度，减少运算量，增强系 异面直线公垂线中点逼近法能取得满足实际应用的 统的实时性与准确性， 精度.据计算，当车距在30m以内时，测量误差小于 3%;当车距大于30m小于100m时，误差大于3% 参考文献： 小于10%；因此测量误差在可接受的范围内.试验 [1]雷克萨斯LS460四大安全新技术亮相日内瓦车展[EB/ 结果表明，该测距方法可行有效，能满足高速公路上 OL].[2010-04-15].http://www.autoelectronics.eetchi- 车辆安全距离测量的实际需要，是一种有效的前方 na.com/ART88004090992100003_NT_51853e97.HTM, 车距测量方法。 2006-03-06. [2]富士重工展示“EyeSight”的立体摄像头及图像处理LSL 120 实际E离曲线 --测量距离曲线1 [EB/OL].[2010-04-15].http://www.china-vision.net/ 100 --测量距离曲线2 news/sjyj/yw/200806/36419.html,2008-06-11. [3]Bumblebee2 EB/OL].2010-04-15 ]http://www.pt- 60 grey.com/products/stereo.asp,2010. [4]顾柏园.基于单目视觉的安全车距预警系统[D].长春： 40 吉林大学交通学院，2006：1-133 20 GU Baiyuan.Study on the forward collision waring system 20 406080100 实标距离/m based on monocular vision[D].Changchun:College of Traffic,Jilin University,2006:1-133. 图4实际距离与测量距离曲线 [5]周欣，黄席樾，黎昱.基于单目视觉的高速公路车道保持 Fig.4 The graph of actual and measured distance 与距离测量[J].中国图象图形学报，2003,8(5)：590- 595. 文献[13]同样是应用于智能交通中的车辆安 ZHOU Xin,HUANG Xiyue,LI Yu.Lane keeping and dis- 全车距测量，由于本文对摄像头进行了高精度标定 tance measurement based on monocular vision[J].Journal 并采用公垂线中点法进行车距测量，所以可测量范 of Image and Graphics,2003,8(5):590-595. 围为10~100m,远超过文献[13]的测量范围0~ [6]谢毅.基于DSP及机器视觉的道路识别与障碍物检测 20m.由此表明，本文研究的系统使用范围更广. [D].重庆：重庆大学自动化学院，2009：168 5结束语 XIE Yi.Lane and road detection based on DSP and machine vision[D].Chongqing:College of Automation,Chongqing 本文以双目立体视觉技术、图像处理等技术为 University,2009:1-68. 基础，提出了一种高速公路上车距测量方法，主要研 [7]周俊杰.基于单目视觉的夜间车辆和车距检测[D].南 究内容如下：1)系统地对双目立体视觉原理进行深 京：南京理工大学计算机科学与技术学院，2007：156. 入研究，自行设计并制作双目立体视觉测量系统，并 ZHOU Junjie.Vehicle and vehicle distance detection in the 进行相关试验；2)研究各种摄像机标定方法，选出 nighttime based on monocular vision[D].Nanjing:Com- 最优方案，完成双目立体视觉系统内外参数的高精 puter Science and Technology College,Nanjing University of Science and Technology,2007:1-56. 度标定；3)设计并进行基于双目立体视觉的车距测 [8]马颂德，张正友.计算机视觉一计算理论与算法基础 量试验，采用公垂线中点法得出测量结果，对结果进 [M].北京：科学出版社，1998：52-94. 行分析，表明该算法的可行性和有效性， [9]ZHANG Zhengyou.A flexible new technique for camera cal- 当前双目立体视觉系统在交通安全方面的应用 ibration[J].IEEE Transactions on Pattern Analysis and 还比较少，就其发展现状而言，后续研究工作还有很 Machine Intelligence,2000,22(11):1330-1334. 多：1)正常光照条件下，高速公路上前方车辆的有 [10]刘晶晶.基于双目立体视觉的三维定位技术研究[D]. 效检测问题以及黑夜、雨、雾、冰雪等天气影响下的 武汉：华中科技大学计算机科学与技术学院，2007：15-
84 智能系统学报 第6卷 34. 作者简介： LIU Jingjing.Research on 3-D positioning technique based 张凤静，女，1986年生，硕士研究 on binocular stereo vision[D].Wuhan:College of Comput- 生，主要研究方向为计算机视觉、信号 er Science and Technology,Huazhong University of Sci- 与信息处理. ence and Technology,2007:15-34. [11]TRUCCO E,VERRI A.Introductory techniques for 3-D computer vision[M].Upper Saddle River,USA:Prentice Hall,1998. [12]张钧，张宏，刘小茂，等.双目立体视觉中物点定位的一 周建江，男，1962年生，教授、博士 种快速算法[J].信息与控制，2009,38(5)：563-570. 生导师，主要研究方向为数字视颜处 ZHANG Jun,ZHANG Hong,LIU Xiaomao,et al.A fast 理、雷达目标特性分析与特征控制、DSP algorithm for locating the object point in binocular stereovi- 应用.先后主持或参加国家“863”计划、 sion[J].Information and Control,2009,38(5):563- 国防基金、航空基金、国防预研、国防重 570. 点型号等科研项目40余项.曾获得省 [13]王虹，刘嵩鹤，刘著铭.基于双目立体视觉安全车辆间 部级科技进步奖、教育部科技进步奖、国家级教学成果奖、省 距测量技术研究[J].交通与计算机，2007,25(6)：90- 级教学成果特等奖，航空部二、三等功，光华基金三等奖.发 93. 表学术论文27篇，参编出版教材3部. WANG Hong,LIU Songhe,LIU Zhuming.Binocular ste- 夏伟杰，男，1979年生，博士研究 reovision-based security vehicles spacing survey technology 生、讲师，主要研究方向为图像信号处 [J].Computer and Communications,2007,25(6):90- 理、计算机视觉、DSP应用. 93. 2011 IEEE International Conference on Intelligent Computing and Intelligent Systems(ICIS 2011) 2011第3届EEE智能计算与智能系统国际会议(ICIS2011) ICIS 2011 is the 3th International Conference on Intelligent Computing and Intelligent Systems.It will be held on November 18-20,2011,in Guangzhou,China.You are invited to submit papers in all areas of intelligent compu- ting and intelligent systems.All papers accepted will be published in the IEEE categorized conference proceedings. All papers accepted will be included in IEEE Xplore and indexed by Ei Compendex,INSPEC and ISTP. Important Dates Full paper submission:July 1,2011 Final registration:September 30,2011 Acceptance notification:September 1,2011 Final papers submissions:September 30,2011 Contact The secretary of ICIS2011 Cell:+86-15800594266 Ms:Xi Tian E-mail:icis@ieee-icis.org Tel:+86-18964762205 Website:http://www.ieee-icis.org/index.asp