第5卷第6期 智能系统学报 Vol.5 No.6 2010年12月 CAAI Transactions on Intelligent Systems Dec.2010 doi:10.3969/i.issn.1673-4785.2010.06.007 道路区域分割的车道线检测方法 鲁曼，蔡自兴，李仪 (中南大学信息科学与工程学院，湖南长沙410083) 摘要：为了满足无人驾驶车在高速公路行驶的实时性和鲁棒性要求，提出了一种基于道路区域分割的车道线检测 方法.该方法分道路区域分割和车道线检测2个阶段.在道路区域分割阶段，首先提取的道路颜色值，然后在二值边 缘图像中搜索连通域，通过将连通域的颜色特征值与道路颜色特征值比较来快速定位道路区域，并将这一区域划定 为车道线检测的感兴趣区域.车道线检测阶段则使用改进的概率Hgh变换方法提取车道线点，并使用最小二乘法 对车道线点集进行拟合，获得车道线模型的参数.实验证明该方法相比传统的利用标准Hough变换算法准确率提升 23%,有效地排除了道路区域外的直线像素干扰，具备较好的鲁棒性和实时性. 关键词：车道线检测；区域分割：概率Hough变换：感兴趣区域 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2010)06050505 A lane detection method based on road segmentation LU Man,CAI Zi-xing,LI Yi (School of Information Science and Engineering,Central South University,Changsha 410083,China) Abstract:A lane detection method was developed based on road segmentation to satisfy the real-time and robustness requirements of an automated vehicle when driven on the highway.The proposed method was divided into two pha- ses of road segmentation and lane detection.After extracting the color feature of the highway,the road segmentation phase quickly located the road region through searching connected regions of binary edge images and comparing the color feature of connected regions with the highway,and then set the road region as the region of interest (ROI)for lane detection.An improved probabilistic Hough transformation method was used to extract the lane pixels in the lane detection phase,and the least squares method was used for fitting the lane pixels to get the parameters of the lane model.Experiments show that the accuracy is improved 23%by the proposed method compared with the con- ventional method using standard Hough transformation,and linear pixels outside the road region were effectively ruled out.The proposed method has high robustness and real-time performance. Keywords:lane detection;region segmentation;probabilistic Hough transform;ROI 在智能车辆和无人驾驶车的研究领域中，基于等).在车道线大部分被遮挡、各种交通参与者存在 机器视觉的车道线检测是实现车道偏离报警、车道的情况下，利用标准Hough变换检测直线的传统算 保持等主动安全功能的一项关键技术].到目前为 法（以下简称传统方法）虽然简单，但往往会出现误 止，已经提出和发展了多种基于视觉的适用于不同 识别：而目前的一些复杂算法虽然抗干扰能力强，但 车道线的检测算法.这些算法采用了不同的道路模 是实时性又不能满足智能车快速行驶的要求.针对 型（如直线或曲线模型2）和不同的识别技术（如 高速公路的特点以及对车道线识别的实时性和鲁棒 Houg变换法)、模板匹配法4)、神经网络法[5] 性的要求 在智能车获取的图像中，道路的路面是道路在 收稿日期：2009-11-15. 图像中的总体特征，路面上的标志线为局部特征，先 基金项目：国家自然科学基金资助项目(90820302,60805027)：国家 博士点基金资助项目(200805330005)；湖南省院士基金资 把握总体特征，再处理局部特征，有助于图像的处理 助项目(2009F4030). 和理解.而且道路图像中还存在除车道线外具备线 通信作者：鲁曼.E-mail:sophia..luman@gmail..com, 形特征的物体，如路面栏杆、修剪的树木等，不分割
·506 智能系统学报 第5卷 出道路区域很容易导致车道线的误检测.所以将车 的位置.由于提取的特征点可能存在车道线白点的 道线检测分为道路区域分割和道路区域车道线检测 干扰，为了保证提取的道路特征点是可靠的，还需要 2个阶段.其中道路区域分割阶段利用道路的颜色 通过比较这3个特征点来剔除干扰点。 特征分割出高速路的路面区域，而车道线检测阶段 两两比较3个特征点的灰度值，记录得到的3 在路面区域检测车道线。 个灰度差值.若有2个灰度差值大于色差阚值T, 则这个灰度差值的涉及到共同点将被剔除，剩下的 1基于颜色的道路区域分割 点为有效特征点，并将其加入有效特征点集合.改变 提出了一种基于道路区域分割的车道线检测方 特征点提取的位置，重复提取特征点过程多次，最后 法，其实现流程如图1所示 取有效特征点集合中所有点的灰度均值作为道路颜 道路区域分制 色的特征值.具体算法如下： 道路颜色 边缘增强 连通域搜索 特征点提取 二值化 1)设置初始提取位置分别为图像底部的1/4、 与路而判定 设定边缘图像的ROI区域 1/2和3/4处，设置循环次数N为0，最大循环次数 LOOPMAX,初始化有效特征点集合S为空； :车道线检测ROI区域) 最小二乘法拟合 改进的概*Hough 2)提取候选特征点P、P2、P3,并计算P、P2和 变换提取车道线点 P3之间的灰度差值的绝对值，分别记为cmP2、 图1车道线检测实现流程 cmP23和Cmp13, Fig.1 Flow chart of lane detection 3)比较cmp2、cmp3和cmpa,别除不合格特征 车道线位于道路区域，在车道线检测之前先进 点，将剩下的点加入集合S; 行道路区域分割可以有效排除图像背景的影响。 4)循环次数W增1，如果WTa and cmp23 Ta and cmpi3 Ta then ,图像区域 Add P2 and P3 to set S; Else if cmp2 T then Add P and P2 to set S; End if End 最大循环次数LOOPMAX的设定和图像大小及 图2颜色特征点初始提取位置 图像中道路部分在图像中所占比例有关，LOOPMAX Fig.2 Initial positions of feature points extraction 的取值应能保证特征点提取位置位于道路区域为宜 如图2所示，初始提取的3个特征点分别为P,、 (LOOPMAX<图像宽度/20).灰度差值阈值T,的选 P2和P3,它们分别位于图像底部的1/4、1/2和3/4 取和光照条件有关（实验设定T:=25).通过改变
第6期 鲁曼，等：道路区域分割的车道线检测方法 ·507 特征点的提取位置重复取点来获得道路颜色的特征 Hough的映射和直线检测是交替进行的，每次将图 值，在一定程度上克服了光照和阴影等因素对远近 像空间中的点映射到参数空间后都会检查各个累加 路面造成的色差影响， 器的计数是否超过了累加阈值，这样最长直线被最 1.2连通域搜索与路面判定 早检测到的概率最大，减少了检测直线的运算量. 提取了原始图像的道路颜色特征值后要通过搜 由于高速公路中存在虚线型的车道线，因此上 索连通域来找出路面区域.本文采用了文献[7]中 述2种方法中的累加阈值的取值至关重要，若累加 的基于上下边缘点匹配的连通域搜索方法，该方法 阈值偏大，则虚线型车道线会被漏检，累加阈值偏 应用于二值边缘图像，通过扫描边缘图像的上下边 小，则会检测出图像的噪声点.但车道线检测中累加 缘点来提取图像的连通域.二值边缘图像可通过 阈值的取值是难以确定的，也很难找到满足要求的 Sobel算子边缘增强和OTSU8]求得全局阈值后再 自适应取值方法.针对这一难题，在概率Hough变 二值化得到. 换的基础上设置了车道线总长阈值，在超过累加阈 搜索到各连通域后分别统计其所有像素的灰度 值的可能车道线中提取车道线，具体算法如下： 值，求出灰度均值作为该连通域的颜色特征值.若连 给定一个全局累加阈值T,和一个车道线总长 通域的颜色特征值和提取的道路颜色特征值的差值 度阈值T, 在某一较小范围内，则认为该连通区域为道路区域 1)将参数空间量化为多个子空间，量化宽度为 的一部分.最后将所有满足这一条件的连通域合并 △q,并为每个子空间设置一个初始值为0的累加器 得到道路区域： acc(·);将边缘图像中的ROI区域的边缘点都加 对图3所示的原始图像进行基于颜色的道路区 人到未映射的点列表， 域分割后得到如图4所示的道路区域： 2)检查未映射点列表是否为空，如果为空，算 法结束.否则从列表中随机选取一个点并将它映射 到参数子空间，相应的累加器加1； 3)将已经映射的点从列表中删除， 4)检查累加器的值是否比阈值T大，如果不 图3原始图像 是则转向2). Fig.3 Original images 5)计算未映射点列表中在这条直线上的点继 续累加，若累加器的值比T,大，则删除累加器中这 条直线上的点，设置累加器为0，记录所有该直线上 的点；否则，删除累加器中这条直线上的点，设置累 图4道路区域图像 加器为0； Fig.4 Road region images 6)转向2). 在上述算法中，设置了累加阈值和车道线总长 2改进的概率Hough变换提取车道 度阈值2个阈值就实现了直线的粗检测和精检测， 即当直线长度累计超过累加阈值时初步确定存在这 线点 样一条直线，然后有针对性地去寻找这条直线上的 在道路区域分割完成之后，设定道路区域为边 点，如果最后直线总长度累计超过车道线总长阈值， 缘图像的ROI,对边缘图像的ROI应用改进的概率 则确定这是一条车道线 Hough变换提取车道线点，然后对车道线点集使用 累加阈值设置为虚线型车道线子段的最大长 最小二乘法进行拟合得到车道线模型的参数， 度，车道线总长阈值设置为ROI区域最大宽度的一 2.1改进的概率Hough变换方法提取车道线点 半.量化宽度△q视检测精度而定，但由于不同车道 在以前的研究中，广泛采用的是标准Hough变 线映射到参数空间差异较大，量化宽度的可取较大 换直线检测方法，近年来也有一些研究采用了概率 值来减小算法的空间和时间复杂度， Hough方法.二者主要区别在于标准Hough变换是 2.2拟合车道线模型 在图像空间到参数空间的映射全部完成之后统计各 由于提取的是存在于某一参数子空间的所有车 个累加器的计数是否大于累加阈值，从而确定是否 道线点，因此最后还需要通过拟合提取出的车道线 存在直线并获得相应直线上的点的集合.而概率 点得到车道线模型的参数
·508 智能系统学报 第5卷 根据高速公路设计要求，道路由直线、圆曲线和 车道线检测的结果图，存在一些误检测和漏检测车 缓和曲线3种线型要素构成.直线是最常用的要素 道线的情况 之一，其曲率为零.智能车在高速公路中采用最多的 下面是对200幅320×240的图像进行实验后 是直线道路模型，并且视频前后帧的直线参数变化 的统计结果，如表1所示.车道线的准确评价采用了 可用于计算无人驾驶车的偏航角， 人工标定GT(ground truth)方法. 由于道路区域中存在的直线干扰是很小的，可 表12种方法的实验比较 以认定这些点都是车道线点，使用最小二乘法对车 Table 1 The results of two methods 道线上的点进行拟合计算，得到车道线直线模型 方法 平均执行时间/ms准确率/% y=kx+b的参数k和b. 传统的方法 143 72 本文的方法 137 95 x: i1 4 结论 -（∑)2 实验表明，本文方法不仅能够快速定位道路区 域，还能够有效去除图像中的车道外直线像素的干 b=1 扰，对道路区域的车辆遮挡车道线的情况也表现出 n 了较好的鲁棒性.同传统的利用Hough变换检测直 3实验结果 线的方法相此，准确率和效率都得到了提高，具有如 下特点： 实验采用C++编程实现，图5是图3中的原始 1)提出了一种基于颜色的道路区域分割方法， 图像进行车道线提取后的结果图. 能够准确定位道路区域，但对于部分图像会存在一 部分道路被剪切的现象； 2)对概率Hough变换进行了改进，并将其应用 于车道线点集的提取，能够快速获得道路区域的直 线像素，但会受道路区域大型车辆边缘的干扰 本文的方法在识别道路区域的基础上检测车道 线，符合人类感知逻辑；另外由于嵌入了道路区域分 割部分，因此该方法还能适用于无车道线的乡村公 路的道路检测， 图5本文方法的车道线检测结果 Fig.5 Results of lane detection using the proposed method 参考文献： [1]TASI J F,HUANG SS,CHAN Y M.Road detection and classification in urban environments using conditional ran- dom field models[C]//Proceedings of 2006 IEEE Intelli- gent Transportation Systems Conference.Toronto,Canada, 2006:963-967. [2]HSIAO P Y,YEH C W,HUANGSS,et al.A portable vi- sion-based real-time lane departure warning system:day and night[J].IEEE Transactions on Vehicular Technology, 图6传统方法的车道线检测结果 2009,4(58):2089-2094. Fig6 Results of lane detection using traditional method [3]GUO Y,BAI Z,LIU Y.Genetic algorithm and region grow- 2除图5中的最后一幅图中因为道路区域存在 ing based road detection in SAR images C]//IEEE 2007 大车辆边缘的干扰造成车道线拟合有所偏差外，其 3rd International Conference on Natural Computation.Haik- 余都非常准确地检测出车道线， ou,China,2007(4):330-334. 对提出的方法和传统方法进行了比较实验，实 [4]LI Q,ZHENG NN,CHENG H.Springrobot:a prototype 验结果表明，其准确率较传统方法提升了23%，效 autonomous vehicle and its algorithms for lane detection[J]. 率也有略微提高.图6是使用传统方法对图3进行 IEEE Transactions on Intelligent Transportation Systems, 2004,5(4):300-308
第6期 鲁曼，等：道路区域分制的车道线检测方法 ·509· [5]张荣，王勇，杨榕.TM图像中道路目标识别方法的研 82-88. 究[J].遥感学报，2005,9(2)：220-224. 作者简介： ZHANG Rong,WANG Yong,YANG Rong.Researches on 鲁曼，女，1986年生，硕士研究生， road recognition in landsat TM images[J].Journal of Re- 主要研究方向为图像处理与机器视觉. mote Sensing,2005,9(2):220-224. [6]HE Y,WANG H,ZHANG B.Color-based road detection in urban traffic scenes[J].IEEE Transaction on Intelligent Transportation Systems,2000,12(5):309-317. [7]谢贵，彭嘉雄.基于上下边缘点匹配的连通域搜索算法 [J].华中科技大学学报：自然科学版，2002,30(4)： 蔡自兴，男，1938年生，教授，博士 6468. 生导师，国际导航与运动控制科学院 XIE Gui,PENG Jiaxiong.An algorithm for searching con- 院士、中国人工智能学会副理事长、中 nective regions based on matching between the points of up- 国自动化学会理事.主要研究方向为人 contour and down-contour[J].Joumal of Huangzhong Uni- 工智能、机器人、智能控制，发表学术论 versity of Science and Technology:Natural Science Edition, 文500余篇. 2002,30(4):6468. [8]HUANG D,WANG C.Optimal multi-level thresholding u- 李仪，男，1979年生，讲师，博士，主 sing a two-stage Otsu optimization approach[J].Pattern 要研究方向为智能车系统、机器视觉等 Recognition Letters,2009,30(2):275-284. [9]ASSUDIQ A A M,KHALIFA OO,ISLAM R,et al.Real time lane detection for autonomous vehicles[C]//Proceed- ings of the Intemational Conference on Computer and Com municationEngineering 2008.Kuala Lumpur,Malaysia,2008: 第7届自然计算国际会议暨第8届模糊系统和知识发现国际会议 The 7th International Conference on Natural Computation The 8th International Conference on Fuzzy Systems and Knowledge Discovery The 7th International Conference on Natural Computation (ICNC'11)and the 8th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD'11)will be jointly held from 26-28 July 2011,in Shanghai,Chi- na.Shanghai,an open city on the coast and a famous historical and cultural city,is a gate to the Yangtze River delta.It is a municipality under the direct jurisdiction of the Central Government,the largest economic and trade center,a comprehensive industrial base and the leading port in China.Autractions include Yuyuan Garden("Hap- py Garden"built in Ming Dynasty),Shanghai Museum with 120,000 pieces of rare relics,Shanghai World Finan- cial Center,Jade Buddha Temple (Song Dynasty),Oriental Pearl TV Tower,Zhujiajiao Water Town,and Expo 2010 site. All papers in conference proceedings will be indexed by both EI Compendex and ISTP,as well as the IEEE Xplore (IEEE Conference Record Number for ICNC'11:18082;IEEE Conference Record Number for FSKD'11: 18083).ICNC-FSKD 2005 to 2009 papers have already been indexed in EI Compendex.Extended versions of se- lected best papers will appear in an ICNC-FSKD special issue of International Journal of Intelligent Systems,an SCI-indexed journal (impact factor:1.194). Website:http://icnc-fskd.dhu.edu.cn/