第10卷第5期 智能系统学报 Vol.10 No.5 2015年10月 CAAI Transactions on Intelligent Systems 0ct.2015 D0I:10.11992/is.201406044 网s络出版地址:htp://ww.cmki.net/kcms/detail/23.1538.tp.20150930.1556.010.html 半监督SVM分类算法的交通视频车辆检测方法 蒋新华12,高晟3,廖律超12,邹复民2 (1.中南大学信息科学与工程学院,湖南长沙410075:2.福建工程学院福建省汽车电子与电驱动技术重点实验 室,福建福州350108:3.中南大学软件学院,湖南长沙410075) 摘要:针对交通场景运动车辆检测中车辆数目统计准确率不高、自适应性不强等问题,提出了一种基于半监督支 持向量机(SVM)分类算法的交通视频车辆检测方法。利用人工标记的少量样本,分别训练2个基于方向梯度直方 图(HOG)特征与基于局部二值模式(LBP)特征的不同核函数的SVM分类器:结合半监督算法的思想,构建SVM的 半监督分类方法(SEMI-SVM),标记未知样本并加人到原样本库中,该方法支持样本库动态更新,避免了繁重的人工 标记样本的工作,提高了自适应性:最后,通过三帧差分法提取运动区域,加载分类器在该区域进行多尺度检测,标 记检测出来的运动车辆,统计车辆数目。实验结果表明:该方法在具有一定的自适应性的同时,有较高的车辆检测 准确率,即使在复杂交通情况下,对运动车辆依然有很好的检测效果。 关键词:车辆检测:HOG特征:LBP特征:SVM分类器:半监督学习:运动区域 中图分类号:TP181文献标志码:A文章编号:1673-4785(2015)05-0690-09 中文引用格式:蒋新华,高晟,廖律超,等.半监督SVM分类算法的交通视频车辆检测方法[J].智能系统学报,2015,10(5):690- 698. 英文引用格式:JIANG Xinhua,,GAO Sheng,LIAO Lyuchao,etal.Traffic video vehicle detection based on semi-supervised SVM classification algorithm[J].CAAI Transactions on Intelligent Systems,2015,10(5):690-698. Traffic video vehicle detection based on semi-supervised SVM classification algorithm JIANG Xinhua'2,GAO Sheng,LIAO Ljuchao'2,ZOU Fumin2 (1.School of Information Science and Engineering,Central South University,Changsha 410075,China;2.Fujian Key Laboratory for Automotive Electronics and Electric Drive,Fujian University of Technology,Fuzhou 350108,China;3.School of Software Engineer- ing,Central South University,Changsha 410075,China) Abstract:This paper presents a kind of traffic video vehicle detection method based on a semi-supervised support vector machine (SVM)classification algorithm to improve accuracy and enhance adaptability of vehicle counting in the traffic scene.By analyzing a small number of artificially labeled samples,two SVM classifiers with different ker- nels are trained on the basis of histograms of oriented gradients (HOG)features and local binary pattern(LBP) features,respectively.A semi-supervised SVM(SEMI-SVM)for classification is proposed by adopting the thoughts of semi learning.Then the unknown samples are labeled and added into the original sample database.The proposed method supports data update of the dynamic sample database,avoids heavy manual work labeling samples and en- hances adaptability of the algorithm.A motion region is extracted using the three-frame difference rule.The classifi- er is then loaded to make a multi-scale detection in the extracted motion region,and moving vehicles are marked and counted.The results show the algorithm has good response,good adaptability,and the detection accuracy of moving vehicles is much improved,even under the complex traffic circumstances. Keywords:vehicle detection;histograms of oriented gradients (HOG)feature;local binary pattern LBP)fea- ture;support vector machine (SVM)classifier;semi-supervised learning;motion region 交通视频车辆检测是一种利用视频图像实现对 车辆进行检测的交通检测技术,它可以检测多种参 数和检测范围较大等优点,但如何设计高效的车辆 收稿日期:2014-06-22.网络出版日期:2015-09-30. 基金项目:国家自然科学基金资助项目(61304199,41471333):福 检测算法,提高检测准确率和实时性是亟待解决的 建省自然科学基金(201301214):福建省科技重大专项专 问题。 题资助项目(2011HZ0002-1):福建省交通科技计划项目 目前,通过交通视频进行车辆检测的方法主要 (201318):福建省教有厅B类科研项目(UB3213). 通信作者:高最.E-mail:csugaosheng@163.com. 有:帧间差分法山、灰度等级法[)]、背景相减法[3]
第 10 卷第 5 期 智 能 系 统 学 报 Vol.10 №.5 2015 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2015 DOI:10.11992 / tis.201406044 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.tp.20150930.1556.010.html 半监督 SVM 分类算法的交通视频车辆检测方法 蒋新华1,2 ,高晟3 ,廖律超1,2 ,邹复民2 (1. 中南大学 信息科学与工程学院,湖南 长沙 410075; 2. 福建工程学院 福建省汽车电子与电驱动技术重点实验 室,福建 福州 350108; 3. 中南大学 软件学院,湖南 长沙 410075) 摘 要:针对交通场景运动车辆检测中车辆数目统计准确率不高、自适应性不强等问题,提出了一种基于半监督支 持向量机(SVM)分类算法的交通视频车辆检测方法。 利用人工标记的少量样本,分别训练 2 个基于方向梯度直方 图(HOG)特征与基于局部二值模式(LBP)特征的不同核函数的 SVM 分类器;结合半监督算法的思想,构建 SVM 的 半监督分类方法(SEMI⁃SVM),标记未知样本并加入到原样本库中,该方法支持样本库动态更新,避免了繁重的人工 标记样本的工作,提高了自适应性;最后,通过三帧差分法提取运动区域,加载分类器在该区域进行多尺度检测,标 记检测出来的运动车辆,统计车辆数目。 实验结果表明:该方法在具有一定的自适应性的同时,有较高的车辆检测 准确率,即使在复杂交通情况下,对运动车辆依然有很好的检测效果。 关键词:车辆检测;HOG 特征;LBP 特征;SVM 分类器;半监督学习;运动区域 中图分类号:TP181 文献标志码:A 文章编号:1673⁃4785(2015)05⁃0690⁃09 中文引用格式:蒋新华,高晟,廖律超,等. 半监督 SVM 分类算法的交通视频车辆检测方法[ J]. 智能系统学报, 2015, 10(5): 690⁃ 698. 英文引用格式:JIANG Xinhua, GAO Sheng, LIAO Lyuchao, et al. Traffic video vehicle detection based on semi⁃supervised SVM classification algorithm[J]. CAAI Transactions on Intelligent Systems, 2015, 10(5): 690⁃698. Traffic video vehicle detection based on semi⁃supervised SVM classification algorithm JIANG Xinhua 1,2 , GAO Sheng 3 , LIAO Ljuchao 1,2 , ZOU Fumin 2 (1. School of Information Science and Engineering, Central South University, Changsha 410075, China; 2. Fujian Key Laboratory for Automotive Electronics and Electric Drive, Fujian University of Technology, Fuzhou 350108, China; 3. School of Software Engineer⁃ ing, Central South University, Changsha 410075, China) Abstract:This paper presents a kind of traffic video vehicle detection method based on a semi⁃supervised support vector machine (SVM) classification algorithm to improve accuracy and enhance adaptability of vehicle counting in the traffic scene. By analyzing a small number of artificially labeled samples, two SVM classifiers with different ker⁃ nels are trained on the basis of histograms of oriented gradients (HOG) features and local binary pattern (LBP) features, respectively. A semi⁃supervised SVM (SEMI⁃SVM) for classification is proposed by adopting the thoughts of semi learning. Then the unknown samples are labeled and added into the original sample database. The proposed method supports data update of the dynamic sample database, avoids heavy manual work labeling samples and en⁃ hances adaptability of the algorithm. A motion region is extracted using the three⁃frame difference rule. The classifi⁃ er is then loaded to make a multi⁃scale detection in the extracted motion region, and moving vehicles are marked and counted. The results show the algorithm has good response, good adaptability, and the detection accuracy of moving vehicles is much improved, even under the complex traffic circumstances. Keywords:vehicle detection; histograms of oriented gradients (HOG) feature; local binary pattern ( LBP) fea⁃ ture; support vector machine (SVM) classifier; semi⁃supervised learning; motion region 收稿日期:2014⁃06⁃22. 网络出版日期:2015⁃09⁃3 基金项目:国家自然科学基金资助项目( 613041 通信作者:高晟. E⁃mail:csugaosheng@ 163.com 9 0 9 . ,41471333);福 . 交通视频车辆检测是一种利用视频图像实现对 车辆进行检测的交通检测技术,它可以检测多种参 数和检测范围较大等优点,但如何设计高效的车辆 检测算法,提高检测准确率和实时性是亟待解决的 问题。 目前,通过交通视频进行车辆检测的方法主要 有:帧间差分法[1] 、灰度等级法[2] 、背景相减法[3⁃5] 建省自然科学基金(2013J01214);福建省科技重大专项专 题资助项目(2011HZ0002-1);福建省交通科技计划项目 (201318);福建省教育厅B类科研项目(JB3213)
第5期 蒋新华,等:半监督SVM分类算法的交通视频车辆检测方法 ·691. 和边缘检测法等。帧间差分法是对视频序列相邻2 道路的运动车辆。 帧所对应像素进行差分处理来检测运动车辆,但该 1 SVM的半监督分类方法(SEMI 算法对环境噪声比较敏感,依赖于连续帧的时间间 隔以及车辆速度。灰度等级方法则是利用运动车辆 SVM) 及背景来统计灰度阈值以检侧运动目标,但周围环 1.1交通视频特征提取 境和光线变化都会影响该阈值,导致检测不准确。 局部二值模式(LBP)特征是机器视觉处理中用 而背景差分法则是采用当前帧与背景图像对应的像 于图像分类的一种特征16。提取LBP特征向量的 素作差,实现对运动目标的检测,但对外界条件引起 步骤是:1)将交通视频检测窗口划分成16×16的细 的变化较敏感,对环境依赖性较强。边缘检测 胞单元(cll),对于每个细胞单元中的一个像素,将 法[6是通过目标的边缘特性进行检测,能够克服 其环形邻域内的若干个点(如图1所示)进行顺时 光照等不利因素的影响,但当所检测目标边缘特征 针或者逆时针的比较,若中心点像素值比其邻点大, 不明显的,会导致检测错误等问题。上述方法都存 则将邻点标记为1,否则为0。这样邻域内每个点都 在计算量较大,对外部环境的依赖性较大,检测的精 可产生一个8位二进制数,即得到该窗口中心像素 确度不高等不足,尤其对于静止的车辆,这些方法又 点的LBP值。2)计算每个细胞单元的直方图,即每 难以处理,使后续研究变得困难。 个数值出现的频率,再对该直方图进行归一化处理。 为了解决上述问题,并进一步提高检测的性能, 3)将得到的每个细胞单元的统计直方图进行连接 近年来,基于机器学习理论的视频目标检测已逐渐 成为一个特征向量,就是该图像的LBP纹理特征向 成为国内外的研究热点之一【],并取得了一系列研 量。本文从交通视频中截取的包含车辆与不包含车 究成果。文献[9]利用深卷积神经网络(DNNS)的 辆的正、负样本的图像用于分类器的训练,样本图像 自动学习功能,实现了在复杂环境下的车辆检测,提 均规整为64×128像素,每个细胞单元大小为8×8 高了目标检测性能。文献[l0]研究了Gabor小波变 像素,每个块的大小为16×16像素,共可提取出 换和方向梯度直方图(HOG)2种特征,利用K近邻 2830个LBP特征。 结合随机森林的方法进行车辆检测,实验结果证明 该方法能较好地提高车辆检测率。文献[11]利用 动态贝叶斯网络对车辆颜色和局部纹理进行综合分 析后实现车辆检测。文献[12]结合了离线boost和 TLD进行车辆检测,在视频环境中取得了较好的检 测效果。文献[13]则利用Adaboost结合支持向量 LBP LBP LBP 机(SVM)方法对HOG特征进行处理后对复杂环境 图1LBP特征 的车辆进行检测。虽然使用机器学习的方法取得了 Fig.1 LBP features 较好的车辆检测效果,但上述方法都需要准备大量 HOG特征是一种方向梯度直方图的表示方法, 的样本,检测准确率与样本数量有密切关系,而且人 该特征对图像中局部边缘信息不明显和形状变化很 工标注样本是一件非常繁琐的事情。 微小的运动物体都能进行特征化,提取这些特征进 因此,本文结合Co-training算法[与Tri-train- 行分类识别)。H0G特征提取的步骤是:1)将交 img算法的思想,构建了SVM的半监督分类器并 通视频图像进行灰度处理,利用Gamma校正法调整 基于遗传算法(GA)进行参数优选,该分类器可支持 图像对比度,以减小阴影与光线变化对局部图像造 动态获取新样本进行学习,不仅提高了分类精度,而 成影响。2)对图像进行归一化处理,计算每个像素 且还大大减轻了采集训练样本的工作量。同时,针 的梯度(方向与大小),图像被分为许多细胞单元 对车辆检测的准确率和自适应性的问题,本文提出 (cell),将其中若干个细胞单元组成一个块(block)。 了基于半监督SVM分类算法的交通视频车辆检测 3)统计每个块内像素梯度方向直方图,将块以一个 方法,提取特定的运动区域后用分类器进行检测,有 单位为步长扫描图像,串联所有块即可得到该图像 效剔除了大量干扰检测的无用信息,加快了检测速 的特征。图像梯度维度的计算方法如下: 度。而且,该方法支持样本库的动态更新,能有效提 DimNum=g(h)×g(k) (1) 高检测准确率,降低误检率,并可用于检测复杂交通
和边缘检测法等。 帧间差分法是对视频序列相邻 2 帧所对应像素进行差分处理来检测运动车辆,但该 算法对环境噪声比较敏感,依赖于连续帧的时间间 隔以及车辆速度。 灰度等级方法则是利用运动车辆 及背景来统计灰度阈值以检测运动目标,但周围环 境和光线变化都会影响该阈值,导致检测不准确。 而背景差分法则是采用当前帧与背景图像对应的像 素作差,实现对运动目标的检测,但对外界条件引起 的变 化 较 敏 感, 对 环 境 依 赖 性 较 强。 边 缘 检 测 法[6⁃7]是通过目标的边缘特性进行检测,能够克服 光照等不利因素的影响,但当所检测目标边缘特征 不明显的,会导致检测错误等问题。 上述方法都存 在计算量较大,对外部环境的依赖性较大,检测的精 确度不高等不足,尤其对于静止的车辆,这些方法又 难以处理,使后续研究变得困难。 为了解决上述问题,并进一步提高检测的性能, 近年来,基于机器学习理论的视频目标检测已逐渐 成为国内外的研究热点之一[8] ,并取得了一系列研 究成果。 文献[9]利用深卷积神经网络(DNNS)的 自动学习功能,实现了在复杂环境下的车辆检测,提 高了目标检测性能。 文献[10]研究了 Gabor 小波变 换和方向梯度直方图(HOG)2 种特征,利用 K 近邻 结合随机森林的方法进行车辆检测,实验结果证明 该方法能较好地提高车辆检测率。 文献[11] 利用 动态贝叶斯网络对车辆颜色和局部纹理进行综合分 析后实现车辆检测。 文献[12]结合了离线 boost 和 TLD 进行车辆检测,在视频环境中取得了较好的检 测效果。 文献[13] 则利用 Adaboost 结合支持向量 机(SVM)方法对 HOG 特征进行处理后对复杂环境 的车辆进行检测。 虽然使用机器学习的方法取得了 较好的车辆检测效果,但上述方法都需要准备大量 的样本,检测准确率与样本数量有密切关系,而且人 工标注样本是一件非常繁琐的事情。 因此,本文结合 Co⁃training 算法[14] 与 Tri⁃train⁃ ing 算法[15]的思想,构建了 SVM 的半监督分类器并 基于遗传算法(GA)进行参数优选,该分类器可支持 动态获取新样本进行学习,不仅提高了分类精度,而 且还大大减轻了采集训练样本的工作量。 同时,针 对车辆检测的准确率和自适应性的问题,本文提出 了基于半监督 SVM 分类算法的交通视频车辆检测 方法,提取特定的运动区域后用分类器进行检测,有 效剔除了大量干扰检测的无用信息,加快了检测速 度。 而且,该方法支持样本库的动态更新,能有效提 高检测准确率,降低误检率,并可用于检测复杂交通 道路的运动车辆。 1 SVM 的半监督分类 方 法 ( SEMI⁃ SVM) 1.1 交通视频特征提取 局部二值模式(LBP)特征是机器视觉处理中用 于图像分类的一种特征[16] 。 提取 LBP 特征向量的 步骤是:1)将交通视频检测窗口划分成 16×16 的细 胞单元(cell),对于每个细胞单元中的一个像素,将 其环形邻域内的若干个点(如图 1 所示) 进行顺时 针或者逆时针的比较,若中心点像素值比其邻点大, 则将邻点标记为 1,否则为 0。 这样邻域内每个点都 可产生一个 8 位二进制数,即得到该窗口中心像素 点的 LBP 值。 2)计算每个细胞单元的直方图,即每 个数值出现的频率,再对该直方图进行归一化处理。 3)将得到的每个细胞单元的统计直方图进行连接 成为一个特征向量,就是该图像的 LBP 纹理特征向 量。 本文从交通视频中截取的包含车辆与不包含车 辆的正、负样本的图像用于分类器的训练,样本图像 均规整为 64×128 像素,每个细胞单元大小为 8×8 像素,每个块的大小为 16 × 16 像素,共可提取出 2 830个 LBP 特征。 图 1 LBP 特征 Fig.1 LBP features HOG 特征是一种方向梯度直方图的表示方法, 该特征对图像中局部边缘信息不明显和形状变化很 微小的运动物体都能进行特征化,提取这些特征进 行分类识别[17] 。 HOG 特征提取的步骤是:1) 将交 通视频图像进行灰度处理,利用 Gamma 校正法调整 图像对比度,以减小阴影与光线变化对局部图像造 成影响。 2)对图像进行归一化处理,计算每个像素 的梯度(方向与大小),图像被分为许多细胞单元 (cell),将其中若干个细胞单元组成一个块(block)。 3)统计每个块内像素梯度方向直方图,将块以一个 单位为步长扫描图像,串联所有块即可得到该图像 的特征。 图像梯度维度的计算方法如下: DimNum = g(h)×g(k) (1) 第 5 期 蒋新华,等:半监督 SVM 分类算法的交通视频车辆检测方法 ·691·
·692· 智能系统学报 第10卷 8(h)=6X(): 分类面,即得 (2) f)sign(Y.a.K(X.X))+b(6) 8(k)= (h-bsine+bsp)X(w-bsire +bsuep) i=1 (3) bp 式中:α:为拉格朗日乘数,可以得到原优化问题相 式中:cn为细胞单元的维数,bs为块的大小,cs为 对应的对偶问题,每个约束条件在原问题中所对应 细胞单元的大小,bp为块的移动步长,h和w为图 的Lagrange乘子: 像的高度与宽度。 b=Y- Y.a.K(X:.X,) (7) 本文中训练分类器的样本图像是从交通视频中 i=1 式中K(X,X)为核函数。 截取包含车辆的正样本和不包含车辆的负样本,样 研究表明,对SVM分类器而言,核函数的选择 本图像归一化为64×128像素,每个细胞单元大小 是决定其性能的关键因素[9。选择不同的核函数 为8×8像素,每个块的大小为16×16像素,每个像 将影响分类器的效率与精度。目前应用最广泛的核 素点的梯度划分为9个方向,块的移动步长为8个 函数主要有[20; 像素。因此,每个样本图像提取的HOG特征有 1)Sigmoid核函数,表达式为 3780维特征,将该特征用于SVM分类器进行学习 K(X;,X)=tanh [b(X:,X)c] (8) 与分类。 2)多项式核函数,表达式为 2.2SVM学习及其参数优化 K(X,X)=(X·X+1)4,d=1,2,3…(9) SVM分类是通过一个非线性映射将作为学习 3)径向基核函数,表达式为 样本的交通视频图像的各个属性分量映射到高维特 征空间F中,然后利用结构风险最小化原则在F中 K(X)=exp( (10) 2c2 找到间隔最大的超平面,能将给定的视频车辆训练 多项式核函数属于全局核函数,具有全局特性。 样本进行正确的分类[)。其中,超平面和样本的最 径向基核函数属于局部核函数,具有局部性。Sg 大距离即为构造超平面的依据。 moid核函数由于参数选择尤为困难,一般不被采 交通视频车辆检测的训练集{(X,Y)Ik=1, 用。由于交通视频车辆检测过程存在着强非线性的 2,…,l}由2类组成。其中,X∈R为输入,Y∈ 特点,因此本文采用径向基核函数与多项式核函数 {-1,1}为类别判别输出,如果X∈R为有车辆,则 建立车辆检测模型,并对径向基核函数处理模型进 标记为(Yk=1);如果无车辆,则标记为负(Y=-1)。 行调优。 训练的目标就是构造一个判别函数G(X)=W·X+ 径向基核函数SVM处理模型具有很好的小样 b作为分类面对交通视频样本数据能较准确进行分 本学习能力及泛化性能,但需要对模型惩罚参数C 类,并且要求分类间隔最大化,就需使ⅡW‖或 和核函数参数σ进行调优,提高分类准确率,得到 ‖W‖2最小;要让分类面对所有样本数据进行正确 比较理想的检测结果。本文采用遗传算法对分类器 分类,需满足条件Y[(W·X)+b]-1≥0,对任意样 模型参数进行优选,实现模型参数的最优化,从而提 本空间的{X,Y}。 高分类器检测的准确率,能够避免过度学习与欠学 对于线性可分的样本,可以引入松弛变量:≥0 习状态的情况,提高在不同场景下交通视频的自适 来构造分类超平面,此时目标函数为 应性。模型参数自动寻优算法(GOA-SVM)的基本 w+c 步骤如下: (4) i=】 输入:遗传算法运行参数,包括种群规模、进化 Y:[(W·X,)+b]-1+:≥0 (5) 代数等; 式中:C为惩罚因子,当C=0时,就是线性可分 输出:全局最优的(C,σ〉参数集: 问题。 Begin: 为了更有效地处理图像属性与交通视频有无车 1)建立区域扫描器,并指定参数对的寻 辆的分类问题之间的非线性关系,本文选用径向基 优计算取值范围: 核函数将样本属性在低维空间的非线性问题映射成 2)随机产生初始种族群P(t),并转换为实值向 高维特征空间的线性问题,并在新空间中求解最优 量,同时通过SVM训练模型准确度计算各参数对的
g(h)= cDim ×( bSize cSize ) 2 (2) g(k)= (h-bSize +bStep )×(w-bSize +bStep ) b 2 Step (3) 式中:cDim为细胞单元的维数,bSize为块的大小,cSize为 细胞单元的大小,bStep为块的移动步长,h 和 w 为图 像的高度与宽度。 本文中训练分类器的样本图像是从交通视频中 截取包含车辆的正样本和不包含车辆的负样本,样 本图像归一化为 64×128 像素,每个细胞单元大小 为 8×8 像素,每个块的大小为 16×16 像素,每个像 素点的梯度划分为 9 个方向,块的移动步长为 8 个 像素。 因此, 每个样本图像提取的 HOG 特征有 3 780维特征,将该特征用于 SVM 分类器进行学习 与分类。 2.2 SVM 学习及其参数优化 SVM 分类是通过一个非线性映射将作为学习 样本的交通视频图像的各个属性分量映射到高维特 征空间 F 中,然后利用结构风险最小化原则在 F 中 找到间隔最大的超平面,能将给定的视频车辆训练 样本进行正确的分类[18] 。 其中,超平面和样本的最 大距离即为构造超平面的依据。 交通视频车辆检测的训练集{(Xk,Yk ) | k = 1, 2,…,l} 由 2 类组成。 其中,Xk ∈R d 为输入,Yk ∈ {-1,1}为类别判别输出,如果 Xk∈R d 为有车辆,则 标记为(Yk = 1);如果无车辆,则标记为负(Yk = -1)。 训练的目标就是构造一个判别函数 G(X)= W·X+ b 作为分类面对交通视频样本数据能较准确进行分 类,并且要求分类间隔最大化,就需使 ‖ W ‖ 或 ‖W‖2 最小;要让分类面对所有样本数据进行正确 分类,需满足条件 Yi[(W·Xi)+b]-1≥0,对任意样 本空间的{Xk,Yk}。 对于线性可分的样本,可以引入松弛变量 ζi≥0 来构造分类超平面,此时目标函数为 min w,b,ζ 1 2 ‖w‖2 + C∑ n i = 1 ζi (4) Yi[(W·Xi) + b] - 1 + ζi ≥ 0 (5) 式中:C 为惩罚因子,当 C = 0 时,就是线性可分 问题。 为了更有效地处理图像属性与交通视频有无车 辆的分类问题之间的非线性关系,本文选用径向基 核函数将样本属性在低维空间的非线性问题映射成 高维特征空间的线性问题,并在新空间中求解最优 分类面,即得 f(X) = sign(∑ n i = 1 YiαiK(Xi,X)) + b ∗ (6) 式中:αi 为拉格朗日乘数,可以得到原优化问题相 对应的对偶问题,每个约束条件在原问题中所对应 的 Lagrange 乘子: b ∗ = Yj - ∑ n i = 1 YiαiK(Xi,Xj) (7) 式中 K(Xi,Xj)为核函数。 研究表明,对 SVM 分类器而言,核函数的选择 是决定其性能的关键因素[19] 。 选择不同的核函数 将影响分类器的效率与精度。 目前应用最广泛的核 函数主要有[20] : 1)Sigmoid 核函数,表达式为 K(Xi,Xj) = tanh [b(Xi,Xj) + c] (8) 2)多项式核函数,表达式为 K(Xi,Xj) = (Xi·Xj + 1) d ,d = 1,2,3… (9) 3) 径向基核函数,表达式为 K(Xi,Xj) = exp( - ‖Xi - Xj‖2 2σ 2 ) (10) 多项式核函数属于全局核函数,具有全局特性。 径向基核函数属于局部核函数,具有局部性。 Sig⁃ moid 核函数由于参数选择尤为困难,一般不被采 用。 由于交通视频车辆检测过程存在着强非线性的 特点,因此本文采用径向基核函数与多项式核函数 建立车辆检测模型,并对径向基核函数处理模型进 行调优。 径向基核函数 SVM 处理模型具有很好的小样 本学习能力及泛化性能,但需要对模型惩罚参数 C 和核函数参数 σ 进行调优,提高分类准确率,得到 比较理想的检测结果。 本文采用遗传算法对分类器 模型参数进行优选,实现模型参数的最优化,从而提 高分类器检测的准确率,能够避免过度学习与欠学 习状态的情况,提高在不同场景下交通视频的自适 应性。 模型参数自动寻优算法(GOA⁃SVM)的基本 步骤如下: 输入:遗传算法运行参数,包括种群规模、进化 代数等; 输出:全局最优的〈C,σ〉参数集; Begin: 1)建立区域扫描器,并指定<C,σ>参数对的寻 优计算取值范围; 2)随机产生初始种族群 P(t),并转换为实值向 量,同时通过 SVM 训练模型准确度计算各参数对的 ·692· 智 能 系 统 学 报 第 10 卷
第5期 蒋新华,等:半监督SVM分类算法的交通视频车辆检测方法 ·693. 个体适应度函数值F(t): 帧进行1次检测标记,选择k个置信度最大的正、负 for(i=0,i<=最大进化代数,i计+) 样本,得到结果U2: U→U2 3)进行选择、交叉及变异操作: 5)对比U。,和U,将标记结果一致的样本放入 4)计算新群体的个体适应度,并提取当前最佳 样本库U中; 适应度的(C,σ〉参数集; Ua,∩U,→U 6)将U'+L组成新的样本库,重新训练分类器 End hi,h2: 1.3半监督SVM学习算法 while(视频未结束) 本文综合Co-training算法与Tri-training算法的 7)得到用新样本库训练的分类器h,'、h2',比较 思想,提出一种半监督SVM学习算法(SEM- h,'与h,'选择检测结果好的分类器作为最终分类器 SVM)。该算法在同一个交通视频样本库中提取 h3输出。 HOG特征训练遗传算法优化后的径向基核函数 End GOA-SVM分类器,提取LBP特征训练多项式核函 其中,SEMI-SVM算法要求有2个不同类型的 数SVM分类器。利用这2个分类器分别对未标记 分类器进行协同训练,若采用相同的分类器就变成 的交通视频样本进行识别,从中选择置信度比较高 了自训练算法。该算法中虽然采用的2个分类器都 的正、负样本。比较2个分类器的标记结果,将标记 是SVM分类器,但由于这里选取不同的核函数,可 结果一致的样本重新加入到原样本库中,更新样本 认为是2个不同分类器进行协同训练。 库,重新训练分类器:如此循环上述步骤,直至视频 由于该学习算法是利用2个不同分类器对同一 结束。选取识别效果好的一个分类器作为最终分类 个未标记样本视频进行检测并标记,若2次标记结 器输出并进行后续检测。这样不仅能让科研人员从 果相同,说明正确标记该未知样本的置信度就比较 繁重的人工标记样本的工作中得到解放,而且能够 高,则将该标记作为新的样本加入到样本库中就更 动态更新样本库,大大增加自适应性,提高检测 有价值。 准确率。 SEMI-SVM学习算法的基本步骤如下: 2特定运动区域的SEMI-SVM优化方法 输入:已标记样本库:L={(x1,y1),(x2, y2),…,(x,y)} 本文采用的车辆检测方法是先对全图作帧间差 未标记样本库: 分,通过扩展补偿得到运动区域,然后选取特定的运 U={山1,2,…,u}(未标记样本库来自交通视 动区域利用已训练好的分类器进行检测。 频) 1)对图像进行帧间差分及二值化阈值分割。 输出:SEMI-SVM分类器h 设I(m,n,t)为t时刻的图像序列,(m,n)表示 Begin: 图像中坐标为(m,n)的像素点,选取视频序列,连续 1)从已标记样本库L中提取HOG特征训练径 的3帧1(m,n,t-1),I(m,n,t)和1(m,n,t+1),利用 向基核函数G0A-SVM分类器h1; 式(11)、(12)分别对相邻的帧作帧间差分: 2)从已标记样本库L中提取LBP特征训练多 D.-1(m,n)=|I(m,n,t)-I(m,n,t-1)(11) 项式核函数SVM分类器h2; D+1(m,n)=I(m,n,t+1)-I(m,n,t)(12) do 式中D(m,n)为差分图像。 选取适当的阈值T对得到的差分图像D(m,n) 3)用分类器h,对未标记视频样本库U每隔m 进行二值化如下: 帧进行1次检测标记,选择k个置信度最大的正、负 255,D.-1(m,n)≥T b4-(m,n)= (13) 样本,得到结果U; 0,D.-(m,n)<T U→Ua (255,(D+1.(m,n)≥T b+1(m,n)= (14) 4)用分类器h,对未标记视频样本库U每隔m (0,D+1.(m,n)<T
个体适应度函数值 F(t); for(i = 0,i< =最大进化代数,i++) { 3)进行选择、交叉及变异操作; 4)计算新群体的个体适应度,并提取当前最佳 适应度的〈C,σ〉参数集; } End 1.3 半监督 SVM 学习算法 本文综合 Co⁃training 算法与 Tri⁃training 算法的 思想, 提 出 一 种 半 监 督 SVM 学 习 算 法 ( SEMI⁃ SVM)。 该算法在同一个交通视频样本库中提取 HOG 特征训练遗传算法优化后的径向基核函数 GOA⁃SVM 分类器,提取 LBP 特征训练多项式核函 数 SVM 分类器。 利用这 2 个分类器分别对未标记 的交通视频样本进行识别,从中选择置信度比较高 的正、负样本。 比较 2 个分类器的标记结果,将标记 结果一致的样本重新加入到原样本库中,更新样本 库,重新训练分类器;如此循环上述步骤,直至视频 结束。 选取识别效果好的一个分类器作为最终分类 器输出并进行后续检测。 这样不仅能让科研人员从 繁重的人工标记样本的工作中得到解放,而且能够 动态更新样本库, 大大增加自适应性, 提高检测 准确率。 SEMI⁃SVM 学习算法的基本步骤如下: 输入: 已 标 记 样 本 库: L = {( x1 , y1 ), ( x2 , y2 ),...,(xi,yi)} 未标记样本库: U= {u1 ,u2 ,…,un } (未标记样本库来自交通视 频) 输出:SEMI⁃SVM 分类器 h3 Begin: 1)从已标记样本库 L 中提取 HOG 特征训练径 向基核函数 GOA⁃SVM 分类器 h1 ; 2)从已标记样本库 L 中提取 LBP 特征训练多 项式核函数 SVM 分类器 h2 ; do { 3)用分类器 h1 对未标记视频样本库 U 每隔 m 帧进行 1 次检测标记,选择 k 个置信度最大的正、负 样本,得到结果 Uh1 ; U → Uh1 4)用分类器 h2 对未标记视频样本库 U 每隔 m 帧进行 1 次检测标记,选择 k 个置信度最大的正、负 样本,得到结果 Uh2 ; U → Uh2 5)对比 Uh1和 Uh2 ,将标记结果一致的样本放入 样本库 U′中; Uh1 ∩ Uh2 → U′ 6)将 U′+L 组成新的样本库,重新训练分类器 h1 ,h2 ; }while(视频未结束) 7)得到用新样本库训练的分类器 h1 ′、h2 ′,比较 h1 ′与 h2 ′选择检测结果好的分类器作为最终分类器 h3 输出。 End 其中,SEMI⁃SVM 算法要求有 2 个不同类型的 分类器进行协同训练,若采用相同的分类器就变成 了自训练算法。 该算法中虽然采用的 2 个分类器都 是 SVM 分类器,但由于这里选取不同的核函数,可 认为是 2 个不同分类器进行协同训练。 由于该学习算法是利用 2 个不同分类器对同一 个未标记样本视频进行检测并标记,若 2 次标记结 果相同,说明正确标记该未知样本的置信度就比较 高,则将该标记作为新的样本加入到样本库中就更 有价值。 2 特定运动区域的 SEMI⁃SVM 优化方法 本文采用的车辆检测方法是先对全图作帧间差 分,通过扩展补偿得到运动区域,然后选取特定的运 动区域利用已训练好的分类器进行检测。 1)对图像进行帧间差分及二值化阈值分割。 设 I(m,n,t)为 t 时刻的图像序列,(m,n)表示 图像中坐标为(m,n)的像素点,选取视频序列,连续 的 3 帧 I(m,n,t-1),I(m,n,t)和 I(m,n,t+1),利用 式(11)、(12)分别对相邻的帧作帧间差分: Dt,t-1(m,n) = I(m,n,t) - I(m,n,t - 1) (11) Dt+1,t(m,n) = I(m,n,t + 1) - I(m,n,t) (12) 式中 D(m,n)为差分图像。 选取适当的阈值 T 对得到的差分图像 D(m,n) 进行二值化如下: bt,t-1(m,n) = 255,Dt,t-1(m,n) ≥ T {0,Dt,t-1(m,n) < T (13) bt+1,t(m,n) = 255,(Dt+1,t(m,n) ≥ T {0,Dt+1,t(m,n) < T (14) 第 5 期 蒋新华,等:半监督 SVM 分类算法的交通视频车辆检测方法 ·693·
·694 智能系统学报 第10卷 对所得的2幅二值前景图做“或”运算,得到二 本则为人工截取视频中不包括车辆的图像(图3 值图像: (b)),例如非机动车、行人、道路和建筑物等,甚至 255,b.-1(m,n)Ub+1(m,n)=255 网上搜索到的不包括车辆的随意图像。正、负样本 B(m,n)= 0,b-(m,n)Ub4(m,n)=0 的尺寸统一截取为64×128像素。通过上述方式, (15) 本文提取初始的800个正样本和2000个负样本的 2)利用中指滤波进行图像平滑处理。 HOG特征与LBP特征分别进行径向基核函数GOA- 中值滤波能够很好地抑制脉冲干扰和图像噪 SVM分类器与多项式核函数SVM分类器的训练 声,保护图像的边缘信息。利用中值滤波进行平滑 学习。 处理可以保留更多的关于图像的灰度信息,使图像 轮廓检测的质量得到保障。 3)对二值图像形态学去噪。 对B(m,n)进行膨胀然后腐蚀可以去除图像中 的孤立噪点和部分空洞,弥合小裂缝,而总的位置和 形状不变。 4)获取运动区域并进行多尺度检测。 对去噪处理后的图像,寻找运动区域的连通域, 在遍历标记连通域时适当扩展区域,可以完整的得 (a)正样本 到运动区域如图2所示。选取特定运动区域,利用 分类器进行车辆检测。 (b)负样本 图3原始训练的部分正、负样本图片 图2运动车辆区域 Fig.3 Part of positive and negative sample pictures for Fig.2 Vehicle motion region the initial classifier 3实验结果与分析 3.2初始样本集SVM分类器实现及实验结果 系统实验采用福州市五四路冶山路南路段的交 在经过交通视频正、负样本HOG与LBP特征 通视频数据(分辨率:1140×934),系统实验主机硬 属性提取之后,分别对2种核函数SVM分类器进行 件配置为Core i5-3470CPU(4核,3.2GHz主频), 训练学习。同时采用遗传算法对径向基核函数 4G内存,Microsoft Windows7系统,算法基于C+以 SVM分类器模型(GOA-SVM)的训练适应度进行遗 及OpenCV开发实现。 传演化择优,并对分类器的检测准确度进行自适应 3.1初始分类器样本集 动态调优。 初始样本的获取主要以人工方式处理,其中,正 对正、负样本特征数据进行半交叉验证测试,利 样本为人工截取视频中车辆尾部(图3(a))。负样 用不同参数数据进行GOA-SVM分类器模型与多项
对所得的 2 幅二值前景图做“或”运算,得到二 值图像: B(m,n) = 255,bt,t-1(m,n) ∪ bt+1,t(m,n) = 255 0,bt,t-1(m,n) ∪ b { t+1,t(m,n) = 0 (15) 2)利用中指滤波进行图像平滑处理。 中值滤波能够很好地抑制脉冲干扰和图像噪 声,保护图像的边缘信息。 利用中值滤波进行平滑 处理可以保留更多的关于图像的灰度信息,使图像 轮廓检测的质量得到保障。 3)对二值图像形态学去噪。 对 B(m,n)进行膨胀然后腐蚀可以去除图像中 的孤立噪点和部分空洞,弥合小裂缝,而总的位置和 形状不变。 4)获取运动区域并进行多尺度检测。 对去噪处理后的图像,寻找运动区域的连通域, 在遍历标记连通域时适当扩展区域,可以完整的得 到运动区域如图 2 所示。 选取特定运动区域,利用 分类器进行车辆检测。 图 2 运动车辆区域 Fig.2 Vehicle motion region 3 实验结果与分析 系统实验采用福州市五四路冶山路南路段的交 通视频数据(分辨率:1 140×934),系统实验主机硬 件配置为 Core i5⁃3470 CPU(4 核,3.2 GHz 主频), 4 G内存,Microsoft Windows 7 系统,算法基于 C++以 及 OpenCV 开发实现。 3.1 初始分类器样本集 初始样本的获取主要以人工方式处理,其中,正 样本为人工截取视频中车辆尾部(图 3(a))。 负样 本则为人工截取视频中不包括车辆的图像( 图 3 (b)),例如非机动车、行人、道路和建筑物等,甚至 网上搜索到的不包括车辆的随意图像。 正、负样本 的尺寸统一截取为 64×128 像素。 通过上述方式, 本文提取初始的 800 个正样本和 2 000 个负样本的 HOG 特征与 LBP 特征分别进行径向基核函数 GOA⁃ SVM 分类器与多项式核函数 SVM 分类器的训练 学习。 (a)正样本 (b)负样本 图 3 原始训练的部分正、负样本图片 Fig.3 Part of positive and negative sample pictures for the initial classifier 3.2 初始样本集 SVM 分类器实现及实验结果 在经过交通视频正、负样本 HOG 与 LBP 特征 属性提取之后,分别对 2 种核函数 SVM 分类器进行 训练学习。 同时采用遗传算法对径向基核函数 SVM 分类器模型(GOA⁃SVM)的训练适应度进行遗 传演化择优,并对分类器的检测准确度进行自适应 动态调优。 对正、负样本特征数据进行半交叉验证测试,利 用不同参数数据进行 GOA⁃SVM 分类器模型与多项 ·694· 智 能 系 统 学 报 第 10 卷
第5期 蒋新华,等:半监督SVM分类算法的交通视频车辆检测方法 ·695. 式核函数SVM分类器模型的样本训练学习测试,得 到基于径向基核函数与多项式核函数SVM分类器 模型较优参数如表1所示。 表1不同核函数的参数结果 Table 1 Parameters of different kernel functions 参数 径向基核函数 多项式核函数 C 1.672 9.122 0.129 一 d 3 利用训练得到的2个初始G0A-SVM分类器与多 项式核函数SVM分类器分别对视频进行车辆检测。 为了能够检测出不同尺寸的车辆,本文采用多 尺度检测方法。按一定的尺寸逐渐扩大检测窗口, 将图像中的一部分作为分类器的输入进行多尺度检 测。一般情况下同一辆车会在不同尺寸和相同尺寸 下被检测多次,本文遍历当前帧所检测到的运动车 辆,并用矩形窗口标记出来,要判断检测出的任意2 个矩形窗口的重叠率,设置一定的阈值。如果重叠 图5多项式核函数SVM分类器的车辆检测结果 率大于该阈值,则放弃该矩形窗口,一个运动车辆最 Fig.5 Vehicle detect results of the polynomial kernel 终只保留一个检测矩形窗口。 SVM classification 利用初始G0A-SVM分类器与多项式核函数 3.3SEMI-SVM分类器检测及实验结果 SVM分类器分别对一段时长为5min的交通视频 将多项式核函数SVM分类器与GOA-SVM分 (福州市五四路冶山路南路段,2014年4月13日, 类器分别对同一段时长为1h的交通视频(福州市 14:30~14:35)进行检测,并对单向车道进行车流量 五四路冶山路南路段,2014年4月13日,10:30~ 统计(如图4~5所示)。实验测试表明,2种SVM 11:30)开始半监督学习,将检测出来的包括车辆的 分类器检测准确率较低.错误检测的情况比较严重。 正样本和不包括车辆的负样本保存为图片。比较分 类器标记结果,将标记结果相同的样本加入样本库, 进行样本库更新。通过人工调整后最终共获得 3000个正样本和20000个负样本,用最终更新的样 本库训练多项式核函数SVM分类器与GOA-SVM 分类器,在2个分类器中选取检测结果精度较高的 分类器作为最终分类器记为SEMI-SVM分类器,即 基于半监督学习的多项式核函数SVM分类器与 G0A-SVM分类器协同进行分类的方法。 利用SEMI-SVM分类器对同一段时长为5min 的交通视频(福州市五四路冶山路南路段,2014年4 月13日,14:30~14:35)进行检测,并对单向车道进 行车流量统计(如图6所示)。实验测试表明,半监 督学习后的SVM分类器检测准确率有较大的提高, 检测结果得到较好改善,但是还存在较多的错误 检测。 3.4特定运动区域的SEMI-SVM优化方法车辆检 测实验结果及分析 图4GOA-SVM分类器的车辆检测结果 对交通视频作帧间差分,通过扩展得到运动区 Fig.4 Vehicle detect results of GOA-SVM classification 域,然后选取特定的运动区域利用训练好的SEMI-
式核函数 SVM 分类器模型的样本训练学习测试,得 到基于径向基核函数与多项式核函数 SVM 分类器 模型较优参数如表 1 所示。 表 1 不同核函数的参数结果 Table 1 Parameters of different kernel functions 参数 径向基核函数 多项式核函数 C 1.672 9.122 σ 0.129 — d — 3 利用训练得到的 2 个初始 GOA⁃SVM 分类器与多 项式核函数 SVM 分类器分别对视频进行车辆检测。 为了能够检测出不同尺寸的车辆,本文采用多 尺度检测方法。 按一定的尺寸逐渐扩大检测窗口, 将图像中的一部分作为分类器的输入进行多尺度检 测。 一般情况下同一辆车会在不同尺寸和相同尺寸 下被检测多次,本文遍历当前帧所检测到的运动车 辆,并用矩形窗口标记出来,要判断检测出的任意 2 个矩形窗口的重叠率,设置一定的阈值。 如果重叠 率大于该阈值,则放弃该矩形窗口,一个运动车辆最 终只保留一个检测矩形窗口。 利用初始 GOA⁃SVM 分类器与多项式核函数 SVM 分类器分别对一段时长为 5 min 的交通视频 (福州市五四路冶山路南路段,2014 年 4 月 13 日, 14:30~14:35)进行检测,并对单向车道进行车流量 统计(如图 4 ~ 5 所示)。 实验测试表明,2 种 SVM 分类器检测准确率较低,错误检测的情况比较严重。 图 4 GOA⁃SVM 分类器的车辆检测结果 Fig.4 Vehicle detect results of GOA⁃SVM classification 图 5 多项式核函数 SVM 分类器的车辆检测结果 Fig.5 Vehicle detect results of the polynomial kernel SVM classification 3.3 SEMI⁃SVM 分类器检测及实验结果 将多项式核函数 SVM 分类器与 GOA⁃SVM 分 类器分别对同一段时长为 1 h 的交通视频(福州市 五四路冶山路南路段,2014 年 4 月 13 日,10:30 ~ 11:30)开始半监督学习,将检测出来的包括车辆的 正样本和不包括车辆的负样本保存为图片。 比较分 类器标记结果,将标记结果相同的样本加入样本库, 进行样本库更新。 通过人工调整后最终共获得 3 000个正样本和 20 000 个负样本,用最终更新的样 本库训练多项式核函数 SVM 分类器与 GOA⁃SVM 分类器,在 2 个分类器中选取检测结果精度较高的 分类器作为最终分类器记为 SEMI⁃SVM 分类器,即 基于半监督学习的多项式核函数 SVM 分类器与 GOA⁃SVM 分类器协同进行分类的方法。 利用 SEMI⁃SVM 分类器对同一段时长为 5 min 的交通视频(福州市五四路冶山路南路段,2014 年 4 月 13 日,14:30 ~ 14:35)进行检测,并对单向车道进 行车流量统计(如图 6 所示)。 实验测试表明,半监 督学习后的 SVM 分类器检测准确率有较大的提高, 检测结果得到较好改善,但是还存在较多的错误 检测。 3.4 特定运动区域的 SEMI⁃SVM 优化方法车辆检 测实验结果及分析 对交通视频作帧间差分,通过扩展得到运动区 域,然后选取特定的运动区域利用训练好的 SEMI⁃ 第 5 期 蒋新华,等:半监督 SVM 分类算法的交通视频车辆检测方法 ·695·
·696 智能系统学报 第10卷 SVM分类器,对同一段时长为5min的交通视频(福 ◆特定区域SEMI-SVM+SEMI-SVM 州市五四路治山路南路段,2014年4月13日, GOA-SVM一多项式核函数SVM 14:30~14:35)进行检测,并对单向车道进行车流量 100 ◆ 统计(如图7所示)。 7 60 ×10 4 6 812 累计帧数 图8不同算法检测准确率 Fig.8 Detection accuracy of different algorithms 图7和8的实验结果表明,半监督学习提高了 分类器的检测准确率,基于特定区域的SEMI-SVM 优化算法误检率大大降低,得到了较好的检测效果。 在视频检测中,基于特定区域的SEMI-SVM车 辆检测,小轿车、面包车以及公交车的检测准确率能 达到90%以上,其他车型复杂的汽车检测准确率能 达到85%以上,能够保持较低的误检率。 本文算法提取交通视频样本的HOG特征训练 径向基核函数GOA-SVM分类器,提取LBP特征训 练多项式核函数SVM分类器,将2种分类器协同训 练作为最终分类器SEMI-SVM在特定区域进行车辆 图6半监督学习后分类器的车辆检测结果 检测。现采用单一的HOG特征训练2种分类器进 Fig.6 Vehicle detect results after semi-supervised 行实验,其最终分类器记为HOG-SVM:然后采用单 learning 一的LBP特征训练2种分类器进行检测,其最终分 类器记为LBP-SVM。将本文算法、HOG-SVM分类 器与LBP-SVM分类器分别对同一段交通视频(福 州市五四路冶山路南路段,2014年4月13日)做单 向车道车流量统计,实验结果如图9所示。 100 70 60 +本文算法+HOG-SVM+LBP-SVM 50 2 4682×10 累计顿数 图93种方法检测准确率 Fig.9 Detection accuracy of three algorithms 从图9可以看出,采用不同特征空间数据 (HOG特征与LBP特征)进行分类器的训练,其检 测准确率较同一特征空间的数据有明显提升,本文 所采用的方法在车辆检测中取得了较理想的效果与 图7特定运动区域的SEMⅡSVM车辆检测结果 准确率。 Fig.7 Vehicle detect results of specific motion region 将本文算法与平均背景法、帧差法、灰度等级法 based on SIMⅡ-SVM 和边缘检测法分别对同一段交通视频(福州市五四 路冶山路南路段,2014年4月13日)做单向车道车
SVM 分类器,对同一段时长为 5 min 的交通视频(福 州市五四路冶山路南路段, 2014 年 4 月 13 日, 14:30~14:35)进行检测,并对单向车道进行车流量 统计(如图 7 所示)。 图 6 半监督学习后分类器的车辆检测结果 Fig. 6 Vehicle detect results after semi⁃supervised learning 图 7 特定运动区域的 SEMI⁃SVM 车辆检测结果 Fig.7 Vehicle detect results of specific motion region based on SIMI⁃SVM 图 8 不同算法检测准确率 Fig.8 Detection accuracy of different algorithms 图 7 和 8 的实验结果表明,半监督学习提高了 分类器的检测准确率,基于特定区域的 SEMI⁃SVM 优化算法误检率大大降低,得到了较好的检测效果。 在视频检测中,基于特定区域的 SEMI⁃SVM 车 辆检测,小轿车、面包车以及公交车的检测准确率能 达到 90%以上,其他车型复杂的汽车检测准确率能 达到 85%以上,能够保持较低的误检率。 本文算法提取交通视频样本的 HOG 特征训练 径向基核函数 GOA⁃SVM 分类器,提取 LBP 特征训 练多项式核函数 SVM 分类器,将 2 种分类器协同训 练作为最终分类器 SEMI⁃SVM 在特定区域进行车辆 检测。 现采用单一的 HOG 特征训练 2 种分类器进 行实验,其最终分类器记为 HOG⁃SVM;然后采用单 一的 LBP 特征训练 2 种分类器进行检测,其最终分 类器记为 LBP⁃SVM。 将本文算法、HOG⁃SVM 分类 器与 LBP⁃SVM 分类器分别对同一段交通视频(福 州市五四路冶山路南路段,2014 年 4 月 13 日)做单 向车道车流量统计,实验结果如图 9 所示。 图 9 3 种方法检测准确率 Fig.9 Detection accuracy of three algorithms 从图 9 可 以 看 出, 采 用 不 同 特 征 空 间 数 据 (HOG 特征与 LBP 特征) 进行分类器的训练,其检 测准确率较同一特征空间的数据有明显提升,本文 所采用的方法在车辆检测中取得了较理想的效果与 准确率。 将本文算法与平均背景法、帧差法、灰度等级法 和边缘检测法分别对同一段交通视频(福州市五四 路冶山路南路段,2014 年 4 月 13 日)做单向车道车 ·696· 智 能 系 统 学 报 第 10 卷
第5期 蒋新华,等:半监督SVM分类算法的交通视频车辆检测方法 ·697. 流量统计,并进行各方法的检测准确率测试以及每 表3不同交通场景的车辆检测准确率 一帧检测时间测试,实验结果如表2所示。 Table 3 Detection accuracy of the different traffic circum 表25种检测方法统计结果 stances % Table 2 Statistical results of five algorithms 帧差法 背景法 本文方法 场景 实际车数/算法统计 检测准确率/检测时间/ 准确率 准确率 准确率 方法 辆 结果/辆 名 傍晚 70.24 66.36 90.83 帧差法 165 130 78.79 14.563 雨天 75.35 79.45 91.22 阴天 71.76 74.67 92.46 背景法 165 134 81.21 16.127 夜晚 68.93 61.79 90.47 灰度法 165 139 84.24 21.974 4 边缘法 127 结束语 165 76.96 19.381 本文方法 165 154 93.33 12.426 本文针对复杂交通场景的运动车辆检测中车辆 数目统计准确度不高,自适应性不强等问题,提出了 实验结果表明,本文方法与其他检测方法相比, 一种基于半监督SVM分类算法的交通视频车辆检 能保持较高的检测准确率,并且可以有效减少每帧 测方法,利用半监督学习思想进行车辆检测,能够动 检测时间。由于背景法、帧差法及灰度等级法对光 态更新样本库,提高了自适应性,同时能大大减少人 线、天气等影响因素十分敏感,边缘法由于路面及车 工进行截图工作量。在分类器检测之前提取了特定 辆边缘不明显容易产生误检2],并且受非机动车, 的运动区域,能大幅度减少干扰区域,很大程度上提 行人等因素干扰导致错误检测,当发生交通拥堵或 高了车辆的检测准确率,并且有效减少每帧的检测 者较多车辆并排行驶等复杂的交通情况时,以上方 时间。实验结果表明,相比传统方法以及在复杂交 法检测准确率会大大降低。而本文的方法能很好克 通环境下,本文算法都具有较高的检测准确率。下 服光线、天气、阴影和车辆行驶特性的干扰,能很好 一步的工作将围绕如何提高检测速度及实时性方面 鉴别非机动车及行人,提高车流量统计精确度,而且 做进一步的研究。 应对拥堵等复杂的交通情况时,也能很好进行检测。 为了验证不同复杂场景下本文方法依然有较好 参考文献: 的检测准确率,选取4个不同场景下时长为5分钟 [1]XIONG Changzhen,FAN Wuyi,LI Zhengxi.Traffic flow 的交通视频进行实验(如图10所示)。与帧差法、 detection algorithm based on intensity curve of high-resolu- 背景法进行比较,系统实验的检测结果(表3)表明, tion image[C]//IEEE Computer Modeling and Simulation. 即使在不同的复杂交通场景下,本文的算法仍保持 Sanya,China,2010:159-162. 较高的检测准确率。 2]MARIN D,AQUINO A,GEGUNDEZ-ARIAS M E,et al.A new supervised method for blood vessel segmentation in reti- nal images by using gray-level and moment invariants-based features[J].IEEE Transactions on Medical Imaging,2011, 30(1):146-158 [3]HAN B,DAVIS L S.Density-based multifeature background subtraction with support vector machine[J].IEEE Transac- tions on Pattern Analysis and Machine Intelligence,2012, 34(5):1017-1023. [4]CHENG Li,GONG Minglun,SCHUURMANS D,et al.Re- al-time discriminative background subtraction[J].IEEE Transactions on Image Processing,2011,20(5):1401- 1414. [5]BARNICH O,VAN DROOGENBROECK M.ViBe:A uni- 图10复杂交通场景的车辆检测结果 versal background subtraction algorithm for video sequences Fig.10 Vehicle detect results of the complex traffic cir- [J].IEEE Transactions on Image Processing,2011,20 cumstances (6):1709-1724
流量统计,并进行各方法的检测准确率测试以及每 一帧检测时间测试,实验结果如表 2 所示。 表 2 5 种检测方法统计结果 Table 2 Statistical results of five algorithms 方法 实际车数/ 辆 算法统计 结果/ 辆 检测准确率/ % 检测时间/ s 帧差法 165 130 78.79 14.563 背景法 165 134 81.21 16.127 灰度法 165 139 84.24 21.974 边缘法 165 127 76.96 19.381 本文方法 165 154 93.33 12.426 实验结果表明,本文方法与其他检测方法相比, 能保持较高的检测准确率,并且可以有效减少每帧 检测时间。 由于背景法、帧差法及灰度等级法对光 线、天气等影响因素十分敏感,边缘法由于路面及车 辆边缘不明显容易产生误检[21] ,并且受非机动车, 行人等因素干扰导致错误检测,当发生交通拥堵或 者较多车辆并排行驶等复杂的交通情况时,以上方 法检测准确率会大大降低。 而本文的方法能很好克 服光线、天气、阴影和车辆行驶特性的干扰,能很好 鉴别非机动车及行人,提高车流量统计精确度,而且 应对拥堵等复杂的交通情况时,也能很好进行检测。 为了验证不同复杂场景下本文方法依然有较好 的检测准确率,选取 4 个不同场景下时长为 5 分钟 的交通视频进行实验(如图 10 所示)。 与帧差法、 背景法进行比较,系统实验的检测结果(表 3)表明, 即使在不同的复杂交通场景下,本文的算法仍保持 较高的检测准确率。 图 10 复杂交通场景的车辆检测结果 Fig.10 Vehicle detect results of the complex traffic cir⁃ cumstances 表 3 不同交通场景的车辆检测准确率 Table 3 Detection accuracy of the different traffic circum⁃ stances % 场景 帧差法 准确率 背景法 准确率 本文方法 准确率 傍晚 70.24 66.36 90.83 雨天 75.35 79.45 91.22 阴天 71.76 74.67 92.46 夜晚 68.93 61.79 90.47 4 结束语 本文针对复杂交通场景的运动车辆检测中车辆 数目统计准确度不高,自适应性不强等问题,提出了 一种基于半监督 SVM 分类算法的交通视频车辆检 测方法,利用半监督学习思想进行车辆检测,能够动 态更新样本库,提高了自适应性,同时能大大减少人 工进行截图工作量。 在分类器检测之前提取了特定 的运动区域,能大幅度减少干扰区域,很大程度上提 高了车辆的检测准确率,并且有效减少每帧的检测 时间。 实验结果表明,相比传统方法以及在复杂交 通环境下,本文算法都具有较高的检测准确率。 下 一步的工作将围绕如何提高检测速度及实时性方面 做进一步的研究。 参考文献: [1] XIONG Changzhen, FAN Wuyi, LI Zhengxi. Traffic flow detection algorithm based on intensity curve of high⁃resolu⁃ tion image[C] / / IEEE Computer Modeling and Simulation. Sanya, China, 2010: 159⁃162. [2]MARIN D, AQUINO A, GEGU ' NDEZ⁃ARIAS M E, et al. A new supervised method for blood vessel segmentation in reti⁃ nal images by using gray⁃level and moment invariants⁃based features[J]. IEEE Transactions on Medical Imaging, 2011, 30(1): 146⁃158. [3]HAN B, DAVIS L S. Density⁃based multifeature background subtraction with support vector machine[J]. IEEE Transac⁃ tions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 1017⁃1023. [4]CHENG Li, GONG Minglun, SCHUURMANS D, et al. Re⁃ al⁃time discriminative background subtraction[J]. IEEE Transactions on Image Processing, 2011, 20 ( 5): 1401⁃ 1414. [5]BARNICH O, VAN DROOGENBROECK M. ViBe: A uni⁃ versal background subtraction algorithm for video sequences [J]. IEEE Transactions on Image Processing, 2011, 20 (6): 1709⁃1724. 第 5 期 蒋新华,等:半监督 SVM 分类算法的交通视频车辆检测方法 ·697·
·698 智能系统学报 第10卷 [6]FU Wenlong,JOHNSTON M,ZHANG Mengjie.Genetic sion.Kyoto,Japan,2009:32-39. programming for edge detection:a global approach[C]// [17]DALAL N,TRIGGS B.Histograms of oriented gradients for 2011 IEEE Congress on Evolutionary Computation.Welling- human detection[C]//IEEE Computer Society Conference ton,New Zealand,2011:254-261. on Computer Vision and Patter Recognition.San Diego, [7]Al-GHAILI A M,MASHOHOR S,RAMLI A R,et al.Ver- USA.2005:886-893. tical-edge-based car-license-plate detection method[J]. [18]CHANG C C,LIN C J.LIBSVM:a library for support vec- IEEE Transactions on Vehicular Technology,2013,62(1): tor machines[J].ACM Transactions on Intelligent Systems 26-38. and Technology (TIST),2011,2(3):27. [8]钱志明,杨家宽,段连鑫.基于视频的车辆检测与跟踪 [19]钱晓山,阳春华.基于GEP的最小二乘支持向量机模 研究进展[J].中南大学学报:自然科学版,2013,44 型参数选择[J刀.智能系统学报,2012,7(3):225-229 (S2):222-227. QIAN Xiaoshan,YANG Chunhua.A parameter selection QIAN Zhiming,YANG Jiakuan,DUAN Lianxin.Research method of a least squares support vector machine based on advances in video-based vehicle detection and tracking[]. gene expression programming[J].CAAI Transactions on Journal of Central South University:Science and Technolo- Intelligent Systems,2012,7(3):225-229. ,2013,44(S2):222-227. [20]BEN-HUR A,WESTON J.A user's guide to support vec- [9]CHEN Xueyun,XIANG Shiming,LIU Chenglin,et al.Ve- tor machines [M]//Data Mining Techniques for the Life hicle detection in satellite images by hybrid deep convolu- Sciences.Washington,DC:Humana Press,2010:223- tional neural networks[]].IEEE Geoscience and Remote 239. Sensing Letters,2014.11(10):1797-1801. [21]胡光龙,秦世引.动态成像条件下基于SURF和Mean [10]ZHANG Bailing.Reliable classification of vehicle types shif的运动目标高精度检测[J】].智能系统学报,2012, based on cascade classifier ensemblesJ].IEEE Transac- 7(1):61-68 tions on Intelligent Transportation Systems,2013,14(1): HU Guanglong,QIN Shiyin.High precision detection of a 322.332. mobile object under dynamic imaging based on SURF and [11]CHENG H Y,WENG C C,CHEN Yiying.Vehicle detec- Mean shift[J].CAAI Transactions on Intelligent Systems, tion in aerial surveillance using dynamic Bayesian networks 2012,7(1):61-68. [J].IEEE Transactions on Image Processing,2012,21 作者简介: (4):2152-2159. 蒋新华,男.1956年生,教授,博士 [12]CARAFFI C,VOJIR T,TREFNY J,et al.A system for 生导师,福建工程学院校长,主要研究 real-time detection and tracking of vehicles from a single 方向为控制理论应用、电力机车智能故 car-mounted camera [C]//2012 15th International IEEE 障诊断技术、移动互联网关键技术和车 Conference on Intelligent Transportation Systems.Anchor- 联网关键技术。主持和参加铁道部、湖 age,USA,2012:975-982. 南省、福建省等重要科学研究项目30 [13]CAO Xianbin,WU Changxia,YAN Pingkun,et al.Linear 余项,发表学术论文100余篇。 SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos[C]//2011 18th 高晟,男,1989年生,硕士研究生, IEEE International Conference on Image Processing.Hefei, 主要研究方向为交通信息分析及图像 China,2011:2421-2424. 处理。参与国家自然科学基金资助项 [14]DARNSTADT M,SIMON H U,SZORENYI B.Supervised 目1项,授权发明专利4项。 learning and co-training [J].Theoretical Computer Sci- ence,2014,519:68-87. [l5]刘杨磊,梁吉业,高嘉伟,等.基于Ti--training的半监 督多标记学习算法[J].智能系统学报,2013,8(5): 廖律超,1980年生,工程师,博士研 439.445. 究生,主要研究方向为海量动态信息数 LIU Yanglei,LIANG Jiye,GAO Jiawei,et al.Semi-super- 据挖掘分析、交通信息处理关键技术。 vised multi-label learning algorithm based on Tri-training []CAAI Transactions on Intelligent Systems,2013.8 (5):439-445. [16]WANG Xiaoyu,HAN T X,YAN Shuicheng.An HOG- LBP human detector with partial occlusion handling[C// 2009 IEEE 12th International Conference on Computer Vi-
[6] FU Wenlong, JOHNSTON M, ZHANG Mengjie. Genetic programming for edge detection: a global approach [ C] / / 2011 IEEE Congress on Evolutionary Computation. Welling⁃ ton, New Zealand, 2011:254⁃261. [7]Al⁃GHAILI A M, MASHOHOR S, RAMLI A R, et al. Ver⁃ tical⁃edge⁃based car⁃license⁃plate detection method [ J ]. IEEE Transactions on Vehicular Technology, 2013, 62(1): 26⁃38. [8]钱志明, 杨家宽, 段连鑫. 基于视频的车辆检测与跟踪 研究进展[ J]. 中南大学学报: 自然科学版, 2013, 44 (S2): 222⁃227. QIAN Zhiming, YANG Jiakuan, DUAN Lianxin. Research advances in video⁃based vehicle detection and tracking[ J]. Journal of Central South University: Science and Technolo⁃ gy, 2013,44(S2): 222⁃227. [9]CHEN Xueyun, XIANG Shiming, LIU Chenglin, et al. Ve⁃ hicle detection in satellite images by hybrid deep convolu⁃ tional neural networks [ J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(10): 1797⁃1801. [10] ZHANG Bailing. Reliable classification of vehicle types based on cascade classifier ensembles[J]. IEEE Transac⁃ tions on Intelligent Transportation Systems, 2013, 14(1): 322⁃332. [11]CHENG H Y, WENG C C, CHEN Yiying. Vehicle detec⁃ tion in aerial surveillance using dynamic Bayesian networks [J]. IEEE Transactions on Image Processing, 2012, 21 (4): 2152⁃2159. [12] CARAFFI C, VOJIR T, TREFNY J, et al. A system for real⁃time detection and tracking of vehicles from a single car⁃mounted camera [ C] / / 2012 15th International IEEE Conference on Intelligent Transportation Systems. Anchor⁃ age, USA, 2012: 975⁃982. [13]CAO Xianbin, WU Changxia, YAN Pingkun, et al. Linear SVM classification using boosting HOG features for vehicle detection in low⁃altitude airborne videos [ C] / / 2011 18th IEEE International Conference on Image Processing. Hefei, China, 2011: 2421⁃2424. [14]DARNSTÄDT M, SIMON H U, SZÖRÉNYI B. Supervised learning and co⁃training [ J ]. Theoretical Computer Sci⁃ ence, 2014, 519: 68⁃87. [15]刘杨磊, 梁吉业, 高嘉伟, 等. 基于 Tri⁃training 的半监 督多标记学习算法[ J]. 智能系统学报, 2013, 8( 5): 439⁃445. LIU Yanglei, LIANG Jiye, GAO Jiawei, et al. Semi⁃super⁃ vised multi⁃label learning algorithm based on Tri⁃training [J]. CAAI Transactions on Intelligent Systems, 2013, 8 (5): 439⁃445. [16] WANG Xiaoyu, HAN T X, YAN Shuicheng. An HOG⁃ LBP human detector with partial occlusion handling[C] / / 2009 IEEE 12th International Conference on Computer Vi⁃ sion. Kyoto, Japan, 2009: 32⁃39. [17]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C] / / IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA, 2005: 886⁃893. [18]CHANG C C, LIN C J. LIBSVM: a library for support vec⁃ tor machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): 27. [19]钱晓山, 阳春华. 基于 GEP 的最小二乘支持向量机模 型参数选择[J]. 智能系统学报, 2012, 7(3): 225⁃229. QIAN Xiaoshan, YANG Chunhua. A parameter selection method of a least squares support vector machine based on gene expression programming [ J]. CAAI Transactions on Intelligent Systems, 2012, 7(3): 225⁃229. [20]BEN⁃HUR A, WESTON J. A user’s guide to support vec⁃ tor machines [ M] / / Data Mining Techniques for the Life Sciences. Washington, DC: Humana Press, 2010: 223⁃ 239. [21]胡光龙, 秦世引. 动态成像条件下基于 SURF 和 Mean shift 的运动目标高精度检测[J]. 智能系统学报, 2012, 7(1): 61⁃68. HU Guanglong, QIN Shiyin. High precision detection of a mobile object under dynamic imaging based on SURF and Mean shift[J]. CAAI Transactions on Intelligent Systems, 2012, 7(1): 61⁃68. 作者简介: 蒋新华,男,1956 年生,教授,博士 生导师,福建工程学院校长,主要研究 方向为控制理论应用、电力机车智能故 障诊断技术、移动互联网关键技术和车 联网关键技术。 主持和参加铁道部、湖 南省、福建省等重要科学研究项目 30 余项,发表学术论文 100 余篇。 高晟,男,1989 年生,硕士研究生, 主要研究方向为交通信息分析及图像 处理。 参与国家自然科学基金资助项 目 1 项,授权发明专利 4 项。 廖律超,1980 年生,工程师,博士研 究生,主要研究方向为海量动态信息数 据挖掘分析、交通信息处理关键技术。 ·698· 智 能 系 统 学 报 第 10 卷