第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201310020 网络出版地址:http://www.enki..net/kcms/detail/23.1538.TP.20150326.1020.009.html 单边侧阴影特征的车辆阴影去除 丁爱玲,杨康,齐怀超,肖飞 (长安大学信息工程学院,陕西西安710064) 摘要:在基于视频的车辆检测问题中,车辆阴影会造成车辆提取误差,影响系统可靠性,针对该问题,提出了一种 基于车辆阴影像素灰度分布特征的阴影去除方法。结合阴影产生的原理,首先分别从4个方向对前景区间进行投 影,获得投射阴影的像素分布曲线。再采集阴影曲线上的像素点,计算其分布特征,其中分布于概率区间范围的即 为阴影部分,从而去除阴影。实验结果表明,该方法能够快速、准确地去除图像中的车辆投射阴影。 关键词:车辆检测:背景差分:阈值分割;阴影去除 中图分类号:TP391文献标志码:A文章编号:1673-4785(2015)02-0281-05 中文引用格式:丁爱玲,杨康,齐怀超,等.单边侧阴影特征的车辆阴影去除[J].智能系统学报,2015,10(2):281-285. 英文引用格式:DING Ailing,YANG Kang,QI Huaichao,etal.Vehicle shadow removal based on the characteristics of the single side shadow[J].CAAI Transactions on Intelligent Systems,2015,10(2):281-285. Vehicle shadow removal based on the characteristics of the single side shadow DING Ailing,YANG Kang,QI Huaichao,XIAO Fei (School of Information Engineering,Chang'an University,Xi'an 710064,China) Abstract:In vehicles detection problem of video images,the vehicle cannot be extracted correctly due to the exist- ence of the shadow,which results in low reliability in intelligent transportation system.In this paper,a method is proposed to remove the vehicle shadow by using the pixel gray distribution features of shadow.According to the the- ory of shadow generation,the pixel distribution of shadows can be obtained by projecting the moving target from four directions.By using the pixel shadow curve,the distribution characteristics were calculated.Deriving the range of probability distribution is just the shadow part allows the shadow to be removed..The experimental results showed that this method could remove vehicle cast shadows in the image quickly and accurately. Keywords:vehicle detection;background subtraction;threshold selection;shadow removal 交通视频检测系统通过图像分析的方式来获取产生许多阴影区间。根据阴影形成的位置可以将阴 交通信息数据,它是智能交通系统(intelligent trans-影划分为2类:自身阴影和投射阴影。其中,投射阴 portation systems,ITS)的重要组成部分。通过在道 影是影响车辆提取和定位的主要因素,也是阴影去 路上方架设摄像机或照相机作为传感器,将路面交 除的对象。在车辆提取时,车辆的投射阴影经常会 通图像传到交通信息视频检测系统,利用该系统来 被误认为是车辆的一部分,影响车辆定位和轮廓的 对图像进行实时分析,并提取出车辆运行的交通信 确定,此外,阴影和其他车辆重叠,也会使系统把发 息数据,再通过一定的通信链路传送给交通信息控 生重叠的2个或多个车辆误认为是一个整体,导致 制中心,从而实现对道路交通的管理控制。 车辆计数错误,从而影响系统的可靠性。因此,在车 在采集视频图像时,由于光照的影响,图像中会 辆目标提取前,阴影检测与去除是一个非常重要的 环节。 收稿日期:2013-10-11.网络出版日期:2015-03-26. 通信作者:齐怀超.E-mail:674892125@qq.com. 本文的主要工作是研究视频车辆检测中阴影特
第 10 卷第 2 期 智 能 系 统 学 报 Vol.10 №.2 2015 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2015 DOI:10.3969 / j.issn.1673⁃4785.201310020 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20150326.1020.009.html 单边侧阴影特征的车辆阴影去除 丁爱玲,杨康,齐怀超,肖飞 (长安大学 信息工程学院,陕西 西安 710064) 摘 要:在基于视频的车辆检测问题中,车辆阴影会造成车辆提取误差,影响系统可靠性,针对该问题,提出了一种 基于车辆阴影像素灰度分布特征的阴影去除方法。 结合阴影产生的原理,首先分别从 4 个方向对前景区间进行投 影,获得投射阴影的像素分布曲线。 再采集阴影曲线上的像素点,计算其分布特征,其中分布于概率区间范围的即 为阴影部分,从而去除阴影。 实验结果表明,该方法能够快速、准确地去除图像中的车辆投射阴影。 关键词:车辆检测;背景差分;阈值分割;阴影去除 中图分类号:TP391 文献标志码:A 文章编号:1673⁃4785(2015)02⁃0281⁃05 中文引用格式:丁爱玲,杨康,齐怀超,等. 单边侧阴影特征的车辆阴影去除[J]. 智能系统学报, 2015, 10(2): 281⁃285. 英文引用格式:DING Ailing, YANG Kang, QI Huaichao, et al. Vehicle shadow removal based on the characteristics of the single side shadow[J]. CAAI Transactions on Intelligent Systems, 2015, 10(2): 281⁃285. Vehicle shadow removal based on the characteristics of the single side shadow DING Ailing, YANG Kang, QI Huaichao, XIAO Fei (School of Information Engineering, Chang’an University, Xi’an 710064, China) Abstract:In vehicles detection problem of video images, the vehicle cannot be extracted correctly due to the exist⁃ ence of the shadow, which results in low reliability in intelligent transportation system. In this paper, a method is proposed to remove the vehicle shadow by using the pixel gray distribution features of shadow. According to the the⁃ ory of shadow generation, the pixel distribution of shadows can be obtained by projecting the moving target from four directions. By using the pixel shadow curve, the distribution characteristics were calculated. Deriving the range of probability distribution is just the shadow part allows the shadow to be removed.. The experimental results showed that this method could remove vehicle cast shadows in the image quickly and accurately. Keywords:vehicle detection; background subtraction; threshold selection; shadow removal 收稿日期:2013⁃10⁃11. 网络出版日期:2015⁃03⁃26. 通信作者:齐怀超.E⁃mail:674892125@ qq.com. 交通视频检测系统通过图像分析的方式来获取 交通信息数据,它是智能交通系统( intelligent trans⁃ portation systems,ITS) 的重要组成部分。 通过在道 路上方架设摄像机或照相机作为传感器,将路面交 通图像传到交通信息视频检测系统,利用该系统来 对图像进行实时分析,并提取出车辆运行的交通信 息数据,再通过一定的通信链路传送给交通信息控 制中心,从而实现对道路交通的管理控制。 在采集视频图像时,由于光照的影响,图像中会 产生许多阴影区间。 根据阴影形成的位置可以将阴 影划分为 2 类:自身阴影和投射阴影。 其中,投射阴 影是影响车辆提取和定位的主要因素,也是阴影去 除的对象。 在车辆提取时,车辆的投射阴影经常会 被误认为是车辆的一部分,影响车辆定位和轮廓的 确定,此外,阴影和其他车辆重叠,也会使系统把发 生重叠的 2 个或多个车辆误认为是一个整体,导致 车辆计数错误,从而影响系统的可靠性。 因此,在车 辆目标提取前,阴影检测与去除是一个非常重要的 环节。 本文的主要工作是研究视频车辆检测中阴影特
·282. 智能系统学报 第10卷 征提取和去除问题,给出了阴影去除算法实现过程 面材质不变,即反射率P(x,y)不变,而车辆的遮挡 和实验结果,并对结果进行了分析和评价。 会使路面像素点接收的光照强度变弱。设阴影像素 1常用的阴影去除方法 点的亮度为S(x,y),背景像素点的亮度为S(x, y),它们之间的比值为C(x,y),则计算公式如式 1.1几何模型方法 (3)所示劉: 这类算法思路是从空间角度建立阴影几何模 S(x,y)E(x,y) 型,文献[34]利用车辆和其投射阴影的二维分布模 C(x)=sx,)E队) (3) 型来消除车辆阴影。根据车辆和阴影的位置关系可 通常C(x,y)的取值范围为(1.2~1.5),利用背 以确定多种阴影模型,通过匹配当前帧运动前景特 景像素与阴影像素点的比例可以进行阴影的检测。 征,利用其模型特征进行阴影消除。但是这类方法 这些阴影去除方法按照检测所依据的信息可分 需要较为准确的模型,不同的场景需要不同的模型, 为两大类山:1)基于模型的方法;2)利用阴影特性 所以只能在特定的场景中有效。 的方法。基于阴影模型的方法]依赖先验几何模 1.2色彩空间阴影检测 型,如目标的三维形状和光照模型等。通过几何模 基于色彩空间的投射阴影消除是目前最常用的 型,精确地计算出阴影的形状和位置,从而实现阴影 阴影去除方法,T.Horpraser等)利用阴影的2个特 去除,但模型的建立十分复杂,因此实际中应用并不 性进行去除:1)阴影与背景在色度上相似:2)阴影 广泛。基于阴影特征的方法利用阴影的颜色、梯度 像素亮度比背景暗。两像素点的色彩矢量夹角越 或纹理特性来进行阴影去除,由于其算法实现简单, 小,说明两像素色度差别就越小。像素矢量的长度 且效率较高,因此本文采用基于特征的方法来完成 越短,则说明该像素的亮度越暗。经典的RGB空间 阴影去除。 中的阴影消除方法的计算如式(1)。 2阴影特征提取 P人x,y)·p(x,y) 1p以x,)1x刘p.(,)|p(x,y)1-lp(x,y)1>0 投射阴影可以按其灰度分布特征和空间分布特征进 式中:P(x,y)为当前帧图像中坐标(x,y)处的色 行特征提取,阴影的灰度分布特征是基于对视频图 彩矢量,P(x,y)为背景图像色彩矢量,T。为素阈 像中各个区域的像素分布特性的假设,而阴影的空 值,T为亮度阈值。满足上述条件的像素点则可以 间分布特征则是基于投射阴影产生的空间特性。 认为是阴影点。由于含有大量的矢量计算,所以基 本部分操作分为:1)通过阈值分割法从差分图 于色彩空间的方法运算量非常大,算法实时性较差。 像中提取出包括车辆和阴影在内的前景区域;2)通 1.3纹理特征 过对4种模型的分析对提取的前景区域进行阴影特 基于纹理的阴影消去算法利用阴影区域纹理和 征的提取。在背景差分图像中,背景区域差分后的 背景区域的相关性,目标车辆的纹理和背景区域不相 像素值较小且分布比较集中,在图中呈现大片的黑 关,而且纹理特征受光照变化的影响。文献[6]利用 色区间,呈现单调递减的分布,而目标车辆区域和阴 基于比值判决的LBP纹理法来区分运动车辆和阴 影区域的差分区间则呈现近似正态分布。如图1。 影,提出了一种灰度域阴影消除方法,并通过启发式 准则进一步优化检测效果。文献[7]利用Canny边缘 背是 检测算子、边缘匹配和条件膨胀等多种技术,通过融 合多帧的信息,检测室内场景中物体的投射阴影。 阴影 1.4基于亮度的阴影特征 车辆1车2车辆3 之 对于视频中的一个像素点(x,y),光照模型如 0 255灰度值 式(2)所示: 图1背景差分图像各区域像素分布 S(x,y)=E(x,y)P(x,y) (2) Fig.1 The pixel distribution of the background differ- 式中:S(x,y)表示第k帧像素点(x,y)处的瞬时 ence image 亮度;E(x,y)表示像素点(x,y))处单位面积接收 根据图1中的分布特性,利用频数法获得最佳 的光强;P:(x,y)表示像素点(x,y)处物体表面的 阈值T,,采用阈值分割算法对差分图像进行二值化 反射率。在静止摄像头情况下,图像中同一位置路 处理,获取差分图像中前景区域,但是该前景区域不
征提取和去除问题,给出了阴影去除算法实现过程 和实验结果,并对结果进行了分析和评价。 1 常用的阴影去除方法 1.1 几何模型方法 这类算法思路是从空间角度建立阴影几何模 型,文献[3⁃4]利用车辆和其投射阴影的二维分布模 型来消除车辆阴影。 根据车辆和阴影的位置关系可 以确定多种阴影模型,通过匹配当前帧运动前景特 征,利用其模型特征进行阴影消除。 但是这类方法 需要较为准确的模型,不同的场景需要不同的模型, 所以只能在特定的场景中有效。 1.2 色彩空间阴影检测 基于色彩空间的投射阴影消除是目前最常用的 阴影去除方法,T.Horpraser 等[5] 利用阴影的 2 个特 性进行去除:1)阴影与背景在色度上相似;2) 阴影 像素亮度比背景暗。 两像素点的色彩矢量夹角越 小,说明两像素色度差别就越小。 像素矢量的长度 越短,则说明该像素的亮度越暗。 经典的 RGB 空间 中的阴影消除方法的计算如式(1)。 arccos pf(x,y)·pb(x,y) | pf(x,y) | ×| pb(x,y) | < Tθ Tc > | pb(x,y) | -| pf(x,y) | > 0 (1) 式中: pf(x,y) 为当前帧图像中坐标 (x,y) 处的色 彩矢量, pb(x,y) 为背景图像色彩矢量, Tθ 为素阈 值, Tc 为亮度阈值。 满足上述条件的像素点则可以 认为是阴影点。 由于含有大量的矢量计算,所以基 于色彩空间的方法运算量非常大,算法实时性较差。 1.3 纹理特征 基于纹理的阴影消去算法利用阴影区域纹理和 背景区域的相关性,目标车辆的纹理和背景区域不相 关,而且纹理特征受光照变化的影响。 文献[6]利用 基于比值判决的 LBP 纹理法来区分运动车辆和阴 影,提出了一种灰度域阴影消除方法,并通过启发式 准则进一步优化检测效果。 文献[7]利用 Canny 边缘 检测算子、边缘匹配和条件膨胀等多种技术,通过融 合多帧的信息,检测室内场景中物体的投射阴影。 1.4 基于亮度的阴影特征 对于视频中的一个像素点 (x,y) ,光照模型如 式(2)所示: Sk(x,y) = Ek(x,y)ρk(x,y) (2) 式中: Sk(x,y) 表示第 k 帧像素点 (x,y) 处的瞬时 亮度; Ek(x,y) 表示像素点 (x,y) 处单位面积接收 的光强; ρk(x,y) 表示像素点 (x,y) 处物体表面的 反射率。 在静止摄像头情况下,图像中同一位置路 面材质不变,即反射率 ρk(x,y) 不变,而车辆的遮挡 会使路面像素点接收的光照强度变弱。 设阴影像素 点的亮度为 Sf(x,y) ,背景像素点的亮度为 Sb(x, y) ,它们之间的比值为 Ck(x,y) ,则计算公式如式 (3)所示[8] : Ck(x,y) = Sb(x,y) Sf(x,y) = Eb(x,y) Ef(x,y) (3) 通常 Ck(x,y) 的取值范围为(1.2~1.5),利用背 景像素与阴影像素点的比例可以进行阴影的检测。 这些阴影去除方法按照检测所依据的信息可分 为两大类[1] :1)基于模型的方法;2)利用阴影特性 的方法。 基于阴影模型的方法[2] 依赖先验几何模 型,如目标的三维形状和光照模型等。 通过几何模 型,精确地计算出阴影的形状和位置,从而实现阴影 去除,但模型的建立十分复杂,因此实际中应用并不 广泛。 基于阴影特征的方法利用阴影的颜色、梯度 或纹理特性来进行阴影去除,由于其算法实现简单, 且效率较高,因此本文采用基于特征的方法来完成 阴影去除。 2 阴影特征提取 本文利用单边侧阴影特征分布进行阴影消除。 投射阴影可以按其灰度分布特征和空间分布特征进 行特征提取,阴影的灰度分布特征是基于对视频图 像中各个区域的像素分布特性的假设,而阴影的空 间分布特征则是基于投射阴影产生的空间特性。 本部分操作分为:1)通过阈值分割法从差分图 像中提取出包括车辆和阴影在内的前景区域;2)通 过对 4 种模型的分析对提取的前景区域进行阴影特 征的提取。 在背景差分图像中,背景区域差分后的 像素值较小且分布比较集中,在图中呈现大片的黑 色区间,呈现单调递减的分布,而目标车辆区域和阴 影区域的差分区间则呈现近似正态分布。 如图 1。 图 1 背景差分图像各区域像素分布 Fig.1 The pixel distribution of the background differ⁃ ence image 根据图 1 中的分布特性,利用频数法获得最佳 阈值 Tb ,采用阈值分割算法对差分图像进行二值化 处理,获取差分图像中前景区域,但是该前景区域不 ·282· 智 能 系 统 学 报 第 10 卷
第2期 丁爱玲,等:单边侧阴影特征的车辆阴影去除 283· 仅包含车辆,还有阴影部分,需要对它们进行处理。 根据光照模型(式(2)),由于接收的光照减小, 投射阴影由车身遮挡光照引起,它们总是分布在车 即E:(x,y)会变小,所以阴影点像素亮度会比原来 身的一侧或两侧,这就是阴影的空间分布特性。文 路面像素点暗,而且路面材质通常比较均匀,即 献[3]中给出了投射阴影模型,如图2所示。 P(x,y)分布范围较窄,阴影区域的灰度分布比较 平坦,从而决定了阴影的灰度分布特性。 利用上述特性,对二值图像中的前景区域进行 4个方向投影,获得4个方向的投影边界曲线,将该 投射边界曲线上的像素点映射到差分图像中,就可 (a)投射阴影模型 (b)投射阴影的分类 获得一组差分图像中像素点采样值,其中灰度均值 图2阴影模型 较低一条边界曲线所对应的方向,就是投射阴影产 Fig.2 Shadow model 生的方向,依此来求得阴影像素值的分布区间。算 图2中,H。为目标物体的高度,W,为阴影的宽 法如下: 度,L,为阴影的长度。根据目标在投射阴影在2-D 1)分别从4个方向对前景区域进行投影(从图 平面内的位置,将阴影模型划分成4种类型,如图2 像的4个边界,沿垂直或水平方向搜索第1个灰度 (b)所示。本文根据交通场景的实际情况,分别建 值不为0的像素点,所有点的集合就是该方向上的 立了4类车辆阴影模型,如图3所示。 投影边界),获得4个方向边界曲线分布。将这4个 方向的边界曲线映射到差分图像中,创建4个数组 U[256]、D[256]、L[256]和R[256]分别存储上 下、左、右4个方向的灰度分布,其中数组下标表示 灰度差值,范围从0~255,数组中元素的值表示该灰 (a)类型 b)类型2 度值的频数。图5为4个投影边界在差分图像中的 H 映射结果。 (c)类型3 (d)类型4 图3目标模型及其4个类投射阴影 Fig.3 Target model and four kinds of cast shadows (a)上边界曲线 (b)下边界曲线 图3中正方体H方向的粗边表示光源方向,灰 色椭圆区域表示目标车辆产生的投射阴影。对图3 中的目标车辆和其阴影在2-D平面内进行4个方向 的投影,以图3中类型1为例,四边界的投影边界 中,肯定有一条边界是阴影边界线,图4中右边界线 (©)左边界曲线 (d)右边界曲线 就是阴影边界线。 图54个方向投影边界 上边界投影曲线 Fig.5 Projection boundary in four directions 必 右 边 2)因为阴影区域的像素呈现正态分布,为此, 界 投 影 一 投影曲线 求得4个投影边界的灰度分布均值E、,见式(4): 线 stil Es= (4) 下边界投影曲线 W-S[0] 图4运动区域的单侧投射阴影 式中:S表示相应的4个投影边界数组,计算上边界 Fig.4 Unilateral cast shadows 时,S[]就是[门,以此类推,W表示边界宽度,本实
仅包含车辆,还有阴影部分,需要对它们进行处理。 投射阴影由车身遮挡光照引起,它们总是分布在车 身的一侧或两侧,这就是阴影的空间分布特性。 文 献[3]中给出了投射阴影模型,如图 2 所示。 图 2 阴影模型 Fig.2 Shadow model 图 2 中, Ho 为目标物体的高度, Ws 为阴影的宽 度, Ls 为阴影的长度。 根据目标在投射阴影在 2⁃D 平面内的位置,将阴影模型划分成 4 种类型,如图 2 (b)所示。 本文根据交通场景的实际情况,分别建 立了 4 类车辆阴影模型,如图 3 所示。 图 3 目标模型及其 4 个类投射阴影 Fig.3 Target model and four kinds of cast shadows 图 3 中正方体 H 方向的粗边表示光源方向,灰 色椭圆区域表示目标车辆产生的投射阴影。 对图 3 中的目标车辆和其阴影在 2⁃D 平面内进行 4 个方向 的投影,以图 3 中类型 1 为例,四边界的投影边界 中,肯定有一条边界是阴影边界线,图 4 中右边界线 就是阴影边界线。 图 4 运动区域的单侧投射阴影 Fig.4 Unilateral cast shadows 根据光照模型(式(2)),由于接收的光照减小, 即 Ek(x,y) 会变小,所以阴影点像素亮度会比原来 路面像素点暗, 而且路面材质通常比较均匀, 即 ρk(x,y) 分布范围较窄,阴影区域的灰度分布比较 平坦,从而决定了阴影的灰度分布特性。 利用上述特性,对二值图像中的前景区域进行 4 个方向投影,获得 4 个方向的投影边界曲线,将该 投射边界曲线上的像素点映射到差分图像中,就可 获得一组差分图像中像素点采样值,其中灰度均值 较低一条边界曲线所对应的方向,就是投射阴影产 生的方向,依此来求得阴影像素值的分布区间。 算 法如下: 1) 分别从 4 个方向对前景区域进行投影(从图 像的 4 个边界,沿垂直或水平方向搜索第 1 个灰度 值不为 0 的像素点,所有点的集合就是该方向上的 投影边界),获得 4 个方向边界曲线分布。 将这 4 个 方向的边界曲线映射到差分图像中,创建 4 个数组 U [256]、 D [256]、 L [256]和 R [256]分别存储上、 下、左、右 4 个方向的灰度分布,其中数组下标表示 灰度差值,范围从 0~255,数组中元素的值表示该灰 度值的频数。 图 5 为 4 个投影边界在差分图像中的 映射结果。 图 5 4 个方向投影边界 Fig.5 Projection boundary in four directions 2) 因为阴影区域的像素呈现正态分布,为此, 求得 4 个投影边界的灰度分布均值 ES , 见式(4): Es = ∑ 255 i = 1 S[i]∗i W - S[0] (4) 式中: S 表示相应的 4 个投影边界数组,计算上边界 时,S[i] 就是 U[i],以此类推,W 表示边界宽度,本实 第 2 期 丁爱玲,等: 单边侧阴影特征的车辆阴影去除 ·283·
·284· 智能系统学报 第10卷 验中,计算上下边界时,W=360,计算左右边界时, 阈值,或者落在阴影分布区间(E,-√D、,Es+ W=288,S[0]表示该计算方向上像素为0的像素点 √D、)内,即为车辆阴影,将它们作为背景点处理, 的个数总和。根据式(4),计算图2中四边界像素点 就可以实现阴影的去除。差分图像的阴影去除结果 的分布特征,获得其4个投影边界像素分布的均值, 如图6所示。 分别为E,=65、E。=71、E,=56、ER=76,从中可以 看出,左投影边界E,灰度均值最小,即认为是阴影产 生的方向,则阴影分布均值Es=E,=56。 3)利用上一步得出的分布均值E、,计算其投 影边界灰度分布的标准差√Ds,计算如式(5): (a)区域差分 (b)阴影消除结果 ∑S[]*(i-E,)2 √Ds= W-S[0] (5) 根据正态分布特性,绝大部分的阴影像素点分 布在区间(Es-√D、,E、+√D)内。该帧图像的 特征提取结果为:E、=56,√D、=17,则阴影像素点 (c)区域差分 )阴影消除结果 分布在(39,73)内。 图6投射阴影的去除 Fig.6 Remove the cast shadow 3阴影去除算法 4实验结果分析 阴影特征提取算法通过分析差分图像的单边侧 灰度分布,获得视频图像中阴影区域的像素分布情 本文实验采用的是西安市南二环中段所拍摄的 况。为了去除阴影,对图像分割进行修改,此时可分 交通视频,总帧数为5123,单帧图像分辨率为288× 为2类情况:当前帧像素点灰度大于等于背景图像 360。本文所有的算法程序均在VC++6.0开发平台 的像素点时,则该像素为浅色车辆或者背景,不需要 下实现。实验环境为ntel(R)Core(TM)2Quad 消除阴影,只进行正常的最佳阈值分割:当前帧像素 CPUQ83002.5GHz,内存2.5G。实验中,首先,获 点灰度小于背景图像的像素点时,则有可能是深色 得交通视频的帧图7(a),然后,通过区域背景差分 车辆或者阴影,需要对其分别进行处理,在此引入阴 法,最佳阈值分割,得到图7(b),最后,采用本文方 影像素分布区间的分割方法。计算如式(6): 法,由式(4)求得阴影像素分布均值为E,=E,= D.(x,y)= 56,由式(5)求得阴影像素分布区间为(39,73),利 1,其他 用该阴影分布,对图像进行阴影去除,结果如图7 0,D(x,y)≤TIID(x,y)∈S (c)所示。 ifP(x,y)-P4(x,y)T ifP(x,y)-Pat(x,y)≥0 色群 0,D(x,y)≤T (6) (a)原始帧图像(b)区域背景差分 (c)阴影消除后 D(x,y)=I P(x,y)-Phck(x,y)I 的效果 式中:D.(x,y)表示在(x,y)处的最终像素值取值 图7基于单边侧阴影特征的阴影去除 结果,P(x,y)为第k帧图像中坐标(x,y)的像素 Fig.7 Shadow removal based on the characteristics of 值,P(x,y)为已提取出的背景图像中坐标(x, unilateral side shadow y)的像素值,D(x,y)为第k帧图像的当前帧中坐 从检测结果可以看出,本文算法能够有效地去 标(x,y)点和背景图像的差值绝对值,T是前景分 除掉车辆投影阴影区域,并且保留了视频中运动车 割的最佳阈值,S为阴影的分布范围,即(E、- 辆的准确形态。在实现阴影消除时,单帧图像的阴 √Ds,Es+√Ds)。 影分布特征提取算法耗时仅为0.001878s,完全满 由此可知,当前帧图像与背景图像的差值小于 足检测系统的实时性要求。 0时,若像素点与背景图像的差值绝对值小于最佳 为了评价阴影消除的算法性能,引入2个评价
验中,计算上下边界时,W = 360,计算左右边界时, W = 288,S [0]表示该计算方向上像素为 0 的像素点 的个数总和。 根据式(4),计算图 2 中四边界像素点 的分布特征,获得其 4 个投影边界像素分布的均值, 分别为 EU = 65、 ED = 71、 EL = 56、 ER = 76,从中可以 看出,左投影边界 EL 灰度均值最小,即认为是阴影产 生的方向,则阴影分布均值 ES = EL = 56。 3) 利用上一步得出的分布均值 ES ,计算其投 影边界灰度分布的标准差 Ds ,计算如式(5): DS = ∑ 255 i = 1 S[i]∗ (i - Es) 2 W - S[0] (5) 根据正态分布特性,绝大部分的阴影像素点分 布在区间( ES - DS , ES + DS )内。 该帧图像的 特征提取结果为: ES = 56, DS = 17,则阴影像素点 分布在(39,73)内。 3 阴影去除算法 阴影特征提取算法通过分析差分图像的单边侧 灰度分布,获得视频图像中阴影区域的像素分布情 况。 为了去除阴影,对图像分割进行修改,此时可分 为 2 类情况:当前帧像素点灰度大于等于背景图像 的像素点时,则该像素为浅色车辆或者背景,不需要 消除阴影,只进行正常的最佳阈值分割;当前帧像素 点灰度小于背景图像的像素点时,则有可能是深色 车辆或者阴影,需要对其分别进行处理,在此引入阴 影像素分布区间的分割方法。 计算如式(6): De(x,y) = 1,其他 {0,Dk(x,y) ≤ T | | Dk(x,y) ∈ S if Pk(x,y) - Pback(x,y) < 0 1,Dk(x,y) > T 0,Dk(x,y) ≤ T { if Pk(x,y) - Pback(x,y) ≥ 0 ì î í ï ï ïï ï ï ïï (6) Dk(x,y) =| Pk(x,y) - Pback(x,y) | 式中: De(x,y) 表示在 (x,y) 处的最终像素值取值 结果, Pk(x,y) 为第 k 帧图像中坐标 (x,y) 的像素 值, Pback(x,y) 为已提取出的背景图像中坐标 (x, y) 的像素值, Dk(x,y) 为第 k 帧图像的当前帧中坐 标 (x,y) 点和背景图像的差值绝对值, T 是前景分 割的 最 佳 阈 值,S 为 阴 影 的 分 布 范 围, 即 ( ES - DS , ES + DS )。 由此可知,当前帧图像与背景图像的差值小于 0 时,若像素点与背景图像的差值绝对值小于最佳 阈值,或者落在阴影分布区间( ES - DS , ES + DS )内,即为车辆阴影,将它们作为背景点处理, 就可以实现阴影的去除。 差分图像的阴影去除结果 如图 6 所示。 图 6 投射阴影的去除 Fig.6 Remove the cast shadow 4 实验结果分析 本文实验采用的是西安市南二环中段所拍摄的 交通视频,总帧数为 5 123,单帧图像分辨率为 288× 360。 本文所有的算法程序均在 VC++6.0 开发平台 下实现。 实验环境为 Intel (R) Core ( TM) 2 Quad CPU Q8300 2.5 GHz,内存 2.5 G。 实验中,首先,获 得交通视频的帧图 7(a),然后,通过区域背景差分 法,最佳阈值分割,得到图 7( b),最后,采用本文方 法,由式(4) 求得阴影像素分布均值为 ES = EL = 56,由式(5)求得阴影像素分布区间为(39,73),利 用该阴影分布,对图像进行阴影去除,结果如图 7 (c)所示。 图 7 基于单边侧阴影特征的阴影去除 Fig.7 Shadow removal based on the characteristics of unilateral side shadow 从检测结果可以看出,本文算法能够有效地去 除掉车辆投影阴影区域,并且保留了视频中运动车 辆的准确形态。 在实现阴影消除时,单帧图像的阴 影分布特征提取算法耗时仅为 0.001 878 s,完全满 足检测系统的实时性要求。 为了评价阴影消除的算法性能,引入 2 个评价 ·284· 智 能 系 统 学 报 第 10 卷
第2期 丁爱玲,等:单边侧阴影特征的车辆阴影去除 .285. 指数:阴影消除率和错误消除率,它们的计算公式如 [3]祖仲林,李勃,陈启美.基于局部纹理特性的运动车辆阴 式(7)和(8)所示: 影消除[J].计算机工程,2009,35(16):167-169 ZU Zhonglin,LI Bo,CHEN Qimei.Shadow elimination for 阴影消除率= 消除的阴影点数 (7) 全部阴影点数 moving vehicle based on local texture characteristic [J]. 错误消除率= 错误消除的点数 Computer Engineering,2009,35(16):167-169. (8) 全部,点数 [4]YONEYAMA A,YEH C H,KUO C C J.Moving cast shad- 检测结果如表1所示,结果表明阴影消除率平 ow elimination for robust vehicle extraction based on 2D 均能达到93.0%,最佳能达到98.9%,阴影去除效果 joint vehicle shadow models C]//Proceedings of IEEE Conference on Advanced Video and Signal Based Surveil- 良好。 lance.Los Angeles,USA,2003:229-236. 表1阴影检测算法准确率 [5]HORPRASERT T,HARWOOD D,DAVIS L S.A statistical Table 1 The comparison of training between QINN and BPNN approach for real-time robust background subtraction and 检测车辆 阴影消除率/% 错误消除率/% shadow detection EB/OL].[2013-09-24 ]http://wenku. 最好 98.9 10.9 baidu.com/view/d26c9ff04693daef5ef73dcc.html. 最差 80.5 24.6 [6]HSIEH J,HU Wenfong,CHANG Chiajung,et al.Shadow 中间值 93.0 18.9 elimination for effective moving object detection by Gaussian shadow modeling[J].Image and Vision Computing,2003, 5 结束语 21(2):505-516. 7XU Dong,LI Xuelong,LIU Zhengkai,et al.Cast shadow 本文研究了固定摄像头场景下灰度图像的阴影 detection in video segmentation[]].Pattern Recognition 消除方法,通过区域背景差分和最佳阈值分割对图 Letters,2005,26(1):91-99. 像进行二值化处理,但是此时二值图像的前景区域 [8]杜丽丽智能交通系统中视频车辆检测技术的研究[D] 除了车辆,还包括阴影:为了去除阴影,根据阴影的 青岛:中国海洋大学,2009:39-40. 空间和灰度2种分布特性来确定阴影像素的分布范 DU Lili.Research on video-based vehicle detection in ITS 围。首先利用阴影的分布特性,计算二值图像中阴 [D].Qingdao:Ocean University of China,2009:39-40. 影像素的投影边界,再将其映射到差分图像中,计算 作者简介: 出阴影像素值的分布区间,最后采用阴影灰度分布 丁爱玲,女,年生,教授,博土,主 特征对差分图像进行无阴影图像二值化处理,从而 要研究方向为小波分析、数字图像处 实现阴影去除。实验证明,此方法可有效地去除视 理、智能信号与信息处理、交通信息技 术及TS等。近年来主持并参加了10 频中车辆的阴影区域。本文方法,较几何模型方法 余项科研的研究工作,发表学术论文20 对模型的要求更低,较色彩空间阴影检测方法计算 余篇,其中被SCI收录1篇,EI收录12 量更小,实时性更好。同时,本文方法也存在一定不 篇,ISTP收录3篇。 足,在车身与路面像素分布非常接近的情况,阴影去 除时也会消除部分车身像素,因此还需要做进一步 杨康,男,1987年生,硕土研究生, 的研究。 主要研究方向为交通信息技术及TS。 参考文献: [1]杨丹,余孟泽.车辆视频检测及阴影去除[J]计算机工程 与设计,2011,32(6):2072-2074,2079. 齐怀超.男,1986年生,硕士研究 YANG Dan,YU Mengze.Vehicle detection and shadow re- 生,主要研究方向为交通信息技术及 moval in video [J].Computer Engineering and Design, Ts。 2011,32(6):2072-2074,2079. [2]LEVINE M D BHATTACHARYYA J.Removing shadows [J].Pattern Recognition Letters,2005,26(2):251-265
指数:阴影消除率和错误消除率,它们的计算公式如 式(7)和(8)所示: 阴影消除率 = 消除的阴影点数 全部阴影点数 (7) 错误消除率 = 错误消除的点数 全部点数 (8) 检测结果如表 1 所示,结果表明阴影消除率平 均能达到 93.0%,最佳能达到 98.9%,阴影去除效果 良好。 表 1 阴影检测算法准确率 Table 1 The comparison of training between QINN and BPNN 检测车辆 阴影消除率/ % 错误消除率/ % 最好 98.9 10.9 最差 80.5 24.6 中间值 93.0 18.9 5 结束语 本文研究了固定摄像头场景下灰度图像的阴影 消除方法,通过区域背景差分和最佳阈值分割对图 像进行二值化处理,但是此时二值图像的前景区域 除了车辆,还包括阴影;为了去除阴影,根据阴影的 空间和灰度 2 种分布特性来确定阴影像素的分布范 围。 首先利用阴影的分布特性,计算二值图像中阴 影像素的投影边界,再将其映射到差分图像中,计算 出阴影像素值的分布区间,最后采用阴影灰度分布 特征对差分图像进行无阴影图像二值化处理,从而 实现阴影去除。 实验证明,此方法可有效地去除视 频中车辆的阴影区域。 本文方法,较几何模型方法 对模型的要求更低,较色彩空间阴影检测方法计算 量更小,实时性更好。 同时,本文方法也存在一定不 足,在车身与路面像素分布非常接近的情况,阴影去 除时也会消除部分车身像素,因此还需要做进一步 的研究。 参考文献: [1]杨丹,余孟泽.车辆视频检测及阴影去除[ J].计算机工程 与设计, 2011, 32(6): 2072⁃2074, 2079. YANG Dan, YU Mengze. Vehicle detection and shadow re⁃ moval in video [ J ]. Computer Engineering and Design, 2011, 32(6): 2072⁃2074, 2079. [2] LEVINE M D , BHATTACHARYYA J.Removing shadows [J]. Pattern Recognition Letters, 2005, 26(2):251⁃265. [3]祖仲林,李勃,陈启美.基于局部纹理特性的运动车辆阴 影消除[J].计算机工程, 2009, 35(16): 167⁃169. ZU Zhonglin, LI Bo, CHEN Qimei. Shadow elimination for moving vehicle based on local texture characteristic [ J ]. Computer Engineering, 2009, 35(16): 167⁃169. [4]YONEYAMA A, YEH C H, KUO C C J. Moving cast shad⁃ ow elimination for robust vehicle extraction based on 2D joint vehicle shadow models [ C ] / / Proceedings of IEEE Conference on Advanced Video and Signal Based Surveil⁃ lance. Los Angeles, USA, 2003: 229⁃236. [5]HORPRASERT T, HARWOOD D, DAVIS L S. A statistical approach for real⁃time robust background subtraction and shadow detection [ EB/ OL]. [ 2013⁃09⁃24]. http: / / wenku. baidu.com/ view/ d26c9ff04693daef5ef73dcc.html. [6]HSIEH J, HU Wenfong, CHANG Chiajung, et al. Shadow elimination for effective moving object detection by Gaussian shadow modeling[ J]. Image and Vision Computing, 2003, 21(2): 505⁃516. [7] XU Dong, LI Xuelong, LIU Zhengkai, et al. Cast shadow detection in video segmentation [ J ]. Pattern Recognition Letters, 2005, 26(1): 91⁃99. [8]杜丽丽.智能交通系统中视频车辆检测技术的研究[D]. 青岛: 中国海洋大学, 2009: 39⁃40. DU Lili. Research on video⁃based vehicle detection in ITS [D]. Qingdao: Ocean University of China, 2009: 39⁃40. 作者简介: 丁爱玲,女, 年生,教授,博士,主 要研究方向为小波分析、数字图像处 理、智能信号与信息处理、交通信息技 术及 ITS 等。 近年来主持并参加了 10 余项科研的研究工作,发表学术论文 20 余篇,其中被 SCI 收录 1 篇,EI 收录 12 篇,ISTP 收录 3 篇。 杨康,男,1987 年生,硕士研究生, 主要研究方向为交通信息技术及 ITS。 齐怀超,男, 1986 年生,硕士研究 生,主要研究方向为交通信息技术及 ITS。 第 2 期 丁爱玲,等: 单边侧阴影特征的车辆阴影去除 ·285·