第6卷第4期 智能系统学报 Vol.6 No.4 2011年8月 CAAI Transactions on Intelligent Systems Aug.2011 doi:10.3969/i.issm.16734785.2011.04.013 统计差分与自启动的Camshift跟踪算法 刘侠，陶治，邢春 (哈尔滨理工大学自动化学院，黑龙江哈尔滨150080) 摘要：传统的CamShift算法具有很好的实时性，但无法实现自启动，且在跟踪过程中易受噪声和颜色变化的干扰， 针对这些缺点，提出了一种改进的Camshift算法.首先运用统计差分算法对移动目标快速定位，得到初始前景对象的 区域，然后通过统计前景区域获取精确的目标颜色直方图模型并以此区域为原型计算肤色直方图的查询表.同时结 合一些后续步骤成功实现了算法的自启动.最后用实验验证了借助统计差分与目标颜色直方图模型的CamShift算 法能够实现自启动并提高Camshift算法跟踪时的准确度， 关键词：CamShift算法：背景统计：目标跟踪：目标掩膜 中图分类号：TP391文献标识码：A文章编号：16734785(2011)04035505 An objective tracking Camshift algorithm based on automatic startup and the statistical differential method LIU Xia,TAO Ye,XING Chun (School of Automation,Harbin University of Science and Technology,Harbin 150080,China) Abstract:The camshift tracking algorithm has the advantage of better real-time characteristics,but it is not able to start up automatically and is susceptible to noise and color change in the tracking process.In order to solve these problems,an improved Camshift algorithm was proposed.First,a statistical difference algorithm was applied for rapid localization of mobile targets,and the initial foreground object's region was obtained.Then,an accurate target color histogram model was obtained by gathering foreground area statistics.The query table of the skin color histo- gram was also calculated taking this area as a prototype.Meanwhile,an auto-start algorithm was successfully a- chieved with several subsequent steps.Finally,the algorithm was validated through experiments. Keywords:CamShift algorithm;background statistics;object tracking;object masking 对视频序列中感兴趣的目标进行有效地跟踪定 国内的运动目标跟踪的研究起步较晚.清华大 位，并进一步对运动目标进行分析，可以应用于安全 学图形图像研究所研制的视觉侦查系统，可在野外 监控、虚拟现实、人机交互等许多领域，具有较高的 环境中使用，系统实现了运动目标检测、跟踪和全景 学术价值和理论意义，是目前计算机视觉中最重要 图生成等功能.东南大学多媒体技术工程研究中心 最活跃的课题之一. 申请了“四画面图像采集智能监控方法”发明专利， 国外的目标跟踪的研究起步比较早.美国的国 目前主要研究人脸的自动识别」 防高级研究项目署设立了以卡内基·梅隆大学为 现有的运动物体跟踪与识别算法有以下几种： 主，麻省理工学院等高校参加的视频监控重大项目 基于轮廓检测、基于灰度分布、基于块特征及基于色 VSAM,研究和发展自动视频理解技术，可以方便地 彩信息等.近年来，基于CamShift(continuously adap- 监测复杂的背景.美国的马里兰大学与BM公司一 tive meanshift)的跟踪算法凭借其在实时性和鲁棒 起研制的视频监控系统是基于背景模型的动态目标 性方面良好的表现，正受到越来越多的关注.Cam- 检测算法.该系统能对人的外表进行模型建造，从而 Shif算法是Bradski在MeanShift算法的基础上于 在户外完成对人的检测和跟踪山」 1998年提出的P.该算法是一种非参数方法，它是 通过聚类的方式搜寻运动目标，利用区域内的颜色 收稿日期：20100718. 基金项目：黑龙江省自然科学基金资助项目(F200743) 信息对目标进行跟踪，可以有效地解决目标变形和 遮挡的问题，并且运算效率较高.将CamShift跟 通信作者：陶治.E-mail:taoye8882@163.com 踪算法与背景统计帧差等多种算法相结合，在确保
第 6 卷第 4 期 智 能 系 统 学 报 Vol． 6 №． 4 2011 年 8 月 CAAI Transactions on Intelligent Systems Aug． 2011 doi: 10． 3969 /j． issn． 1673-4785． 2011． 04． 013 统计差分与自启动的 Camshift 跟踪算法 刘侠，陶冶，邢春 ( 哈尔滨理工大学 自动化学院，黑龙江 哈尔滨 150080) 摘 要: 传统的 CamShift 算法具有很好的实时性，但无法实现自启动，且在跟踪过程中易受噪声和颜色变化的干扰， 针对这些缺点，提出了一种改进的 Camshift 算法． 首先运用统计差分算法对移动目标快速定位，得到初始前景对象的 区域，然后通过统计前景区域获取精确的目标颜色直方图模型并以此区域为原型计算肤色直方图的查询表． 同时结 合一些后续步骤成功实现了算法的自启动． 最后用实验验证了借助统计差分与目标颜色直方图模型的 CamShift 算 法能够实现自启动并提高 Camshift 算法跟踪时的准确度． 关键词: CamShift 算法; 背景统计; 目标跟踪; 目标掩膜 中图分类号: TP391 文献标识码: A 文章编号: 1673-4785( 2011) 04-0355-05 An objective tracking Camshift algorithm based on automatic startup and the statistical differential method LIU Xia，TAO Ye，XING Chun ( School of Automation，Harbin University of Science and Technology，Harbin 150080，China) Abstract: The camshift tracking algorithm has the advantage of better real-time characteristics，but it is not able to start up automatically and is susceptible to noise and color change in the tracking process． In order to solve these problems，an improved Camshift algorithm was proposed． First，a statistical difference algorithm was applied for rapid localization of mobile targets，and the initial foreground object＇s region was obtained． Then，an accurate target color histogram model was obtained by gathering foreground area statistics． The query table of the skin color histogram was also calculated taking this area as a prototype． Meanwhile，an auto-start algorithm was successfully achieved with several subsequent steps． Finally，the algorithm was validated through experiments． Keywords: CamShift algorithm; background statistics; object tracking; object masking 收稿日期: 2010-07-18． 基金项目: 黑龙江省自然科学基金资助项目( F2007-13) 对视频序列中感兴趣的目标进行有效地跟踪定 位，并进一步对运动目标进行分析，可以应用于安全 监控、虚拟现实、人机交互等许多领域，具有较高的 学术价值和理论意义，是目前计算机视觉中最重要 最活跃的课题之一 通信作者: 陶冶． E-mail: taoye8882@ 163． com． ． 国外的目标跟踪的研究起步比较早． 美国的国 防高级研究项目署设立了以卡内基·梅隆大学为 主，麻省理工学院等高校参加的视频监控重大项目 VSAM，研究和发展自动视频理解技术，可以方便地 监测复杂的背景． 美国的马里兰大学与 IBM 公司一 起研制的视频监控系统是基于背景模型的动态目标 检测算法． 该系统能对人的外表进行模型建造，从而 在户外完成对人的检测和跟踪［1］． 国内的运动目标跟踪的研究起步较晚． 清华大 学图形图像研究所研制的视觉侦查系统，可在野外 环境中使用，系统实现了运动目标检测、跟踪和全景 图生成等功能． 东南大学多媒体技术工程研究中心 申请了“四画面图像采集智能监控方法”发明专利， 目前主要研究人脸的自动识别［1］． 现有的运动物体跟踪与识别算法有以下几种: 基于轮廓检测、基于灰度分布、基于块特征及基于色 彩信息等． 近年来，基于 CamShift( continuously adaptive meanshift) 的跟踪算法凭借其在实时性和鲁棒 性方面良好的表现，正受到越来越多的关注． CamShift 算法是 Bradski 在 MeanShift 算法的基础上于 1998 年提出的［2-4］． 该算法是一种非参数方法，它是 通过聚类的方式搜寻运动目标，利用区域内的颜色 信息对目标进行跟踪，可以有效地解决目标变形和 遮挡的问题，并且运算效率较高［5］． 将 CamShift 跟 踪算法与背景统计帧差等多种算法相结合，在确保
·356· 智能系统学报 第6卷 匹配速率的前提下，充分提高目标跟踪的准确性，并 乙如=∑∑1(x,, 用实验进行了验证 Zm=∑∑y1(xy）, 1 CamShift跟踪算法 Z=∑∑xyx,. 1.1颜色概率分布 RGB颜色空间对光照亮度变化比较敏感，为了 令 减少此变化对跟踪效果的影响，CamShift算法首先 a -xy）,c= 将图像从RGB颜色空间转换到HSV颜色空间. 目标长轴的方向角为 HSV颜色空间把颜色表示成色度H、饱和度S、亮度 V3个分量，由于它们相互独立，能够提高算法的 0=a(小 稳定性.再选择HSV颜色空间H分量建立目标直方 图像中目标长轴和短轴的长度可以按式(1)、 图，设{x:}=1,2,…,n为目标图像的像素坐标，目 (2)计算： 标直方图表示为网 I= /(a+c)+√B+(a-c) (1) 9a=∑8c(x)-u],u=1,2,…,m. 2 将原始图像的像素用直方图中相应像素的统计 10= a+c)+6+(a-c)7 (2) 量所代替，然后将得到的结果重新量化，就得到颜色 2 概率分布图 2 改进方法 1.2 CamShift算法 CamShift算法利用目标的颜色特征在视频图像 传统的CamShift算法在目标跟踪中有几大优 势：首先是算法计算量不大，在目标区域己知的情况 中找到运动目标所在的位置和大小，在下一帧视频 图像中，用运动目标当前的位置和大小初始化搜寻 下完全可以做到实时跟踪；其次，作为一个无参数密 窗口，重复这个过程就可以实现对目标的连续跟 度估计算法，很容易作为一个模块与其他算法集成； 踪因.对离散概率分布，其算法实现过程如下口。 另外，采用直方图建模，对边缘遮挡、目标旋转、变形 1)在颜色概率分布图中手动选取大小为S的 和背景运动不敏感网 但随之产生了一些缺点，如：无法自启动程序， 搜索窗W. 需要手确定目标区域和跟踪：对场景中颜色变化敏 2)计算零阶矩： 感和对颜色噪声干扰不能很好地免疫.对此提出了 Zm=∑∑1(x,y. 一条由粗到精的目标颜色特征提取办法：首先通过 计算x和y的一阶矩： 差分累计图像背景得到目标的大致位置区域和初始 Z。=∑∑x(x,y, 掩膜，随后再累计这些初始掩膜，得到完整而可靠的 目标颜色特征描述.并结合后序处理使程序自动启 Z1=∑∑x,W. 动，无需人工干预.这大大提高了CamShif近算法的 式中：I(x,y)是坐标为(x,y)的像素值，x和y的变 精度、稳健度和实用性回」 化范围为搜索窗的范围. 2.1累积背景图像差分并二值化掩膜 3)计算搜索窗的质心为(x,y): 由于系统在室外日光下拍摄，图像带有大量随 x。=Z1o/Zmye=Zo1/Zm 机噪声，为了提高信噪比，利用目标出现前的多帧图 4)调整窗口的中心到质心位置. 像构造均值背景.目标的特征掩膜提取分为4 步00 5)在新的窗口中重复2)~4)直到收敛（质心 变化小于给定的阈值). 1)图像在采集过程中会带入大量随机噪声，假 零阶矩反映了目标在图像中的面积，颜色概率 定这些噪声是非相关的，那么就可以利用多帧图像 构造均值背景，通过相同条件下拍摄的多帧图像取 分布图是最大值为255的离散的灰度图像，由此，设 平均而降低和消除噪声，该方法有效提高了图像信 置搜索窗的大小S和Z的关系为 噪比，并从累积的帧差信息中构建出完整、可靠的背 S=2√Z0/256. 景区域，所用公式如式(3)： 考虑对称性，S取接近计算结果的奇数： N- 通过计算二阶矩，可得到被跟踪目标的长轴、短 Back(x,y）= ∑fx) N (3) 轴和方向角.二阶矩为 2)通过将当前图像帧和累积均值背景模型进
匹配速率的前提下，充分提高目标跟踪的准确性，并 用实验进行了验证． 1 CamShift 跟踪算法 1． 1 颜色概率分布 RGB 颜色空间对光照亮度变化比较敏感，为了 减少此变化对跟踪效果的影响，CamShift 算法首先 将图像从 RGB 颜色空间转 换 到 HSV 颜 色 空 间． HSV 颜色空间把颜色表示成色度 H、饱和度 S、亮度 V 3 个分量，由于它们相互独立，能够提高算法的 稳定性． 再选择 HSV 颜色空间 H 分量建立目标直方 图，设{ xi} = 1，2，…，n 为目标图像的像素坐标，目 标直方图表示为［4］ qu = ∑ n i = 1 δ［c( xi ) － u］，u = 1，2，…，m． 将原始图像的像素用直方图中相应像素的统计 量所代替，然后将得到的结果重新量化，就得到颜色 概率分布图． 1． 2 CamShift 算法 CamShift 算法利用目标的颜色特征在视频图像 中找到运动目标所在的位置和大小，在下一帧视频 图像中，用运动目标当前的位置和大小初始化搜寻 窗口，重复这个过程就可以实现对目标的连续跟 踪［6］． 对离散概率分布，其算法实现过程如下［7］． 1) 在颜色概率分布图中手动选取大小为 S 的 搜索窗 W． 2) 计算零阶矩: Z00 = ∑x ∑y I( x，y) ． 计算 x 和 y 的一阶矩: Z10 = ∑x ∑y xI( x，y) ， Z01 = ∑x ∑y yI( x，y) ． 式中: I( x，y) 是坐标为( x，y) 的像素值，x 和 y 的变 化范围为搜索窗的范围． 3) 计算搜索窗的质心为( xc，yc) : xc = Z10 /Z00，yc = Z01 /Z00 ． 4) 调整窗口的中心到质心位置． 5) 在新的窗口中重复 2) ～ 4) 直到收敛( 质心 变化小于给定的阈值) ． 零阶矩反映了目标在图像中的面积，颜色概率 分布图是最大值为 255 的离散的灰度图像，由此，设 置搜索窗的大小 S 和 Z00的关系为 S = 2 Z00 槡 /256． 考虑对称性，S 取接近计算结果的奇数． 通过计算二阶矩，可得到被跟踪目标的长轴、短 轴和方向角． 二阶矩为 Z20 = ∑x ∑y x 2 I( x，y) ， Z02 = ∑x ∑y y 2 I( x，y) ， Z11 = ∑x ∑y xyI( x，y) ． 令 a = Z20 Z00 － x 2 c，b = 2( Z11 Z00 － xcyc) ，c = Z02 Z00 － y 2 c ． 目标长轴的方向角为 θ = 1 2 tan2 b ( ) a － c ． 图像中目标长轴和短轴的长度可以按式( 1) 、 ( 2) 计算: l = ( a + c) + b 2 槡 + ( a － c) 2 槡 2 ， ( 1) w = ( a + c) + b 2 槡 + ( a － c) 2 槡 2 ． ( 2) 2 改进方法 传统的 CamShift 算法在目标跟踪中有几大优 势: 首先是算法计算量不大，在目标区域已知的情况 下完全可以做到实时跟踪; 其次，作为一个无参数密 度估计算法，很容易作为一个模块与其他算法集成; 另外，采用直方图建模，对边缘遮挡、目标旋转、变形 和背景运动不敏感［8］． 但随之产生了一些缺点，如: 无法自启动程序， 需要手确定目标区域和跟踪; 对场景中颜色变化敏 感和对颜色噪声干扰不能很好地免疫． 对此提出了 一条由粗到精的目标颜色特征提取办法: 首先通过 差分累计图像背景得到目标的大致位置区域和初始 掩膜，随后再累计这些初始掩膜，得到完整而可靠的 目标颜色特征描述． 并结合后序处理使程序自动启 动，无需人工干预． 这大大提高了 CamShift 算法的 精度、稳健度和实用性［9］． 2． 1 累积背景图像差分并二值化掩膜 由于系统在室外日光下拍摄，图像带有大量随 机噪声，为了提高信噪比，利用目标出现前的多帧图 像构 造 均 值 背 景． 目标的特征掩膜提取分为 4 步［10］． 1) 图像在采集过程中会带入大量随机噪声，假 定这些噪声是非相关的，那么就可以利用多帧图像 构造均值背景，通过相同条件下拍摄的多帧图像取 平均而降低和消除噪声，该方法有效提高了图像信 噪比，并从累积的帧差信息中构建出完整、可靠的背 景区域，所用公式如式( 3) : Back( x，y) = 1 N∑ N－1 i = 0 fi ( x，y) ． ( 3) 2) 通过将当前图像帧和累积均值背景模型进 ·356· 智 能 系 统 学 报 第 6 卷
第4期 刘侠，等：统计差分与自启动的Camshift跟踪算法 ·357· 行比较，确定出亮度变化较大的区域，即认为是前景 全面而准确，这对CamShift目标跟踪算法的精度和 区域，这样就得到了目标的大致位置区域.在此步 稳健度至关重要.而此前所得到的初始掩膜虽 中，还进行了高斯滤波去噪 然可以比较精确地确定目标的颜色特征，但此时的 G={g:(x,y),x∈N,y∈M,i=0,1,2,…}, 特征只对当前帧具有代表性，而并不能准确地得到 g:(x,y）=|f(x,y）-Back(x,y)1. 和描述每一帧目标的特征和变化.对此，亦采用累积 3)得到差分图像之后，通过类间最大方差阈值 前m帧非零量统计方法进行多帧像素值累积，从而 法自适应求出一个分割阈值T进行二值化，分割 达到较全面描述目标颜色特征的目的.对初始掩膜 出前景区域，并对二值化的图像进行形态学腐蚀、膨 序列进行m帧累积，得到平滑后的累积颜色特征为 胀处理.分割后图像： b(x,y）=,h(x,y)≥T h=12J,(x)1x)≠0 m i=0 l0,h(x,y)≥T 用此累积后的颜色特征h来描述颜色直方图查 经过前3步的处理，大大抑制了非目标特征噪 询表，可以降低单帧目标掩膜中噪点和背景颜色对 声点的产生，显著降低了后续处理的复杂度，从而减 目标的干扰，大大提高了颜色直方图查询表的精度. 少了噪声的干扰，增强了准确性.至此，得到了非常 从而获得较好的跟踪特性和抗干扰性， 精确的二值化掩膜. 2.3自启动跟踪 4)将前面得到的二值化掩膜与相应帧图像相 通过前面的步骤，已经得到精确的颜色直方图 应位置的像素值进行“与”操作后，即可得到初始目 查询表，接下来所要做的就是确定目标的中心点和 标掩膜， 跟踪框的大小，这样就可以顺利启动CamShift算法 J(x,y）=f(x,y）·b(x,y). 了.在第m-1帧中，己经得到二值化后的图像.再 得到的部分重要结果如图1、2所示. 在这个图像中计算CamShift初始化搜索窗的中心 和大小，对其进行如下处理.首先对第m-1帧二值 化图像进行Canny边缘检测（结果如图4所示），设 J为运动边缘点的集合，中心为σ(0。，w,),则 图1差分后前景图像 Fig.1 Foreground image differentiated 图3形态学处理后前景图像 Fig.3 Foreground image after morphological disposal ∑∑xB(x,) 10u= ∑∑B(x,y) ∑∑B(x》 10。= ∑∑B(x,) 图2高斯滤波后前景图像 B(x,y)为边缘检测后图像中坐标(x,y)的像素 Fig.2 Foreground image after Gauss filtering 的灰度值，通过实验表明，σ(w,w）很接近目标的 2.2累积特征量提高颜色直方图查询表的精度 中心.以σ(w,0,)为中心，以2.5d为边长，得到一 CamShift算法是基于颜色特征的，总体来说是 个正方形区域，此区域中包括J中的大部分点.这个 ~种比较弱的特征表述，所以需要对目标特征描述 区域即为初始化搜索窗的位置，2.5d即为搜索窗的
行比较，确定出亮度变化较大的区域，即认为是前景 区域，这样就得到了目标的大致位置区域． 在此步 中，还进行了高斯滤波去噪． G = { gi ( x，y) ，x ∈ N，y ∈ M，i = 0，1，2，…} ， gi ( x，y) = | fi ( x，y) － Back( x，y) | ． 3) 得到差分图像之后，通过类间最大方差阈值 法［11］自适应求出一个分割阈值 T 进行二值化，分割 出前景区域，并对二值化的图像进行形态学腐蚀、膨 胀处理． 分割后图像: b( x，y) = 1，h( x，y) ≥ T 0，h( x，y) ≥ { T ． 经过前 3 步的处理，大大抑制了非目标特征噪 声点的产生，显著降低了后续处理的复杂度，从而减 少了噪声的干扰，增强了准确性． 至此，得到了非常 精确的二值化掩膜． 4) 将前面得到的二值化掩膜与相应帧图像相 应位置的像素值进行“与”操作后，即可得到初始目 标掩膜． J( x，y) = f( x，y) ·b( x，y) ． 得到的部分重要结果如图 1、2 所示． 图 1 差分后前景图像 Fig． 1 Foreground image differentiated 图 2 高斯滤波后前景图像 Fig． 2 Foreground image after Gauss filtering 2． 2 累积特征量提高颜色直方图查询表的精度 CamShift 算法是基于颜色特征的，总体来说是 一种比较弱的特征表述，所以需要对目标特征描述 全面而准确，这对 CamShift 目标跟踪算法的精度和 稳健度至关重要［12-16］． 而此前所得到的初始掩膜虽 然可以比较精确地确定目标的颜色特征，但此时的 特征只对当前帧具有代表性，而并不能准确地得到 和描述每一帧目标的特征和变化． 对此，亦采用累积 前 m 帧非零量统计方法进行多帧像素值累积，从而 达到较全面描述目标颜色特征的目的． 对初始掩膜 序列进行 m 帧累积，得到平滑后的累积颜色特征为 h = 1 m∑ m－1 i = 0 Ji ( x，y) ，Ji ( x，y) ≠ 0． 用此累积后的颜色特征 h 来描述颜色直方图查 询表，可以降低单帧目标掩膜中噪点和背景颜色对 目标的干扰，大大提高了颜色直方图查询表的精度． 从而获得较好的跟踪特性和抗干扰性． 2． 3 自启动跟踪 通过前面的步骤，已经得到精确的颜色直方图 查询表，接下来所要做的就是确定目标的中心点和 跟踪框的大小，这样就可以顺利启动 CamShift 算法 了． 在第 m － 1 帧中，已经得到二值化后的图像． 再 在这个图像中计算 CamShift 初始化搜索窗的中心 和大小，对其进行如下处理． 首先对第 m － 1 帧二值 化图像进行 Canny 边缘检测( 结果如图 4 所示) ，设 J 为运动边缘点的集合，中心为 σ( wu，wv) ，则 图 3 形态学处理后前景图像 Fig． 3 Foreground image after morphological disposal wu = ∑x ∑y xB( x，y) ∑x ∑y B( x，y) ， wv = ∑x ∑y yB( x，y) ∑x ∑y B( x，y) ． B( x，y) 为边缘检测后图像中坐标( x，y) 的像素 的灰度值，通过实验表明，σ( wu，wv ) 很接近目标的 中心． 以 σ( wu，wv) 为中心，以 2． 5d 为边长，得到一 个正方形区域，此区域中包括 J 中的大部分点． 这个 区域即为初始化搜索窗的位置，2． 5d 即为搜索窗的 第 4 期 刘侠，等: 统计差分与自启动的 Camshift 跟踪算法 ·357·
·358· 智能系统学报 第6卷 大小 踪框己完全收敛于背景，从而导致跟踪的失败， 3实验结果分析 而改进后的算法通过改进和精确目标的本质颜 色特征信息和降低目标区域中的噪声，很好地定位 为了验证改进后算法的性能，对实验者进行了 了目标，并实现了对目标的有效跟踪和防止跟踪框 左右平移、前后平移以及自启动等实验，并且对跟踪 发散（如图5所示）.显然，改进后的算法抗干扰能 过程中出现大面积类肤色干扰也做了相应的实验， 力明显增强，准确度明显提高。 在图4和图5中给出了部分跟踪效果.在实验中采 启动帧如图6(b)所示.由于计算后启动框的大 用静止背景建立背景模型. 小己超出边界，所以对其宽度进行了修正，变为原来 的1/5，同时将左边框设为0点.因为并非针对此区 域生成颜色查询表，而是用前面所述的统计量生成 颜色查询表，所以并未对跟踪产生根本影响. (a)第10帧 (b)第24顿 图4 Canny边缘检测结果 Fig.4 Canny edge detection result (c)第51帧 (d第103顿 图6改进后的跟踪效果 (a)第10帧 (b)第24帧 Fig.6 Tracking result after improvement the frame 10,24,51,and 103 are shown (c)第51帧 (d第103帧 图5改进前的跟踪效果 Fig.5 Tracking result before improvement the frame 图7统计背景和启动帧 10,24,51,and 103 are shown Fig.7 Statistical background and startup frame 由于原算法只采用颜色模型，它是一种比较弱 的目标特征描述，而传统算法中只采取某一帧的感 4结束语 兴趣区域作为描述的目标颜色特征，其中存在大量 本文提出了一种基于统计背景和统计颜色的改 的噪点，从而使颜色查询表不准确，最终导致概率分 进CamShift算法.对于固定背景的摄像头或视频文 布图的不精确和跟踪的失败.传统算法的跟踪效果 件输入，首先运用背景统计算法从累计的帧差信息 如图5所示.采用背景和目标颜色相似的一组视频 中构建出完整、可靠的背景区域，并将其与当前帧相 作为实验对象，当第9帧自启动后，第10帧由于与 比较，得到初始前景对象的感兴趣区域，以此区域为 初始帧相邻紧密，算法还能很好地跟踪目标，但是随 基础累积计算颜色直方图的精确查询表，从而在很 着帧数的增大，跟踪框开始逐渐地发散，并将大量的 大程度上提高了跟踪的准确性.并且借助二值化前 背景色纳入其中.从图中可以看出，当到第51帧时 景图像、重心公式以及类内离散度成功地启动了 跟踪框已基本偏离目标而偏向于背景，到103帧，跟 CamShift算法
大小． 3 实验结果分析 为了验证改进后算法的性能，对实验者进行了 左右平移、前后平移以及自启动等实验，并且对跟踪 过程中出现大面积类肤色干扰也做了相应的实验， 在图 4 和图 5 中给出了部分跟踪效果． 在实验中采 用静止背景建立背景模型． 图 4 Canny 边缘检测结果 Fig． 4 Canny edge detection result 图 5 改进前的跟踪效果 Fig． 5 Tracking result before improvement : the frame 10，24，51，and 103 are shown 由于原算法只采用颜色模型，它是一种比较弱 的目标特征描述，而传统算法中只采取某一帧的感 兴趣区域作为描述的目标颜色特征，其中存在大量 的噪点，从而使颜色查询表不准确，最终导致概率分 布图的不精确和跟踪的失败． 传统算法的跟踪效果 如图 5 所示． 采用背景和目标颜色相似的一组视频 作为实验对象，当第 9 帧自启动后，第 10 帧由于与 初始帧相邻紧密，算法还能很好地跟踪目标，但是随 着帧数的增大，跟踪框开始逐渐地发散，并将大量的 背景色纳入其中． 从图中可以看出，当到第 51 帧时 跟踪框已基本偏离目标而偏向于背景，到 103 帧，跟 踪框已完全收敛于背景，从而导致跟踪的失败． 而改进后的算法通过改进和精确目标的本质颜 色特征信息和降低目标区域中的噪声，很好地定位 了目标，并实现了对目标的有效跟踪和防止跟踪框 发散( 如图 5 所示) ． 显然，改进后的算法抗干扰能 力明显增强，准确度明显提高． 启动帧如图 6( b) 所示． 由于计算后启动框的大 小已超出边界，所以对其宽度进行了修正，变为原来 的 1 /5，同时将左边框设为 0 点． 因为并非针对此区 域生成颜色查询表，而是用前面所述的统计量生成 颜色查询表，所以并未对跟踪产生根本影响． 图 6 改进后的跟踪效果 Fig． 6 Tracking result after improvement : the frame 10，24，51，and 103 are shown 图 7 统计背景和启动帧 Fig． 7 Statistical background and startup frame 4 结束语 本文提出了一种基于统计背景和统计颜色的改 进 CamShift 算法． 对于固定背景的摄像头或视频文 件输入，首先运用背景统计算法从累计的帧差信息 中构建出完整、可靠的背景区域，并将其与当前帧相 比较，得到初始前景对象的感兴趣区域，以此区域为 基础累积计算颜色直方图的精确查询表，从而在很 大程度上提高了跟踪的准确性． 并且借助二值化前 景图像、重心公式以及类内离散度成功地启动了 CamShift 算法． ·358· 智 能 系 统 学 报 第 6 卷
第4期 刘侠，等：统计差分与自启动的Camshift跟踪算法 ·359· 99105. 参考文献： WU Bo,XU Wenfang,CHEN Hongli.Application of neu- D]杨振兴.基于DM642的Camshift目标跟踪算法研究 ral networks sliding-mode control in tracking control of ro- D)].南京：南京理工大学，2010：1523. bot manipulators [J].Electric Machines and Control, YANG Zhenxing.Research of Camshift tracking algorithm 2009,13(suppl1):99105. based on DM642 [D].Nanjing:Nanjing University of Sci- 3]汪语哲，史小平，朱胤.抑制闪烁噪声的SMMHUKF目 ence,2010:1523. 标跟踪算法0们.哈尔滨理工大学学报，2010,15(5)： 2]COMANICIU D,RAMESH V,MEER R.Real-ime track- 6975. ing of non-rigid objects using mean shift [C]//Proceedings WANG Yuzhe,SHI Xiaoping,ZHU Yin.A SMM-UKF of the IEEE Conference on Computer Vision and Pattern tracking method against target glint ]Journal of Harbin Recognition.Dublin,Ireland,2000,2:142-49. University of Science and Technology,2010,15(5):69- BRADSKI G R.Computer vision face tracking for use in 75. aperceptual user interface ]Intel Technology Journal, 4]蔡春波，张华军，张义顺，刘立君.基于视觉传感器焊缝 1998,2:214219. 跟踪轨迹自示教方法研究].哈尔滨理工大学学报， 4]COMANICIU D,RAMESH V,MEER P.Kemel based ob- 2009,14(2):9597. ject tracking ]IEEE Trans on Pattern Analysis and Ma- CAI Chunbo,ZHANG Huajun,ZHANG Yishun,LIU Li- chine Intelligence,2003,25(5):564-575. jun.Investigation on seam tacking path self-teaching meth- )]董蓓，谢勤岚，贾茜.基于CamShift算法的运动目标实时 od based on visual sensor ]Journal of Harbin University 跟踪系统.自动化技术，2008,19：116-18. of Science and Technology,2009,14(2):95-97. DONG Bei,XIE Qinlan,JIA Xi.Real-time tracking system 5]张丽丽，王建民。太阳位置光电模拟信号检测跟踪的实 of moving object based on Camshift algorithm].Automa- 现们.自动化技术与应用，2010,29(9)：4043. tion Technology,2008,19:116-118. ZHANG Lili,WANG Jianmin.Implementation of the sun's [6]刘雪，常发亮，王华杰.基于改进Camshift算法的视频对 position photoelectricity analog signal detecting and track- 象跟踪方法门.微计算机信息，2007(23)：297299. ing [J].Techniques of Automation and Applications, LIU Xue,CHANG Faliang,WANG Huajie.Video object 2010,29(9):4043. tracking method based on improved Camshift algorithm]. D6]白一鸣，孟宪尧.基于FPGA的太阳能自动跟踪控制系 Computer Information,2007(23):297-299. 统0.自动化技术与应用，2009,28(9)：2629. 7]LIU Qiang,CAI Canhui,KING NN,LI Hongliang.Cam- BAI Yiming,MENG Xianyao.A FPGA-based tracking Shift based real-time multiple faces match tracking [C]// system of the solar panel ]Techniques of Automation Proceedings of 2007 International Symposium on Intelligent and Applications,2009,28(9):26-29. Signal Processing and Communication Systems.Hong Kong: 作者简介： Chinese Univ of Hong Kong,2007:726-729. 刘侠，男，1975年生，硕士生导师， [8]WANG Zhaowen,YANG Xiaokang,XU Yi,YU Songyu. 主要研究方向为图像处理与模式识别， CamShift guided particle filter for visual tracking [C]// IEEE Xplore,2007:301-306. ]朱胜利.Mean Shift及相关算法在视频跟踪中的研究 D].杭州：浙江大学，2006：4354. ZHU Shengli.Research of Mean Shift and related algorithms in the video tracking [D].Hangzhou:Zhejiang University, 陶治，男，1986年生，硕士研究生， 2006:4354. 主要研究方向为人脸识别· 0]魏旭宾，王向军.基于累积差分图像和高斯背景统计模 型的烟尘目标检测门.宇航计测技术，2007(2)：59- 61. WEI Xubin,WANG Xiangjun.Smoke target detection based on the cumulative difference image and Gaussian background statistical model ]Metrology and Measure- 邢春，男，1986年生，硕士研究生， ment,2007(2):5961. 主要研究方向为生物特征加密与图像 [11]NOBUYUKI OTSU.A threshold selection method from gray 检索. level histogram ]IEEE Transactions on Systems,Man and Cybernetics,2008,9(1):62-65. 2]吴勃，许文芳，陈虹丽.神经滑模控制在机器人轨迹跟 踪中的应用门.电机与控制学报，2009,13（增1）：
参考文献: ［1］杨振兴． 基于 DM642 的 Camshift 目标跟踪算法 研 究 ［D］． 南京: 南京理工大学，2010: 15-23． YANG Zhenxing． Research of Camshift tracking algorithm based on DM642［D］． Nanjing: Nanjing University of Science，2010: 15-23． ［2］COMANICIU D，RAMESH V，MEER R． Real-time tracking of non-rigid objects using mean shift［C］/ /Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition． Dublin，Ireland，2000，2: 142-149． ［3］BRADSKI G R． Computer vision face tracking for use in aperceptual user interface［J］． Intel Technology Journal， 1998，2: 214-219． ［4］COMANICIU D，RAMESH V，MEER P． Kernel based object tracking［J］． IEEE Trans on Pattern Analysis and Machine Intelligence，2003，25( 5) : 564-575． ［5］董蓓，谢勤岚，贾茜． 基于 CamShift 算法的运动目标实时 跟踪系统［J］． 自动化技术，2008，19: 116-118． DONG Bei，XIE Qinlan，JIA Xi． Real-time tracking system of moving object based on Camshift algorithm［J］． Automation Technology，2008，19: 116-118． ［6］刘雪，常发亮，王华杰． 基于改进 Camshift 算法的视频对 象跟踪方法［J］． 微计算机信息，2007( 23) : 297-299． LIU Xue，CHANG Faliang，WANG Huajie． Video object tracking method based on improved Camshift algorithm［J］． Computer Information，2007( 23) : 297-299． ［7］LIU Qiang，CAI Canhui，KING N N，LI Hongliang． CamShift based real-time multiple faces match tracking［C］/ / Proceedings of 2007 International Symposium on Intelligent Signal Processing and Communication Systems． Hong Kong: Chinese Univ of Hong Kong，2007: 726-729． ［8］WANG Zhaowen，YANG Xiaokang，XU Yi，YU Songyu． CamShift guided particle filter for visual tracking［C］/ / IEEE Xplore，2007: 301-306． ［9］朱胜利． Mean Shift 及相关算法在视频跟踪中的研究 ［D］． 杭州: 浙江大学，2006: 43-54． ZHU Shengli． Research of Mean Shift and related algorithms in the video tracking［D］． Hangzhou: Zhejiang University， 2006: 43-54． ［10］魏旭宾，王向军． 基于累积差分图像和高斯背景统计模 型的烟尘目标检测［J］． 宇航计测技术，2007( 2) : 59- 61． WEI Xubin，WANG Xiangjun． Smoke target detection based on the cumulative difference image and Gaussian background statistical model［J］． Metrology and Measurement，2007( 2) : 59-61． ［11］NOBUYUKI OTSU． A threshold selection method from gray level histogram［J］． IEEE Transactions on Systems，Man and Cybernetics，2008，9( 1) : 62-65． ［12］吴勃，许文芳，陈虹丽． 神经滑模控制在机器人轨迹跟 踪中的应用［J］． 电机与控制学报，2009，13 ( 增 1) : 99-105． WU Bo，XU Wenfang，CHEN Hongli． Application of neural networks sliding-mode control in tracking control of robot manipulators ［J］． Electric Machines and Control， 2009，13( suppl 1) : 99-105． ［13］汪语哲，史小平，朱胤． 抑制闪烁噪声的 SMM-IUKF 目 标跟踪算法［J］． 哈尔滨理工大学学报，2010，15( 5) : 69-75． WANG Yuzhe，SHI Xiaoping，ZHU Yin． A SMM-IUKF tracking method against target glint［J］． Journal of Harbin University of Science and Technology，2010，15( 5) : 69- 75． ［14］蔡春波，张华军，张义顺，刘立君． 基于视觉传感器焊缝 跟踪轨迹自示教方法研究［J］． 哈尔滨理工大学学报， 2009，14( 2) : 95-97． CAI Chunbo，ZHANG Huajun，ZHANG Yishun，LIU Lijun． Investigation on seam tacking path self-teaching method based on visual sensor［J］． Journal of Harbin University of Science and Technology，2009，14( 2) : 95-97． ［15］张丽丽，王建民． 太阳位置光电模拟信号检测跟踪的实 现［J］． 自动化技术与应用，2010，29( 9) : 40-43． ZHANG Lili，WANG Jianmin． Implementation of the sun’s position photoelectricity analog signal detecting and tracking［J］． Techniques of Automation and Applications， 2010，29( 9) : 40-43． ［16］白一鸣，孟宪尧． 基于 FPGA 的太阳能自动跟踪控制系 统［J］． 自动化技术与应用，2009，28( 9) : 26-29． BAI Yiming，MENG Xianyao． A FPGA-based tracking system of the solar panel［J］． Techniques of Automation and Applications，2009，28( 9) : 26-29． 作者简介: 刘侠，男，1975 年生，硕士生导师， 主要研究方向为图像处理与模式识别． 陶冶，男，1986 年生，硕士研究生， 主要研究方向为人脸识别． 邢春，男，1986 年生，硕士研究生， 主要研究方向为生物特征加密与图像 检索． 第 4 期 刘侠，等: 统计差分与自启动的 Camshift 跟踪算法 ·359·