第5卷第4期 智能系统学报 Vol.5 No.4 2010年8月 CAAI Transactions on Intelligent Systems Aug.2010 doi:10.3969/j.issn.1673-4785.2010.04.012 基于颜色的快速人体跟踪及遮挡处理研究 李金，胡文广 (哈尔滨工程大学自动化学院，黑龙江哈尔滨150001)》 摘要：为了被跟踪到的运动员进行运动姿态以及运动参数的分析，给运动员的训练提供科学合理的参考，提高比 赛成绩，研究了面向体育视频的运动目标跟踪技术，提出了一种基于Mean Shi的综合算法.首先，根据背景加权直 方图选择跟踪目标与背景图像的差别最显著的部分作为跟踪特征，以减少背景信息对跟踪效果的影响；其次，针对 Mean Shift算法需要对图像进行穷举匹配的问题，利用Kalman滤波对目标的状态进行有效预测，减少了匹配运算次 数，改善了快速运动目标的跟踪效果，提高了跟踪算法的稳健性；最后运用基于核的Mean Shif近算法对运动目标进行 跟踪，同时进行目标模板的实时更新，实现了对体育视频中运动员的稳定实时的跟踪.该方法成功地解决了部分遮 挡、背景混乱以及目标尺寸变化等问题. 关键词：目标跟踪；遮挡处理；背景加权；Kalman预测；模板更新 中图分类号：TP391文献标识码：A文章编号：16734785(2010)040353-07 Tracking fast movement using colors while accommodating occlusion LI Jin,HU Wen-guang (Automation College,Harbin Engineering University,Harbin 150001,China) Abstract:A new integrated algorithm was proposed to improve tracking of fast movement in sports videos.First, from the weighted background histogram,the portion of the image with the biggest differences between the tracking target and the background was selected as the tracking feature.This reduced the influence of background informa- tion on tracking effects.Next,since the Mean Shift algorithm needs exhaustive matching with images,we used Kal- man filtering to effectively predict the targets state.This decreased the number of matching calculations and thus improved the robustness of the tracking algorithm.A kernel-based Mean Shift algorithm was then employed to track moving targets.Finally,real-time updating of the target template was provided.The method ensures stable, real-time tracking of athletes in sports videos.Also,other problems,such as partial occlusions,chaotic back- grounds and variation in target size were successfully dealt with using the proposed algorithm. Keywords:object tracking;occlusion processing;background weighted;Kalman prediction;template updated 目标跟踪在近些年是一个比较活跃的研究课)，利用椭圆柱、球等三维模型来描述人体结构细 题，其在许多领域得到应用，如：智能机器人、监 节，如吴玥等的三维动画人体跟踪4)2)基于区域 视监控、车辆追踪等).人体跟踪是人体运动分析 的跟踪，即将人体划分为不同的小块区域，通过跟踪 的一个分支2，其核心思想是综合利用图像处理、 各个小区域块来完成整个人的跟踪，并可以利用色 视频分析等技术手段，快速、准确地捕捉运动目标. 彩等特征在一定程度上解决影子和遮挡的问题，如 般的基于视频的跟踪方法有以下几种3)：1)基于 高书秀等人提出的多区域运动人体跟踪5.3)基于 模型的跟踪，该方法中有线图法(stick figure)或称 轮廓的跟踪，即用封闭曲线来表示运动目标.4)基 人体骨骼化；二维轮廓化(2-D contour),即将人体投 于特征的跟踪，即特征（如角点、质心速度等）的提 影于二维平面区域；还有立体模型(volumetric mod- 取和特征的匹配.目前大多数目标跟踪算法采用的 收稿日期：200904-13. 都是基于区域的模板匹配方法6。 基金项目：黑龙江省博土后研究基金(LBH-Q05046). 文献[7]提出了一种基于颜色的粒子滤波跟踪 通信作者：胡文广，E-mail:wh247131@126.com 算法.本方法以颜色为特征，通过计算颜色直方图
·354 智能系统学报 第5卷 以达到跟踪运动目标的目的.颜色直方图在跟踪运 可以得到图像的核函数直方图为 动目标上的有点如下：特征稳定、抗部分遮挡、计算 方法简单、计算量小；该方法的缺点是当背景颜色的 元=宫(11)-. 分布同目标颜色分布比较相似时，容易将背景错误 b=1,2,…,m 的认为是所要跟踪的运动目标，特别是当被跟踪目 式中：96为分量b的像素概率值，96}=1,2，…，m为目 标尺寸较小时，使用本方法很难根据颜色直方图来 标模型，B(x:)是x:处像素的量化值，h为核函数的 判断目标所在的准确位置，文献[8]提出的跟踪算 法是一种基于目标轮廓的跟踪算法：利用光流法来 窗宽，根据式。=1可以得到常数c: 跟踪目标轮廓.但是这种新颖的方法计算复杂度高， 精确度却不高，而且抗干扰性差，易受噪声影响，这 e=/公(11. 种跟踪算法的实际价值有待进一步的提升.文献 假设{x12“是候选目标图像区域各个像 [9]中提到的算法是一种基于核的均值转移算法， 素位置归一化后的集合[.则候选目标模型可以用 这种算法计算复杂度小精度高，通过不断地计算均 核函数直方图表示为 值平移向量，可以迭代更新搜索位置，直到收敛于最 优匹配点，它的缺点是收到收敛局限性的制约，该算 成=6宫(1片1)8()-b1, 法只有在预测位置与目标的真实位置相差较小时， b=1,2,…,m. 才能达到较好的效果。 式中： 在体育视频中，运动目标的移动速度较快，而且 ea=1/∑(1y,I2) 运动速度和运动对象的大小经常发生较大的变化， h 所以准确预测运动目标的位置是比较困难的，很多 式中：C的值由一个给定的内核和不同的h决定， 算法在体育视频跟踪中都很难取得较好的效果.本 因此可以得到，核函数窗宽h决定了候选目标区域 文给出的算法则较好的解决了上述问题.首先，根据 的尺度大小，即候选图像区域中感兴趣的区域ROI 背景加权直方图选择跟踪目标与背景图像的差别最 (region of interest). 显著的部分作为跟踪特征，以减少背景信息对跟踪 但是，上述的目标模型表示方法在背景较为复 效果的影响；其次，针对Mean Shif近算法需要对图像 杂时跟踪的效果不好.背景信息在目标跟踪中起着 进行穷举匹配的问题，利用Kalman滤波对目标的状 重要的作用。目标和背景信息的相关性，会导致目标 态进行有效预测，减少了匹配运算次数，改善了快速 定位的不准确.同时，还会造成目标表征的困难.选 运动目标的跟踪效果，提高了跟踪算法的稳健性；最 择目标模型和候选模型的显著不同部分作为特征可 后运用基于核的Mean Shift算法对运动目标进行跟 以很好地解决以上问题. 踪，同时进行目标模板的实时更新，实现了对体育视 用6，a-(式中：宫d。=1)表示特征空间中 频中运动员的稳定实时的跟踪.目前，本算法已经在 背景的离散模型，用这个模型表示目标周围3倍于 对多个实际速滑比赛视频的处理中得到了有效的检 验，具有良好的效果 目标区域的图像.用权值{。=min(8,1)6=2, 背景加权 定义对目标模型和候选目标模型的变换.该变换减 轻了低权值的特征在目标模型中的应用.以下为新 目标模型的选择很大程度上制约着目标跟踪算 的目标模型定义： 法的效果.从目前的研究阶段可以总结出，比较常用 的目标模型有2类：一类是基于目标的轮廓特征，一 =月1'A)B(）-. 类是基于目标的颜色特征.基于目标的轮廓特征的 式中： 优点是精度较高；缺点是计算复杂、抗干扰性较差； 而基于颜色特征的跟踪算法的优点是鲁棒性强，有 c=V店(17产I)B)-61. 较强的抗噪性和抗遮挡性.因此，本文选取第2种目 同理，新的候选目标模型为 标模型进行目标跟踪 设目标图像{x;},i=1,2…,n由n个像素点组 =6月(17分产1)a()-. 成，图像中心点的坐标为y,每个点的灰度为m级. 式中：
第4期 李金，等：基于颜色的快速人体跟踪及遮挡处理研究 ·355· -v宫11a-6 为了使d(y)最小化，匹配的初始位置就是上一帧中 的匹配位置. 2 Mean Shift基本原理 在匹配过程中，核函数中心从当前帧初始位置 y。处不断移动到新位置夕1处： 2.1相似性度量 假设目标模型的颜色和纹理特征的密度函数为 E_名g(n0) q,中心在y1的候选目标具有特征分布p(y1),那么 在当前图像帧中，密度函数p(y,)与目标密度函数q 宫如) 最相似的位置即为跟踪到运动目标。 式中：g(x)=-'(x)并设k(x)的一阶导数在区间 就分类结果而言，若错误概率越大，则说明分布 x∈[0，∞]除有限点外都存在. 越相似.因此，可以把目标位置估计问题转化为求解 均值转移算法的计算步骤如下： 使模型与候选分布Bayes误差最大化问题. 1)根据式(12)计算初始目标同目标模型之间 Bhattacharyya系数是与Bayes误差紧密相关的 的相似度； 因子，其计算方法定义如下： 2)计算权值{0；，i=1,2,,na 3)根据均值平移矢量，仿照式(1)计算目标的 p(y)=plp(y).q]=p(y)qdz 新位置； 在这里，假设从目标模型的m级直方图中，估计出 4)当p[p(y),]<p[p(y),],则 的离散的密度函数为 9={96}6=l,2…m 1←2(%+y): 式中：2=1. 5)如果‖y1-y‖<e,跳出循环；否则，使yo y1,返回1) 对给定的位置y,其相应的密度函数为 p(y）={P(y）6=1,2…,m 3基于Kalman滤波器的起始点预测 式中：。=1 对于快速运动目标的跟踪，由于在一些图像帧 则Bhattacharyya系数的样本估计可以表示如下： 中，被跟踪目标的起始位置不够理想，所以导致Mean Si近的跟踪效果并不十分精确.针对初始位置不够理 pw.动=言 √p(yo)qa 想的情况，如果能够通过目标以前的运动信息预测到 其几何含义是m维单位矢量P6和q6间夹角的余弦 本帧目标可能的位置，将这一位置点作为目标的起始 值，则2个分量的距离可以定义为 点，然后利用算法在这点的邻域内寻找目标真实的位 置，那么在快速运动目标的跟踪中，Mean Shift的缺陷 d(y)=√1-pp(y),9丁. 就可以得到很好的解决.Kalman滤波器正好可以有 本文利用这种测量距离进行目标定位. 效的利用被跟踪目标以前的运动信息，并预测下一帧 2.2目标定位 中的初始位置，同时Kalman滤波具有计算量小，可实 上一节计算出了2个分量之间的距离公式 时处理的特点，利用Kalman滤波器实现对目标轨迹 d(y),要跟踪到运动目标，就是要找到最小的距离 的估计和预测是非常有效的. 值d(y),这个最大化Bhattacharyya系数p(y)是等 Kalman滤波器包含2个模型： 价的3].通过计算得出在当前帧中位于y处的候 信号模型： 选目标的颜色概率P6(yo),b=1,2,…,m后，在 Y(k)=A(k-1)X(k-1)+B(k)W(k), p(yo)值附近运用Taylor扩展，可以得到Bhatta- 观测模型： charyya系数为 Y(k)=C(k-1)X(k-1)+V(k). √P(y)96+ 可以表示为 号2，1. 2 (1) x(k)7 Γ1 0 0rx(k-1) 2 y(k) 0 1 0 t y(k-1) 式中： W(). x(k) 0 0 1 0 x(k-1) 0:= _966B(x,)-b]. y(k)- L000 1Ly(k-1) 台WP(yo)
·356 智能系统学报 第5卷 厂x(k) 定义的初始模板，显然匹配度不高，如果此时背景和 「() r100 01 y() V(k) 被跟踪目标比较相似，跟踪算法就会收敛到这些物 y.() 10100J x'(k) 体，导致跟踪失败.此时更新模板，可以解决这个问 Ly'() 题，提高跟踪的成功率。 在上式中，假设t=1,σ号=5，V(k)=0.在视频的当 文献[14]提到了利用模板更新算法来弥补 前图像帧中，记目标的估计值()中的位置分量为 Mean Shift算法在复杂环境中跟踪目标的不足； (k),y(k).由此，可以计算出Kalman滤波器预测 模板更新要遵循一个准则：即只是在跟踪稳定 估计值()中的位置分量与观测值Y(k)之差记为 的情况下才更新模板， 滤波器的残差为 这里提到的跟踪稳定有2层含义： r()=√(.(k)-x()2+(y.(k)-y(k). 1)当前帧中的Kalman残差满足：r(k)<T1; 稳定跟踪若干帧后，Kalman滤波器工作状态稳 2)当前帧中的目标与目标模板之间的相似性 定，其预测值和其后Mean Sh进算法寻找到的观测 系数满足：p(p,q)≥T2: 值很接近.当出现遮挡情况时，由于当前帧目标窗口 即目标缓慢改变时模板也随之缓慢改变；目标 中融入很多的非目标信息，Mean Shift算法以滤波 剧烈变化时不更新模板.在这里利用一个简单的加 器提供的起始点开始，寻找最佳目标，可能得到的位 权更新机制，即在当前视频帧中，在情况满足如上2 置会远离起始点，而使得滤波残差显著变大，这时可 个判决条件时，更新方程为 以判断目标可能遇到大的遮挡.即使出现一定比例 9=(1-p+T2)×q+(p-T2)×p. 的边缘遮挡，算法本身对边缘遮挡会有较好的鲁棒 式中：T2为模板更新阈值，q为当前帧的目标模板，p 性.如果滤波残差远大于平时的r(k)值，知道可能 表示在跟踪算法在当前帧中找到的目标，9为更新 遇到了大的遮挡情况，这时利用Kalman滤波器估计 后的目标模板， 目标起始点的功能就丧失了.在这里，可以假设一个 5实验结果及讨论 门限值e,当遮挡比较小或者没有遮挡时，利用Kl man预测算法进行预测.如果遮挡超过了门限值， 为了验证本文提出的综合算法的有效性，在 Kalman滤波器停止工作.这时利用前几帧Mean P4-2.6G、256M内存的P℃机，Windows XP系统下， Shit收敛点的位置线性预测下一帧起始点可能的 我们对速滑运动视频进行了测试.图1、图2和图3 值，然后在这个起始点邻域内利用Mean Shift寻找 给出了跟踪的结果，用方框表示被跟踪人体的中心。 当前帧目标的位置Y(k),求观测值Y()和起始点 图1中的视频是一场速滑运动比赛视频，用本 位置值的残差r(k),并和e进行比较，如果r(k)小 文的综合算法进行跟踪，在图1中，从子图(c)到子 于e,下一帧Kalman滤波器重新开始工作. 图()，始终有另外的运动员部分的遮挡了被跟踪 的运动员，但是算法始终能够较好的实现跟踪，遮挡 4模板更新 消失后，跟踪正常进行.因为用Mean Shif讥算法的跟 由前几节可以看到，目标模板在目标跟踪算法 踪效果大体相似，鉴于篇幅原因，没有再将Mean 中起了很大的作用.但是在目标的快速运动中，运动 Sh近算法的跟踪效果也给出来.本实验说明了在速 目标的形状、运动场所的光度等都会发生变化，用场 度不是很快的情况下，本文的综合算法和原来的 景图像中已经变化了的目标的候选模板去匹配早先 Mean Shift算法效果基本一致. (a)第75帧 (b)第85帧 (c)第102帧
第4期 李金，等：基于颜色的快速人体跟踪及遮挡处理研究 .357. d)第114帧 (e)第119懒 ()第146帧 图1文的Mean Shift综合算法对速滑运动比赛视频的跟踪效果 Fig.1 The tracking result of the extended algorithm 图2和图3分别是针对同一组运动视频，分别 文提到的模板更新方法进行及时的模板更新，在这 利用Mean Shif进算法和本文的综合算法进行跟踪的 里，设定T2=0.80,T1=8.在遮挡消失后的子图 结果图.该组视频的特点是被跟踪运动员运动速度 (d)到子图(e)中，文中提出的综合算法对运动员的 快，在运动视频中被跟踪运动员的大小发生变化，运 跟踪效果良好.本文的综合算法实现了对图3中快 动员相互发生遮挡以及运动场光照发生变化等.从 速运动的速滑运动员的跟踪.本实验说明，本文提出 图2(a)到(b),Mean Shift算法能够实现正确的跟 的基于Mean Shif近的综合算法可以实现对快速运动 踪，但是从子图(c)开始，Mean Shift算法失去了对 目标的跟踪，并且在出现遮挡以及背景混乱的情况 速滑运动员的跟踪.但是在图3中，利用Kalman滤 下也取得了良好的跟踪效果 波预测下一帧中运动目标出现的位置，并且利用本 E (a)第1179 (b)第1194帧 (c)第1245 1d)第1309帧 (e)第1357帧 ()第1367帧 图2 Mean Shif近算法对快速运动目标的跟踪效果 Fig.2 The fast target tracking result of the Mean Shift (a第1506帧 (b)第1599帧 (c)第I721帧
·358. 智能系统学报 第5卷 (d,第1787帧 (e)第1833帧 (f)第1856帧 图3本文的综合算法对快速运动目标的跟踪效果 Fig.3 The fast target tracking result of the extended algorithm [5]高书秀，黄剑华，唐降龙，等.基于多区域的人体运动跟 6结束语 踪研究与应用[J].微计算机信息，2008,24(7-1)：267 针对快速的体育运动视频提出了一种新的实时 269. 目标跟踪综合算法，通过对实际的快速运动视频运 GAO Shuxiu,HUANG Jianhua,TANG Xianglong,et al. Research on human motion tracking based on multi-region 动目标的跟踪，取得了良好的跟踪效果.体育视频中 and its application[J].Micro Compute Information,2008, 的快速目标跟踪同一般视频的目标跟踪有很大不 24(7-1):267-269. 同.一般的视频跟踪主要用于目标监控，目标的移动 [6]熊文平，李锦涛，张勇东，刘金刚.一种有效的体育视频 速度较慢，环境变化较小，而且运动模式基本不会发 目标跟踪算法[J].计算机工程与应用，2006,26：201- 生较大的改变；而体育视频中目标的运动速度快，易 207. 发生遮挡，而且被跟踪目标大小变化大等.因此，一 XIONG Wenping,LI Jintao,ZHANG Yongdong,LIU Jin- 般的目标跟踪算法很难取得较好的效果，而本文的 gang.An efficient object tracking algorithm of sports video 综合算法主要是利用Kalman滤波提高了运动目标 [J].Compute Engineering and Application,2006,26: 的预测精度，同时利用模板更新和背景加权，提高了 201-207. 跟踪的精确性，从而实现了对快速人体运动目标跟 [7]NUMMIARO K,KOLLER-MEIER E,VAN GOOL L.A a- daptive color-based particle filter[J].Image and Vision 踪的实时性及鲁棒性，在跟踪快速运动目标时取得 Computing,2003,21(1):99-110. 了良好的效果. [8]马波，张田文.一种新颗的轮廓线跟踪算法[J].信号处 参考文献： 理，2004；20(2)：174-178. MA Bo,ZHANG Tianwen.A new algorithm based on im- [1]邓文坛，张三同，余纯.一种改进的粒子滤波跟踪算法的 age contour line[J].Signal Processing,2004,20(2):174- 研究[J].自动化技术与应用，2008,27(3)：84-87 178. DENG Wentan,ZHANG Santong,YU Chun.A modified [9]COMANICIU D,MEER P.Kermel-based object tracking particle filtering algorithm for tracking[J].Techniques of [J].IEEE Transactions On Pattern Analysis and Machine Automation and Application,2008,27(3):84-87. Intelligence,2003,25(5):564-577. [2]胡静，刘志镜.基于动态贝叶斯网络的多人跟踪算法 [10]赵万磊，张学杰.基于RB-K平均带宽设定的Adaptive [J].计算机工程，2008,34(16)：247-248. Mean Shi近[J].中国图像图形学报，2006,11(4)：511- HU Jing,LIU Zhijing.Tracking method of multi-actors 515. based on dynamic Bayesian network[J].Computer Engi- ZHAO Wanlei,ZHANG Xuejie.A new bandwidth neering,2008,34(16):247-248. varivable mean shift based on Rb-K means[J].Journal of [3 ZHEN Bin,KOBAYASHI M N,SHIMIZU M.Framed Image and Graphics.2006,11(4):511-515. ALOHA for multiple RFID objects identification[J].IEICE [11]李闯，丁晓青，吴佑寿.一种基于直方图特征和Ada Trans on Commun,2005,88(3):991-999. Boost的图像中的文字定位算法[J].中国图像图形学 [4]吴玥，田兴彦.基于单目视频运动跟踪的三维人体动画 报，2006,11(3)：325-331. [J].微计算机应用，2008,29(5)：4247. LI Chuang,DING Xiaoqing,WU Youshou.An algorithm WU Yue,TIAN Xingyan.3-D human animation based on for text location in images based on histogram features and human motion tracking from monocular video sequences[J]. adaboost[J].Journal of Image and Graphics,2006,11 Micro Compute Application,2008,29 (5):42-47. (3):325331
第4期 李金，等：基于颜色的快速人体跟踪及遮挡处理研究 ·359 [12]伊怀峰，黄贤武.基于均值偏移的彩色图像分割算法 作者简介： [J].计算机应用，2006,26(27)：1605-1610. 李金，女，1962年生，教授，博士 YI Huaifeng,HUANG Xianwu.Color image segmentation 生导师，黑龙江省教学名师，省级精品 algorithm based on mean shift[J].Journal of Computer 课程负责人.主要研究方向为模式识别 Applications,2006,26(27):1605-1610. 与智能系统等，发表学术论文120余 [13]潘晨.基于Mean-Shif和SVM的血细胞图像分割[J], 篇，其中EI等检索40余篇；出版国家 仪器仪表学报，2004,25(4)：467472， “十一五”规划教材等著作7部；获得省 PAN CHEN.Combining Mean-Shift and SVM for Blood 部级科技进步二等奖3项、三等奖3项；获得国家发明专利3 Cell Image Segmentation[J].Chinese Joural of Scientific 项：获得黑龙江省留学人员报国奖和哈尔滨市青年科技奖： nstrument..2004,25(4):467472. [14]朱胜利.Mean Shi近及相关算法在视频跟踪中的研究 胡文广，男，1983年生，硕士研究 [D].杭州：浙江大学，2006. 生，主要研究方向为视频运动检测与跟 ZHU Shengli.A study of mean shift and correlative algo- 踪 rithm in visual tracking D].Hangzhou:ZheJiang Unversity,2006. 2011年第六届EEE联合国际信息技术与 人工智能会议(ITAIC2011) The 6th IEEE Joint International Information Technology and Artificial Intelligence Conference The 6th IEEE Joint International Information Technology and Artificial Intelligence Conference(ITAIC 2011)will be held from Aug.20~22,2011 in Chongqing,China.This conference is co-sponsored by IEEE Beijing Section and Chongqing Computer Federation.Submitted conference papers will be reviewed by technical committees of the Conference.All ac- cepted papers will be published in the conference proceeding by IEEE,which will be included in the IEEE Xplore,and indexed by Ei Compendex and ISTP.The aim objective of ITAIC 2011 is to provide a platform for researchers,engineers, academicians as well as industrial professionals from all over the world to present their research results and development activities in Information Technology and Artificial Intelligence.This conference provides opportunities for the delegates to exchange new ideas and application experiences face to face,to establish business or research relations and to find global partners for future collaboration. Important Dates Paper Submission (Full Paper)March 30,2011 Notification of Acceptance Apr.15,2011 Final Paper SubmissionMay 1,2011 Authors RegistrationMay 1,2011 Conference DatesAug.20~22,2011 Web site:http://www.itaic.org/