第9卷第1期 智能系统学报 Vol.9 No.1 2014年2月 CAAI Transactions on Intelligent Systems Feb.2014 D0:10.3969/j.issn.1673-4785.201305080 网s络出版地址：http:/www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201305080.html 采用Kinect的移动机器人目标跟踪 张雪华12，刘华平2，孙富春2，高蒙1，贺超2 (1.石家庄铁道大学电气与电子工程学院，河北石家庄050043：2.清华大学智能技术与系统国家重点实验室，北 京100084) 摘要：由于基于颜色特征的目标跟踪方法容易受颜色相近的物体影响，造成目标丢失，为了改善这一现象，利用 Kict视觉传感器获取目标的深度信息和颜色信息来计算目标跟踪算法中的粒子权值，从而对基于颜色特征的粒子 滤波算法进行改进。为了简化目标跟踪算法中的直方图计算，利用增量式直方图计算的方法，以提高目标跟踪过程 中的运算速度。最后通过实验证明结合目标的颜色和深度信息的方法能够很好地克服目标跟踪过程中颜色相近物 体的干扰，并将改进的目标跟踪算法应用到移动机器人中，验证了该算法的快速性和鲁棒性。 关键词：Kinect::粒子滤波算法；移动机器人：深度信息；颜色信息 中图分类号：TP242文献标志码：A文章编号：1673-4785(2014)01-0034-06 中文引用格式：张雪华，刘华平，孙富春，等.采用Kinect的移动机器人目标跟踪[J].智能系统学报，2014,9(1)：3439. 英文引用格式：ZHANG Xuehua,LIU Huaping,SUN Fuchun,etal.Target tracking of mobile robot using Kinect[J小.CAAl Transactions on Intelligent Systems,2014,9(1):34-39. Target tracking of mobile robot using Kinect ZHANG Xuehua'2,LIU Huaping?,SUN Fuchun2,GAO Meng',HE Chao2 (1.College of Electrical and Electronic Engineering,Shijiazhuang Railway University,Shijiazhuang 050043,China;2.Key Laborato- ry of Intelligent Technology and Systems,Tsinghua University,Beijing 100084,China) Abstract:The target tracking method based on color features is susceptible to the effects of similar color objects, which leads to the loss of the target.In order to overcome this phenomenon,in this paper,the Kinect vision sensor is used to obtain the target depth information and color information to calculate the weights of particles in the target tracking algorithm,and therefore to improve the particle filter algorithm which is based on the color feature.In order to simplify the histogram calculation of the target tracking algorithm,an incremental histogram calculation method is proposed to improve the computational speed of the target tracking process.Finally,through experimentation,the combination of color and depth information of the target can be shown to easily overcome the interference to the tar- get tracking process by similar color objects,and the improved target tracking algorithm is applied to the mobile ro- bot,verifying the rapidness and robustness of the mobile robot target tracking algorithm. Keywords:Kinect;particle filter algorithm;mobile robot;depth information;color infumation 在计算机视觉领域，使用计算机对运动目标进 跟踪方法)。 行分析研究是一个重要的课题，而在动态环境中对 作为机器视觉中一个重要研究分支，自文献 运动目标进行实时、鲁棒的跟踪是其重要的组成部 [4]首次提出基于颜色的粒子滤波目标跟踪算法以 分，在自动监控、人机交互、医学图像处理、虚拟现实 来，目标跟踪技术得到了长足的发展。但其容易受 等领域有着广泛的应用]。目前，目标跟踪的主 到光照变化和背景颜色的影响，如果目标所处的背 要方法包括基于运动检测、特征、活动轮廓和模型等 景颜色与其本身颜色接近，并且运动速度较快，粒子 滤波目标跟踪的效果会变差，容易出现目标丢失的 收稿日期：2013-06-04.网络出版日期：2014-02-20. 基金项目：国家“863“计划资助项日(G2013CB329403):国家自然科 现象。人们一般使用颜色、边界、纹理及其他特征来 学基金资助项目(91120011)：清华大学自主科研计划资助 跟踪目标，但引入过多的特征来提高跟踪准确性的 项目(2011THZ0). 通信作者：张雪华.E-mail:lovelywaiwail988@sina.com 同时也会增加计算复杂度。由于粒子间的重叠会消第 ９ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．１ ２０１４ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０５０８０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０５０８０．ｈｔｍｌ 采用 Ｋｉｎｅｃｔ 的移动机器人目标跟踪 张雪华１，２ ，刘华平２ ，孙富春２ ，高蒙１ ，贺超２ （１． 石家庄铁道大学 电气与电子工程学院，河北 石家庄 ０５００４３； ２． 清华大学 智能技术与系统国家重点实验室，北 京 １０００８４） 摘 要：由于基于颜色特征的目标跟踪方法容易受颜色相近的物体影响，造成目标丢失，为了改善这一现象，利用 Ｋｉｎｅｃｔ 视觉传感器获取目标的深度信息和颜色信息来计算目标跟踪算法中的粒子权值，从而对基于颜色特征的粒子 滤波算法进行改进。 为了简化目标跟踪算法中的直方图计算，利用增量式直方图计算的方法，以提高目标跟踪过程 中的运算速度。 最后通过实验证明结合目标的颜色和深度信息的方法能够很好地克服目标跟踪过程中颜色相近物 体的干扰，并将改进的目标跟踪算法应用到移动机器人中，验证了该算法的快速性和鲁棒性。 关键词：Ｋｉｎｅｃｔ；粒子滤波算法；移动机器人；深度信息；颜色信息 中图分类号：ＴＰ２４２ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０１⁃００３４⁃０６ 中文引用格式：张雪华，刘华平，孙富春，等．采用 Ｋｉｎｅｃｔ 的移动机器人目标跟踪［Ｊ］． 智能系统学报， ２０１４， ９（１）： ３４⁃３９． 英文引用格式：ＺＨＡＮＧ Ｘｕｅｈｕａ， ＬＩＵ Ｈｕａｐｉｎｇ， ＳＵＮ Ｆｕｃｈｕｎ， ｅｔ ａｌ． Ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｏｆ ｍｏｂｉｌｅ ｒｏｂｏｔ ｕｓｉｎｇ Ｋｉｎｅｃｔ ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（１）： ３４⁃３９． Ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｏｆ ｍｏｂｉｌｅ ｒｏｂｏｔ ｕｓｉｎｇ Ｋｉｎｅｃｔ ＺＨＡＮＧ Ｘｕｅｈｕａ １，２ ， ＬＩＵ Ｈｕａｐｉｎｇ ２ ， ＳＵＮ Ｆｕｃｈｕｎ ２ ， ＧＡＯ Ｍｅｎｇ １ ， ＨＥ Ｃｈａｏ ２ （ １． Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｈｉｊｉａｚｈｕａｎｇ Ｒａｉｌｗａｙ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｉｊｉａｚｈｕａｎｇ ０５００４３， Ｃｈｉｎａ； ２． Ｋｅｙ Ｌａｂｏｒａｔｏ⁃ ｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｓｙｓｔｅｍｓ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｃｏｌｏｒ ｆｅａｔｕｒｅｓ ｉｓ ｓｕｓｃｅｐｔｉｂｌｅ ｔｏ ｔｈｅ ｅｆｆｅｃｔｓ ｏｆ ｓｉｍｉｌａｒ ｃｏｌｏｒ ｏｂｊｅｃｔｓ， ｗｈｉｃｈ ｌｅａｄｓ ｔｏ ｔｈｅ ｌｏｓｓ ｏｆ ｔｈｅ ｔａｒｇｅｔ． Ｉｎ ｏｒｄｅｒ ｔｏ ｏｖｅｒｃｏｍｅ ｔｈｉｓ ｐｈｅｎｏｍｅｎｏｎ， ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｔｈｅ Ｋｉｎｅｃｔ ｖｉｓｉｏｎ ｓｅｎｓｏｒ ｉｓ ｕｓｅｄ ｔｏ ｏｂｔａｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｃｏｌｏｒ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｃａｌｃｕｌａｔｅ ｔｈｅ ｗｅｉｇｈｔｓ ｏｆ ｐａｒｔｉｃｌｅｓ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ， ａｎｄ ｔｈｅｒｅｆｏｒｅ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ ａｌｇｏｒｉｔｈｍ ｗｈｉｃｈ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｌｏｒ ｆｅａｔｕｒｅ． Ｉｎ ｏｒｄｅｒ ｔｏ ｓｉｍｐｌｉｆｙ ｔｈｅ ｈｉｓｔｏｇｒａｍ ｃａｌｃｕｌａｔｉｏｎ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ， ａｎ ｉｎｃｒｅｍｅｎｔａｌ ｈｉｓｔｏｇｒａｍ ｃａｌｃｕｌａｔｉｏｎ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｓｐｅｅｄ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｐｒｏｃｅｓｓ． Ｆｉｎａｌｌｙ， ｔｈｒｏｕｇｈ ｅｘｐｅｒｉｍｅｎｔａｔｉｏｎ， ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｃｏｌｏｒ ａｎｄ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｃａｎ ｂｅ ｓｈｏｗｎ ｔｏ ｅａｓｉｌｙ ｏｖｅｒｃｏｍｅ ｔｈｅ ｉｎｔｅｒｆｅｒｅｎｃｅ ｔｏ ｔｈｅ ｔａｒ⁃ ｇｅｔ ｔｒａｃｋｉｎｇ ｐｒｏｃｅｓｓ ｂｙ ｓｉｍｉｌａｒ ｃｏｌｏｒ ｏｂｊｅｃｔｓ， ａｎｄ ｔｈｅ ｉｍｐｒｏｖｅｄ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ ｍｏｂｉｌｅ ｒｏ⁃ ｂｏｔ， ｖｅｒｉｆｙｉｎｇ ｔｈｅ ｒａｐｉｄｎｅｓｓ ａｎｄ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｈｅ ｍｏｂｉｌｅ ｒｏｂｏｔ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：Ｋｉｎｅｃｔ； ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ ａｌｇｏｒｉｔｈｍ； ｍｏｂｉｌｅ ｒｏｂｏｔ； ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ； ｃｏｌｏｒ ｉｎｆｕｍａｔｉｏｎ 收稿日期：２０１３⁃０６⁃０４． 网络出版日期：２０１４⁃０２⁃２０． 基金项目：国家“８６３“计划资助项目（Ｇ２０１３ＣＢ３２９４０３）；国家自然科 学基金资助项目（９１１２００１１）；清华大学自主科研计划资助 项目（２０１１ＴＨＺ０）． 通信作者：张雪华． Ｅ⁃ｍａｉｌ：ｌｏｖｅｌｙｗａｉｗａｉ１９８８＠ ｓｉｎａ．ｃｏｍ． 在计算机视觉领域，使用计算机对运动目标进 行分析研究是一个重要的课题，而在动态环境中对 运动目标进行实时、鲁棒的跟踪是其重要的组成部 分，在自动监控、人机交互、医学图像处理、虚拟现实 等领域有着广泛的应用［１⁃２］ 。 目前，目标跟踪的主 要方法包括基于运动检测、特征、活动轮廓和模型等 跟踪方法［３］ 。 作为机器视觉中一个重要研究分支，自文献 ［４］首次提出基于颜色的粒子滤波目标跟踪算法以 来，目标跟踪技术得到了长足的发展。 但其容易受 到光照变化和背景颜色的影响，如果目标所处的背 景颜色与其本身颜色接近，并且运动速度较快，粒子 滤波目标跟踪的效果会变差，容易出现目标丢失的 现象。 人们一般使用颜色、边界、纹理及其他特征来 跟踪目标，但引入过多的特征来提高跟踪准确性的 同时也会增加计算复杂度。 由于粒子间的重叠会消