第9卷第1期 智能系统学报 Vol.9 No.1 2014年2月 CAAI Transactions on Intelligent Systems Feb.2014 D0:10.3969/j.issn.1673-4785.201305080 网s络出版地址:http:/www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201305080.html 采用Kinect的移动机器人目标跟踪 张雪华12,刘华平2,孙富春2,高蒙1,贺超2 (1.石家庄铁道大学电气与电子工程学院,河北石家庄050043:2.清华大学智能技术与系统国家重点实验室,北 京100084) 摘要:由于基于颜色特征的目标跟踪方法容易受颜色相近的物体影响,造成目标丢失,为了改善这一现象,利用 Kict视觉传感器获取目标的深度信息和颜色信息来计算目标跟踪算法中的粒子权值,从而对基于颜色特征的粒子 滤波算法进行改进。为了简化目标跟踪算法中的直方图计算,利用增量式直方图计算的方法,以提高目标跟踪过程 中的运算速度。最后通过实验证明结合目标的颜色和深度信息的方法能够很好地克服目标跟踪过程中颜色相近物 体的干扰,并将改进的目标跟踪算法应用到移动机器人中,验证了该算法的快速性和鲁棒性。 关键词:Kinect::粒子滤波算法;移动机器人:深度信息;颜色信息 中图分类号:TP242文献标志码:A文章编号:1673-4785(2014)01-0034-06 中文引用格式:张雪华,刘华平,孙富春,等.采用Kinect的移动机器人目标跟踪[J].智能系统学报,2014,9(1):3439. 英文引用格式:ZHANG Xuehua,LIU Huaping,SUN Fuchun,etal.Target tracking of mobile robot using Kinect[J小.CAAl Transactions on Intelligent Systems,2014,9(1):34-39. Target tracking of mobile robot using Kinect ZHANG Xuehua'2,LIU Huaping?,SUN Fuchun2,GAO Meng',HE Chao2 (1.College of Electrical and Electronic Engineering,Shijiazhuang Railway University,Shijiazhuang 050043,China;2.Key Laborato- ry of Intelligent Technology and Systems,Tsinghua University,Beijing 100084,China) Abstract:The target tracking method based on color features is susceptible to the effects of similar color objects, which leads to the loss of the target.In order to overcome this phenomenon,in this paper,the Kinect vision sensor is used to obtain the target depth information and color information to calculate the weights of particles in the target tracking algorithm,and therefore to improve the particle filter algorithm which is based on the color feature.In order to simplify the histogram calculation of the target tracking algorithm,an incremental histogram calculation method is proposed to improve the computational speed of the target tracking process.Finally,through experimentation,the combination of color and depth information of the target can be shown to easily overcome the interference to the tar- get tracking process by similar color objects,and the improved target tracking algorithm is applied to the mobile ro- bot,verifying the rapidness and robustness of the mobile robot target tracking algorithm. Keywords:Kinect;particle filter algorithm;mobile robot;depth information;color infumation 在计算机视觉领域,使用计算机对运动目标进 跟踪方法)。 行分析研究是一个重要的课题,而在动态环境中对 作为机器视觉中一个重要研究分支,自文献 运动目标进行实时、鲁棒的跟踪是其重要的组成部 [4]首次提出基于颜色的粒子滤波目标跟踪算法以 分,在自动监控、人机交互、医学图像处理、虚拟现实 来,目标跟踪技术得到了长足的发展。但其容易受 等领域有着广泛的应用]。目前,目标跟踪的主 到光照变化和背景颜色的影响,如果目标所处的背 要方法包括基于运动检测、特征、活动轮廓和模型等 景颜色与其本身颜色接近,并且运动速度较快,粒子 滤波目标跟踪的效果会变差,容易出现目标丢失的 收稿日期:2013-06-04.网络出版日期:2014-02-20. 基金项目:国家“863“计划资助项日(G2013CB329403):国家自然科 现象。人们一般使用颜色、边界、纹理及其他特征来 学基金资助项目(91120011):清华大学自主科研计划资助 跟踪目标,但引入过多的特征来提高跟踪准确性的 项目(2011THZ0). 通信作者:张雪华.E-mail:lovelywaiwail988@sina.com 同时也会增加计算复杂度。由于粒子间的重叠会消
第 9 卷第 1 期 智 能 系 统 学 报 Vol.9 №.1 2014 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2014 DOI:10.3969 / j.issn.1673⁃4785.201305080 网络出版地址:http: / / www.cnki.net / kcms/ doi / 10.3969 / j.issn.1673⁃4785.201305080.html 采用 Kinect 的移动机器人目标跟踪 张雪华1,2 ,刘华平2 ,孙富春2 ,高蒙1 ,贺超2 (1. 石家庄铁道大学 电气与电子工程学院,河北 石家庄 050043; 2. 清华大学 智能技术与系统国家重点实验室,北 京 100084) 摘 要:由于基于颜色特征的目标跟踪方法容易受颜色相近的物体影响,造成目标丢失,为了改善这一现象,利用 Kinect 视觉传感器获取目标的深度信息和颜色信息来计算目标跟踪算法中的粒子权值,从而对基于颜色特征的粒子 滤波算法进行改进。 为了简化目标跟踪算法中的直方图计算,利用增量式直方图计算的方法,以提高目标跟踪过程 中的运算速度。 最后通过实验证明结合目标的颜色和深度信息的方法能够很好地克服目标跟踪过程中颜色相近物 体的干扰,并将改进的目标跟踪算法应用到移动机器人中,验证了该算法的快速性和鲁棒性。 关键词:Kinect;粒子滤波算法;移动机器人;深度信息;颜色信息 中图分类号:TP242 文献标志码:A 文章编号:1673⁃4785(2014)01⁃0034⁃06 中文引用格式:张雪华,刘华平,孙富春,等.采用 Kinect 的移动机器人目标跟踪[J]. 智能系统学报, 2014, 9(1): 34⁃39. 英文引用格式:ZHANG Xuehua, LIU Huaping, SUN Fuchun, et al. Target tracking of mobile robot using Kinect [ J]. CAAI Transactions on Intelligent Systems, 2014, 9(1): 34⁃39. Target tracking of mobile robot using Kinect ZHANG Xuehua 1,2 , LIU Huaping 2 , SUN Fuchun 2 , GAO Meng 1 , HE Chao 2 ( 1. College of Electrical and Electronic Engineering, Shijiazhuang Railway University, Shijiazhuang 050043, China; 2. Key Laborato⁃ ry of Intelligent Technology and Systems, Tsinghua University, Beijing 100084, China) Abstract:The target tracking method based on color features is susceptible to the effects of similar color objects, which leads to the loss of the target. In order to overcome this phenomenon, in this paper, the Kinect vision sensor is used to obtain the target depth information and color information to calculate the weights of particles in the target tracking algorithm, and therefore to improve the particle filter algorithm which is based on the color feature. In order to simplify the histogram calculation of the target tracking algorithm, an incremental histogram calculation method is proposed to improve the computational speed of the target tracking process. Finally, through experimentation, the combination of color and depth information of the target can be shown to easily overcome the interference to the tar⁃ get tracking process by similar color objects, and the improved target tracking algorithm is applied to the mobile ro⁃ bot, verifying the rapidness and robustness of the mobile robot target tracking algorithm. Keywords:Kinect; particle filter algorithm; mobile robot; depth information; color infumation 收稿日期:2013⁃06⁃04. 网络出版日期:2014⁃02⁃20. 基金项目:国家“863“计划资助项目(G2013CB329403);国家自然科 学基金资助项目(91120011);清华大学自主科研计划资助 项目(2011THZ0). 通信作者:张雪华. E⁃mail:lovelywaiwai1988@ sina.com. 在计算机视觉领域,使用计算机对运动目标进 行分析研究是一个重要的课题,而在动态环境中对 运动目标进行实时、鲁棒的跟踪是其重要的组成部 分,在自动监控、人机交互、医学图像处理、虚拟现实 等领域有着广泛的应用[1⁃2] 。 目前,目标跟踪的主 要方法包括基于运动检测、特征、活动轮廓和模型等 跟踪方法[3] 。 作为机器视觉中一个重要研究分支,自文献 [4]首次提出基于颜色的粒子滤波目标跟踪算法以 来,目标跟踪技术得到了长足的发展。 但其容易受 到光照变化和背景颜色的影响,如果目标所处的背 景颜色与其本身颜色接近,并且运动速度较快,粒子 滤波目标跟踪的效果会变差,容易出现目标丢失的 现象。 人们一般使用颜色、边界、纹理及其他特征来 跟踪目标,但引入过多的特征来提高跟踪准确性的 同时也会增加计算复杂度。 由于粒子间的重叠会消
第1期 张雪华,等:采用Kinect的移动机器人目标跟踪 .35. 耗大量的时间做重复计算,文献[5-8]在直方图的快 起来。它能够以实时的速率(30帧/s)提供彩色图 速计算上做出了新的尝试,提高了运行速度的同时 像和对应像素的深度信息,并且深度精度在毫米量 保证跟踪的准确性。本文针对粒子滤波目标跟踪的 级,这使更多的工作变得易行。 缺陷提出融合Kinect的深度信息的目标跟踪算法, 2增量式直方图计算(HC)算法 并提出了增量式直方图计算算法来提高系统计算速 度,从而实现基于Kinect的移动机器人目标跟踪。 增量式直方图计算(incremental histogram calcu-- lation)算法是一种基于蒙特卡洛法(Monte Carlo l基于Kinect的目标跟踪系统 method)的粒子滤波算法[1],它的基本思想是根据 Kinect是微软公司开发的一款体感摄像机,其 增量式相似度计算来确定每个粒子的权值。文献 结合了视觉与距离传感器的特点,并且开放了可以 [12-13]对HC算法原理及其应用进行了新的研究 在个人计算机上进行二次开发的SDK,以其独特的 和实验,并提出按顺序播撒的2个粒子的矩形区域 功能吸引了大批研究者的关注。基于Kinect视觉 通常会有一个大的重叠区域,因此,在计算后一个粒 与距离相结合的特点,人们对它的使用范围已经不 子的权值时只需消耗较短的时间来计算非重叠区域 局限于游戏开发领域,目前在计算机视觉、机器人等 即可,这样避免了相同像素的重复计算,显著提高跟 领域也取得了优秀的研究成果。 踪的实时性能。 基于Kinect的目标跟踪系统框架如图1所示。 HC算法的基本原理如图2所示,图中为2个 粒子x和x1分别对应的2个矩形框,定义为R和 R1。定义δ为矩形框R+1表示的区域颜色直方 图,8定义为矩形框R的颜色直方图。则直方图 彩色摄像头 深度摄像头 h+1由式(1)可得。 h+1=h:+86-6i (1) RGB图像 深度图像 增量式直方图算法获取日标的 计算颜色直方图深度值 粒子滤波算 法计算权值 R 融合深度信息 再计算权值 。实现目标跟踪 图22个粒子的增量式直方图计算 Fig.2 IHC algorithm between two particles 图1基于Kinect的目标跟踪框架 Fig.1 Kinect-based target tracking framework 显然,如果矩形框R和R1的重叠区域较大, Kinect硬件上主要由一个普通的低分辨率RGB 那么计算6和δ消耗的时间就会较少,这样计算 摄像机、一个红外发射器、一个红外投影仪以及一组 h:+1的时间就会减少,因此就不需要计算重叠区域 麦克风阵列组成。普通RGB摄像机能够以30帧/s 的直方图。但是,当重叠区域的面积小于非重叠区 速率传送分辨率大小640×480的RGB图像,而红外 域面积时,HC算法反而会增加计算量,消耗更多的 发射器和投影仪则是用来采集相应的深度信息,通 时间,此时需设立一个评价函数来判断HC算法是 过内部芯片转换并传送分辨率大小320×240的深 否适用于当前粒子的分布情况。如果人为设定粒子 度图像。通过插值处理,Kinect的驱动可以为上层 分布的方差为某一限值,那么大部分粒子都可以满 软件提供几乎同步的相同分辨率的RGB图像流和 足HC算法的条件。对于传统的直方图计算方法, 深度图像流,并且通过简单的校准,如利用出厂的摄 权值小的粒子会导致对快速运动目标的跟踪性能下 像机参数,可以将RGB图像和深度图像像素点对应 降,而对于HC算法,小方差可以提高运算速度,减
耗大量的时间做重复计算,文献[5⁃8]在直方图的快 速计算上做出了新的尝试,提高了运行速度的同时 保证跟踪的准确性。 本文针对粒子滤波目标跟踪的 缺陷提出融合 Kinect 的深度信息的目标跟踪算法, 并提出了增量式直方图计算算法来提高系统计算速 度,从而实现基于 Kinect 的移动机器人目标跟踪。 1 基于 Kinect 的目标跟踪系统 Kinect 是微软公司开发的一款体感摄像机,其 结合了视觉与距离传感器的特点,并且开放了可以 在个人计算机上进行二次开发的 SDK,以其独特的 功能吸引了大批研究者的关注。 基于 Kinect 视觉 与距离相结合的特点,人们对它的使用范围已经不 局限于游戏开发领域,目前在计算机视觉、机器人等 领域也取得了优秀的研究成果。 基于 Kinect 的目标跟踪系统框架如图 1 所示。 图 1 基于 Kinect 的目标跟踪框架 Fig.1 Kinect⁃based target tracking framework Kinect 硬件上主要由一个普通的低分辨率 RGB 摄像机、一个红外发射器、一个红外投影仪以及一组 麦克风阵列组成。 普通 RGB 摄像机能够以 30 帧/ s 速率传送分辨率大小 640×480 的 RGB 图像,而红外 发射器和投影仪则是用来采集相应的深度信息,通 过内部芯片转换并传送分辨率大小 320×240 的深 度图像。 通过插值处理,Kinect 的驱动可以为上层 软件提供几乎同步的相同分辨率的 RGB 图像流和 深度图像流,并且通过简单的校准,如利用出厂的摄 像机参数,可以将 RGB 图像和深度图像像素点对应 起来。 它能够以实时的速率(30 帧/ s) 提供彩色图 像和对应像素的深度信息,并且深度精度在毫米量 级,这使更多的工作变得易行。 2 增量式直方图计算(IHC)算法 增量式直方图计算(incremental histogram calcu⁃ lation)算法是一种基于蒙特卡洛法 ( Monte Carlo method)的粒子滤波算法[9⁃11] ,它的基本思想是根据 增量式相似度计算来确定每个粒子的权值。 文献 [12⁃13]对 IHC 算法原理及其应用进行了新的研究 和实验,并提出按顺序播撒的 2 个粒子的矩形区域 通常会有一个大的重叠区域,因此,在计算后一个粒 子的权值时只需消耗较短的时间来计算非重叠区域 即可,这样避免了相同像素的重复计算,显著提高跟 踪的实时性能。 IHC 算法的基本原理如图 2 所示,图中为 2 个 粒子 x i k 和 x i+1 k 分别对应的 2 个矩形框,定义为 Ri 和 Ri+1 。 定义 δ + h 为矩形框 Ri+1 表示的区域颜色直方 图, δ - h 定义为矩形框 Ri 的颜色直方图。 则直方图 hi+1 由式(1)可得。 hi+1 = hi + δ - h - δ + h (1) 图 2 2 个粒子的增量式直方图计算 Fig.2 IHC algorithm between two particles 显然,如果矩形框 Ri 和 Ri+1 的重叠区域较大, 那么计算 δ - h 和 δ + h 消耗的时间就会较少,这样计算 hi+1 的时间就会减少,因此就不需要计算重叠区域 的直方图。 但是,当重叠区域的面积小于非重叠区 域面积时,IHC 算法反而会增加计算量,消耗更多的 时间,此时需设立一个评价函数来判断 IHC 算法是 否适用于当前粒子的分布情况。 如果人为设定粒子 分布的方差为某一限值,那么大部分粒子都可以满 足 IHC 算法的条件。 对于传统的直方图计算方法, 权值小的粒子会导致对快速运动目标的跟踪性能下 降,而对于 IHC 算法,小方差可以提高运算速度,减 第 1 期 张雪华,等:采用 Kinect 的移动机器人目标跟踪 ·35·
·36 智能系统学报 第9卷 小计算量,从而提高跟踪速度且对跟踪性能没有太 大影响。 3.2融合Kinect深度信息的目标跟踪 3目标跟踪算法 在融合Kinect深度信息的目标跟踪算法中,选 3.1基于颜色的粒子滤波跟踪算法 取N个采样粒子,每个粒子在图像上的坐标用(x:, 粒子滤波算法结合了蒙特卡洛方法和贝叶斯滤 y:)表示,当前帧的目标区域与第1帧选取的目标区 波的特点],最终完成贝叶斯滤波的递推,求解出 域的比用:表示,每个粒子的权值用w:表示,每个 贝叶斯估计。它的后验概率密度函数根据随机抽取 粒子的深度值用d,表示。 的样本及其权重计算,抽取的样本越多,所求出的后 实验过程中根据读取的深度值来调整目标矩形 验概率密度越接近于真实值。在粒子滤波器中用粒 框的大小,获取矩形框时的图像设为第1帧,显示出 子代替目标的一种可能性状态,并且粒子滤波算法 当前框中心点的深度值,此时框宽为W,框高为 不需要满足线性、高斯系统,应用更加广泛。 H。在运行过程中,目标不断运动,中心点深度值也 基于蒙特卡洛仿真原理,设状态变量为xk,已 不断变化,框宽和框高根据深度值的比例自适应调 整大小,由于深度值越大目标越小,即框宽和框高越 知其后验概率密度函数为p(xk11),则对于任 小,成反比关系,根据公式:第1帧深度值/其余帧 意函数,可用式(2)表示其数学期望值: 每帧深度值=其余帧每帧的框大小/第1帧框大 E(g,())=g,()p(xoz)dxo.(2) 小,其余帧每帧框中心点深度值为d:(已知),框高 此期望值可以近似为式(3): 为W',框高为Ⅲ,则每帧图像中框的大小由式(4) Eg》=2e6) 表示: (3) N=0 d 式中:{x4,i=0,1,…,N表示一系列离散样本,它 d (4) 是从后验概率密度函数f代x1z)中产生的。如果有 足够多的样本,期望近似值E(g,(xo)绝对收敛于 由此,矩形框的大小会随着深度值的变化而变化,达 E(g,(xok))。 到目标跟踪的效果。 转换到粒子滤波器中,后验概率密度函数用若 融合Kinect深度信息的目标跟踪过程如下。 干个粒子来近似,并且采用越多的粒子,近似也就越 1)在第1帧图像中选取目标区域,计算其颜色 精确。由于后验概率分布很难直接求得,因此这成 直方图H,对粒子集进行初始化,根据矩形框大小 为解决问题的关键。 计算目标区域的中心点坐标(x,y:),此时z设为 粒子滤波算法的步骤简单易行,基本流程可以 1,山,的初始值设为中心点的深度值,设定参考深度 归结为如下4个阶段。 值d1o 1)抽取N个样本进行粒子初始化,从初始的概 2)利用高斯分布对第1帧得到的粒子进行采 率密度函数p(x)中抽取样本{x},,由w∝ 样,获得新的xy::值。 p(4l4)p(d1得出每个粒子的权值。 3)根据新的xy:一:值计算当前图像帧中目标 q(x1x-1,之1:k) 区域的颜色直方图H,并与H,作比较,计算权值, 2)进行序列重要性采样,对于i=0,1,…,N- 根据深度值对粒子权值进行修改和归一化。利用巴 1,将权值进行归一化o=/ 心,为后验概率 氏距离公式计算权值,并根据深度信息d,和d,对: i=0 进行处理,得到新的W: 估计提供样本值。 o:=0:×exp(-ld-d12) 3)根据粒子权值的大小进行重采样,将权值小 的粒子抛弃,权值大的粒子替补被抛弃的粒子,从而 再对权值进行归一化,则令0:=0,/∑0:。 得到新的样本集,并将权值进行归一化。 4)输出新的粒子及其权值,得出估计值?= 4)根据公式E(i)=立i估计出当前
小计算量,从而提高跟踪速度且对跟踪性能没有太 大影响。 3 目标跟踪算法 3.1 基于颜色的粒子滤波跟踪算法 粒子滤波算法结合了蒙特卡洛方法和贝叶斯滤 波的特点[13] ,最终完成贝叶斯滤波的递推,求解出 贝叶斯估计。 它的后验概率密度函数根据随机抽取 的样本及其权重计算,抽取的样本越多,所求出的后 验概率密度越接近于真实值。 在粒子滤波器中用粒 子代替目标的一种可能性状态,并且粒子滤波算法 不需要满足线性、高斯系统,应用更加广泛。 基于蒙特卡洛仿真原理,设状态变量为 x0:k ,已 知其后验概率密度函数为 p(x0:k | z1:k) ,则对于任 意函数,可用式(2)表示其数学期望值: E(gt(x0:k)) = ∫gt(x0:k)p(x0:k | z0:k)dx0:k (2) 此期望值可以近似为式(3): E - (g(x0:k)) ≈ 1 N∑ N i = 0 g(x i 0:k) (3) 式中: {x i 0:k,i = 0,1,…,N} 表示一系列离散样本,它 是从后验概率密度函数 f(x | z) 中产生的。 如果有 足够多的样本,期望近似值 E - (gt(x0:k)) 绝对收敛于 E(gt(x0:k)) 。 转换到粒子滤波器中,后验概率密度函数用若 干个粒子来近似,并且采用越多的粒子,近似也就越 精确。 由于后验概率分布很难直接求得,因此这成 为解决问题的关键。 粒子滤波算法的步骤简单易行,基本流程可以 归结为如下 4 个阶段。 1)抽取 N 个样本进行粒子初始化,从初始的概 率密度函数 p(x0 ) 中抽取样本 x i 0 { } N i = 1 ,由 w i k ∝ w i k-1 p(zk | x i k)p(x i k | x i k-1 ) q(x i k | x i k-1 ,z1:k) 得出每个粒子的权值。 2)进行序列重要性采样,对于 i = 0,1,…,N - 1, 将权值进行归一化 w i k = w i k /∑ N-1 j = 0 w j k ,为后验概率 估计提供样本值。 3)根据粒子权值的大小进行重采样,将权值小 的粒子抛弃,权值大的粒子替补被抛弃的粒子,从而 得到新的样本集,并将权值进行归一化。 4)输出新的粒子及其权值,得出估计值 x ( = 1 N∑ N i = 1 x i k 。 3.2 融合 Kinect 深度信息的目标跟踪 在融合 Kinect 深度信息的目标跟踪算法中,选 取 N 个采样粒子,每个粒子在图像上的坐标用 (xi, yi) 表示,当前帧的目标区域与第 1 帧选取的目标区 域的比用 zi 表示,每个粒子的权值用 wi 表示,每个 粒子的深度值用 di 表示。 实验过程中根据读取的深度值来调整目标矩形 框的大小,获取矩形框时的图像设为第 1 帧,显示出 当前框中心点的深度值,此时框宽为 W ,框高为 H。 在运行过程中,目标不断运动,中心点深度值也 不断变化,框宽和框高根据深度值的比例自适应调 整大小,由于深度值越大目标越小,即框宽和框高越 小,成反比关系,根据公式:第 1 帧深度值/ 其余帧 每帧深度值 = 其余帧每帧的框大小/ 第 1 帧框大 小,其余帧每帧框中心点深度值为 di (已知),框高 为 W′, 框高为 H′, 则每帧图像中框的大小由式(4) 表示: W′ = d1 di × W H′ = d1 di × H ì î í ï ï ï ï ïï (4) 由此,矩形框的大小会随着深度值的变化而变化,达 到目标跟踪的效果。 融合 Kinect 深度信息的目标跟踪过程如下。 1)在第 1 帧图像中选取目标区域,计算其颜色 直方图 H1 ,对粒子集进行初始化,根据矩形框大小 计算目标区域的中心点坐标 (xi,yi) ,此时 z 设为 1, di 的初始值设为中心点的深度值,设定参考深度 值 d1 。 2)利用高斯分布对第 1 帧得到的粒子进行采 样,获得新的 xi、yi、zi 值。 3)根据新的 xi、yi、zi 值计算当前图像帧中目标 区域的颜色直方图 Hi ,并与 H1 作比较,计算权值, 根据深度值对粒子权值进行修改和归一化。 利用巴 氏距离公式计算权值,并根据深度信息 di 和 d1 对 wi 进行处理,得到新的 wi: wi = wi × exp( -| di - dref | 2 ) 再对权值进行归一化,则令 wi = wi /∑ N i = 1 wi 。 4)根据公式 E(xk+1 ) = ∑ M n = 1 w n k+1 x n k+1 估计出当前 ·36· 智 能 系 统 学 报 第 9 卷
第1期 张雪华,等:采用Kinect的移动机器人目标跟踪 .37. 目标位置,计算出当前估计区域的颜色直方图及其 法中目标并没有受到干扰物的影响,矩形框一直跟 深度值,与H,和d,进行比较,设定一个阈值范围来 随着目标运动,说明此方法对于相同颜色的干扰有 判断目标是否被成功跟踪,并令当前深度值d=d,。 较好的鲁棒性。在目标跟踪过程中,HC算法有效 5)对粒子进行重采样,抛弃权值小的粒子,补 地减少了像素的计算总数,加快了跟踪速度。 充权值大的粒子,重新进行2)。 868.000000 融入Kinect深度信息的目标跟踪算法流程如 图3所示。 第1帧图像选取目标 (a)近距离(frame61) 计算目标颜色直方图 1255.000000 进行粒子初始化 计算目标中心点(x,,此 比较直方图 时深度值d,为参考值 F (b)远距离(frame75) 粒子更新,计算当前帧矩 形区域直方图 图4融合深度值效果 Fig.4 The fusion depth value renderings 计算权值,进行归一化 1014.000000 根据粒子深度信息d,再 计算权值,归一化 状态估计 (a)选定目标区域(frame85) 结束 结束 重采样 940.000000 图3目标跟踪流程 Fig.3 The flow chart of the target tracking 4实验 (b)干扰物靠近日标(frame98) 本文使用Visual C++2008编程软件,根据微软 905.000000 官方提供的SDK,搭配OpenNI1.0版进行软件部分 的编写,利用Opencv相关函数获得图像。 4.1改进的目标跟踪实验效果 跟踪实验效果图4、图5所示,在融合深度值的 效果图中被选中的目标用矩形框标记,所选取的代 (c)干扰物与日标重叠(framel02) 表帧中左上角的数字为当前帧矩形框的中心点深度 867.000000 值,可以看出,图中矩形框随着深度值的减小而变 小,二者成正比关系。在障碍物干扰效果图中,取2 个完全相同的物体作为实验物,用矩形框选取其中 一个作为目标,一个作为障碍物进行干扰,从实验效 果图中可以看出,在融合了深度信息的目标跟踪算 (d干扰物从目标后方通过(framel1O)
目标位置,计算出当前估计区域的颜色直方图及其 深度值,与 H1 和 d1 进行比较,设定一个阈值范围来 判断目标是否被成功跟踪,并令当前深度值 di =d1 。 5)对粒子进行重采样,抛弃权值小的粒子,补 充权值大的粒子,重新进行 2)。 融入 Kinect 深度信息的目标跟踪算法流程如 图 3 所示。 图 3 目标跟踪流程 Fig.3 The flow chart of the target tracking 4 实 验 本文使用 Visual C++2008 编程软件,根据微软 官方提供的 SDK,搭配 OpenNI1.0 版进行软件部分 的编写,利用 Opencv 相关函数获得图像。 4.1 改进的目标跟踪实验效果 跟踪实验效果图 4、图 5 所示,在融合深度值的 效果图中被选中的目标用矩形框标记,所选取的代 表帧中左上角的数字为当前帧矩形框的中心点深度 值,可以看出,图中矩形框随着深度值的减小而变 小,二者成正比关系。 在障碍物干扰效果图中,取 2 个完全相同的物体作为实验物,用矩形框选取其中 一个作为目标,一个作为障碍物进行干扰,从实验效 果图中可以看出,在融合了深度信息的目标跟踪算 法中目标并没有受到干扰物的影响,矩形框一直跟 随着目标运动,说明此方法对于相同颜色的干扰有 较好的鲁棒性。 在目标跟踪过程中,IHC 算法有效 地减少了像素的计算总数,加快了跟踪速度。 图 4 融合深度值效果 Fig.4 The fusion depth value renderings 第 1 期 张雪华,等:采用 Kinect 的移动机器人目标跟踪 ·37·
·38· 智能系统学报 第9卷 808.000000 )目标开始运动 (e)目标离开干扰物framel221) 810.000000 (©目标通过障碍物 ①矩形框跟随目标运动任rame135) 图5相同物体的障碍物干扰效果 Fig.5 Interference effect of the obstacle of the same object 仙机器人靠近障碍物 4.2目标跟踪算法在移动机器人中的应用 本文使用的移动机器人为MobileRobots公司设 计的PowerBot型差动驱动式移动机器人,主要有适 合室内运行的DX型、较强越野跨障性能的AT型、 适用于人机交互的PeopleBot以及具有较大负载能 (©)机器人避开障碍物跟踪目标 力的PowerBot型。 图6移动机器人目标跟踪实验效果 该移动机器人为方便使用者进行对移动机器人 Fig.6 Mobile robot target tracking experiment results ×102 平台进行二次开发,整个系统设置为两部分:上位机 0 系统与下位机系统。用户通过上位开发程序控制下 -2 位机,下位机则直接对系统的硬件部分进行操作,主 -4 要包括电机控制、传感器控制和数据获取等功能。 本实验利用微软公司开发的Kinect体感摄像 -8 103 机,通过USB接口连接到移动机器人内部的PC机 0.51.01.52.02.53.0 '/mm、 上,Kinect摄像机作为图像显示设备,主要用于获取 (a)机器人检测到障碍物位置 ×102 实验环境的各种信息,将它放在移动机器人的正前 方,为目标跟踪提供数据信息,最终控制机器人运 动,实验效果如图6和图7所示。整个移动机器人 目标跟踪实验过程中,移动机器人需要避开一个障 -6 碍物,然后跟踪目标。图6为通过Kinect摄像机获 8 ×10 取的RGB图像和与其对应的深度图像,图7为目标 0.5 1.0 1.5 2.02.53.0 y/mm 与机器人的轨迹图,其中菱形为检测到的障碍物,圆 (b)机器人和H标开始运 ×102 形表示移动机器人运动轨迹,星形为目标运动轨迹。 0oo -2 -4 -6 ++ -8 103 0 0.51.01.52.02.53.035 (a)选定目标区域 y/mm (c)目标靠近障碍物
图 5 相同物体的障碍物干扰效果 Fig.5 Interference effect of the obstacle of the same object 4.2 目标跟踪算法在移动机器人中的应用 本文使用的移动机器人为 MobileRobots 公司设 计的 PowerBot 型差动驱动式移动机器人,主要有适 合室内运行的 DX 型、较强越野跨障性能的 AT 型、 适用于人机交互的 PeopleBot 以及具有较大负载能 力的 PowerBot 型。 该移动机器人为方便使用者进行对移动机器人 平台进行二次开发,整个系统设置为两部分:上位机 系统与下位机系统。 用户通过上位开发程序控制下 位机,下位机则直接对系统的硬件部分进行操作,主 要包括电机控制、传感器控制和数据获取等功能。 本实验利用微软公司开发的 Kinect 体感摄像 机,通过 USB 接口连接到移动机器人内部的 PC 机 上,Kinect 摄像机作为图像显示设备,主要用于获取 实验环境的各种信息,将它放在移动机器人的正前 方,为目标跟踪提供数据信息,最终控制机器人运 动,实验效果如图 6 和图 7 所示。 整个移动机器人 目标跟踪实验过程中,移动机器人需要避开一个障 碍物,然后跟踪目标。 图 6 为通过 Kinect 摄像机获 取的 RGB 图像和与其对应的深度图像,图 7 为目标 与机器人的轨迹图,其中菱形为检测到的障碍物,圆 形表示移动机器人运动轨迹,星形为目标运动轨迹。 图 6 移动机器人目标跟踪实验效果 Fig.6 Mobile robot target tracking experiment results ·38· 智 能 系 统 学 报 第 9 卷
第1期 张雪华,等:采用Kinect的移动机器人目标跟踪 ·39· ×102 grams in Cartesian spaces[C]//2005 IEEE Computer Soci- ety Conference on Computer Vision and Pattern Recognition. San Diego,USA,2005:829-836. [6]SIZINTSEV M,DERPANIS K G,HOGUE A.Histogram- based search:a comparative study[C]//IEEE Conference 4 on Computer Vision and Pattern Recognition.Anchorage, USA,2008:1-8. ×10 1.0 2.03.0 4.0 5.0 [7]AN S,PEURSUM P,LIU W,et al.Efficient algorithms for y/mm sub window search in object detection and localization (d)目标通过障碍物 ×10 [C]//IEEE Conference on Computer Vision and Pattern 1.0m Recognition.Miami,USA,2009:2129-2142. [8]WEI Y,TAO L.Efficient histogram-based sliding window [C]//IEEE Conference on Computer Vision and Pattern Recognition.San Francisco,USA,2010:3003-3010. [9]KHAN Z,BALCH T,DELLAERT F.MCMC-based particle 0.5 filtering for tracking a variable number of interacting targets 1.0 ×10 [J].IEEE Transactions on Pattern Analysis and Machine 0 1.0 2.03.0 4.0 5.0 y/mm Intelligence,2005,27(11):1805-1819. (©)机器人避开碍障物跟踪目标 [10]KOFMAN J,WU X,LU T,et al.Teleoperation of a robot +障碍物。机器人+目标 manipulator using a vision-based human-robot interface 图7移动机器人目标跟踪运动轨迹 [J].IEEE Transactions on Industrial Electronics,2005, Fig.7 Trajectory of target tracking of mobile robot 52(5):1206-1219. 5结束语 [11]KURAZUME R,YAMADA H,MURAKAMI K,et al. Target tracking using SIR and MCMC particle filters by 本文利用Kinect摄像机能够以高精度获取深度信 multiple cameras and laser range finders[C]//Proceed- ings of International Conference on Intelligent Robots and 息的特点将其作为图像获取设备,并将其获得的深度 Systems.Tokyo,Japan,2008:3838-3844. 信息与RGB图像的颜色信息相融合,运用到基于颜色 [12]LIU Huaping,SUN Fuchun.Efficient visual tracking using 的粒子滤波运动目标跟踪算法中,利用目标的深度值 particle filter with incremental likelihood calculation[J]. Information Sciences,2012,195:141-153. 对传统跟踪算法中权值的计算进行改进,提出增量式 [13]夏轩,刘华平,许伟明,等.基于DSP的主动视觉系统 直方图计算算法对颜色直方图进行计算。实验证明, [J].机器人,2012,34(3):354-362. 此方法可以较好地解决由于颜色相近而引起的目标丢 XIA Xuan,LIU Huaping,XU Weiping,et al.DSP-based 失问题,简化了粒子滤波目标跟踪算法中的直方图计 active vision system[J].Robot,2012,34(3):354-362. 作者简介: 算,提高了系统的运行速度,且移动机器人实际目标跟 张雪华,女,1988年生,硕士研究 踪过程具有更好的快速性和鲁棒性。 生,主要研究方向为智能控制及机 器人。 参考文献: [1]ARULAMPALAM M,MASKELL S,GORDON N.A tutorial on particle filters for online non-liner/non-Gaussian Bayes- ian tracking[J].IEEE Transactions on Signal Processing, 2002.50(2):174-188. 刘华平,男,1976年生,副教授,主 [2]宋亚杰,谢守勇.机器视觉技术在金莲花灌溉中的应用研 要研究方向为智能控制及机器人、计算 究[J].西南农业大学学报:自然科学版,2006,28(4): 机视觉等。 659-662. SONG Yajie,XIE Shouyong.Application of machine vision in the irrigation for tropaeolum[J].Joumal of Southwest Agricul- tural University:Natural Science,2006,28(4):659-662. [3]刘涛,程小平,向本科.改进的基于颜色的粒子滤波目标跟 孙富春,男,教授,博士生导师 踪算法[J刀计算机工程与设计,2010,31(8):1750-1756. EE高级会员,中国人工智能学会理 LIU Tao,CHENG Xiaoping,XIANG Benke.Improved color- 事、智能控制与智能管理专业委员会副 based particle filter algorithm for object tracking[J].Computer 主任兼秘书长。主要研究方向为智能控 Engineering and Design,2010,31(8):1750-1756. 制、机器人与飞行器的导航与控制、网络 [4]PEREZ P,HUE C,VERMAAK J.Color-based probabilistic 控制系统、人工认知系统的信息感知和 tracking[C]//Proceedings of the European Conference on 处理等。曾获全国优秀博士论文奖、 Computer Vision.London,UK,2002:661-675. 北京市科学技术进步二等奖等。发表学术论文120余篇,其 [5]PORIKLI F.Integral histogram:a fast way to extract histo- 中被SCI检索52篇
图 7 移动机器人目标跟踪运动轨迹 Fig.7 Trajectory of target tracking of mobile robot 5 结束语 本文利用 Kinect 摄像机能够以高精度获取深度信 息的特点将其作为图像获取设备,并将其获得的深度 信息与 RGB 图像的颜色信息相融合,运用到基于颜色 的粒子滤波运动目标跟踪算法中,利用目标的深度值 对传统跟踪算法中权值的计算进行改进,提出增量式 直方图计算算法对颜色直方图进行计算。 实验证明, 此方法可以较好地解决由于颜色相近而引起的目标丢 失问题,简化了粒子滤波目标跟踪算法中的直方图计 算,提高了系统的运行速度,且移动机器人实际目标跟 踪过程具有更好的快速性和鲁棒性。 参考文献: [ 1]ARULAMPALAM M, MASKELL S, GORDON N. A tutorial on particle filters for online non⁃liner/ non⁃Gaussian Bayes⁃ ian tracking[ J]. IEEE Transactions on Signal Processing, 2002, 50(2): 174⁃188. [2]宋亚杰,谢守勇.机器视觉技术在金莲花灌溉中的应用研 究[J].西南农业大学学报:自然科学版, 2006, 28(4): 659⁃662. SONG Yajie, XIE Shouyong. Application of machine vision in the irrigation for tropaeolum[J]. Journal of Southwest Agricul⁃ tural University: Natural Science, 2006, 28(4): 659⁃662. [3]刘涛,程小平,向本科.改进的基于颜色的粒子滤波目标跟 踪算法[J].计算机工程与设计, 2010, 31(8): 1750⁃1756. LIU Tao, CHENG Xiaoping, XIANG Benke. Improved color⁃ based particle filter algorithm for object tracking[J]. Computer Engineering and Design, 2010, 31(8): 1750⁃1756. [4]PEREZ P, HUE C, VERMAAK J. Color⁃based probabilistic tracking[C] / / Proceedings of the European Conference on Computer Vision. London, UK, 2002: 661⁃675. [5]PORIKLI F. Integral histogram: a fast way to extract histo⁃ grams in Cartesian spaces[C] / / 2005 IEEE Computer Soci⁃ ety Conference on Computer Vision and Pattern Recognition. San Diego, USA, 2005: 829⁃836. [6] SIZINTSEV M, DERPANIS K G, HOGUE A. Histogram⁃ based search: a comparative study[C] / / IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA, 2008: 1⁃8. [7]AN S, PEURSUM P, LIU W, et al. Efficient algorithms for sub window search in object detection and localization [C] / / IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA, 2009: 2129⁃2142. [8] WEI Y, TAO L. Efficient histogram⁃based sliding window [C] / / IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, USA, 2010: 3003⁃3010. [9]KHAN Z, BALCH T, DELLAERT F. MCMC⁃based particle filtering for tracking a variable number of interacting targets [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(11): 1805⁃1819. [10]KOFMAN J, WU X, LU T, et al. Teleoperation of a robot manipulator using a vision⁃based human⁃robot interface [J]. IEEE Transactions on Industrial Electronics, 2005, 52(5): 1206⁃1219. [ 11] KURAZUME R, YAMADA H, MURAKAMI K, et al. Target tracking using SIR and MCMC particle filters by multiple cameras and laser range finders [ C] / / Proceed⁃ ings of International Conference on Intelligent Robots and Systems. Tokyo, Japan, 2008: 3838⁃3844. [12]LIU Huaping, SUN Fuchun. Efficient visual tracking using particle filter with incremental likelihood calculation [ J]. Information Sciences, 2012, 195: 141⁃153. [13] 夏轩,刘华平,许伟明,等.基于 DSP 的主动视觉系统 [J].机器人, 2012, 34(3): 354⁃362. XIA Xuan, LIU Huaping, XU Weiping, et al. DSP⁃based active vision system[J]. Robot, 2012, 34(3): 354⁃362. 作者简介: 张雪华,女,1988 年生,硕士研究 生, 主 要 研 究 方 向 为 智 能 控 制 及 机 器人。 刘华平,男,1976 年生,副教授,主 要研究方向为智能控制及机器人、计算 机视觉等。 孙富 春, 男, 教 授, 博 士 生 导 师, IEEE 高级会员,中国人工智能学会理 事、智能控制与智能管理专业委员会副 主任兼秘书长。 主要研究方向为智能控 制、机器人与飞行器的导航与控制、网络 控制系统、人工认知系统的信息感知和 处理等。 曾获全国优秀博士论文 39· 奖、 第 1 期 张雪华,等:采用 Kinect 的移动机器人目标跟踪 · 中被SCI检索52 北京市科学技术进步二等奖等。发表学术论文120余篇,其 篇