第11卷第4期 智能系统学报 Vol.11 No.4 2016年8月 CAAI Transactions on Intelligent Systems Aug.2016 D0I:10.11992/is.201605033 网络出版地址:http://www.cnki.net/kcms/detail,/23.1538.TP.20160808.0831.022.html 粒化的Mean Shift行人跟踪算法 刘翠君,赵才荣,苗夺谦,王学宽 (同济大学电子与信息工程学院,上海201804) 摘要:Mean Shift行人跟踪采用颜色特征直方图作为跟踪特征,存在易受背景颜色干扰等问题。基于此,在传统的 Mean Shift行人跟踪算法中引入粒计算的思想,提出粒化的Mean Shift行人跟踪算法,对图像目标区域作粒层分块来 提取块颜色特征信息,并在颜色特征表示上作不同粒度的粒化,最后在Mean Shift迭代框架下实现行人跟踪。该方 法相比传统的跟踪方法具有计算复杂度更低、稳健性更好的优点。在PETS20O9和CAVIAR数据库做的实验表明, 这种方法跟踪正确率更高,在颜色干扰下稳健性更好,能够实时有效地跟踪行人。 关键词:信息粒:粒计算:Mean Shift:特征提取:行人跟踪 中图分类号:TP391文献标志码:A文章编号:1673-4785(2016)04-0433-09 中文引用格式:刘翠君,赵才荣,苗夺谦,等.粒化的Mean Shif价行人跟踪算法[J].智能系统学报,2016,11(4):433-441. 英文引用格式:LIUCuijun,ZHAO Cairong,MIAO Duoqian,etal.Granular mean shift pedestrian tracking algorithm[J].CAAl Transactions on Intelligent Systems,2016,11(4):433-441. Granular mean shift pedestrian tracking algorithm LIU Cuijun,ZHAO Cairong,MIAO Duoqian,WANG Xuekuan (College of Electronics and Information Engineering,Tongji University,Shanghai 201804,China) Abstract:Mean shift pedestrian tracking that uses a color histogram as its tracking feature has drawbacks,e.g., performance can easily be affected by the introduction of a background color.To solve this problem,the idea of granular computing was introduced into the traditional mean shift pedestrian tracking algorithm,and a new granular mean shift pedestrian tracking algorithm,based on granular computing,is presented.The algorithm blocks the im- age's target area with specific granularity to extract color features,then adopts different color channels of granula- tion on the feature,and finally realizes target tracking under the framework of the mean shift iteration.Compared with other traditional methods the algorithm displays lower computational complexity and is more robust.Experimen- tal results on PETS2009 and CAVIAR databases show that the algorithm achieves a higher tracking accuracy,better robustness and efficiency under color interference,and can track the target pedestrian in real time. Keywords:information granules;granular computing;mean shift;feature extraction;pedestrian tracking 行人跟踪涉及行人检测和行人跟踪两部分。行标匹配和目标定位。行人跟踪算法分属两大类:确 人检测属于运动目标检测,目的是从图像序列中将 定性跟踪和随机跟踪。确定性跟踪以Mean Shift 行人目标从背景图像中提取出来:行人跟踪则是在 (MS)跟踪为主线,是以相似度度量作为代价函数的 视频图像序列中检测定位出行人,包括目标建模、目 优化问题,有一系列基于MS的跟踪算法[2-):随机 跟踪将视觉跟踪转化为贝叶斯理论框架下的状态估 收稿日期:2016-05-30.,网络出版日期:2016-08-08. 计问题,目前典型的随机跟踪算法有Kalman滤波跟 基金项目:国家自然科学基金项目(61273304):上海市中医药三年行动 计划重点项目(ZY3-CCCX-3-6002) 踪[o和粒子滤波跟踪)。以MS为代表的行人跟 通信作者:苗夺谦.E-mail:dqmiao(@tongji.cdu.cm. 踪算法因其简单稳健的优势而广受研究者青睐。文
第 11 卷第 4 期 智 能 系 统 学 报 Vol.11 №.4 2016 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2016 DOI:10.11992 / tis.201605033 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20160808.0831.022.html 粒化的 Mean Shift 行人跟踪算法 刘翠君,赵才荣,苗夺谦,王学宽 (同济大学 电子与信息工程学院,上海 201804) 摘 要:Mean Shift 行人跟踪采用颜色特征直方图作为跟踪特征,存在易受背景颜色干扰等问题。 基于此,在传统的 Mean Shift 行人跟踪算法中引入粒计算的思想,提出粒化的 Mean Shift 行人跟踪算法,对图像目标区域作粒层分块来 提取块颜色特征信息,并在颜色特征表示上作不同粒度的粒化,最后在 Mean Shift 迭代框架下实现行人跟踪。 该方 法相比传统的跟踪方法具有计算复杂度更低、稳健性更好的优点。 在 PETS2009 和 CAVIAR 数据库做的实验表明, 这种方法跟踪正确率更高,在颜色干扰下稳健性更好,能够实时有效地跟踪行人。 关键词:信息粒;粒计算;Mean Shift;特征提取;行人跟踪 中图分类号: TP391 文献标志码:A 文章编号:1673-4785(2016)04-0433-09 中文引用格式:刘翠君,赵才荣,苗夺谦,等. 粒化的 Mean Shift 行人跟踪算法[J]. 智能系统学报, 2016, 11(4): 433-441. 英文引用格式:LIU Cuijun, ZHAO Cairong, MIAO Duoqian, et al. Granular mean shift pedestrian tracking algorithm[J]. CAAI Transactions on Intelligent Systems, 2016, 11(4): 433-441. Granular mean shift pedestrian tracking algorithm LIU Cuijun, ZHAO Cairong, MIAO Duoqian, WANG Xuekuan (College of Electronics and Information Engineering, Tongji University, Shanghai 201804, China) Abstract:Mean shift pedestrian tracking that uses a color histogram as its tracking feature has drawbacks, e. g., performance can easily be affected by the introduction of a background color. To solve this problem, the idea of granular computing was introduced into the traditional mean shift pedestrian tracking algorithm, and a new granular mean shift pedestrian tracking algorithm, based on granular computing, is presented. The algorithm blocks the im⁃ age’s target area with specific granularity to extract color features, then adopts different color channels of granula⁃ tion on the feature, and finally realizes target tracking under the framework of the mean shift iteration. Compared with other traditional methods the algorithm displays lower computational complexity and is more robust. Experimen⁃ tal results on PETS2009 and CAVIAR databases show that the algorithm achieves a higher tracking accuracy, better robustness and efficiency under color interference, and can track the target pedestrian in real time. Keywords: information granules; granular computing; mean shift; feature extraction; pedestrian tracking 收稿日期:2016-05-30. 网络出版日期:2016-08-08. 基金项目:国家自然科学基金项目(61273304);上海市中医药三年行动 计划重点项目(ZY3⁃CCCX⁃3⁃6002) 通信作者:苗夺谦. E⁃mail:dqmiao@ tongji.edu.cn. 行人跟踪涉及行人检测和行人跟踪两部分。 行 人检测属于运动目标检测,目的是从图像序列中将 行人目标从背景图像中提取出来;行人跟踪则是在 视频图像序列中检测定位出行人,包括目标建模、目 标匹配和目标定位。 行人跟踪算法分属两大类:确 定性跟踪和随机跟踪。 确定性跟踪以 Mean Shift (MS)跟踪为主线,是以相似度度量作为代价函数的 优化问题,有一系列基于 MS 的跟踪算法[2-9] ;随机 跟踪将视觉跟踪转化为贝叶斯理论框架下的状态估 计问题,目前典型的随机跟踪算法有 Kalman 滤波跟 踪[10]和粒子滤波跟踪[11] 。 以 MS 为代表的行人跟 踪算法因其简单稳健的优势而广受研究者青睐。 文
.434 智能系统学报 第11卷 献[1]对MS跟踪算法的经典文献和研究历程做了 本文提出粒化的MS行人跟踪算法,基本保留 详细综述。2003年D.Comaniciu等2]将MS应用于 MS跟踪算法框架,引入粒计算方法来优化颜色特 视觉跟踪领域,首次提出MS跟踪算法,开辟了视觉 征表示,在颜色特征的采集和处理上都采用粒计算 跟踪领域的新方向,自此有大量关于MS的改进算 方法表示,得到粒化后的核函数加权颜色直方图作 法被提出。为提高MS跟踪算法的适应能力,在目 为颜色特征表示,通过MS迭代实现行人跟踪,一定 标模板更新策略上,文献[3]提出基于线性加权的 程度上削弱了图像噪声干扰,不仅降低了计算代价, 模板更新:文献[4]提出基于滤波的模板更新方法: 而且提高了跟踪实时性。 在目标尺度及方向估计上,文献[5]提出基于特征 1颜色特征粒化 点匹配的尺度与方向估计方法,消除由于尺度变化 导致的定位误差:文献[6]提出基于权重图的尺度 将大量的复杂特征及信息按其各自的特征及性 与方向估计方法,能更准确地反应目标尺度信息:在 能划分为若干个较简单的块,每一块看作是一个信 抗遮挡跟踪上,文献[7]在MS跟踪算法的基础上引 息粒,这些信息粒具有相似的特征及性能,这个划分 入Kalman滤波器来辅助预测目标位置,增强了稳健 过程就是信息粒化的过程。 性:文献[8]提出目标分块的方法,通过子块的跟踪 定义1用一个三元组来描述信息粒G=(IG, 定位来获得目标的整体位置:在跟踪快速目标上, EG,FG),其中IG称为信息粒G的内涵,EG称为信息 MS迭代容易陷入局部最优值,使得无法处理快速 粒G的外延:FG称为内涵和外延之间的转换函数。 运动的目标,文献[9]引入模拟退火算法,提出退火 信息粒的内涵IG是信息粒在特定环境下的表 MS来逐步平滑代价函数,用于全局模式的搜索,跳 现知识,表示在一个特定的任务下信息粒中所有元 出局部最优值。 素的一般性特征、规则、共同性等,可以定义一个语 MS跟踪向来以计算简单、调节参数少为优势, 言,由这个语言的公式来表示:信息粒的外延EG是 这些改进算法尽管从不同方面改进了MS跟踪算法 满足这个公式的所有对象的集合:信息粒的转换函 的缺陷,但是也一定程度上增加了计算复杂度和调 数FG是EG到IG的泛化转换函数。对于信息粒 节参数,无法很好地保证跟踪实时性。MS跟踪存在 G=(IG,EG,FG),X为对于信息粒G所有可能外 的挑战问题有许多,本文旨在基本保留MS的跟踪 延EG的对象的集合,即外延的论域:Y为对于信息 框架上解决MS跟踪的基本问题:颜色直方图带来 粒G所有可能内涵IG的集合,即内涵的论域。下面 的干扰问题和计算复杂度问题。考虑到颜色直方图 给出转换函数FG的形式化定义。 对于目标形状、姿态、旋转等变化及遮挡都具有一定 定义2从X到Y的信息粒的泛化转换函数是 的鲁棒性,但是由于摄像机的视频图像质量普遍较 笛卡尔积X×Y的一个子集FG,对于每个属于X的 差,分辨率普遍较低,易受背景颜色干扰,使得采集 EG都存在唯一的Y中的元素IG使得(EG,IG)属 到的目标颜色特征存在较大的噪声冗余信息,然而 于FG。 粒计算方法恰巧能有效地处理视频图像大数据冗余 传统的MS行人跟踪算法采集行人目标区域的 信息。 颜色特征信息,粒化的MS行人跟踪算法引入粒计 粒计算方法由Zadeh2]和Lin1)首次提出,是 算的思想对颜色特征信息进行粒化,包含两个信息 人工智能领域中的一种新理念和新方法,它覆盖了 粒化过程:图像粒化和颜色通道粒化。 所有和粒度相关的理论、方法和技术,主要用于对不 1.1图像粒化 确定、不精确、不完整信息的处理,对大规模海量数 行人目标区域存在背景颜色干扰,为了减弱背 据的挖掘和对复杂问题的求解4。粒计算的实质 景颜色干扰和降低计算代价,将图像行人目标区域 是通过选择合适的粒度,来寻找一种较好的、近似的 进行不同粒度的粒层分块,并采集每一粒块的R、G、 解决方案,避免复杂的计算,从而降低问题求解的难 B颜色均值,得到图像特征信息粒格,简称图像粒, 度。文献[15]归纳了粒计算方法在大数据处理中 该过程为图像粒化。用三元组G=(IG,EG,FG) 的3种基本模式并讨论了粒计算方法应用于大数据 表示图像粒,内涵IG是由外延EG集合中的每个 的可行性及优势。考虑到摄像机视频图像中的海量 对象通过转换关系FG计算出的R、G、B颜色均值 数据挖掘和行人跟踪问题的复杂计算,试图通过粒 集合。外延EG的论域X'={【M×N】M,N∈ 计算方法找到降低计算代价并有效改进跟踪效果的 N{,其中【M×N】表示大小为M×N的图像粒块, 方法。 L∈X,i=1,2,…,n,表示图像粒度为R,时的第
献[1]对 MS 跟踪算法的经典文献和研究历程做了 详细综述。 2003 年 D.Comaniciu 等[2] 将 MS 应用于 视觉跟踪领域,首次提出 MS 跟踪算法,开辟了视觉 跟踪领域的新方向,自此有大量关于 MS 的改进算 法被提出。 为提高 MS 跟踪算法的适应能力,在目 标模板更新策略上,文献[3]提出基于线性加权的 模板更新;文献[4]提出基于滤波的模板更新方法; 在目标尺度及方向估计上,文献[5]提出基于特征 点匹配的尺度与方向估计方法,消除由于尺度变化 导致的定位误差;文献[6]提出基于权重图的尺度 与方向估计方法,能更准确地反应目标尺度信息;在 抗遮挡跟踪上,文献[7]在 MS 跟踪算法的基础上引 入 Kalman 滤波器来辅助预测目标位置,增强了稳健 性;文献[8]提出目标分块的方法,通过子块的跟踪 定位来获得目标的整体位置;在跟踪快速目标上, MS 迭代容易陷入局部最优值,使得无法处理快速 运动的目标,文献[9]引入模拟退火算法,提出退火 MS 来逐步平滑代价函数,用于全局模式的搜索,跳 出局部最优值。 MS 跟踪向来以计算简单、调节参数少为优势, 这些改进算法尽管从不同方面改进了 MS 跟踪算法 的缺陷,但是也一定程度上增加了计算复杂度和调 节参数,无法很好地保证跟踪实时性。 MS 跟踪存在 的挑战问题有许多,本文旨在基本保留 MS 的跟踪 框架上解决 MS 跟踪的基本问题:颜色直方图带来 的干扰问题和计算复杂度问题。 考虑到颜色直方图 对于目标形状、姿态、旋转等变化及遮挡都具有一定 的鲁棒性,但是由于摄像机的视频图像质量普遍较 差,分辨率普遍较低,易受背景颜色干扰,使得采集 到的目标颜色特征存在较大的噪声冗余信息,然而 粒计算方法恰巧能有效地处理视频图像大数据冗余 信息。 粒计算方法由 Zadeh [12] 和 Lin [13] 首次提出,是 人工智能领域中的一种新理念和新方法,它覆盖了 所有和粒度相关的理论、方法和技术,主要用于对不 确定、不精确、不完整信息的处理,对大规模海量数 据的挖掘和对复杂问题的求解[14] 。 粒计算的实质 是通过选择合适的粒度,来寻找一种较好的、近似的 解决方案,避免复杂的计算,从而降低问题求解的难 度。 文献[15]归纳了粒计算方法在大数据处理中 的 3 种基本模式并讨论了粒计算方法应用于大数据 的可行性及优势。 考虑到摄像机视频图像中的海量 数据挖掘和行人跟踪问题的复杂计算,试图通过粒 计算方法找到降低计算代价并有效改进跟踪效果的 方法。 本文提出粒化的 MS 行人跟踪算法,基本保留 MS 跟踪算法框架,引入粒计算方法来优化颜色特 征表示,在颜色特征的采集和处理上都采用粒计算 方法表示,得到粒化后的核函数加权颜色直方图作 为颜色特征表示,通过 MS 迭代实现行人跟踪,一定 程度上削弱了图像噪声干扰,不仅降低了计算代价, 而且提高了跟踪实时性。 1 颜色特征粒化 将大量的复杂特征及信息按其各自的特征及性 能划分为若干个较简单的块,每一块看作是一个信 息粒,这些信息粒具有相似的特征及性能,这个划分 过程就是信息粒化的过程。 定义 1 用一个三元组来描述信息粒 G = (IG, EG,FG) ,其中 IG 称为信息粒 G 的内涵, EG 称为信息 粒 G 的外延; FG 称为内涵和外延之间的转换函数。 信息粒的内涵 IG 是信息粒在特定环境下的表 现知识,表示在一个特定的任务下信息粒中所有元 素的一般性特征、规则、共同性等,可以定义一个语 言,由这个语言的公式来表示;信息粒的外延 EG 是 满足这个公式的所有对象的集合;信息粒的转换函 数 FG 是 EG 到 IG 的泛化转换函数。 对于信息粒 G =(IG,EG,FG) , X 为对于信息粒 G 所有可能外 延 EG 的对象的集合,即外延的论域; Y 为对于信息 粒 G 所有可能内涵 IG 的集合,即内涵的论域。 下面 给出转换函数 FG 的形式化定义。 定义 2 从 X 到 Y 的信息粒的泛化转换函数是 笛卡尔积 X × Y 的一个子集 FG ,对于每个属于 X 的 EG 都存在唯一的 Y 中的元素 IG 使得 (EG,IG) 属 于 FG 。 传统的 MS 行人跟踪算法采集行人目标区域的 颜色特征信息,粒化的 MS 行人跟踪算法引入粒计 算的思想对颜色特征信息进行粒化,包含两个信息 粒化过程:图像粒化和颜色通道粒化。 1.1 图像粒化 行人目标区域存在背景颜色干扰,为了减弱背 景颜色干扰和降低计算代价,将图像行人目标区域 进行不同粒度的粒层分块,并采集每一粒块的 R、G、 B 颜色均值,得到图像特征信息粒格,简称图像粒, 该过程为图像粒化。 用三元组 G I = (IG I ,EG I ,FG I ) 表示图像粒,内涵 IG I 是由外延 EG I 集合中的每个 对象通过转换关系 FG I 计算出的 R、G、B 颜色均值 集合。 外延 EG I 的论域 X I = {〖M × N〗 M,N ∈ ℕ }, 其中 〖M × N〗 表示大小为 M × N 的图像粒块, L RI i ∈ X I ,i = 1,2,…,nRI ,表示图像粒度为 RI 时的第 ·434· 智 能 系 统 学 报 第 11 卷
第4期 刘翠君,等:粒化的Mean Shift行人跟踪算法 ·435. i个图像粒块,其中R,={1,2,…}表示图像粒层分 块,同时更新外延集合和内涵集合:依此类推,当图 块的粒度。相同粒度下的图像粒块大小一致,令原 像粒度R,=5时,粒化为n个1×1大小的粒块,已 始图像块大小为m×n,图像粒度为R,时的图像粒 经达到像素点级,粒化过程结束。实验表明图像粒 块L的大小为m×n:,ne表示粒度为R,时的图 度R,=4时,实验效果较好。 像粒块总数,有 1.2颜色通道粒化 nR=Lm×n/m×n」j (1) 行人跟踪的视频图像往往分辨率较低,存在一 内涵IG的论域Y={(CR,Cc,Cg)|CR,Cc, 定程度的颜色噪声干扰。颜色级数越多,表示的颜 CB∈(0,255)},其中(CR,Cc,Cg)为R、G、B三通 色信息就越多,但是相应的颜色干扰信息也越多,且 道的颜色特征向量,C∈',i=1,2,…,nR,表示图 运算代价也越大,通过颜色特征计算相似性度量参 像粒度为R,时第i个图像粒块的颜色特征均值。转 数(巴氏系数)的速度也越慢,这对行人跟踪需要高 换函数FG:X'→Y定义为 实时性的要求具有很大挑战,因此不利于实时的行 ∑(CR,Cc,Cs) 人跟踪。粒计算的思想能有效地对这种不确定的模 fIM×NI)= 糊信息进行简化处理,因此在颜色特征表示上引入 (2) M×N 粒计算的思想:行人目标区域经过图像粒化和转换 转换函数对外延集合中的每个图像粒块求R、 函数处理后得到行人目标区域的颜色特征矩阵,对 G、B三通道的颜色特征均值,得到图像粒的内涵集 颜色特征矩阵做颜色通道粒化处理得到最终粒化后 合,外延集合中的粒块对象和内涵集合中颜色特征 的颜色特征矩阵。 向量对象一一对应,内涵集合中的所有颜色特征向 分别将R、G、B三通道颜色区间进行不同粒度 量对象构成该图像目标区域的颜色特征矩阵。 的量化,每通道的颜色区间都均匀二分,得到一系列 图1为粒化的MS行人跟踪算法的图像粒化过 均匀的子颜色区间,称为颜色区间信息粒格,简称颜 程示意图。 色粒,该过程为颜色通道粒化。用三元组G= (IGC,EGC,FGC)来表示颜色粒,内涵IGC是由外延 EG集合中的每个颜色区间通过转换关系FGC计算 出的R、G、B颜色量值集合。外延EG的论域为 Xc={[a,b],0≤a,b≤255,a,b∈N},Lc∈Xc, i=1,2,…,ngc表示颜色粒度为Rc时第i个颜色粒 区间,nR,=2c-1表示颜色粒度为Rc时的颜色粒总 数,则颜色粒度为R。时的每一个颜色粒区间长度为 length(Le)=256/ne=28/2c-1=29-c(3) (a)R,=I (b)R=2 (c)R=3 (d)R=4 颜色粒度为Rc时第i个颜色粒区间Lc可表示为 m×n=7m×nm×=8×8m×n=4×4m×81=2×2 [length(Lc)×(i-1),length(Lc)×i],内涵IGc 图1图像粒化过程 的论域∈[0,255],转换函数FGc可定义为 Fig.1 Image granulation fc(Lc)=i (4) R,为图像粒度,m×n为图像粒度为R,时的 令v表示颜色粒区间Lc的一个颜色值,即v∈ 图像粒块的大小。当图像粒度R,=1时,图像粒块 [length(Lc)×(i-1),length(Lc)×i],则转换函 为行人目标区域m×n,图像粒的外延集合中只有 数可变换为 一个对象,即EG={L=1,i=1},图像粒的内涵集 fc(v)=v/length(Lc)=v.2Rc-9 (5) 合也只有一个图像粒块L1的颜色特征均值,即 至此可直接通过转换函数式(5)计算出颜色特 IG={C=1,i=1};当图像粒度R=2时,考虑到行 征值在任一粒度下粒化后的颜色特征值,较大程度 人目标区域m×n尺度较小且形状倾向于矩形,因 降低计算量。 此将m×n的目标区域首次粒化成8×8的图像粒 考虑到采集的原始颜色特征为R、G、B颜色值, 块,更新外延集合为EG={L=2,i=1,2,…,n2}和 有R通道、G通道和B通道。每个颜色通道对颜色敏 内涵集合为IG={C2,i=1,2,…,n2},其中 感度不一样,如若对每个颜色通道采用一样的粒度来 n2=lm×n/8×8」;当图像粒度R,=3时,对n2个 量化,则不仅没有降低噪声干扰,而且模糊了行人目 8×8大小的图像粒块再粒化成n,个4×4大小的粒 标的颜色特征。因此对每一个颜色通道采用相应的
i 个图像粒块,其中 RI = {1,2,…} 表示图像粒层分 块的粒度。 相同粒度下的图像粒块大小一致,令原 始图像块大小为 m × n ,图像粒度为 RI 时的图像粒 块 L RI i 的大小为 m RI × n RI , nRI 表示粒度为 RI 时的图 像粒块总数,有 nRI =⌊m × n / m RI × n RI」 (1) 内涵 IG I 的论域 Y I = {(CR ,CG ,CB ) | CR ,CG , CB ∈(0,255)} ,其中 (CR ,CG ,CB ) 为 R、G、B 三通 道的颜色特征向量, C RI i ∈ Y I ,i = 1,2,…,nRI 表示图 像粒度为 RI 时第 i 个图像粒块的颜色特征均值。 转 换函数 FG I :X I → Y I 定义为 f I(〖M × N〗) = 〖 ∑M×N〗 (CR ,CG ,CB ) M × N (2) 转换函数对外延集合中的每个图像粒块求 R、 G、B 三通道的颜色特征均值,得到图像粒的内涵集 合,外延集合中的粒块对象和内涵集合中颜色特征 向量对象一一对应,内涵集合中的所有颜色特征向 量对象构成该图像目标区域的颜色特征矩阵。 图 1 为粒化的 MS 行人跟踪算法的图像粒化过 程示意图。 图 1 图像粒化过程 Fig.1 Image granulation RI 为图像粒度, m RI × n RI 为图像粒度为 RI 时的 图像粒块的大小。 当图像粒度 RI = 1 时,图像粒块 为行人目标区域 m × n ,图像粒的外延集合中只有 一个对象,即 EG I = {L RI = 1 i ,i = 1} ,图像粒的内涵集 合也只有一个图像粒块 L RI = 1 1 的颜色特征均值,即 IG I = {C RI = 1 i ,i = 1} ;当图像粒度 RI = 2 时,考虑到行 人目标区域 m × n 尺度较小且形状倾向于矩形,因 此将 m × n 的目标区域首次粒化成 8 × 8 的图像粒 块,更新外延集合为 EG I = {L RI = 2 i ,i = 1,2,…,n2 } 和 内涵集合为 IG I = {C RI = 2 i ,i = 1,2,…,n2 } , 其 中 n2 =⌊m × n / 8 × 8」 ;当图像粒度 RI = 3 时,对 n2 个 8 × 8 大小的图像粒块再粒化成 n3 个 4 × 4 大小的粒 块,同时更新外延集合和内涵集合;依此类推,当图 像粒度 RI = 5 时,粒化为 n5 个 1 × 1 大小的粒块,已 经达到像素点级,粒化过程结束。 实验表明图像粒 度 RI = 4 时,实验效果较好。 1.2 颜色通道粒化 行人跟踪的视频图像往往分辨率较低,存在一 定程度的颜色噪声干扰。 颜色级数越多,表示的颜 色信息就越多,但是相应的颜色干扰信息也越多,且 运算代价也越大,通过颜色特征计算相似性度量参 数(巴氏系数)的速度也越慢,这对行人跟踪需要高 实时性的要求具有很大挑战,因此不利于实时的行 人跟踪。 粒计算的思想能有效地对这种不确定的模 糊信息进行简化处理,因此在颜色特征表示上引入 粒计算的思想:行人目标区域经过图像粒化和转换 函数处理后得到行人目标区域的颜色特征矩阵,对 颜色特征矩阵做颜色通道粒化处理得到最终粒化后 的颜色特征矩阵。 分别将 R、G、B 三通道颜色区间进行不同粒度 的量化,每通道的颜色区间都均匀二分,得到一系列 均匀的子颜色区间,称为颜色区间信息粒格,简称颜 色粒, 该过程为颜色通道粒化。 用三元组 G C = (IG C ,EG C ,FG C ) 来表示颜色粒,内涵 IG C 是由外延 EG C 集合中的每个颜色区间通过转换关系 FG C 计算 出的 R、G、B 颜色量值集合。 外延 EG C 的论域为 X C ={[a,b],0 ≤ a,b ≤255,a,b ∈ ℕ } , L RC i ∈ X C , i = 1,2,…,nRC 表示颜色粒度为 RC 时第 i 个颜色粒 区间, nRC = 2 RC -1 表示颜色粒度为 RC 时的颜色粒总 数,则颜色粒度为 RC 时的每一个颜色粒区间长度为 length(L RC i ) = 256 / nRC = 2 8 / 2 RC -1 = 2 9-RC (3) 颜色粒度为 RC 时第 i 个颜色粒区间 L RC i 可表示为 [length(L RC i ) × (i - 1),length(L RC i ) × i] ,内涵 IG C 的论域 Y C ∈ [0,255] ,转换函数 FG C 可定义为 fC(L RC i ) = i (4) 令 v 表示颜色粒区间 L RC i 的一个颜色值,即 v ∈ [length(L RC i ) × (i - 1),length(L RC i ) × i] ,则转换函 数可变换为 fC(v) = v/ length(L RC i ) = v·2 RC -9 (5) 至此可直接通过转换函数式(5)计算出颜色特 征值在任一粒度下粒化后的颜色特征值,较大程度 降低计算量。 考虑到采集的原始颜色特征为 R、G、B 颜色值, 有 R 通道、 G 通道和 B 通道。 每个颜色通道对颜色敏 感度不一样,如若对每个颜色通道采用一样的粒度来 量化,则不仅没有降低噪声干扰,而且模糊了行人目 标的颜色特征。 因此对每一个颜色通道采用相应的 第 4 期 刘翠君,等:粒化的 Mean Shift 行人跟踪算法 ·435·
.436 智能系统学报 第11卷 粒度来量化,经验得出G通道最敏感,R通道次之,B 比较两图,可看到粒化后的颜色直方图在颜色 通道敏感度最低。因此G通道要表现更多的颜色特 级数上降低了大约5倍,曲线与横轴所围成的面积 征信息,颜色粒度则赋予最大:而敏感度相对最弱的 是采集的目标区域的像素点数量,可见粒化后的像 B通道表现最少的颜色特征信息,颜色粒度则赋予最 素点数量大约降低了4倍,大大降低了计算量。这 小。令R、G、B通道的量化粒度分别表示为R、、 一点将在后续的实验中得到进一步的验证。 R,经验得出当R=5、R=6、R=3时表现的颜色 特征信息最为有效,行人跟踪效果较好。 2粒化的Mean Shift行人跟踪算法 计算经过颜色通道粒化后的3个颜色通道的直 粒化的Mean Shift行人跟踪算法(GMS)是利用 方图虽然已经降低了一定的计算代价和存储代价, 图像粒化及颜色通道粒化后的核函数空间加权的颜 但是为了更进一步简化计算量和降低存储代价,将 色直方图作为目标模型,采用巴氏系数作为相似度 颜色粒化后的三通道颜色值整合成一维颜色值作为 度量,通过自适应步长的MS迭代来实时跟踪行人 该颜色粒的颜色特征值,由于颜色的权重信息已经 目标的位置。 在颜色粒化的时候通过颜色粒度表现,因此整体的 2.1算法描述 转换函数f代)直接体现为各颜色通道的转换函数 设{L,i=1,2,…,n}表示中心位置为y的 的叠加,且保证f代)≥1,表达为 行人目标区域经过图像粒度R,粒化后的图像粒, fc(v)=fc(vg)+fc(vc)+fc(vg)= x·表示每个图像粒L的中心位置,则经过图像粒 g·2隆-9+6·2-9+g·2晚-9+1(6) 化后的加权核函数为 式中:u=(R,"c,B)表示R,G,B颜色特征值向量, mRc=n限+n+n+1表示最终得到的一维颜色 2 特征值的级数。 -XX≤1x=1I(7) K0=0,X>1 未经颜色特征粒化(a)和经过颜色特征粒化后 的颜色直方图(b)如图2所示。 式中:h表示行人目标区域核半径。{xJj=1,2,…, 300 m×n}表示图像粒L的像素位置,b(x,)= 250 [b(x)b(x)b(x,)]表示像素x,的R、G、 B颜色特征值向量,其中b(x)、b(x)、b(x) 200 分别表示R、G、B三颜色通道的特征值,则每个图像 150 粒L的颜色特征值向量通过转换函数式(2)得到 100 f(L)= (8) m×n 通过式(6)和式(8),求得行人目标区域经过图像粒 50 100150200250300 化和颜色通道粒化后的参考颜色直方图q= 颜色级数 为 (a)颜色特征直方图 (qu)u=1.2..mgc 35 g.=cI y-x [fc(f(L))-] 30 (9) 25 式中:8为Kronecker函数;C为归一化常数,使得 20 15 ∑9.=1,因此有 10 C= (10) K A 10 20306060 同理,设在跟踪过程中行人目标候选区域的颜 颜色级数 色直方图经过图像粒化和颜色通道粒化后表示为 (b)粒化的颜色特征直方图 图2颜色直方图 p少o)=p.(少o)=1,2。,其中为为目标候选区 域的中心位置,同样有 Fig.2 Color histogram
粒度来量化,经验得出 G 通道最敏感, R 通道次之, B 通道敏感度最低。 因此 G 通道要表现更多的颜色特 征信息,颜色粒度则赋予最大;而敏感度相对最弱的 B 通道表现最少的颜色特征信息,颜色粒度则赋予最 小。 令 R、G、B 通道的量化粒度分别表示为 R R C 、 R G C 、 R B C ,经验得出当 R R C = 5、 R G C = 6、 R B C = 3 时表现的颜色 特征信息最为有效,行人跟踪效果较好。 计算经过颜色通道粒化后的 3 个颜色通道的直 方图虽然已经降低了一定的计算代价和存储代价, 但是为了更进一步简化计算量和降低存储代价,将 颜色粒化后的三通道颜色值整合成一维颜色值作为 该颜色粒的颜色特征值,由于颜色的权重信息已经 在颜色粒化的时候通过颜色粒度表现,因此整体的 转换函数 f(v) 直接体现为各颜色通道的转换函数 的叠加,且保证 f(v) ≥ 1,表达为 fC(v) = fC(vR ) + fC(vG ) + fC(vB ) = vR·2 RR C -9 + vG·2 RG C -9 + vB·2 RB C -9 + 1 (6) 式中: v = (vR ,vG ,vB ) 表示 R、G、B 颜色特征值向量, mRC = nRR C + nRG C + nRB C + 1 表示最终得到的一维颜色 特征值的级数。 未经颜色特征粒化( a)和经过颜色特征粒化后 的颜色直方图(b)如图 2 所示。 (a)颜色特征直方图 (b)粒化的颜色特征直方图 图 2 颜色直方图 Fig.2 Color histogram 比较两图,可看到粒化后的颜色直方图在颜色 级数上降低了大约 5 倍,曲线与横轴所围成的面积 是采集的目标区域的像素点数量,可见粒化后的像 素点数量大约降低了 4 倍,大大降低了计算量。 这 一点将在后续的实验中得到进一步的验证。 2 粒化的 Mean Shift 行人跟踪算法 粒化的 Mean Shift 行人跟踪算法(GMS)是利用 图像粒化及颜色通道粒化后的核函数空间加权的颜 色直方图作为目标模型,采用巴氏系数作为相似度 度量,通过自适应步长的 MS 迭代来实时跟踪行人 目标的位置。 2.1 算法描述 设 {L RI i ,i = 1,2,…,nRI } 表示中心位置为 y 的 行人目标区域经过图像粒度 RI 粒化后的图像粒, x ∗ i 表示每个图像粒 L RI i 的中心位置,则经过图像粒 化后的加权核函数为 K(X) = 1 - X 0, { ,X ≤ 1 X > 1 X = ‖ y - x ∗ i h ‖ 2 (7) 式中:h 表示行人目标区域核半径。 {xi,j,j = 1,2,…, m RI × n RI} 表示图像粒 L RI i 的像素位置, bf(xi,j) = [b R f (xi,j) b G f (xi,j) b B f (xi,j)] 表示像素 xi,j 的 R、G、 B 颜色特征值向量,其中 b R f (xi,j)、b G f (xi,j)、b B f (xi,j) 分别表示 R、G、B 三颜色通道的特征值,则每个图像 粒 L RI i 的颜色特征值向量通过转换函数式(2)得到 f I(L RI i ) = ∑ mR I×nR I j = 1 bf(xj) m RI × n RI (8) 通过式(6)和式(8),求得行人目标区域经过图像粒 化和 颜 色 通 道 粒 化 后 的 参 考 颜 色 直 方 图 q = qu { } u = 1,2,…,mR C 为 qu = C∑ nR I i = 1 K ‖ y - x ∗ i h ‖ 2 æ è ç ö ø ÷ δ fC(f I(L RI [ i )) - u] (9) 式中: δ 为 Kronecker 函数; C 为归一化常数,使得 ∑ mR C u = 1 qu = 1,因此有 C = 1 ∑ nR I i = 1 K ‖ y0 - x ∗ i h ‖ 2 æ è ç ö ø ÷ (10) 同理,设在跟踪过程中行人目标候选区域的颜 色直方图经过图像粒化和颜色通道粒化后表示为 p(y0 ) = {pu(y0 )}u = 1,2,…,mR C ,其中 y1 为目标候选区 域的中心位置,同样有 ·436· 智 能 系 统 学 报 第 11 卷
第4期 刘翠君,等:粒化的Mean Shift行人跟踪算法 .437. 表1MS和GMS的运算代价 Table 1 The calculation cost of MS and GCMS (11) 代价 MS GMS 基于巴氏系数,求得目标区域的参考颜色直方图 Cu RC+ C'H=R'C.+ 直方图 q和目标候选区域的颜色直方图p(y。)的相似度为 R(C。+3Cm+C.)R'(C。+3C,+C。) plp(),9]=∑p.o)9 (12) C,=u(C.+C)+ C',=u'(Cm+ 新位置 至此,粒化的MS行人跟踪算法的MS跟踪迭代 R(3C+C.) Ca)+R'(3C+C.) 步骤可以总结为算法1。 C。= 相似度 C'。= 算法1粒化的Mean Shift行人跟踪算法 u(C,+C.+C.) u'(C,+C.+C.) (GMS) 表中C。、C。、Cm、C。、C,、Cd、C,分别表示 输入行人跟踪视频图像序列。 核函数加权、获取像素值、浮点数乘法、加法、移位运 初始化图像粒度R,=3和颜色通道粒度 算、除法运算和开方的计算代价:R、u分别表示MS R=5,R=6,R=3;给定行人目标初始中心位置 算法中的行人目标区域大小及颜色直方图的级数; y。及行人目标区域核半径h,由式(9)得到行人目 R'、u'分别表示GMS算法中的行人目标区域大小 标区域经过粒化后的参考颜色直方图q。 及颜色直方图的级数;满足近似关系R/R'=4, 跟踪过程 u/u'≈5,Cm和C,的关系无法准确比较,但是Cm> 1)以y。为行人目标初始中心位置,分别由式 C,一定成立。至此可近似估计出MS和GMS的每 (11)和式(12)计算{p.(o)=12“,。 和 次迭代的计算代价关系,为式(13)。理论计算得 出,仅考虑各运算代价时,GMS算法比MS算法的计 p[p)9]=∑p.09.。 算代价至少快4倍,是个可观的结果。在实际实验 2)计算权值{w:}=12,…,R,0 中,由于图像分块函数消耗、硬件等原因会使得真正 计算效率低于4倍。 o,=∑δef(L)-u, qu P.(Yo) Cm+C,+Cp≈4 (13) 3)计算行人目标新位置y1: C'H+C',+C。 ∑x,1 3实验结果与分析 在CPU2.6GHz、内存4GB的PC机、MATLAB (R2013b)的环境下进行实验,实现本文的改进算法 4)计算新位置的颜色直方图{P.(少)=12.…,m。 GMS跟踪算法,并实现传统MS跟踪算法、Kalman 滤波跟踪算法和粒子滤波跟踪算法与之比较。 5)由式(12)计算新位置和行人目标的相似度 采用4组视频图像序列进行实验,图像序列选 p[p0),9]=∑9.。 自PETS2009和CAVIAR视频图像库,涵盖了行人 6)如果p[p(y),q]<p[p(ya),q],则令y1←- 跟踪的主要场景及挑战场景,包括简单背景、复杂背 2(+y)。 景、目标遮挡、形变及光照变化等。为检测本文方法 的性能,将与传统MS跟踪算法、Kalman滤波跟踪算 7)若‖y1-yo‖<8,则本轮迭代结束;否则 法和粒子滤波跟踪算法进行比较分析。 y。←一y,返回1)继续迭代更新行人目标位置。 3.1与传统MS跟踪的比较 输出当前帧行人目标区域实时最优位置。 图3选取的视频图像是S2_Ll项目中View- 2.2算法计算复杂度 005中的部分序列,序列中红衣女子从视频窗口右 GMS算法的跟踪迭代框架基本维持MS算法的 端水平穿过走向视频窗口左端,期间活动窗口只有 跟踪框架,因此GMS算法和MS算法的计算代价主 红衣女子一人,跟踪图像背景较简单。其中图3(a) 要区别在每次迭代的计算代价,表现在颜色直方图 是MS的跟踪结果,图3(b)是GMS的跟踪结果。从 p、新位置y,和相似度p的计算代价上,MS算法中 跟踪结果可发现该序列MS和GMS的跟踪效果都 表示为Cg、C,、C。,GMS算法中表示为Cg、C',、 较好,在整个行人跟踪过程中都有正确跟踪到目标 C'。,如表1。 行人,但是观察表2发现该序列MS算法的平均迭
pu(y0 ) = C∑ nR I i = 1 K ‖ y0 - x ∗ i h ‖ 2 æ è ç ö ø ÷ δ fC(f I(L RI [ i )) - u] (11) 基于巴氏系数,求得目标区域的参考颜色直方图 q 和目标候选区域的颜色直方图 p(y0 ) 的相似度为 ρ[p(y0 ),q] = ∑ mR C u = 1 pu(y0 )qu (12) 至此,粒化的 MS 行人跟踪算法的 MS 跟踪迭代 步骤可以总结为算法 1。 算法 1 粒 化 的 Mean Shift 行 人 跟 踪 算 法 (GMS) 输入 行人跟踪视频图像序列。 初始化 图像粒度 RI = 3 和颜色通道粒度 R R C =5, R G C = 6, R B C = 3;给定行人目标初始中心位置 y0 及行人目标区域核半径 h ,由式(9)得到行人目 标区域经过粒化后的参考颜色直方图 q 。 跟踪过程 1)以 y0 为行人目标初始中心位置,分别由式 ( 11 ) 和 式 ( 12 ) 计 算 {pu(y0 )}u = 1,2,…,mR C 和 ρ[p(y0 ),q] = ∑ mR C u = 1 pu(y0 )qu 。 2)计算权值 wi { } i = 1,2,…,nR I 。 wi = ∑ mR C u = 1 δ fC(f I(L RI [ i )) - u] qu pu(y0 ) 3)计算行人目标新位置 y1 : y1 = ∑ nR I i = 1 x ∗ i wig ‖ y0 - x ∗ i h ‖ 2 æ è ç ö ø ÷ ∑ nR I i = 1 g ‖ y0 - x ∗ i h ‖ 2 æ è ç ö ø ÷ 4)计算新位置的颜色直方图 {pu(y1 )}u = 1,2,…,mR C 。 5)由式(12)计算新位置和行人目标的相似度 ρ[p(y1 ),q] = ∑ mR C u = 1 pu(y1 )qu 。 6)如果 ρ[p(y1 ),q] < ρ[p(y0 ),q] ,则令 y1 ← 1 2 (y0 + y1 )。 7)若 ‖y1 - y0‖ < ε ,则本轮迭代结束;否则 y0 ← y1 返回 1)继续迭代更新行人目标位置。 输出 当前帧行人目标区域实时最优位置。 2.2 算法计算复杂度 GMS 算法的跟踪迭代框架基本维持 MS 算法的 跟踪框架,因此 GMS 算法和 MS 算法的计算代价主 要区别在每次迭代的计算代价,表现在颜色直方图 p 、新位置 y1 和相似度 ρ 的计算代价上,MS 算法中 表示为 CH 、 Cy 、 Cρ ,GMS 算法中表示为 C′H 、 C′y 、 C′ρ ,如表 1。 表 1 MS 和 GMS 的运算代价 Table 1 The calculation cost of MS and GCMS 代价 MS GMS 直方图 CH = RCw + R(Cp + 3Cm + Ca ) C′H = R′Cw + R′(Cp + 3Cr + Ca ) 新位置 Cy = u(Cw + Cd ) + R(3Cm + Ca ) C′y = u′(Cw + Cd ) + R′(3Cm + Ca ) 相似度 Cρ = u(Cs + Cm + Ca ) C′ρ = u′(Cs + Cm + Ca ) 表中 Cw 、 Cp 、 Cm 、 Ca 、 Cr 、 Cd 、 Cs 分别表示 核函数加权、获取像素值、浮点数乘法、加法、移位运 算、除法运算和开方的计算代价; R 、 u 分别表示 MS 算法中的行人目标区域大小及颜色直方图的级数; R′ 、 u′ 分别表示 GMS 算法中的行人目标区域大小 及颜色直方图的级数;满足近似关系 R / R′ = 4, u / u′ ≈5, Cm 和 Cr 的关系无法准确比较,但是 Cm ≻ Cr 一定成立。 至此可近似估计出 MS 和 GMS 的每 次迭代的计算代价关系,为式( 13)。 理论计算得 出,仅考虑各运算代价时,GMS 算法比 MS 算法的计 算代价至少快 4 倍,是个可观的结果。 在实际实验 中,由于图像分块函数消耗、硬件等原因会使得真正 计算效率低于 4 倍。 CH + Cy + Cρ C′H + C′y + C′ρ ≈ 4 (13) 3 实验结果与分析 在 CPU2.6 GHz、内存 4 GB 的 PC 机、MATLAB (R2013b)的环境下进行实验,实现本文的改进算法 GMS 跟踪算法,并实现传统 MS 跟踪算法、Kalman 滤波跟踪算法和粒子滤波跟踪算法与之比较。 采用 4 组视频图像序列进行实验,图像序列选 自 PETS2009 和 CAVIAR 视频图像库,涵盖了行人 跟踪的主要场景及挑战场景,包括简单背景、复杂背 景、目标遮挡、形变及光照变化等。 为检测本文方法 的性能,将与传统 MS 跟踪算法、Kalman 滤波跟踪算 法和粒子滤波跟踪算法进行比较分析。 3.1 与传统 MS 跟踪的比较 图 3 选取的视频图像是 S2_L1 项目中 View_ 005 中的部分序列,序列中红衣女子从视频窗口右 端水平穿过走向视频窗口左端,期间活动窗口只有 红衣女子一人,跟踪图像背景较简单。 其中图 3(a) 是 MS 的跟踪结果,图 3(b)是 GMS 的跟踪结果。 从 跟踪结果可发现该序列 MS 和 GMS 的跟踪效果都 较好,在整个行人跟踪过程中都有正确跟踪到目标 行人,但是观察表 2 发现该序列 MS 算法的平均迭 第 4 期 刘翠君,等:粒化的 Mean Shift 行人跟踪算法 ·437·
·438 智能系统学报 第11卷 代次数接近5,而GMS算法的平均迭代次数3.5左 色特征的干扰,使得跟踪正确保持。该序列MS的 右,跟踪实时性提高了30%。可见在跟踪背景比较 平均迭代次数接近6,GMS的平均迭代次数约为4. 简单,行人目标颜色特征较为明显时,虽然MS算法 5,跟踪实时性提高了25%,但是相比序列一的GMS 和GMS算法的跟踪准确率相差无几,但是GMS算 平均迭代次数,每帧图片平均增加了一次迭代,这是 法由于引入了粒计算,降低了计算复杂度,因此一定 因为ImageⅡ跟踪场景相比Image I更为复杂。 程度上提高了跟踪实时性。 #132 4471 #147 41R #513 (a)MS跟踪结果 (a)MS跟踪结果 47 种料77 #487 #144 14 #493 513 (b)GMS跟踪结果 (b)GMS跟踪结果 图4 ImageⅡ跟踪结果比较 图3 mage I跟踪结果比较 Fig.4 Comparison of tracking results of image II Fig.3 Comparison of tracking results of image I 图5选取的视频图像是S2Ll项目中View」 图4选取的视频图像是S2_Ll项目中View_ 001中的部分序列,序列中红衣女子从视频窗口右 005中的部分序列,序列中蓝衣女子从视频窗口右 下端斜向上走向视频窗口左上端,走到视频窗口中 端水平穿过走向视频窗口左端,走到视频窗口中央 央时与两名黑衣男子发生遮挡随后分离,紧接着又 时与两名黑衣男子发生遮挡随后分离。由于有行人 被电线杆遮挡后又分离。跟踪图像背景略复杂,发 遮挡及背景颜色干扰,跟踪图像背景略复杂。其中 生多次遮挡,包括两行人的动态遮挡和电线杆的静 图4(a)是MS的跟踪结果,图4(b)是GMS的跟踪 态遮挡,而且背景局部区域存在光照变化干扰。其 结果。比较图4的跟踪结果,发现目标行人未发生 中图5(a)是MS的跟踪结果,图5(b)是GCMS的跟 碰撞前,MS和GMS都有正确跟踪到行人,在第144 踪结果。MS跟踪在第467帧时,行人跟踪丢失,跟 帧目标行人与两个行人发生碰撞后(即遮挡后分 踪结束;GMS在第467帧时,行人跟踪略有偏差,但 离),在第147帧及第148帧MS目标跟踪丢失,发 是仍继续正确跟踪。整个跟踪过程中,行人目标的 现跟踪到干扰行人的蓝色牛仔裤上,与目标行人的 颜色特征与背景颜色特征和遮挡物体的颜色特征能 颜色特征相似度较高,导致误判,直至最后目标彻底 很好地区分,GMS在目标行人发生遮挡时,能适当 丢失。而在整个行人跟踪过程中,GMS跟踪目标未 减弱背景及遮挡物体的颜色干扰,跟踪效果很好,而 丢失,跟踪正确率较高,仅在第144帧行人发生遮挡 MS算法更多地受背景及遮挡物体的颜色干扰导致 时跟踪略有偏差,遮挡分离后,跟踪回复正常。可见 多次遮挡之后行人彻底丢失。该序列MS的平均迭 当跟踪场景中存在与行人目标的颜色特征相似的候 代次数约为5.5,GMS的平均迭代次数约为4.5,跟 选目标与行人目标碰撞时,MS算法跟踪失效,GMS 踪实时性仅提高了18%,可见GMS算法在跟踪场景 算法的粒化后颜色直方图一定程度上降低了背景颜 复杂的情况下,跟踪效果还有待提升
代次数接近 5,而 GMS 算法的平均迭代次数 3.5 左 右,跟踪实时性提高了 30%。 可见在跟踪背景比较 简单,行人目标颜色特征较为明显时,虽然 MS 算法 和 GMS 算法的跟踪准确率相差无几,但是 GMS 算 法由于引入了粒计算,降低了计算复杂度,因此一定 程度上提高了跟踪实时性。 (a)MS 跟踪结果 (b)GMS 跟踪结果 图 3 Image I 跟踪结果比较 Fig.3 Comparison of tracking results of image I 图 4 选取的视频图像是 S2_L1 项目中 View_ 005 中的部分序列,序列中蓝衣女子从视频窗口右 端水平穿过走向视频窗口左端,走到视频窗口中央 时与两名黑衣男子发生遮挡随后分离。 由于有行人 遮挡及背景颜色干扰,跟踪图像背景略复杂。 其中 图 4(a)是 MS 的跟踪结果,图 4( b)是 GMS 的跟踪 结果。 比较图 4 的跟踪结果,发现目标行人未发生 碰撞前,MS 和 GMS 都有正确跟踪到行人,在第 144 帧目标行人与两个行人发生碰撞后(即遮挡后分 离),在第 147 帧及第 148 帧 MS 目标跟踪丢失,发 现跟踪到干扰行人的蓝色牛仔裤上,与目标行人的 颜色特征相似度较高,导致误判,直至最后目标彻底 丢失。 而在整个行人跟踪过程中,GMS 跟踪目标未 丢失,跟踪正确率较高,仅在第 144 帧行人发生遮挡 时跟踪略有偏差,遮挡分离后,跟踪回复正常。 可见 当跟踪场景中存在与行人目标的颜色特征相似的候 选目标与行人目标碰撞时,MS 算法跟踪失效,GMS 算法的粒化后颜色直方图一定程度上降低了背景颜 色特征的干扰,使得跟踪正确保持。 该序列 MS 的 平均迭代次数接近 6,GMS 的平均迭代次数约为 4. 5,跟踪实时性提高了 25%,但是相比序列一的 GMS 平均迭代次数,每帧图片平均增加了一次迭代,这是 因为 Image II 跟踪场景相比 Image I 更为复杂。 (a)MS 跟踪结果 (b)GMS 跟踪结果 图 4 Image II 跟踪结果比较 Fig.4 Comparison of tracking results of image II 图 5 选取的视频图像是 S2_L1 项目中 View_ 001 中的部分序列,序列中红衣女子从视频窗口右 下端斜向上走向视频窗口左上端,走到视频窗口中 央时与两名黑衣男子发生遮挡随后分离,紧接着又 被电线杆遮挡后又分离。 跟踪图像背景略复杂,发 生多次遮挡,包括两行人的动态遮挡和电线杆的静 态遮挡,而且背景局部区域存在光照变化干扰。 其 中图 5(a)是 MS 的跟踪结果,图 5(b)是 GCMS 的跟 踪结果。 MS 跟踪在第 467 帧时,行人跟踪丢失,跟 踪结束;GMS 在第 467 帧时,行人跟踪略有偏差,但 是仍继续正确跟踪。 整个跟踪过程中,行人目标的 颜色特征与背景颜色特征和遮挡物体的颜色特征能 很好地区分,GMS 在目标行人发生遮挡时,能适当 减弱背景及遮挡物体的颜色干扰,跟踪效果很好,而 MS 算法更多地受背景及遮挡物体的颜色干扰导致 多次遮挡之后行人彻底丢失。 该序列 MS 的平均迭 代次数约为 5.5,GMS 的平均迭代次数约为 4.5,跟 踪实时性仅提高了 18%,可见 GMS 算法在跟踪场景 复杂的情况下,跟踪效果还有待提升。 ·438· 智 能 系 统 学 报 第 11 卷
第4期 刘翠君,等:粒化的Mean Shift行人跟踪算法 ·439. 使得碰撞过程行人跟踪正常。可见当跟踪视频质量 #428 43 较差时GMS比MS更具有优势 6 #467 (a)MS跟踪结果 54 #564 (a)MS跟踪结果 #49人3 53 #473 #482 #490 #564 (b)GMS跟踪结果 图6 Image IV跟踪结果比较 (b)GMS跟踪结果 Fig.6 Comparison of tracking results of image IV 图5mageⅢ跟踪结果比较 3.2与其他类跟踪方法的比较 Fig.5 Comparison of tracking results of image III 观察Image I红衣女子的跟踪结果(图7),发现 表2MS和GMIS的平均迭代次数(次/帧) 针对简单背景的行人跟踪,Kalman滤波和粒子滤波 Table 2 The average iterations of MS and GMS 总体上都能较好地跟踪到目标行人,不会丢失。该 图像 MS GMS 序列光照基本无变化,目标行人运动基本匀速,两个 Image I 4.9787 3.6596 算法在第477帧跟踪位置都有偏差,但是随后跟踪 Image II 5.9583 4.5417 正常,这是因为Kalman滤波预测初始参数的原因, 随着跟踪状态的变化,参数会随时调整,这是不可避 Image IIl 5.5833 4.6250 免的:粒子滤波的粒子采样初始是无经验无知识的, Image IV 5.2381 3.9048 粒子覆盖整个跟踪图像,伴随着不断的重采样,粒子 图6选取的视频图像是CAVIAR数据库FRONT 会渐渐地集中在行人目标上,跟踪位置也不断精确。 VEW中的部分序列,序列中目标行人从视频窗口右 端水平穿过走向视频窗口左端,走过视频窗口中央时 #477 #493 #513 与多名行人发生遮挡随后分离。整个视频图像质量 较差,行人特征极其不明显,光照变化很大,加之有行 人遮挡及背景颜色干扰,跟踪图像背景更为复杂。其 (a)Kalman Filter跟踪结果 中图6(a)是MS的跟踪结果,图6(b)是GIS的跟踪 结果。观察(a)、(b)的跟踪结果,在第493帧发现 #477 493 513 MS目标跟踪片刻丢失,GMS目标跟踪仅仅略有偏 差,这是因为MS需要获取更多的颜色信息,相对应 的对光照变化会更加敏感:第549、564、573帧捕捉了 目标行人碰撞过程,由于行人特征实在不明显使得 (b)Particle Filter跟踪结果 MS跟踪失效,而GMS能适当地容忍颜色特征干扰, 图7 mage I跟踪结果比较 Fig.7 Comparison of Tracking Results of Image I
(a)MS 跟踪结果 (b)GMS 跟踪结果 图 5 Image III 跟踪结果比较 Fig.5 Comparison of tracking results of image III 表 2 MS 和 GMS 的平均迭代次数(次/ 帧) Table 2 The average iterations of MS and GMS 图像 MS GMS Image I 4.978 7 3.659 6 Image II 5.958 3 4.541 7 Image III 5.583 3 4.625 0 Image IV 5.238 1 3.904 8 图 6 选取的视频图像是 CAVIAR 数据库 FRONT VIEW 中的部分序列,序列中目标行人从视频窗口右 端水平穿过走向视频窗口左端,走过视频窗口中央时 与多名行人发生遮挡随后分离。 整个视频图像质量 较差,行人特征极其不明显,光照变化很大,加之有行 人遮挡及背景颜色干扰,跟踪图像背景更为复杂。 其 中图 6(a)是 MS 的跟踪结果,图 6(b)是 GMS 的跟踪 结果。 观察(a)、(b)的跟踪结果,在第 493 帧发现 MS 目标跟踪片刻丢失,GMS 目标跟踪仅仅略有偏 差,这是因为 MS 需要获取更多的颜色信息,相对应 的对光照变化会更加敏感;第 549、564、573 帧捕捉了 目标行人碰撞过程,由于行人特征实在不明显使得 MS 跟踪失效,而 GMS 能适当地容忍颜色特征干扰, 使得碰撞过程行人跟踪正常。 可见当跟踪视频质量 较差时 GMS 比 MS 更具有优势。 (a)MS 跟踪结果 (b)GMS 跟踪结果 图 6 Image IV 跟踪结果比较 Fig.6 Comparison of tracking results of image IV 3.2 与其他类跟踪方法的比较 观察 Image I 红衣女子的跟踪结果(图 7),发现 针对简单背景的行人跟踪,Kalman 滤波和粒子滤波 总体上都能较好地跟踪到目标行人,不会丢失。 该 序列光照基本无变化,目标行人运动基本匀速,两个 算法在第 477 帧跟踪位置都有偏差,但是随后跟踪 正常,这是因为 Kalman 滤波预测初始参数的原因, 随着跟踪状态的变化,参数会随时调整,这是不可避 免的;粒子滤波的粒子采样初始是无经验无知识的, 粒子覆盖整个跟踪图像,伴随着不断的重采样,粒子 会渐渐地集中在行人目标上,跟踪位置也不断精确。 (a)Kalman Filter 跟踪结果 (b)Particle Filter 跟踪结果 图 7 Image I 跟踪结果比较 Fig.7 Comparison of Tracking Results of Image I 第 4 期 刘翠君,等:粒化的 Mean Shift 行人跟踪算法 ·439·
440 智能系统学报 第11卷 观察mage III红衣女子的跟踪结果(图8),发 化分块,并且对分块后的块颜色特征进行颜色通道 现复杂背景下且存在行人互遮挡、光照变化等挑战 粒化,归一化后得到粒化后的颜色直方图作为跟踪 因素时,Kalman滤波和粒子滤波跟踪都失效,行人 过程的行人目标颜色特征表示: 目标极易丢失,这是因为传统Kalman滤波和粒子滤 2)通过巴氏系数衡量行人目标区域和候选区 波跟踪都是利用状态估计来预测行人目标的位置, 域的相似度,最后通过MS迭代框架来实时跟踪目 而光照变化等因素极易干扰粒子采样,可见MS跟 标行人的位置: 踪采取颜色直方图作为跟踪特征具有一定的优势。 3)算法保持了传统MS跟踪算法的基本框架, 因此也延续了传统MS跟踪算法的优势,且使得算 #438 年46 4467 法的计算复杂度更低,跟踪更快; 4)通过实验分析得出,本算法减弱了跟踪场景 的背景颜色干扰,同时提高了跟踪实时性。 (a)Kalman Filter跟踪结果 参考文献: 460 年6 [I]顾幸方,茅耀斌,李秋洁.基于Mean Shift的视觉目标跟 踪算法综述[J刀].计算机科学,2012,39(12):16-24. GU Xingfang,MAO Yaobin,LI Qiujie.Survey on visual tracking algorithms based on mean shift[].Computer sci- (b)Particle Filter跟踪结果 ence,2012,39(12):16-24. 图8 ImageⅢ跟踪结果比较 [2]COMANICIU D,RAMESH V,MEER P.Kerel-based ob- Fig.8 Comparison of Tracking Results of Image III ject tracking[.IEEE transactions on pattern analysis and 3.3跟踪效率分析 machine intelligence,2003,25(5):564-577. 表3展示了不同方法在不同图像序列中的平均 [3]KHAN Z H,GU Yuhua,BACKHOUSE A G.Robust visual 跟踪效率(s/帧),发现GMS的跟踪效率均比MS的 object tracking using multi-mode anisotropic mean shift and 跟踪效率高,说明GMS跟踪算法在实际跟踪场景下 particle filters[J].IEEE transactions on circuits and sys- 确实降低了运算代价,提高了跟踪实时性。同时发 tems for video technology,2011,21(1):74-87. 现相比简单场景下,Kalman滤波和粒子滤波的跟踪 [4]PENG Ningsong,YANG Jie,LIU Zhi.Mean shift blob 效率更胜GMS。观察序列三各方法的跟踪效率发 tracking with kernel histogram filtering and hypothesis tes- 现Kalman滤波和粒子滤波结果很小,这是因为Kal- ting[]].Pattern recognition letters,2005,26(5):605- 614. man滤波和粒子滤波跟踪目标已经彻底丢失,所以 [5]CHEN Aihua,ZHU Ming,WANG Yanhua,et al.Mean 该序列数据失去参考价值。 shift tracking combining SIFT[C]//Proceedings of the 9th 表3不同跟踪方法的平均跟踪效率比较 International Conference on Signal Processing.Beijing: Table 3 Comparison of the average tracking efficiency of IEEE,2008:1532-1535. different tracking methods [6]NING Jifeng,ZHANG Lei,ZHANG D,et al.Scale and ori- 图像 MS Kalman Filter Particle Filter GMS entation adaptive mean shift tracking[J].IET computer vi- Image I 1.0115 0.6570 0.3972 0.7768 siom,2012,6(1):52-61. ImageⅡ0.4982 0.5387 0.3548 0.3265 [7]CHEN Kangli,GE Wancheng.Pedestrian tracking algorithm ImageⅢ0.9766 0.6841 0.4004 0.7990 based on kalman filter and partial mean-shift tracking[C]// Image IV 0.3738 0.3123 0.3599 0.3430 Proceedings of the 2nd International Conference on Systems and Informatics ICSAI).Shanghai:IEEE,2014:230- 4 结论 235. [8]FANG Jiangxiong,YANG Jie,LIU Huaxiang.Efficient and 在跟踪场景中若存在与行人目标颜色特征相似 robust fragments-based multiple kernels tracking[J].AEU- 的干扰物体时,特别是碰撞时或被遮挡时,传统的 international journal of electronics and communications, MS行人跟踪算法会使得跟踪目标丢失。因此,本 2011,65(11):915-923. 文提出了粒化的MS行人跟踪算法,总结如下: [9]SHEN Chunhua,BROOKS M J,VAN DEN HENGEL A. 1)采用粒计算的思想对行人目标区域进行粒 Fast global kemnel density mode seeking:applications to lo-
观察 Image III 红衣女子的跟踪结果(图 8),发 现复杂背景下且存在行人互遮挡、光照变化等挑战 因素时,Kalman 滤波和粒子滤波跟踪都失效,行人 目标极易丢失,这是因为传统 Kalman 滤波和粒子滤 波跟踪都是利用状态估计来预测行人目标的位置, 而光照变化等因素极易干扰粒子采样,可见 MS 跟 踪采取颜色直方图作为跟踪特征具有一定的优势。 (a)Kalman Filter 跟踪结果 (b)Particle Filter 跟踪结果 图 8 Image III 跟踪结果比较 Fig.8 Comparison of Tracking Results of Image III 3.3 跟踪效率分析 表 3 展示了不同方法在不同图像序列中的平均 跟踪效率(s/ 帧),发现 GMS 的跟踪效率均比 MS 的 跟踪效率高,说明 GMS 跟踪算法在实际跟踪场景下 确实降低了运算代价,提高了跟踪实时性。 同时发 现相比简单场景下,Kalman 滤波和粒子滤波的跟踪 效率更胜 GMS。 观察序列三各方法的跟踪效率发 现 Kalman 滤波和粒子滤波结果很小,这是因为 Kal⁃ man 滤波和粒子滤波跟踪目标已经彻底丢失,所以 该序列数据失去参考价值。 表 3 不同跟踪方法的平均跟踪效率比较 Table 3 Comparison of the average tracking efficiency of different tracking methods 图像 MS Kalman Filter Particle Filter GMS Image I 1.011 5 0.657 0 0.397 2 0.776 8 Image II 0.498 2 0.538 7 0.354 8 0.326 5 Image III 0.976 6 0.684 1 0.400 4 0.799 0 Image IV 0.373 8 0.312 3 0.359 9 0.343 0 4 结论 在跟踪场景中若存在与行人目标颜色特征相似 的干扰物体时,特别是碰撞时或被遮挡时,传统的 MS 行人跟踪算法会使得跟踪目标丢失。 因此,本 文提出了粒化的 MS 行人跟踪算法,总结如下: 1)采用粒计算的思想对行人目标区域进行粒 化分块,并且对分块后的块颜色特征进行颜色通道 粒化,归一化后得到粒化后的颜色直方图作为跟踪 过程的行人目标颜色特征表示; 2)通过巴氏系数衡量行人目标区域和候选区 域的相似度,最后通过 MS 迭代框架来实时跟踪目 标行人的位置; 3)算法保持了传统 MS 跟踪算法的基本框架, 因此也延续了传统 MS 跟踪算法的优势,且使得算 法的计算复杂度更低,跟踪更快; 4)通过实验分析得出,本算法减弱了跟踪场景 的背景颜色干扰,同时提高了跟踪实时性。 参考文献: [1]顾幸方, 茅耀斌, 李秋洁. 基于 Mean Shift 的视觉目标跟 踪算法综述[J]. 计算机科学, 2012, 39(12): 16-24. GU Xingfang, MAO Yaobin, LI Qiujie. Survey on visual tracking algorithms based on mean shift[ J]. Computer sci⁃ ence, 2012, 39(12): 16-24. [2]COMANICIU D, RAMESH V, MEER P. Kernel⁃based ob⁃ ject tracking[J]. IEEE transactions on pattern analysis and machine intelligence, 2003, 25(5): 564-577. [3]KHAN Z H, GU Yuhua, BACKHOUSE A G. Robust visual object tracking using multi⁃mode anisotropic mean shift and particle filters [ J]. IEEE transactions on circuits and sys⁃ tems for video technology, 2011, 21(1): 74-87. [4] PENG Ningsong, YANG Jie, LIU Zhi. Mean shift blob tracking with kernel histogram filtering and hypothesis tes⁃ ting[J]. Pattern recognition letters, 2005, 26(5): 605- 614. [5] CHEN Aihua, ZHU Ming, WANG Yanhua, et al. Mean shift tracking combining SIFT[C] / / Proceedings of the 9th International Conference on Signal Processing. Beijing: IEEE, 2008: 1532-1535. [ 6]NING Jifeng, ZHANG Lei, ZHANG D, et al. Scale and ori⁃ entation adaptive mean shift tracking[ J]. IET computer vi⁃ sion, 2012, 6(1): 52-61. [7]CHEN Kangli, GE Wancheng. Pedestrian tracking algorithm based on kalman filter and partial mean⁃shift tracking[C] / / Proceedings of the 2nd International Conference on Systems and Informatics ( ICSAI). Shanghai: IEEE, 2014: 230 - 235. [8]FANG Jiangxiong, YANG Jie, LIU Huaxiang. Efficient and robust fragments⁃based multiple kernels tracking[ J]. AEU⁃ international journal of electronics and communications, 2011, 65(11): 915-923. [9] SHEN Chunhua, BROOKS M J, VAN DEN HENGEL A. Fast global kernel density mode seeking: applications to lo⁃ ·440· 智 能 系 统 学 报 第 11 卷
第4期 刘翠君,等:粒化的Mean Shift行人跟踪算法 441. calization and tracking[].IEEE transactions on image pro- XU Ji,WANG Guoyin,YU Hong.Review of big data pro- cessing,2007,16(5):1457-1469. cessing based on granular computing[J].Chinese journal [10]CHANG S.Stochastic peak tracking and the Kalman filter of computers,2015,38(8):1497-1517 [J].IEEE transactions on automatic control,1968,13 作者简介: (6):750. 刘翠君,女,1993年生,硕士研究 [11]DOUCET A,GORDON N.Efficient particle filters for 生,主要研究方向为计算机视觉、粒计 tracking manoeuvring targets in clutter[C]//Proceedings 算等。 of IEE Colloquium on Target Tracking:Algorithms and Applications.London:IEEE,1999:4/1-4/5. [12]ZADEH L A.Toward a theory of fuzzy information granula- tion and its centrality in human reasoning and fuzzy logic 赵才荣,男,1981年生,副研究员 []Fuzzy sets and systems,1997,90(2):111-127. 博土,主要研究方向为人脸识别、计算 [13]LIN T Y.Granular computing:fuzzy logic and rough sets 机视觉等。 [M ]//ZADEH L A,KACPRZYK J.Computing with Words in Information/Intelligent Systems 1.Berlin Heidel- berg:Physica-Verlag HD,1999:183-200. [14]苗夺谦,王国胤,刘清,等.粒计算:过去、现在与展望 苗夺谦,男,1964年生,教授、博土 [M].北京:科学出版社,2007. 生导师,博士,主要研究方向为粒计算、 MIAO Duoqian,WANG Guoyin,LIU Qing,et al.Granu- 粗糙集、中文信息处理等。 lar computing:past,present and future[M].Beijing:Sci- ence Press,2007. [15]徐计,王国胤,于洪.基于粒计算的大数据处理[门.计 算机学报,2015,38(8):1497-1517. 第34届中国控制会议 The 34th Chinese Control Conferencel
calization and tracking[J]. IEEE transactions on image pro⁃ cessing, 2007, 16(5): 1457-1469. [10]CHANG S. Stochastic peak tracking and the Kalman filter [J]. IEEE transactions on automatic control, 1968, 13 (6): 750. [11] DOUCET A, GORDON N. Efficient particle filters for tracking manoeuvring targets in clutter[C] / / Proceedings of IEE Colloquium on Target Tracking: Algorithms and Applications. London: IEEE, 1999: 4 / 1-4 / 5. [12]ZADEH L A. Toward a theory of fuzzy information granula⁃ tion and its centrality in human reasoning and fuzzy logic [J]. Fuzzy sets and systems, 1997, 90(2): 111-127. [13]LIN T Y. Granular computing: fuzzy logic and rough sets [ M ] / / ZADEH L A, KACPRZYK J. Computing with Words in Information / Intelligent Systems 1. Berlin Heidel⁃ berg: Physica⁃Verlag HD, 1999: 183-200. [14]苗夺谦, 王国胤, 刘清, 等. 粒计算: 过去、现在与展望 [M]. 北京: 科学出版社, 2007. MIAO Duoqian, WANG Guoyin, LIU Qing, et al. Granu⁃ lar computing: past, present and future[M]. Beijing: Sci⁃ ence Press, 2007. [15]徐计, 王国胤, 于洪. 基于粒计算的大数据处理[J]. 计 算机学报, 2015, 38(8): 1497-1517. XU Ji, WANG Guoyin, YU Hong. Review of big data pro⁃ cessing based on granular computing[ J]. Chinese journal of computers, 2015, 38(8): 1497-1517. 作者简介: 刘翠君,女,1993 年生,硕士研究 生,主要研究方向为计算机视觉、粒计 算等。 赵才荣,男,1981 年生,副研究员, 博士,主要研究方向为人脸识别、计算 机视觉等。 苗夺谦,男,1964 年生,教授、博士 生导师,博士,主要研究方向为粒计算、 粗糙集、中文信息处理等。 第 34 届中国控制会议 The 34th Chinese Control Conferencel 第 4 期 刘翠君,等:粒化的 Mean Shift 行人跟踪算法 ·441·