第9卷第3期 智能系统学报 VoL.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201309085 网络出版地址：http://www.enki..net/kcms/doi/10.3969/j.issn.16734785.201309085.html 一种基于多特征融合的视频目标跟踪方法 柳培忠1，阮晓虎2，田震2，李卫军2，覃鸿 (1.华侨大学工学院，福建泉州362000：2.中国科学院半导体研究所高速电路与神经网络实验室，北京100083) 摘要：在预警系统和目标记录方面，传统的视频跟踪方法无法很好地解决目标重现和遮挡等问题，针对此类问题 提出了一种融合多特征的视频目标跟踪方法，首先用背景建模的方法检测运动前景，分离目标图像，通过目标连续 帧间的位移信息实现跟踪，对多目标帧间位移相近的情况，融合目标SFT和彩色直方图特征进行目标匹配，并记录 目标各帧的运动状态，最终实现目标运动的跟踪。实验结果表明，该方法对多目标缓慢变化的监控视频有较好的跟 踪效果。 关键词：视频跟踪：背景建模；前景检测：特征提取；特征融合 中图分类号：TP391文献标志码：A文章编号：1673-4785(2014)03-0319-06 中文引用格式：柳培忠，阮晓虎，田震，等.一种基于多特征融合的视频目标跟踪方法[J].智能系统学报，2014,9(3)：319-324， 英文引用格式LIU Peizhong,RUAN Xiaohu,TIAN Zhen,etal.A video tracking method based on object multi-feature fusion[J]. CAAI Transactions on Intelligent Systems,2014,9(3):319-324. A video tracking method based on object multi-feature fusion LIU Peizhong',RUAN Xiaohu2,TIAN Zhen2,LI Weijun2,QIN Hong? (1.College of Engineering,Huaqiao University,Quanzhou 362000,China;2.High Speed Circuit and Neural Network Laboratory,In- stitute of Semiconductors,Chinese Academy of Sciences,Beijing 100083,China) Abstract:Video tracking is a vital technique for the application of intelligent video surveillance.In terms of pre- warning systems and event recording,traditional video tracking methods cannot solve the problems of object reap- pearance and shadows very well.To tackle these problems,a video tracking method based on object multi-feature fusion is proposed.Firstly,the foreground of a moving target was detected using the method of background model- ing,and the image of the moving target was separated from the video frame.Then the target that had been detected currently was set to match the target that appeared previously through the location information of the sequential frames of the object.Furthermore,considering the failure of the location matching,the SIFT(scale invariant feature transform )and color histogram feature of the target image were extracted to match the different targets.The experi- mental results showed excellent performance of the real-time video tracking of multi-objects moving slowly in the general surveillance system. Keywords:video tracking;background modeling;foreground detection;feature extraction;multi-feature fusion 视频跟踪是计算机视觉中一个重要研究分支， 其运动状态（该状态包括物体的尺度、位置、速度、 十几年来，一直是最热门的研究课题之一。视频跟 物体特征等信息)进行记录、理解和预测。目前，视 踪的主要任务是检测视频场景中出现的目标，并对 频跟踪作为一项关键技术主要应用在导航制导、自 动驾驶、监控视频分析、医学影像分析等领域。现阶 收稿日期：2013-09-30.网络出版日期：2014-06-14. 基金项目：国家自然科学基金重大研究计划资助项目(90920013). 段视频跟踪的研究面临的主要问题是：视频场景的 通信作者：田震.E-mail:tianzhen(@semi.ac.cmn. 光照变化，摄像头运动目标形状、外观、姿态和尺度
第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０９０８５ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３４７８５．２０１３０９０８５．ｈｔｍｌ 一种基于多特征融合的视频目标跟踪方法 柳培忠１ ，阮晓虎２ ，田震２ ，李卫军２ ，覃鸿２ （１．华侨大学 工学院，福建 泉州 ３６２０００； ２．中国科学院半导体研究所 高速电路与神经网络实验室，北京 １０００８３） 摘 要：在预警系统和目标记录方面，传统的视频跟踪方法无法很好地解决目标重现和遮挡等问题，针对此类问题 提出了一种融合多特征的视频目标跟踪方法，首先用背景建模的方法检测运动前景，分离目标图像，通过目标连续 帧间的位移信息实现跟踪，对多目标帧间位移相近的情况，融合目标 ＳＩＦＴ 和彩色直方图特征进行目标匹配，并记录 目标各帧的运动状态，最终实现目标运动的跟踪。 实验结果表明，该方法对多目标缓慢变化的监控视频有较好的跟 踪效果。 关键词：视频跟踪；背景建模；前景检测；特征提取；特征融合 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０３１９⁃０６ 中文引用格式：柳培忠，阮晓虎，田震，等． 一种基于多特征融合的视频目标跟踪方法［Ｊ］． 智能系统学报， ２０１４， ９（３）： ３１９⁃３２４． 英文引用格式 ＬＩＵ Ｐｅｉｚｈｏｎｇ， ＲＵＡＮ Ｘｉａｏｈｕ， ＴＩＡＮ Ｚｈｅｎ， ｅｔ ａｌ． Ａ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ３１９⁃３２４． Ａ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ＬＩＵ Ｐｅｉｚｈｏｎｇ １ ， ＲＵＡＮ Ｘｉａｏｈｕ ２ ， ＴＩＡＮ Ｚｈｅｎ ２ ， ＬＩ Ｗｅｉｊｕｎ ２ ， ＱＩＮ Ｈｏｎｇ ２ （１． Ｃｏｌｌｅｇｅ ｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈｕａｑｉａｏ Ｕｎｉｖｅｒｓｉｔｙ， Ｑｕａｎｚｈｏｕ ３６２０００， Ｃｈｉｎａ； ２． Ｈｉｇｈ Ｓｐｅｅｄ Ｃｉｒｃｕｉｔ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｌａｂｏｒａｔｏｒｙ， Ｉｎ⁃ ｓｔｉｔｕｔｅ ｏｆ Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｂｅｉｊｉｎｇ １０００８３， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ： Ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｉｓ ａ ｖｉｔａｌ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ． Ｉｎ ｔｅｒｍｓ ｏｆ ｐｒｅ⁃ ｗａｒｎｉｎｇ ｓｙｓｔｅｍｓ ａｎｄ ｅｖｅｎｔ ｒｅｃｏｒｄｉｎｇ， ｔｒａｄｉｔｉｏｎａｌ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄｓ ｃａｎｎｏｔ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍｓ ｏｆ ｏｂｊｅｃｔ ｒｅａｐ⁃ ｐｅａｒａｎｃｅ ａｎｄ ｓｈａｄｏｗｓ ｖｅｒｙ ｗｅｌｌ． Ｔｏ ｔａｃｋｌｅ ｔｈｅｓｅ ｐｒｏｂｌｅｍｓ， ａ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ｉｓ ｐｒｏｐｏｓｅｄ． Ｆｉｒｓｔｌｙ， ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ ｏｆ ａ ｍｏｖｉｎｇ ｔａｒｇｅｔ ｗａｓ ｄｅｔｅｃｔｅｄ ｕｓｉｎｇ ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ⁃ ｉｎｇ， ａｎｄ ｔｈｅ ｉｍａｇｅ ｏｆ ｔｈｅ ｍｏｖｉｎｇ ｔａｒｇｅｔ ｗａｓ ｓｅｐａｒａｔｅｄ ｆｒｏｍ ｔｈｅ ｖｉｄｅｏ ｆｒａｍｅ． Ｔｈｅｎ ｔｈｅ ｔａｒｇｅｔ ｔｈａｔ ｈａｄ ｂｅｅｎ ｄｅｔｅｃｔｅｄ ｃｕｒｒｅｎｔｌｙ ｗａｓ ｓｅｔ ｔｏ ｍａｔｃｈ ｔｈｅ ｔａｒｇｅｔ ｔｈａｔ ａｐｐｅａｒｅｄ ｐｒｅｖｉｏｕｓｌｙ ｔｈｒｏｕｇｈ ｔｈｅ ｌｏｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｓｅｑｕｅｎｔｉａｌ ｆｒａｍｅｓ ｏｆ ｔｈｅ ｏｂｊｅｃｔ． Ｆｕｒｔｈｅｒｍｏｒｅ， ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅ ｆａｉｌｕｒｅ ｏｆ ｔｈｅ ｌｏｃａｔｉｏｎ ｍａｔｃｈｉｎｇ， ｔｈｅ ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ ） ａｎｄ ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ ｆｅａｔｕｒｅ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｉｍａｇｅ ｗｅｒｅ ｅｘｔｒａｃｔｅｄ ｔｏ ｍａｔｃｈ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｔａｒｇｅｔｓ． Ｔｈｅ ｅｘｐｅｒｉ⁃ ｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗｅｄ ｅｘｃｅｌｌｅｎｔ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｒｅａｌ⁃ｔｉｍｅ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｏｆ ｍｕｌｔｉ⁃ｏｂｊｅｃｔｓ ｍｏｖｉｎｇ ｓｌｏｗｌｙ ｉｎ ｔｈｅ ｇｅｎｅｒａｌ ｓｕｒｖｅｉｌｌａｎｃｅ ｓｙｓｔｅｍ． Ｋｅｙｗｏｒｄｓ：ｖｉｄｅｏ ｔｒａｃｋｉｎｇ； ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌｉｎｇ； ｆｏｒｅｇｒｏｕｎｄ ｄｅｔｅｃｔｉｏｎ； ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ； ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ 收稿日期：２０１３⁃０９⁃３０． 网络出版日期：２０１４⁃０６⁃１４． 基金项目：国家自然科学基金重大研究计划资助项目（９０９２００１３）． 通信作者：田震． Ｅ⁃ｍａｉｌ：ｔｉａｎｚｈｅｎ＠ ｓｅｍｉ．ａｃ．ｃｎ． 视频跟踪是计算机视觉中一个重要研究分支， 十几年来，一直是最热门的研究课题之一。 视频跟 踪的主要任务是检测视频场景中出现的目标，并对 其运动状态（该状态包括物体的尺度、位置、速度、 物体特征等信息）进行记录、理解和预测。 目前，视 频跟踪作为一项关键技术主要应用在导航制导、自 动驾驶、监控视频分析、医学影像分析等领域。 现阶 段视频跟踪的研究面临的主要问题是：视频场景的 光照变化，摄像头运动目标形状、外观、姿态和尺度
·320· 智能系统学报 第9卷 的变化，同时目标的遮挡、背景杂乱、摄像头抖动、传 该过程不像混合高斯模型方法或非参核密度估计方 感器噪声、相似物体的干扰也给目标检测和识别带 法[】，无需计算概率，检测速度快，并且可以应对多 来了困难，导致目标运动状态的获取存在误差，跟踪 种背景的变化，对运动目标的检测简便灵活，能达到 漂移后难以再获取目标恢复跟踪。 实时分析视频内容的目的。 近些年，国内外学者们对多目标的视频跟踪做 了很多研究。与传统的只采用已知运动状态预测未 2建立特征库 知运动状态]的跟踪模式不同，多方法或多特征 为了应对复杂多变的情况，需要一种稳定的方式 融合的方法得到了学者们的普遍认可。文献[3]和 表示运动目标，本文采取的方法是对每个运动目标建 [4]虽很好地证明了特征和运动预测跟踪融合的方 立一个独有的特征库。在运动目标第1次被检测到 法要比传统仅采用特征或者运动状态预测的跟踪效 时，则利用目标出现的前几帧建立此运动目标的特征 果好，但需手动标定跟踪目标。文献[5-6]采用了运 库：当多目标距离相近或者重合时，则需要利用建立 动目标检测和运动状态预测结合的方法获得了不错 好的特征库实现实时的匹配运动目标，对匹配成功后 的效果，但无法应对光照和目标遮挡带来的影响，同 的运动目标，同时需要更新其特征库的信息。因此， 时其计算量偏大，无法保证实时处理。文献[7]提 特征的选择将变得非常重要，本文采取的特征为彩色 出了一种基于目标检测与ST特征融合的方法，该 颜色直方图和SlFT(scale invariant feature transform) 方法可以自动地进行目标匹配和跟踪，但对每一帧 特征。 的SFT特征匹配需要消耗大量的计算时间。本文 2.1彩色颜色直方图 方法是在文献[7]的基础上提出的基于多特征融合 根据文献[9]，图像的彩色直方图是对各颜色 的视频目标跟踪方法，主要着眼于运动目标的自动 级在图像中出现频率和次数的统计，在一定程度上 检测和匹配跟踪，由于无需每帧都采用SFT特征完 反映了目标的特征和表象，对于目标在颜色上的突 成目标匹配，因此可以节省部分计算时间。首先，应 出特征有较好的识别效果。因此，将目标的彩色直 用码本的背景建模方法检测运动目标，获得目标图 方图信息作为目标特征库中的一个特征。 像。其次，对目标的跟踪采取的是连续帧间的位置 首先利用目标检测方法，在视频中分离出运动 关系，对于帧间位移判断失效的情况下采用图像的 目标，然后对分离出的运动目标图像进行彩色图像 SFT特征和彩色直方图特征库完成对目标的匹配。 的直方图统计，分别为RGB3个通道做直方图统 最后，记录同一目标出现、消失或重现时间及位置等 计。在需要特征库进行目标匹配时，采用的是三通 运动状态信息，实现目标的跟踪。实验结果表明，算 道的颜色直方图Bhattacharyya距离进行判断。 法很好地实现了监控视频的跟踪任务。 2.2SFT特征 1 背景建模与运动目标检测 SIFT算子是Lowe于1999年提出[1-1)，又在 2004年[2]完善的一种提取局部特征的算法，在尺 运动目标的检测是视频跟踪的关键步骤，本文 度空间寻找极值点，提取位置、尺度、旋转不变量。 采用背景剪除的方式检测视频前景目标。文献[3- 算法的主要特点为：1)稳定性：对旋转、尺度缩放 4]讨论了视频背景建模的方法，其中高斯混合模 亮度变化保持不变性，对视角变化、仿射变换、噪声 型)和基于码本的背景模型6)在运用中取得了比 也保持一定程度的鲁棒性：2)独特性：信息量丰富， 较好的效果。本文采用的背景建模方法为实时更新 适用于在海量特征数据库中进行快速、准确地匹配： 的双层码本建模方法[)，双层码本分为主码本模型 3)多量性：即使少数的几个物体也可以产生大量 和缓存码本模型，主码本模型用于对不变背景的建 SIFT特征向量：4)高速性：经优化的SIFT匹配算法 模，而缓存码本模型用于应对临时背景的出现，并且 甚至可以达到实时的要求：5)可扩展性：可以很方 双层码本可以根据背景场景的变化进行实时的更 便地与其他形式的特征向量进行联合。因此，算法 新，真实而快速地反应出背景的变化。运动目标的 将SFT特征作为目标特征库的另一个特征。 检测采用的是背景差分法，是将当前帧与背景模型 SFT特征的本质是在高斯差分金字塔各层图 相减，根据像素采样值与其码本是否匹配来判断，如 像中寻找局部极值点目标，然后通过窗口的方式进 果新输入的像素值与背景码本匹配，则判断为背景， 行向量化表示。在高斯差分金字塔中，检测出的一 否则判断为目标。基于码本的背景建模方法，输出 个极值点又被称为特征点，是由128维特征向量表 是二进制掩码，这正好适用于对运动目标的提取。 示的。在剪切出目标区域后对目标图像提取SFT
的变化，同时目标的遮挡、背景杂乱、摄像头抖动、传 感器噪声、相似物体的干扰也给目标检测和识别带 来了困难，导致目标运动状态的获取存在误差，跟踪 漂移后难以再获取目标恢复跟踪。 近些年，国内外学者们对多目标的视频跟踪做 了很多研究。 与传统的只采用已知运动状态预测未 知运动状态［１⁃２］ 的跟踪模式不同，多方法或多特征 融合的方法得到了学者们的普遍认可。 文献［３］和 ［４］虽很好地证明了特征和运动预测跟踪融合的方 法要比传统仅采用特征或者运动状态预测的跟踪效 果好，但需手动标定跟踪目标。 文献［５⁃６］采用了运 动目标检测和运动状态预测结合的方法获得了不错 的效果，但无法应对光照和目标遮挡带来的影响，同 时其计算量偏大，无法保证实时处理。 文献［７］ 提 出了一种基于目标检测与 ＳＩＦＴ 特征融合的方法，该 方法可以自动地进行目标匹配和跟踪，但对每一帧 的 ＳＩＦＴ 特征匹配需要消耗大量的计算时间。 本文 方法是在文献［７］的基础上提出的基于多特征融合 的视频目标跟踪方法，主要着眼于运动目标的自动 检测和匹配跟踪，由于无需每帧都采用 ＳＩＦＴ 特征完 成目标匹配，因此可以节省部分计算时间。 首先，应 用码本的背景建模方法检测运动目标，获得目标图 像。 其次，对目标的跟踪采取的是连续帧间的位置 关系，对于帧间位移判断失效的情况下采用图像的 ＳＩＦＴ 特征和彩色直方图特征库完成对目标的匹配。 最后，记录同一目标出现、消失或重现时间及位置等 运动状态信息，实现目标的跟踪。 实验结果表明，算 法很好地实现了监控视频的跟踪任务。 １ 背景建模与运动目标检测 运动目标的检测是视频跟踪的关键步骤，本文 采用背景剪除的方式检测视频前景目标。 文献［３⁃ ４］讨论了视频背景建模的方法，其中高斯混合模 型［５］ 和基于码本的背景模型［６］ 在运用中取得了比 较好的效果。 本文采用的背景建模方法为实时更新 的双层码本建模方法［７］ ，双层码本分为主码本模型 和缓存码本模型，主码本模型用于对不变背景的建 模，而缓存码本模型用于应对临时背景的出现，并且 双层码本可以根据背景场景的变化进行实时的更 新，真实而快速地反应出背景的变化。 运动目标的 检测采用的是背景差分法，是将当前帧与背景模型 相减，根据像素采样值与其码本是否匹配来判断，如 果新输入的像素值与背景码本匹配，则判断为背景， 否则判断为目标。 基于码本的背景建模方法，输出 是二进制掩码，这正好适用于对运动目标的提取。 该过程不像混合高斯模型方法或非参核密度估计方 法［８］ ，无需计算概率，检测速度快，并且可以应对多 种背景的变化，对运动目标的检测简便灵活，能达到 实时分析视频内容的目的。 ２ 建立特征库 为了应对复杂多变的情况，需要一种稳定的方式 表示运动目标，本文采取的方法是对每个运动目标建 立一个独有的特征库。 在运动目标第 １ 次被检测到 时，则利用目标出现的前几帧建立此运动目标的特征 库；当多目标距离相近或者重合时，则需要利用建立 好的特征库实现实时的匹配运动目标，对匹配成功后 的运动目标，同时需要更新其特征库的信息。 因此， 特征的选择将变得非常重要，本文采取的特征为彩色 颜色直方图和 ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ ） 特征。 ２．１ 彩色颜色直方图 根据文献［９］，图像的彩色直方图是对各颜色 级在图像中出现频率和次数的统计，在一定程度上 反映了目标的特征和表象，对于目标在颜色上的突 出特征有较好的识别效果。 因此，将目标的彩色直 方图信息作为目标特征库中的一个特征。 首先利用目标检测方法，在视频中分离出运动 目标，然后对分离出的运动目标图像进行彩色图像 的直方图统计，分别为 ＲＧＢ ３ 个通道做直方图统 计。 在需要特征库进行目标匹配时，采用的是三通 道的颜色直方图 Ｂｈａｔｔａｃｈａｒｙｙａ 距离进行判断。 ２．２ ＳＩＦＴ 特征 ＳＩＦＴ 算子是 Ｌｏｗｅ 于 １９９９ 年提出［１０⁃１１］ ，又在 ２００４ 年［１２］完善的一种提取局部特征的算法，在尺 度空间寻找极值点，提取位置、尺度、旋转不变量。 算法的主要特点为：１） 稳定性：对旋转、尺度缩放、 亮度变化保持不变性，对视角变化、仿射变换、噪声 也保持一定程度的鲁棒性；２） 独特性：信息量丰富， 适用于在海量特征数据库中进行快速、准确地匹配； ３） 多量性：即使少数的几个物体也可以产生大量 ＳＩＦＴ 特征向量；４） 高速性：经优化的 ＳＩＦＴ 匹配算法 甚至可以达到实时的要求；５） 可扩展性：可以很方 便地与其他形式的特征向量进行联合。 因此，算法 将 ＳＩＦＴ 特征作为目标特征库的另一个特征。 ＳＩＦＴ 特征的本质是在高斯差分金字塔各层图 像中寻找局部极值点目标，然后通过窗口的方式进 行向量化表示。 在高斯差分金字塔中，检测出的一 个极值点又被称为特征点，是由 １２８ 维特征向量表 示的。 在剪切出目标区域后对目标图像提取 ＳＩＦＴ ·３２０· 智 能 系 统 学 报 第 ９ 卷
第3期 柳培忠，等：一种基于多特征融合的视频目标跟踪方法 ·321· 特征用做后续目标匹配的特征。 多帧的位移距离平均值得到，每帧的位移为当前帧 3目标跟踪 与前一帧的位置差值来确定，加速距离表示目标加 速产生的距离，计算时选取为0.3倍的平均位移。 在完成对目标的检测，建立好多目标的特征库 如图2所示，R为目标可能的运动范围，R=r+a,r 后，需要完成对多目标的跟踪。首先，当运动目标被 为目标的平均位移距离，α为目标的加速距离。如 检测出现在视频中的第1帧时，算法需要判断此目 果可能匹配的目标有且仅有一个，则认为该目标即 标是否为重出现目标，在检测到运动目标后，提取其 为匹配目标：如果没有发现匹配目标或者产生多个 颜色直方图特征和SFT特征与特征库中的目标信 匹配目标，则判断帧间位移跟踪失败，需要使用特征 息进行判断，如是重出现目标，则更新其特征库和出 库完成对待检测目标的匹配跟踪。 现时间，如是新加入目标则建立新目标的特征库和 出现时间。 在后续运动目标出现的帧中，无论目标是否为 重出现目标，均采用帧间位移信息进行跟踪，由目标 的运动速度自动确定帧间位移阈值，从而完成目标 的匹配跟踪。其次，如果帧间移动距离匹配跟踪失 败，则通过多目标的特征库来寻找相应的匹配目标， 图2目标移动范围图示 具体流程如图1所示。从流程图中可以看出，本算 Fig.2 Range of target movement 法在文献[7]的基础上，引入了帧间位移距离跟踪 在目标的具体跟踪过程中，需要确定目标的具 和多特征匹配跟踪。以帧间位移距离判断跟踪为 体位置，对于检测出的运动目标，本文采用运动目标 主，以多特征融合的匹配方法为辅，采用更多更丰富 的外接矩形几何中心点和4个角点来代表运动目标 的方法完成对目标的匹配。 的位置信息，并且作为跟踪对象进行判断。在匹配 跟踪过程中，也采用了双层匹配模式，运动目标几何 日标检测 中心点为第1层匹配对象，外接矩阵的4个角点作 计算多目标的帧 为第2层匹配的对象。首先，判断第1层的几何中 间位移距离 心点是否满足以上帧间的位移阈值，如果在阈值范 顾间位移距离 Y 围内则可锁定目标，完成跟踪：如果几何中心点不满 匹配跟踪 锁定目标 足阈值范围，则需对2层的外接矩形四角点信息进 NT 计算多目标 匹配成功更新 行判断，如2个相邻角点或者3个角点满足阵间位 特征相似度 目标特征库 移阈值则可锁定目标，完成跟踪。相邻角点是指在 外接矩形组成边框的2个角点。角点的合理选择有 特征库相 似度匹配 利用解决对运动目标遮挡问题，3个角点的判断避 N 免了目标的小部分遮挡造成的运动目标不匹配，而 判断为新目标并 两相邻角点的判断则解决了大面积遮挡造成的不匹 建立其特征库 配问题。此帧间位移判断匹配方法，计算复杂度低， 图1目标跟踪算法流程图 条件判断简易，不仅可以快速的完成对运动目标的 Fig.1 Video tracking flow chart 匹配跟踪而且可以解决运动目标在遮挡情况下的匹 3.1帧间位移判断 配问题。在匹配跟踪完成之后，每一帧都实时更新 目标在视频中的移动在连续帧间表现为目标位 运动目标当前的位置信息，主要包括运动目标的中 置的变化，通过目标在画面中的位置和目标的移动 心点和多角点信息，以便后续完成对运动目标轨迹 速度即可判断目标可能的运动范围。对每一帧图 的记录和排查。 像，检测出目标位置后，用该位置坐标与前一帧出现3.2特征跟踪目标 过的所有目标求相对距离，如果该距离小于阈值则 当帧间距离跟踪判断未找到匹配目标或者找到 判断为可能匹配的目标。此处的阈值通过被测试目 多个匹配目标时，就会造成帧间距离跟踪失效，而此 标的速度动态确定。首先，应考虑到目标会突然加 时就需要启用各目标特征库信息完成对目标的匹配 速的情况，在确定阈值时，目标可能的移动范围应该 跟踪。本文采用的是目标图像的SFT特征（表示为 为平均位移加上加速距离，平均位移信息可以通过 T)和目标图像的彩色直方图特征(R、G、B三通道
特征用做后续目标匹配的特征。 ３ 目标跟踪 在完成对目标的检测，建立好多目标的特征库 后，需要完成对多目标的跟踪。 首先，当运动目标被 检测出现在视频中的第 １ 帧时，算法需要判断此目 标是否为重出现目标，在检测到运动目标后，提取其 颜色直方图特征和 ＳＩＦＴ 特征与特征库中的目标信 息进行判断，如是重出现目标，则更新其特征库和出 现时间，如是新加入目标则建立新目标的特征库和 出现时间。 在后续运动目标出现的帧中，无论目标是否为 重出现目标，均采用帧间位移信息进行跟踪，由目标 的运动速度自动确定帧间位移阈值，从而完成目标 的匹配跟踪。 其次，如果帧间移动距离匹配跟踪失 败，则通过多目标的特征库来寻找相应的匹配目标， 具体流程如图 １ 所示。 从流程图中可以看出，本算 法在文献［７］的基础上，引入了帧间位移距离跟踪 和多特征匹配跟踪。 以帧间位移距离判断跟踪为 主，以多特征融合的匹配方法为辅，采用更多更丰富 的方法完成对目标的匹配。 图 １ 目标跟踪算法流程图 Ｆｉｇ．１ Ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｆｌｏｗ ｃｈａｒｔ ３．１ 帧间位移判断 目标在视频中的移动在连续帧间表现为目标位 置的变化，通过目标在画面中的位置和目标的移动 速度即可判断目标可能的运动范围。 对每一帧图 像，检测出目标位置后，用该位置坐标与前一帧出现 过的所有目标求相对距离，如果该距离小于阈值则 判断为可能匹配的目标。 此处的阈值通过被测试目 标的速度动态确定。 首先，应考虑到目标会突然加 速的情况，在确定阈值时，目标可能的移动范围应该 为平均位移加上加速距离，平均位移信息可以通过 多帧的位移距离平均值得到，每帧的位移为当前帧 与前一帧的位置差值来确定，加速距离表示目标加 速产生的距离，计算时选取为 ０． ３ 倍的平均位移。 如图 ２ 所示， Ｒ 为目标可能的运动范围， Ｒ ＝ ｒ ＋ ａ，ｒ 为目标的平均位移距离， ａ 为目标的加速距离。 如 果可能匹配的目标有且仅有一个，则认为该目标即 为匹配目标；如果没有发现匹配目标或者产生多个 匹配目标，则判断帧间位移跟踪失败，需要使用特征 库完成对待检测目标的匹配跟踪。 图 ２ 目标移动范围图示 Ｆｉｇ．２ Ｒａｎｇｅ ｏｆ ｔａｒｇｅｔ ｍｏｖｅｍｅｎｔ 在目标的具体跟踪过程中，需要确定目标的具 体位置，对于检测出的运动目标，本文采用运动目标 的外接矩形几何中心点和 ４ 个角点来代表运动目标 的位置信息，并且作为跟踪对象进行判断。 在匹配 跟踪过程中，也采用了双层匹配模式，运动目标几何 中心点为第 １ 层匹配对象，外接矩阵的 ４ 个角点作 为第 ２ 层匹配的对象。 首先，判断第 １ 层的几何中 心点是否满足以上帧间的位移阈值，如果在阈值范 围内则可锁定目标，完成跟踪；如果几何中心点不满 足阈值范围，则需对 ２ 层的外接矩形四角点信息进 行判断，如 ２ 个相邻角点或者 ３ 个角点满足阵间位 移阈值则可锁定目标，完成跟踪。 相邻角点是指在 外接矩形组成边框的 ２ 个角点。 角点的合理选择有 利用解决对运动目标遮挡问题，３ 个角点的判断避 免了目标的小部分遮挡造成的运动目标不匹配，而 两相邻角点的判断则解决了大面积遮挡造成的不匹 配问题。 此帧间位移判断匹配方法，计算复杂度低， 条件判断简易，不仅可以快速的完成对运动目标的 匹配跟踪而且可以解决运动目标在遮挡情况下的匹 配问题。 在匹配跟踪完成之后，每一帧都实时更新 运动目标当前的位置信息，主要包括运动目标的中 心点和多角点信息，以便后续完成对运动目标轨迹 的记录和排查。 ３．２ 特征跟踪目标 当帧间距离跟踪判断未找到匹配目标或者找到 多个匹配目标时，就会造成帧间距离跟踪失效，而此 时就需要启用各目标特征库信息完成对目标的匹配 跟踪。 本文采用的是目标图像的 ＳＩＦＴ 特征（表示为 Ｔ ）和目标图像的彩色直方图特征（Ｒ、Ｇ、Ｂ 三通道 第 ３ 期 柳培忠，等：一种基于多特征融合的视频目标跟踪方法 ·３２１·
.322. 智能系统学报 第9卷 的颜色直方图分别表示为HR、HG、HB)。在判断目 出现时间，并记录其起始运动位置。相比传统算 标1与目标2是否匹配时，进行以下过程操作： 法[町，本轨迹计算方法计算简单，执行效率高。 首先，分别计算两个目标彩色直方图在各颜色 分量上的Bhattacharyya距离： 5实验结果分析 实验所用测试视频均是用固定摄像头拍摄的室 dg(HH)= 1-Σ √H1(i)·H2(i) 240:} 内场景，2个测试视频为IntelligentRoom.avi和Two H,(i) Cars.avi,分别用来测试单目标的检测跟踪和多目标 其次，在特征匹配过程中，首先，判断目标的彩色直 的匹配跟踪。实验的环境为Windows7操作系统下 方图各分量上的Bhattacharyya距离是否小于某一给 的Microsoft Visual Stuidio,并配置有OpenCV计算机 定阈值D,即判断以下各式是否成立： 视觉数据库。在测试实验中，首先，对测试视频1n- dg(H,H2)Dg telligentRoom.avi背景场景进行建模，利用背景差分 dc(H,H2)Dc 法实现视频运动目标的检测，用二值图像表示，目标 dg(H,H2)Dg 区域用高像素值，背景区域用低像素值，目标检测结 dg(H,H2)dc(H,H2)+dg(H,H)D 果如图3所示，图3(a)为原始视频加上跟踪标记后 式中：DR、D。、DB分别为RGB颜色通道直方图 的画面，图3(b)画面白色区域为对应帧的目标检测 的Bhattacharyya距离阈值，实验中均取值为0.5，D 的目标区域。从图3(b)目标的检测中可以明显看 为三通道之和的总阈值，实验取值为1.0。 出，双层码本模型可以较完整的检测出运动目标，并 然后，对于满足上述条件的被测目标进行SFT 且对噪声有一定的鲁棒性。 特征相似度判断，不满足条件的目标判断为新出现 目标。 运用SFT特征对目标图像匹配，首先在目标特 征库中选定某个关键点，并找出其与分割出的目标图 像中欧式距离最近的前两个关键点，如果最近的距离 (a)原始视频加上跟踪标记 与次近的距离的比值小于某个阈值，则认为两者是一 对匹配点，试验中，一般阈值取值为0.8。在特征库中 搜索待匹配目标，如果当前目标与特征库中目标匹配 点个数超过所有SFT关键点的60%，则当前目标识 别为满足该条件的匹配点对数最多的目标。 (b)对应懒的目标检测区域 在跟踪过程中，目标的特征更新可以使算法及时 图3目标检测结果 且更完整地描述目标。因此，对于特征库中的每一个 Fig.3 Target detection result 被匹配的目标，在匹配跟踪完成后需要对其特征库信 其次，需要记录其相应运动目标的运动轨迹， 息进行更新，对运动目标特征库内的彩色颜色直方图 所用测试视频的运动目标轨迹如图4所示。从图4 进行替换，对匹配成功的SFT特征点进行保留，新出 可以看出，此轨迹较好地反应了目标的行走路线并 现的特征点进行添加。而文献[7]中并未体现出对跟 且没有出现断点，证明了算法可以有效地跟踪运动 踪目标的特征更新。 目标，并且完成对目标轨迹的记录。 4目标轨迹计算 为了得到一个目标的连续轨迹和其在视频中出 现的时间信息，需要在检测出视频前景运动目标后， 记录每帧中目标出现的时间和其运动的轨迹。由于 采用了双层码本的背景建模技术，每一个出现在视频 中的运动目标可直接被检测。对于检测出的运动目 标，首先判断目标是否为连续出现目标，如是连续出 现目标，则需要将此目标的位置信息加入轨迹序列， 图4目标运动轨迹 并更新其最近一次出现的时间：对于未找到匹配的目 Fig.4 Target trajectory 标，则认为是新出现目标，标记当前时间为该目标的 为了验证算法可应对多目标的检测和跟踪，采
的颜色直方图分别表示为 ＨＲ、ＨＧ、ＨＢ）。 在判断目 标 １ 与目标 ２ 是否匹配时，进行以下过程操作： 首先，分别计算两个目标彩色直方图在各颜色 分量上的 Ｂｈａｔｔａｃｈａｒｙｙａ 距离： ｄＲ（Ｈ１ ，Ｈ２ ） ＝ １ － ∑ｉ Ｈ１（ｉ）·Ｈ２（ｉ） ∑ｉ Ｈ１（ｉ）·∑ｉ Ｈ２（ｉ） 其次，在特征匹配过程中，首先，判断目标的彩色直 方图各分量上的 Ｂｈａｔｔａｃｈａｒｙｙａ 距离是否小于某一给 定阈值 Ｄ ，即判断以下各式是否成立： ｄＲ（Ｈ１ ，Ｈ２ ） ＜ ＤＲ ｄＧ（Ｈ１ ，Ｈ２ ） ＜ ＤＧ ｄＢ（Ｈ１ ，Ｈ２ ） ＜ ＤＢ ｄＲ（Ｈ１ ，Ｈ２ ） ＋ ｄＧ（Ｈ１ ，Ｈ２ ） ＋ ｄＢ（Ｈ１ ，Ｈ２ ） ＜ Ｄ 式中： ＤＲ 、 ＤＧ 、 ＤＢ 分别为 Ｒ、Ｇ、Ｂ 颜色通道直方图 的 Ｂｈａｔｔａｃｈａｒｙｙａ 距离阈值，实验中均取值为 ０．５， Ｄ 为三通道之和的总阈值，实验取值为 １．０。 然后，对于满足上述条件的被测目标进行 ＳＩＦＴ 特征相似度判断，不满足条件的目标判断为新出现 目标。 运用 ＳＩＦＴ 特征对目标图像匹配，首先在目标特 征库中选定某个关键点，并找出其与分割出的目标图 像中欧式距离最近的前两个关键点，如果最近的距离 与次近的距离的比值小于某个阈值，则认为两者是一 对匹配点，试验中，一般阈值取值为 ０．８。 在特征库中 搜索待匹配目标，如果当前目标与特征库中目标匹配 点个数超过所有 ＳＩＦＴ 关键点的 ６０％，则当前目标识 别为满足该条件的匹配点对数最多的目标。 在跟踪过程中，目标的特征更新可以使算法及时 且更完整地描述目标。 因此，对于特征库中的每一个 被匹配的目标，在匹配跟踪完成后需要对其特征库信 息进行更新，对运动目标特征库内的彩色颜色直方图 进行替换，对匹配成功的 ＳＩＦＴ 特征点进行保留，新出 现的特征点进行添加。 而文献［７］中并未体现出对跟 踪目标的特征更新。 ４ 目标轨迹计算 为了得到一个目标的连续轨迹和其在视频中出 现的时间信息，需要在检测出视频前景运动目标后， 记录每帧中目标出现的时间和其运动的轨迹。 由于 采用了双层码本的背景建模技术，每一个出现在视频 中的运动目标可直接被检测。 对于检测出的运动目 标，首先判断目标是否为连续出现目标，如是连续出 现目标，则需要将此目标的位置信息加入轨迹序列， 并更新其最近一次出现的时间；对于未找到匹配的目 标，则认为是新出现目标，标记当前时间为该目标的 出现时间，并记录其起始运动位置。 相比传统算 法［１３］ ，本轨迹计算方法计算简单，执行效率高。 ５ 实验结果分析 实验所用测试视频均是用固定摄像头拍摄的室 内场景，２ 个测试视频为 ＩｎｔｅｌｌｉｇｅｎｔＲｏｏｍ．ａｖｉ 和 Ｔｗｏ⁃ Ｃａｒｓ．ａｖｉ，分别用来测试单目标的检测跟踪和多目标 的匹配跟踪。 实验的环境为 Ｗｉｎｄｏｗｓ ７ 操作系统下 的 Ｍｉｃｒｏｓｏｆｔ Ｖｉｓｕａｌ Ｓｔｕｉｄｉｏ，并配置有 ＯｐｅｎＣＶ 计算机 视觉数据库。 在测试实验中，首先，对测试视频 Ｉｎ⁃ ｔｅｌｌｉｇｅｎｔＲｏｏｍ．ａｖｉ 背景场景进行建模，利用背景差分 法实现视频运动目标的检测，用二值图像表示，目标 区域用高像素值，背景区域用低像素值，目标检测结 果如图 ３ 所示，图 ３（ａ）为原始视频加上跟踪标记后 的画面，图 ３（ｂ）画面白色区域为对应帧的目标检测 的目标区域。 从图 ３（ ｂ）目标的检测中可以明显看 出，双层码本模型可以较完整的检测出运动目标，并 且对噪声有一定的鲁棒性。 图 ３ 目标检测结果 Ｆｉｇ．３ Ｔａｒｇｅｔ ｄｅｔｅｃｔｉｏｎ ｒｅｓｕｌｔ 其次，需要记录其相应运动目标的运动轨迹， 所用测试视频的运动目标轨迹如图 ４ 所示。 从图 ４ 可以看出，此轨迹较好地反应了目标的行走路线并 且没有出现断点，证明了算法可以有效地跟踪运动 目标，并且完成对目标轨迹的记录。 图 ４ 目标运动轨迹 Ｆｉｇ．４ Ｔａｒｇｅｔ ｔｒａｊｅｃｔｏｒｙ 为了验证算法可应对多目标的检测和跟踪，采 ·３２２· 智 能 系 统 学 报 第 ９ 卷
第3期 柳培忠，等：一种基于多特征融合的视频目标跟踪方法 ·323. 用测试视频TwoCars.avi,视频中2辆小车从不同方 问题，可以在运动目标的匹配方面深入探索新的特 向行驶进入视频画面，在图中央位置经过交叉后，分 征表达和匹配方法。对运动目标的运动状态可以单 别驶出视频画面。实验结果如图5所示，算法可以 独建立数据库，记录和查询目标的运动信息。另外， 准确地定位运动目标并完成对多目标的匹配。 可以引入像VBe一样的背景建模方法，不仅可以提 高监控视频算法的鲁棒性，而且可以大幅度提高算 法实时性。 参考文献： 图5多运动目标的跟踪结果 [1]李错.基于粒子滤波与半监督多分类器的视频跟踪[D] Fig.5 Multi-target tracking result 上海：复旦大学，2012：6-8. 从图6可以看出，本文算法可以很好地实现目 LI Kai.Video tracking based on particle filter and semi-su- pervised multiple classifiers[D].Shanghai:Fudan Universi- 标跟踪，对于动态目标在视频中发生自身转动、尺度 ty,2012:6-8. 变化、部分遮挡等情况，也具有很好的识别效果。目 [2]杨戈，刘宏.视觉跟踪算法综述[J]智能系统学报， 标跟踪过程很好地实现了目标运动状态的记录，完 2010.5(2):95-105. 整地记录了目标的运动轨迹。另外，可以对目标运 YANG Ge,LIU Hong.Survey of visual tracking algorithms 动状态建立数据库，用以查询不同目标的运动状态， [J].CAAI Transactions on Intelligent Systems,2010,5 其中包含目标的轨迹、出现时间、目标的图像等信 (2):95-105. 息。由此，可以满足一般监控视频针对车、人等目标 [3]FAZLI S,POUR H M,BOUZARI H.Particle filter based 活动情况的跟踪和记录。 object tracking with SIFT and color feature C//Second In- ternational Conference on Machine Vision.Dubai,UAE, 6结束语 2009:89.93. [4]ZHOU H,YUAN Y,SHI C.Object tracking using SIFT 一般监控视频的跟踪任务只要求记录视频中目 features and mean shift[J].Computer Vision and Image 标的客观运动状态，包括目标出现时间、活动路径， Understanding,2009,113(3):345-352. 目标图像等信息，因此，不需要考虑复杂的目标运动 5BEYAN C.TEMIZEL A.Adaptive mean-shift for automated 状态的预测。不同于传统由目标检测、预测、识别所 multi object tracking[J].Computer Vision,2012,6(1): 构成的视频跟踪方法，本文的视频跟踪处理仅由目 1-12 标检测和目标匹配识别构成，省去了预测的计算复 [6]JIANG M,LI M,WANG H.A robust combined algorithm of 杂度，用以处理一般监控视频。实验证明，本文方法 object tracking based on moving object detectionC//Intel- 可以很好地完成一般监控视频的目标运动状态的跟 ligent Control and Information Processing.Dalian,China, 踪与记录，并可以克服目标遮挡和光照问题所带来 2010:619-622. [7]RAHMAN M S,SAHA A,KHANUM S.Multi-object track- 的匹配跟踪问题。 ing in video sequences based on background subtraction and 由于不用建立复杂的预测模型，本文方法计算 SIFT feature matching[C//Fourth International Conference 复杂度较低，由于动态目标是从原视频画面分割而 of Computer Sciences and Convergence Information Technol- 来，目标图像尺寸较小，一个目标的ST特征点一 ogy.Seoul,Korea,2009:457-462. 般不会很多，因而，特征匹配速度较为理想，整个流 [8]WREN C R,AZARBAYEJANI A,DARRELL T.Real-time 程可以完成低帧率视频的实时处理。 tracking of the human body.IEEE Transactions on Pat- 由于采用了背景减除法自动得到运动目标，所 tern Analysis and Machine Intelligence,1997,19 (7): 以本算法不能应对移动摄像头的情景，只能局限在 780-785. 固定摄像头的目标跟踪。并且，由于引入了Code [9]PAKORN K,BOWDEN R.An improved adaptive back- Book的背景建模方法，在具体情况下还需要SIFT ground mixture model for real-time tracking with shadow de- tection[M].New Youk:Springer,2002:135-144. 特征完成匹配，需要占用大量计算时间，实时性不 [10]ZIVKOVIC Z.Improved adaptive Gaussian mixture model 高，无法处理30帧以上的视频。因此，本算法目前 for background subtraction[C]//Proceedings of the 17th 还只能适用于固定场景多目标缓慢变化的监控视 International Conference of Pattern Recognition.Cam- 频，在应用场景上有一定的局限性。未来的工作主 bridge,UK,2004.2:28-31. 要集中在对于视频中运动目标的旋转、尺度变化等 [11]KIM K,CHALIDABHONGSE T H.Real-time foreground-
用测试视频 ＴｗｏＣａｒｓ．ａｖｉ，视频中 ２ 辆小车从不同方 向行驶进入视频画面，在图中央位置经过交叉后，分 别驶出视频画面。 实验结果如图 ５ 所示，算法可以 准确地定位运动目标并完成对多目标的匹配。 图 ５ 多运动目标的跟踪结果 Ｆｉｇ．５ Ｍｕｌｔｉ⁃ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｒｅｓｕｌｔ 从图 ６ 可以看出，本文算法可以很好地实现目 标跟踪，对于动态目标在视频中发生自身转动、尺度 变化、部分遮挡等情况，也具有很好的识别效果。 目 标跟踪过程很好地实现了目标运动状态的记录，完 整地记录了目标的运动轨迹。 另外，可以对目标运 动状态建立数据库，用以查询不同目标的运动状态， 其中包含目标的轨迹、出现时间、目标的图像等信 息。 由此，可以满足一般监控视频针对车、人等目标 活动情况的跟踪和记录。 ６ 结束语 一般监控视频的跟踪任务只要求记录视频中目 标的客观运动状态，包括目标出现时间、活动路径， 目标图像等信息，因此，不需要考虑复杂的目标运动 状态的预测。 不同于传统由目标检测、预测、识别所 构成的视频跟踪方法，本文的视频跟踪处理仅由目 标检测和目标匹配识别构成，省去了预测的计算复 杂度，用以处理一般监控视频。 实验证明，本文方法 可以很好地完成一般监控视频的目标运动状态的跟 踪与记录，并可以克服目标遮挡和光照问题所带来 的匹配跟踪问题。 由于不用建立复杂的预测模型，本文方法计算 复杂度较低，由于动态目标是从原视频画面分割而 来，目标图像尺寸较小，一个目标的 ＳＩＦＴ 特征点一 般不会很多，因而，特征匹配速度较为理想，整个流 程可以完成低帧率视频的实时处理。 由于采用了背景减除法自动得到运动目标，所 以本算法不能应对移动摄像头的情景，只能局限在 固定摄像头的目标跟踪。 并且，由于引入了 Ｃｏｄｅ⁃ Ｂｏｏｋ 的背景建模方法，在具体情况下还需要 ＳＩＦＴ 特征完成匹配，需要占用大量计算时间，实时性不 高，无法处理 ３０ 帧以上的视频。 因此，本算法目前 还只能适用于固定场景多目标缓慢变化的监控视 频，在应用场景上有一定的局限性。 未来的工作主 要集中在对于视频中运动目标的旋转、尺度变化等 问题，可以在运动目标的匹配方面深入探索新的特 征表达和匹配方法。 对运动目标的运动状态可以单 独建立数据库，记录和查询目标的运动信息。 另外， 可以引入像 ＶｉＢｅ 一样的背景建模方法，不仅可以提 高监控视频算法的鲁棒性，而且可以大幅度提高算 法实时性。 参考文献： ［１］李锴． 基于粒子滤波与半监督多分类器的视频跟踪［Ｄ］． 上海： 复旦大学， ２０１２： ６⁃８． ＬＩ Ｋａｉ． Ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｂａｓｅｄ ｏｎ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ ａｎｄ ｓｅｍｉ⁃ｓｕ⁃ ｐｅｒｖｉｓｅｄ ｍｕｌｔｉｐｌｅ ｃｌａｓｓｉｆｉｅｒｓ［Ｄ］． Ｓｈａｎｇｈａｉ：Ｆｕｄａｎ Ｕｎｉｖｅｒｓｉ⁃ ｔｙ， ２０１２： ６⁃８． ［２］杨戈， 刘宏． 视觉跟踪算法综述 ［ Ｊ］． 智能系统学报， ２０１０， ５（２）： ９５⁃１０５． ＹＡＮＧ Ｇｅ， ＬＩＵ Ｈｏｎｇ． Ｓｕｒｖｅｙ ｏｆ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍｓ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１０， ５ （２）： ９５⁃１０５． ［３］ＦＡＺＬＩ Ｓ， ＰＯＵＲ Ｈ Ｍ， ＢＯＵＺＡＲＩ Ｈ． Ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ ｂａｓｅｄ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｗｉｔｈ ＳＩＦＴ ａｎｄ ｃｏｌｏｒ ｆｅａｔｕｒｅ［Ｃ］ ／ ／ Ｓｅｃｏｎｄ Ｉｎ⁃ ｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ． Ｄｕｂａｉ， ＵＡＥ， ２００９： ８９⁃９３． ［４］ ＺＨＯＵ Ｈ， ＹＵＡＮ Ｙ， ＳＨＩ Ｃ． Ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ＳＩＦＴ ｆｅａｔｕｒｅｓ ａｎｄ ｍｅａｎ ｓｈｉｆｔ ［ Ｊ］． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， ２００９， １１３（３）： ３４５⁃３５２． ［５］ＢＥＹＡＮ Ｃ， ＴＥＭＩＺＥＬ Ａ． Ａｄａｐｔｉｖｅ ｍｅａｎ⁃ｓｈｉｆｔ ｆｏｒ ａｕｔｏｍａｔｅｄ ｍｕｌｔｉ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ［ Ｊ］． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１２， ６（ １）： １⁃１２． ［６］ＪＩＡＮＧ Ｍ， ＬＩ Ｍ， ＷＡＮＧ Ｈ． Ａ ｒｏｂｕｓｔ ｃｏｍｂｉｎｅｄ ａｌｇｏｒｉｔｈｍ ｏｆ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｂａｓｅｄ ｏｎ ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｉｎｔｅｌ⁃ ｌｉｇｅｎｔ Ｃｏｎｔｒｏｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ． Ｄａｌｉａｎ， Ｃｈｉｎａ， ２０１０： ６１９⁃６２２． ［７］ＲＡＨＭＡＮ Ｍ Ｓ， ＳＡＨＡ Ａ， ＫＨＡＮＵＭ Ｓ． Ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｔｒａｃｋ⁃ ｉｎｇ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ ｂａｓｅｄ ｏｎ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ ＳＩＦＴ ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ［Ｃ］ ／ ／ Ｆｏｕｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ ａｎｄ Ｃｏｎｖｅｒｇｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌ⁃ ｏｇｙ． Ｓｅｏｕｌ， Ｋｏｒｅａ， ２００９： ４５７⁃４６２． ［８］ＷＲＥＮ Ｃ Ｒ， ＡＺＡＲＢＡＹＥＪＡＮＩ Ａ， ＤＡＲＲＥＬＬ Ｔ． Ｒｅａｌ⁃ｔｉｍｅ ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ ｈｕｍａｎ ｂｏｄｙ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔ⁃ ｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， １９９７， １９ （ ７ ）： ７８０⁃７８５． ［９］ ＰＡＫＯＲＮ Ｋ， ＢＯＷＤＥＮ Ｒ． Ａｎ ｉｍｐｒｏｖｅｄ ａｄａｐｔｉｖｅ ｂａｃｋ⁃ ｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｏｒ ｒｅａｌ⁃ｔｉｍｅ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｓｈａｄｏｗ ｄｅ⁃ ｔｅｃｔｉｏｎ［Ｍ］． Ｎｅｗ Ｙｏｕｋ： Ｓｐｒｉｎｇｅｒ， ２００２： １３５⁃１４４． ［１０］ ＺＩＶＫＯＶＩＣ Ｚ． Ｉｍｐｒｏｖｅｄ ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｃａｍ⁃ ｂｒｉｄｇｅ， ＵＫ， ２００４， ２： ２８⁃３１． ［１１］ＫＩＭ Ｋ， ＣＨＡＬＩＤＡＢＨＯＮＧＳＥ Ｔ Ｈ． Ｒｅａｌ⁃ｔｉｍｅ ｆｏｒｅｇｒｏｕｎｄ⁃ 第 ３ 期 柳培忠，等：一种基于多特征融合的视频目标跟踪方法 ·３２３·
.324. 智能系统学报 第9卷 background segmentation using codebook model[J].Real- [18]赵雷，陈万忠，韩双双.一种改进的运动目标跟踪与轨 time Imaging,2005,11(3):172-185. 迹记录算法[J].智能系统学报，2008,3(2)：145-149. [12]SIGARI M H.FATHY M.Real-time background modeling/ ZHAO Lei,CHEN Wanzhong,HAN Shuangshuang.An subtraction using two-layer codebook model[C]//Proceed- improved algorithm for tracking and recording moving tar- ings of the International Multi-Conference of Engineers and gets[].CAAI Transactions on Intelligent Systems,2008, Computer Scientists.Hong Kong,China,2008:19-21. 3(2):145-149. [13]ZHU Y,LIANG Y,ZHU Y.The improved Gaussian mix- 作者简介： ture model based on motion estimation [C]//Proceedings 柳培忠，男，1976年生，讲师，博 of Third International Conference on Multimedia Informa- 士，美国杜克大学高级访问学者，主要 tion Networking and Security.Shanghai,China,2011:46- 研究方向为仿生图像处理技术、仿生模 50. 式识别理论与方法、网络视觉媒体检索 [14]邹煜.基于轮廓提取和颜色直方图的图像检索[D].重 技术、微波成像分析等。 庆：西南大学，2011：28-29. ZOU Yu.Image retrieval method based on color histogram 阮晓虎，男，1986年生，硕士研究 and contour extraction[D].Chongqing:Southwest Universi- 生，主要研究方向为视频、图像处理、模 y,2011:28-29. 式识别、深度学习相关算法。参与国家 [15]LINDEBERG T.Scale-space theory:a basic tool for analy- 自然科学基金重大研究计划项目1项。 zing structures at different scales[J].Journal of Applied Statistics,1994,21(1/2):225-270. [16]LOWE D G.Object recognition from local scale-invariant 田震，男，1988年生，硕士研究生， features[C]//The Proceedings of the Seventh IEEE Inter- 主要研究方向为图像处理、智能监控系 national Conference of Computer Vision.Kerkyra,Greece, 统模式识别等。 1999,2:1150-1157. [17]LOWE D G.Distinctive image features from scale-invariant keypoints[].International Journal of Computer Vision, 2004,60(2):91-110. 第9届全国计算机支持的协同工作学术会议 Chinese Conference on Computer Supported Cooperative Work 第9届全国计算机支持的协同工作学术会议将于2014年11月14-17日在广西南宁市举行，此次会议由计算机学会 协同专业委员会主办，广西大学承办，广西计算机学会等单位协办。C$CW是一个利用计算机支持的协同工作的跨学科 研究和应用领域，同时也是技术和人类学以及社会科学的交叉领域，十几年来获得了飞速的发展，具有广阔的研究和应 用前景。CCSCW2014会议的主题是大数据时代的协同计算，将对大数据时代的协同计算领域相关理论与技术的最新研 究进展和发展趋势开展深入广泛的学术交流，并特邀著名专家学者作大会报告。会议还将组织"应用论坛"，主题是面 向领域的应用交流项日交流，邀请企业界人士参加。欢迎从事C$CW研究及技术开发的专家、学者积极投稿，并期待来 美丽的南宁市参与本次CSCW学术盛会。 一、征稿范围（主要包含以下内容但不仅限于此）： 1)CSCW理论技术、系统和工具：2)信息共享系统与工作流系统；3)自然协同机理与建模，自然协同的关键 技术与应用：4)情感计算与人人协同，社会计算中的认知、心理问题：5)虚拟协同计算环境和协同虚拟现实技术： 社会与人群计算：5)面向大数据处理的协同技术和数据挖掘模型：6)基于嵌入式技术的协同系统：7)基于云计算的 协同系统：8)移动协同工作，支持协同工作的创新技术和接口：9)服务协同与可信协同：10)特定领域的协同应用。 二、投稿要求 投稿内容突出作者的创新与成果，具有较重要的学术价值与应用推广价值，未在国内外公开发行的刊物或会 议上发表或宣读过。要求论文论点明确，数据详实，语言精炼，图表清晰，公式及符号标注规范。 三、联系方式： 1、投稿邮箱：chnj@gxu.edu.cn 2、大会网站：htp://xwxt.sict.ac.cm/channel/aOOl/template.asp?id=l48
ｂａｃｋｇｒｏｕｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｃｏｄｅｂｏｏｋ ｍｏｄｅｌ［ Ｊ］． Ｒｅａｌ⁃ ｔｉｍｅ Ｉｍａｇｉｎｇ， ２００５， １１（３）： １７２⁃１８５． ［１２］ＳＩＧＡＲＩ Ｍ Ｈ， ＦＡＴＨＹ Ｍ． Ｒｅａｌ⁃ｔｉｍｅ ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌｉｎｇ ／ ｓｕｂｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｔｗｏ⁃ｌａｙｅｒ ｃｏｄｅｂｏｏｋ ｍｏｄｅｌ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄ⁃ ｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｕｌｔｉ⁃Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｅｎｇｉｎｅｅｒｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｔｉｓｔｓ． Ｈｏｎｇ Ｋｏｎｇ， Ｃｈｉｎａ， ２００８： １９⁃２１． ［１３］ＺＨＵ Ｙ， ＬＩＡＮＧ Ｙ， ＺＨＵ Ｙ． Ｔｈｅ ｉｍｐｒｏｖｅｄ Ｇａｕｓｓｉａｎ ｍｉｘ⁃ ｔｕｒｅ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｆｏｒｍａ⁃ ｔｉｏｎ Ｎｅｔｗｏｒｋｉｎｇ ａｎｄ Ｓｅｃｕｒｉｔｙ． Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ， ２０１１： ４６⁃ ５０． ［１４］邹煜． 基于轮廓提取和颜色直方图的图像检索［Ｄ］．重 庆：西南大学， ２０１１：２８⁃２９． ＺＯＵ Ｙｕ． Ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ ａｎｄ ｃｏｎｔｏｕｒ ｅｘｔｒａｃｔｉｏｎ［Ｄ］． Ｃｈｏｎｇｑｉｎｇ：Ｓｏｕｔｈｗｅｓｔ Ｕｎｉｖｅｒｓｉ⁃ ｔｙ， ２０１１： ２８⁃２９． ［１５］ＬＩＮＤＥＢＥＲＧ Ｔ． Ｓｃａｌｅ⁃ｓｐａｃｅ ｔｈｅｏｒｙ： ａ ｂａｓｉｃ ｔｏｏｌ ｆｏｒ ａｎａｌｙ⁃ ｚｉｎｇ ｓｔｒｕｃｔｕｒｅｓ ａｔ ｄｉｆｆｅｒｅｎｔ ｓｃａｌｅｓ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｔａｔｉｓｔｉｃｓ， １９９４， ２１（１ ／ ２）： ２２５⁃２７０． ［１６］ ＬＯＷＥ Ｄ Ｇ． Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ⁃ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ［Ｃ］ ／ ／ Ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｖｅｎｔｈ ＩＥＥＥ Ｉｎｔｅｒ⁃ ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｋｅｒｋｙｒａ，Ｇｒｅｅｃｅ， １９９９， ２： １１５０⁃１１５７． ［１７］ＬＯＷＥ Ｄ Ｇ． Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ⁃ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ［ Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００４， ６０（２）： ９１⁃１１０． ［１８］赵雷，陈万忠，韩双双． 一种改进的运动目标跟踪与轨 迹记录算法［Ｊ］． 智能系统学报， ２００８， ３（２）： １４５⁃１４９． ＺＨＡＯ Ｌｅｉ， ＣＨＥＮ Ｗａｎｚｈｏｎｇ， ＨＡＮ Ｓｈｕａｎｇｓｈｕａｎｇ． Ａｎ ｉｍｐｒｏｖｅｄ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒａｃｋｉｎｇ ａｎｄ ｒｅｃｏｒｄｉｎｇ ｍｏｖｉｎｇ ｔａｒ⁃ ｇｅｔｓ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２００８， ３（２）： １４５⁃１４９． 作者简介： 柳培忠， 男， １９７６ 年生， 讲师， 博 士，美国杜克大学高级访问学者，主要 研究方向为仿生图像处理技术、仿生模 式识别理论与方法、网络视觉媒体检索 技术、微波成像分析等。 阮晓虎，男， １９８６ 年生，硕士研究 生，主要研究方向为视频、图像处理、模 式识别、深度学习相关算法。 参与国家 自然科学基金重大研究计划项目 １ 项。 田震，男，１９８８ 年生，硕士研究生， 主要研究方向为图像处理、智能监控系 统、模式识别等。 第 ９ 届全国计算机支持的协同工作学术会议 Ｃｈｉｎｅｓｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｕｐｐｏｒｔｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｗｏｒｋ 第 ９ 届全国计算机支持的协同工作学术会议将于 ２０１４ 年 １１ 月 １４－１７ 日在广西南宁市举行，此次会议由计算机学会 协同专业委员会主办，广西大学承办，广西计算机学会等单位协办。 ＣＳＣＷ 是一个利用计算机支持的协同工作的跨学科 研究和应用领域，同时也是技术和人类学以及社会科学的交叉领域，十几年来获得了飞速的发展，具有广阔的研究和应 用前景。 ＣＣＳＣＷ２０１４ 会议的主题是大数据时代的协同计算，将对大数据时代的协同计算领域相关理论与技术的最新研 究进展和发展趋势开展深入、广泛的学术交流，并特邀著名专家学者作大会报告。 会议还将组织＂应用论坛＂，主题是面 向领域的应用交流、项目交流，邀请企业界人士参加。 欢迎从事 ＣＳＣＷ 研究及技术开发的专家、学者积极投稿，并期待来 美丽的南宁市参与本次 ＣＳＣＷ 学术盛会。 一、征稿范围（主要包含以下内容但不仅限于此）： １）ＣＳＣＷ 理论、技术、系统和工具；２）信息共享系统与工作流系统； ３）自然协同机理与建模，自然协同的关键 技术与应用；４）情感计算与人人协同，社会计算中的认知、心理问题；５）虚拟协同计算环境和协同虚拟现实技术； 社会与人群计算；５）面向大数据处理的协同技术和数据挖掘模型；６）基于嵌入式技术的协同系统；７）基于云计算的 协同系统； ８）移动协同工作，支持协同工作的创新技术和接口；９）服务协同与可信协同；１０）特定领域的协同应用。 二、投稿要求 投稿内容突出作者的创新与成果，具有较重要的学术价值与应用推广价值，未在国内外公开发行的刊物或会 议上发表或宣读过。 要求论文论点明确，数据详实，语言精炼，图表清晰，公式及符号标注规范。 三、联系方式： １、 投稿邮箱：ｃｈｎｊ＠ ｇｘｕ．ｅｄｕ．ｃｎ ２、 大会网站：ｈｔｔｐ：／ ／ ｘｗｘｔ．ｓｉｃｔ．ａｃ．ｃｎ／ ｃｈａｎｎｅｌ／ ａ００１／ ｔｅｍｐｌａｔｅ．ａｓｐ？ ｉｄ＝１４８ ·３２４· 智 能 系 统 学 报 第 ９ 卷