第9卷第3期 智能系统学报 VoL.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201309085 网络出版地址：http://www.enki..net/kcms/doi/10.3969/j.issn.16734785.201309085.html 一种基于多特征融合的视频目标跟踪方法 柳培忠1，阮晓虎2，田震2，李卫军2，覃鸿 (1.华侨大学工学院，福建泉州362000：2.中国科学院半导体研究所高速电路与神经网络实验室，北京100083) 摘要：在预警系统和目标记录方面，传统的视频跟踪方法无法很好地解决目标重现和遮挡等问题，针对此类问题 提出了一种融合多特征的视频目标跟踪方法，首先用背景建模的方法检测运动前景，分离目标图像，通过目标连续 帧间的位移信息实现跟踪，对多目标帧间位移相近的情况，融合目标SFT和彩色直方图特征进行目标匹配，并记录 目标各帧的运动状态，最终实现目标运动的跟踪。实验结果表明，该方法对多目标缓慢变化的监控视频有较好的跟 踪效果。 关键词：视频跟踪：背景建模；前景检测：特征提取；特征融合 中图分类号：TP391文献标志码：A文章编号：1673-4785(2014)03-0319-06 中文引用格式：柳培忠，阮晓虎，田震，等.一种基于多特征融合的视频目标跟踪方法[J].智能系统学报，2014,9(3)：319-324， 英文引用格式LIU Peizhong,RUAN Xiaohu,TIAN Zhen,etal.A video tracking method based on object multi-feature fusion[J]. CAAI Transactions on Intelligent Systems,2014,9(3):319-324. A video tracking method based on object multi-feature fusion LIU Peizhong',RUAN Xiaohu2,TIAN Zhen2,LI Weijun2,QIN Hong? (1.College of Engineering,Huaqiao University,Quanzhou 362000,China;2.High Speed Circuit and Neural Network Laboratory,In- stitute of Semiconductors,Chinese Academy of Sciences,Beijing 100083,China) Abstract:Video tracking is a vital technique for the application of intelligent video surveillance.In terms of pre- warning systems and event recording,traditional video tracking methods cannot solve the problems of object reap- pearance and shadows very well.To tackle these problems,a video tracking method based on object multi-feature fusion is proposed.Firstly,the foreground of a moving target was detected using the method of background model- ing,and the image of the moving target was separated from the video frame.Then the target that had been detected currently was set to match the target that appeared previously through the location information of the sequential frames of the object.Furthermore,considering the failure of the location matching,the SIFT(scale invariant feature transform )and color histogram feature of the target image were extracted to match the different targets.The experi- mental results showed excellent performance of the real-time video tracking of multi-objects moving slowly in the general surveillance system. Keywords:video tracking;background modeling;foreground detection;feature extraction;multi-feature fusion 视频跟踪是计算机视觉中一个重要研究分支， 其运动状态（该状态包括物体的尺度、位置、速度、 十几年来，一直是最热门的研究课题之一。视频跟 物体特征等信息)进行记录、理解和预测。目前，视 踪的主要任务是检测视频场景中出现的目标，并对 频跟踪作为一项关键技术主要应用在导航制导、自 动驾驶、监控视频分析、医学影像分析等领域。现阶 收稿日期：2013-09-30.网络出版日期：2014-06-14. 基金项目：国家自然科学基金重大研究计划资助项目(90920013). 段视频跟踪的研究面临的主要问题是：视频场景的 通信作者：田震.E-mail:tianzhen(@semi.ac.cmn. 光照变化，摄像头运动目标形状、外观、姿态和尺度第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０９０８５ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３４７８５．２０１３０９０８５．ｈｔｍｌ 一种基于多特征融合的视频目标跟踪方法 柳培忠１ ，阮晓虎２ ，田震２ ，李卫军２ ，覃鸿２ （１．华侨大学 工学院，福建 泉州 ３６２０００； ２．中国科学院半导体研究所 高速电路与神经网络实验室，北京 １０００８３） 摘 要：在预警系统和目标记录方面，传统的视频跟踪方法无法很好地解决目标重现和遮挡等问题，针对此类问题 提出了一种融合多特征的视频目标跟踪方法，首先用背景建模的方法检测运动前景，分离目标图像，通过目标连续 帧间的位移信息实现跟踪，对多目标帧间位移相近的情况，融合目标 ＳＩＦＴ 和彩色直方图特征进行目标匹配，并记录 目标各帧的运动状态，最终实现目标运动的跟踪。 实验结果表明，该方法对多目标缓慢变化的监控视频有较好的跟 踪效果。 关键词：视频跟踪；背景建模；前景检测；特征提取；特征融合 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０３１９⁃０６ 中文引用格式：柳培忠，阮晓虎，田震，等． 一种基于多特征融合的视频目标跟踪方法［Ｊ］． 智能系统学报， ２０１４， ９（３）： ３１９⁃３２４． 英文引用格式 ＬＩＵ Ｐｅｉｚｈｏｎｇ， ＲＵＡＮ Ｘｉａｏｈｕ， ＴＩＡＮ Ｚｈｅｎ， ｅｔ ａｌ． Ａ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ３１９⁃３２４． Ａ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ＬＩＵ Ｐｅｉｚｈｏｎｇ １ ， ＲＵＡＮ Ｘｉａｏｈｕ ２ ， ＴＩＡＮ Ｚｈｅｎ ２ ， ＬＩ Ｗｅｉｊｕｎ ２ ， ＱＩＮ Ｈｏｎｇ ２ （１． Ｃｏｌｌｅｇｅ ｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈｕａｑｉａｏ Ｕｎｉｖｅｒｓｉｔｙ， Ｑｕａｎｚｈｏｕ ３６２０００， Ｃｈｉｎａ； ２． Ｈｉｇｈ Ｓｐｅｅｄ Ｃｉｒｃｕｉｔ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｌａｂｏｒａｔｏｒｙ， Ｉｎ⁃ ｓｔｉｔｕｔｅ ｏｆ Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｂｅｉｊｉｎｇ １０００８３， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ： Ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｉｓ ａ ｖｉｔａｌ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ． Ｉｎ ｔｅｒｍｓ ｏｆ ｐｒｅ⁃ ｗａｒｎｉｎｇ ｓｙｓｔｅｍｓ ａｎｄ ｅｖｅｎｔ ｒｅｃｏｒｄｉｎｇ， ｔｒａｄｉｔｉｏｎａｌ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄｓ ｃａｎｎｏｔ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍｓ ｏｆ ｏｂｊｅｃｔ ｒｅａｐ⁃ ｐｅａｒａｎｃｅ ａｎｄ ｓｈａｄｏｗｓ ｖｅｒｙ ｗｅｌｌ． Ｔｏ ｔａｃｋｌｅ ｔｈｅｓｅ ｐｒｏｂｌｅｍｓ， ａ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ｉｓ ｐｒｏｐｏｓｅｄ． Ｆｉｒｓｔｌｙ， ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ ｏｆ ａ ｍｏｖｉｎｇ ｔａｒｇｅｔ ｗａｓ ｄｅｔｅｃｔｅｄ ｕｓｉｎｇ ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ⁃ ｉｎｇ， ａｎｄ ｔｈｅ ｉｍａｇｅ ｏｆ ｔｈｅ ｍｏｖｉｎｇ ｔａｒｇｅｔ ｗａｓ ｓｅｐａｒａｔｅｄ ｆｒｏｍ ｔｈｅ ｖｉｄｅｏ ｆｒａｍｅ． Ｔｈｅｎ ｔｈｅ ｔａｒｇｅｔ ｔｈａｔ ｈａｄ ｂｅｅｎ ｄｅｔｅｃｔｅｄ ｃｕｒｒｅｎｔｌｙ ｗａｓ ｓｅｔ ｔｏ ｍａｔｃｈ ｔｈｅ ｔａｒｇｅｔ ｔｈａｔ ａｐｐｅａｒｅｄ ｐｒｅｖｉｏｕｓｌｙ ｔｈｒｏｕｇｈ ｔｈｅ ｌｏｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｓｅｑｕｅｎｔｉａｌ ｆｒａｍｅｓ ｏｆ ｔｈｅ ｏｂｊｅｃｔ． Ｆｕｒｔｈｅｒｍｏｒｅ， ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅ ｆａｉｌｕｒｅ ｏｆ ｔｈｅ ｌｏｃａｔｉｏｎ ｍａｔｃｈｉｎｇ， ｔｈｅ ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ ） ａｎｄ ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ ｆｅａｔｕｒｅ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｉｍａｇｅ ｗｅｒｅ ｅｘｔｒａｃｔｅｄ ｔｏ ｍａｔｃｈ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｔａｒｇｅｔｓ． Ｔｈｅ ｅｘｐｅｒｉ⁃ ｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗｅｄ ｅｘｃｅｌｌｅｎｔ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｒｅａｌ⁃ｔｉｍｅ ｖｉｄｅｏ ｔｒａｃｋｉｎｇ ｏｆ ｍｕｌｔｉ⁃ｏｂｊｅｃｔｓ ｍｏｖｉｎｇ ｓｌｏｗｌｙ ｉｎ ｔｈｅ ｇｅｎｅｒａｌ ｓｕｒｖｅｉｌｌａｎｃｅ ｓｙｓｔｅｍ． Ｋｅｙｗｏｒｄｓ：ｖｉｄｅｏ ｔｒａｃｋｉｎｇ； ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌｉｎｇ； ｆｏｒｅｇｒｏｕｎｄ ｄｅｔｅｃｔｉｏｎ； ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ； ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ 收稿日期：２０１３⁃０９⁃３０． 网络出版日期：２０１４⁃０６⁃１４． 基金项目：国家自然科学基金重大研究计划资助项目（９０９２００１３）． 通信作者：田震． Ｅ⁃ｍａｉｌ：ｔｉａｎｚｈｅｎ＠ ｓｅｍｉ．ａｃ．ｃｎ． 视频跟踪是计算机视觉中一个重要研究分支， 十几年来，一直是最热门的研究课题之一。 视频跟 踪的主要任务是检测视频场景中出现的目标，并对 其运动状态（该状态包括物体的尺度、位置、速度、 物体特征等信息）进行记录、理解和预测。 目前，视 频跟踪作为一项关键技术主要应用在导航制导、自 动驾驶、监控视频分析、医学影像分析等领域。 现阶 段视频跟踪的研究面临的主要问题是：视频场景的 光照变化，摄像头运动目标形状、外观、姿态和尺度