·320· 智能系统学报 第9卷 的变化，同时目标的遮挡、背景杂乱、摄像头抖动、传 该过程不像混合高斯模型方法或非参核密度估计方 感器噪声、相似物体的干扰也给目标检测和识别带 法[】，无需计算概率，检测速度快，并且可以应对多 来了困难，导致目标运动状态的获取存在误差，跟踪 种背景的变化，对运动目标的检测简便灵活，能达到 漂移后难以再获取目标恢复跟踪。 实时分析视频内容的目的。 近些年，国内外学者们对多目标的视频跟踪做 了很多研究。与传统的只采用已知运动状态预测未 2建立特征库 知运动状态]的跟踪模式不同，多方法或多特征 为了应对复杂多变的情况，需要一种稳定的方式 融合的方法得到了学者们的普遍认可。文献[3]和 表示运动目标，本文采取的方法是对每个运动目标建 [4]虽很好地证明了特征和运动预测跟踪融合的方 立一个独有的特征库。在运动目标第1次被检测到 法要比传统仅采用特征或者运动状态预测的跟踪效 时，则利用目标出现的前几帧建立此运动目标的特征 果好，但需手动标定跟踪目标。文献[5-6]采用了运 库：当多目标距离相近或者重合时，则需要利用建立 动目标检测和运动状态预测结合的方法获得了不错 好的特征库实现实时的匹配运动目标，对匹配成功后 的效果，但无法应对光照和目标遮挡带来的影响，同 的运动目标，同时需要更新其特征库的信息。因此， 时其计算量偏大，无法保证实时处理。文献[7]提 特征的选择将变得非常重要，本文采取的特征为彩色 出了一种基于目标检测与ST特征融合的方法，该 颜色直方图和SlFT(scale invariant feature transform) 方法可以自动地进行目标匹配和跟踪，但对每一帧 特征。 的SFT特征匹配需要消耗大量的计算时间。本文 2.1彩色颜色直方图 方法是在文献[7]的基础上提出的基于多特征融合 根据文献[9]，图像的彩色直方图是对各颜色 的视频目标跟踪方法，主要着眼于运动目标的自动 级在图像中出现频率和次数的统计，在一定程度上 检测和匹配跟踪，由于无需每帧都采用SFT特征完 反映了目标的特征和表象，对于目标在颜色上的突 成目标匹配，因此可以节省部分计算时间。首先，应 出特征有较好的识别效果。因此，将目标的彩色直 用码本的背景建模方法检测运动目标，获得目标图 方图信息作为目标特征库中的一个特征。 像。其次，对目标的跟踪采取的是连续帧间的位置 首先利用目标检测方法，在视频中分离出运动 关系，对于帧间位移判断失效的情况下采用图像的 目标，然后对分离出的运动目标图像进行彩色图像 SFT特征和彩色直方图特征库完成对目标的匹配。 的直方图统计，分别为RGB3个通道做直方图统 最后，记录同一目标出现、消失或重现时间及位置等 计。在需要特征库进行目标匹配时，采用的是三通 运动状态信息，实现目标的跟踪。实验结果表明，算 道的颜色直方图Bhattacharyya距离进行判断。 法很好地实现了监控视频的跟踪任务。 2.2SFT特征 1 背景建模与运动目标检测 SIFT算子是Lowe于1999年提出[1-1)，又在 2004年[2]完善的一种提取局部特征的算法，在尺 运动目标的检测是视频跟踪的关键步骤，本文 度空间寻找极值点，提取位置、尺度、旋转不变量。 采用背景剪除的方式检测视频前景目标。文献[3- 算法的主要特点为：1)稳定性：对旋转、尺度缩放 4]讨论了视频背景建模的方法，其中高斯混合模 亮度变化保持不变性，对视角变化、仿射变换、噪声 型)和基于码本的背景模型6)在运用中取得了比 也保持一定程度的鲁棒性：2)独特性：信息量丰富， 较好的效果。本文采用的背景建模方法为实时更新 适用于在海量特征数据库中进行快速、准确地匹配： 的双层码本建模方法[)，双层码本分为主码本模型 3)多量性：即使少数的几个物体也可以产生大量 和缓存码本模型，主码本模型用于对不变背景的建 SIFT特征向量：4)高速性：经优化的SIFT匹配算法 模，而缓存码本模型用于应对临时背景的出现，并且 甚至可以达到实时的要求：5)可扩展性：可以很方 双层码本可以根据背景场景的变化进行实时的更 便地与其他形式的特征向量进行联合。因此，算法 新，真实而快速地反应出背景的变化。运动目标的 将SFT特征作为目标特征库的另一个特征。 检测采用的是背景差分法，是将当前帧与背景模型 SFT特征的本质是在高斯差分金字塔各层图 相减，根据像素采样值与其码本是否匹配来判断，如 像中寻找局部极值点目标，然后通过窗口的方式进 果新输入的像素值与背景码本匹配，则判断为背景， 行向量化表示。在高斯差分金字塔中，检测出的一 否则判断为目标。基于码本的背景建模方法，输出 个极值点又被称为特征点，是由128维特征向量表 是二进制掩码，这正好适用于对运动目标的提取。 示的。在剪切出目标区域后对目标图像提取SFT的变化，同时目标的遮挡、背景杂乱、摄像头抖动、传 感器噪声、相似物体的干扰也给目标检测和识别带 来了困难，导致目标运动状态的获取存在误差，跟踪 漂移后难以再获取目标恢复跟踪。 近些年，国内外学者们对多目标的视频跟踪做 了很多研究。 与传统的只采用已知运动状态预测未 知运动状态［１⁃２］ 的跟踪模式不同，多方法或多特征 融合的方法得到了学者们的普遍认可。 文献［３］和 ［４］虽很好地证明了特征和运动预测跟踪融合的方 法要比传统仅采用特征或者运动状态预测的跟踪效 果好，但需手动标定跟踪目标。 文献［５⁃６］采用了运 动目标检测和运动状态预测结合的方法获得了不错 的效果，但无法应对光照和目标遮挡带来的影响，同 时其计算量偏大，无法保证实时处理。 文献［７］ 提 出了一种基于目标检测与 ＳＩＦＴ 特征融合的方法，该 方法可以自动地进行目标匹配和跟踪，但对每一帧 的 ＳＩＦＴ 特征匹配需要消耗大量的计算时间。 本文 方法是在文献［７］的基础上提出的基于多特征融合 的视频目标跟踪方法，主要着眼于运动目标的自动 检测和匹配跟踪，由于无需每帧都采用 ＳＩＦＴ 特征完 成目标匹配，因此可以节省部分计算时间。 首先，应 用码本的背景建模方法检测运动目标，获得目标图 像。 其次，对目标的跟踪采取的是连续帧间的位置 关系，对于帧间位移判断失效的情况下采用图像的 ＳＩＦＴ 特征和彩色直方图特征库完成对目标的匹配。 最后，记录同一目标出现、消失或重现时间及位置等 运动状态信息，实现目标的跟踪。 实验结果表明，算 法很好地实现了监控视频的跟踪任务。 １ 背景建模与运动目标检测 运动目标的检测是视频跟踪的关键步骤，本文 采用背景剪除的方式检测视频前景目标。 文献［３⁃ ４］讨论了视频背景建模的方法，其中高斯混合模 型［５］ 和基于码本的背景模型［６］ 在运用中取得了比 较好的效果。 本文采用的背景建模方法为实时更新 的双层码本建模方法［７］ ，双层码本分为主码本模型 和缓存码本模型，主码本模型用于对不变背景的建 模，而缓存码本模型用于应对临时背景的出现，并且 双层码本可以根据背景场景的变化进行实时的更 新，真实而快速地反应出背景的变化。 运动目标的 检测采用的是背景差分法，是将当前帧与背景模型 相减，根据像素采样值与其码本是否匹配来判断，如 果新输入的像素值与背景码本匹配，则判断为背景， 否则判断为目标。 基于码本的背景建模方法，输出 是二进制掩码，这正好适用于对运动目标的提取。 该过程不像混合高斯模型方法或非参核密度估计方 法［８］ ，无需计算概率，检测速度快，并且可以应对多 种背景的变化，对运动目标的检测简便灵活，能达到 实时分析视频内容的目的。 ２ 建立特征库 为了应对复杂多变的情况，需要一种稳定的方式 表示运动目标，本文采取的方法是对每个运动目标建 立一个独有的特征库。 在运动目标第 １ 次被检测到 时，则利用目标出现的前几帧建立此运动目标的特征 库；当多目标距离相近或者重合时，则需要利用建立 好的特征库实现实时的匹配运动目标，对匹配成功后 的运动目标，同时需要更新其特征库的信息。 因此， 特征的选择将变得非常重要，本文采取的特征为彩色 颜色直方图和 ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ ） 特征。 ２．１ 彩色颜色直方图 根据文献［９］，图像的彩色直方图是对各颜色 级在图像中出现频率和次数的统计，在一定程度上 反映了目标的特征和表象，对于目标在颜色上的突 出特征有较好的识别效果。 因此，将目标的彩色直 方图信息作为目标特征库中的一个特征。 首先利用目标检测方法，在视频中分离出运动 目标，然后对分离出的运动目标图像进行彩色图像 的直方图统计，分别为 ＲＧＢ ３ 个通道做直方图统 计。 在需要特征库进行目标匹配时，采用的是三通 道的颜色直方图 Ｂｈａｔｔａｃｈａｒｙｙａ 距离进行判断。 ２．２ ＳＩＦＴ 特征 ＳＩＦＴ 算子是 Ｌｏｗｅ 于 １９９９ 年提出［１０⁃１１］ ，又在 ２００４ 年［１２］完善的一种提取局部特征的算法，在尺 度空间寻找极值点，提取位置、尺度、旋转不变量。 算法的主要特点为：１） 稳定性：对旋转、尺度缩放、 亮度变化保持不变性，对视角变化、仿射变换、噪声 也保持一定程度的鲁棒性；２） 独特性：信息量丰富， 适用于在海量特征数据库中进行快速、准确地匹配； ３） 多量性：即使少数的几个物体也可以产生大量 ＳＩＦＴ 特征向量；４） 高速性：经优化的 ＳＩＦＴ 匹配算法 甚至可以达到实时的要求；５） 可扩展性：可以很方 便地与其他形式的特征向量进行联合。 因此，算法 将 ＳＩＦＴ 特征作为目标特征库的另一个特征。 ＳＩＦＴ 特征的本质是在高斯差分金字塔各层图 像中寻找局部极值点目标，然后通过窗口的方式进 行向量化表示。 在高斯差分金字塔中，检测出的一 个极值点又被称为特征点，是由 １２８ 维特征向量表 示的。 在剪切出目标区域后对目标图像提取 ＳＩＦＴ ·３２０· 智 能 系 统 学 报 第 ９ 卷