第3期 孙倩茹，等：视频序列的人体运动描述方法综述 ·193· 2.4.1兴趣，点检测 2006年，0 ikonomopoulos2提出了一种改进的兴 兴趣点是指当运动发生时在视频中检测到的运 趣点检测器，他利用光流信息来降低相机运动或背景 动显著位置的集合.对于不具备连续性的运动来说， 连续变化所带来的背景干扰问题具体算法是将光流场 很多基于模板匹配的方法会失效，此时兴趣点检测 中的热力熵信息与Dollar方法中的灰度梯度值相结合 显得尤为重要.更重要的是，兴趣点检测不需要考虑 之后对视频中的显著区域进行检测该方法使用的时空 视角变换和运动事件周期的变化近些年，在图像识 尺度是利用测试得到的最佳尺度.为了增强兴趣点的描 别领域出现了很多兴趣点定义和检测的方法，比较 述有效性，该方法还采用了聚类的手段进行特征选择， 著名的是Hais1)]于1988年提出的图像角点检测， 排除掉了一些低显著度的兴趣点」 2003年Laptev等19]将Harris角点检测拓展到三维 总的来说，这类显著区域检测器主要利用的是 视频数据的显著区域定位上，提出了3D时空兴趣 图像变化信息，因此其检测性能还是很好的但是这 点的检测方法.2D兴趣点完全忽略视频数据中的时 类检测器最大的缺陷是主要适用于静止相机拍摄的 域变化信息，而3D兴趣点周围局部区域内的三维 包含运动信息的视频.为此，2007年Wong和Cipol- 灰度数据无论是在时空域还是在时域上都包含了比 较丰富的像素变化信息，所以它们普遍具有很强的 la[提出将空间域检测和时间域检测分开进行的 特征描述能力并且应用广泛这种检测角点的缺点 思想，这样就可以在空间上做合理化的背景减除来 在于处理比较平滑少纹理的视频数据时，检测足够 提取主要运动区域，进而适应移动摄相机的情况， 多的有效显著区域是比较困难的.为了解决这一显 2.4.2局部区域描述 著点过于稀疏的问题，Dollar2o在2005年提出了一 近年来，在对兴趣点周围局部区域的描述，即局 种基于周期性运动的兴趣点检测方法（图5所示）， 部特征的获取上，相关研究人员花费了很大的精力 他利用2D空间高斯平滑核函数g和1对1D时间 Schuldt!2)是这方面工作的先驱，他先是利用Laptev 高斯核函数h、h(式(1)和(2))构造了三维响应 的检测器19]检测兴趣点，再对兴趣点周围的立体区 函数R(式(3).所要获取的兴趣点个数是通过手动 域提取灰度值变化的标准化差分算子作为局部特 调整2个核函数的尺度参数来进行设定的.这个兴 征，最后经过聚类算法计算所有获取特征的统计直 趣点检测器虽然应用广泛：但是检测器本身还是存 方图这种方法可以避免摄像头移动带来的干扰，但 在一些缺点，比如运动物体边缘较为平滑（和背景 是对于相似度较高的运动（如跑步和单腿向前跳） 区分度很小)即灰度值变化较小时，检测足够的显 识别效果比较差. 著区域也是比较困难，另外，这种检测是在单一尺度 较先提出兴趣点检测算子的Dollar2o]同时提出 (固定尺度参数)下的 了局部特征描述的方法.他在文章中对3种不同的 [h (t:T,)=-cos(2m)e (1) 描述子进行了测试：像素级别的归一化描述子、亮度 (ht:,)=-sin(2m)e (2) 梯度描述子和基于光流统计的描述子.其中利用亮 R=(I*g*hn)2+(I*g*h)2. (3) 度梯度描述子的分类器达到了最好的运动识别效 果.该方法还利用PCA来降低特征维度，提高了计 算和存储的效率。 为了将检测到的显著区域较好地表示出来，以 达到较高的特征区分度，Scovanner24]在2007年提 出了改进的3D-SFT算子（图6所示），利用3个维 (a)动作l b)动作2 度的高斯差分结果计算局部灰度特征，这是一种时 间域上扩展的ST方法[2].此外，还有很多特征融 合的描述子建立方法[26]都取得了较高的人体运 动识别率 (c)动作3 (d)动作4 图5 芭蕾舞运动中的兴趣点检测和相应的分类标记 Fig.5 Interest points of Ballet motions and their corre- sponding labeled results 图63D-SFT描述算子的提取和建立过程 Fig.6 The extraction process of a 3D-SIFT descriptor２．４．１ 兴趣点检测 兴趣点是指当运动发生时在视频中检测到的运 动显著位置的集合．对于不具备连续性的运动来说， 很多基于模板匹配的方法会失效，此时兴趣点检测 显得尤为重要．更重要的是，兴趣点检测不需要考虑 视角变换和运动事件周期的变化．近些年，在图像识 别领域出现了很多兴趣点定义和检测的方法，比较 著名的是 Ｈａｒｒｉｓ ［１８］于 １９８８ 年提出的图像角点检测， ２００３ 年 Ｌａｐｔｅｖ 等［１９］将 Ｈａｒｒｉｓ 角点检测拓展到三维 视频数据的显著区域定位上，提出了 ３Ｄ 时空兴趣 点的检测方法．２Ｄ 兴趣点完全忽略视频数据中的时 域变化信息，而 ３Ｄ 兴趣点周围局部区域内的三维 灰度数据无论是在时空域还是在时域上都包含了比 较丰富的像素变化信息，所以它们普遍具有很强的 特征描述能力并且应用广泛．这种检测角点的缺点 在于处理比较平滑少纹理的视频数据时，检测足够 多的有效显著区域是比较困难的．为了解决这一显 著点过于稀疏的问题，Ｄｏｌｌａｒ ［２０］ 在 ２００５ 年提出了一 种基于周期性运动的兴趣点检测方法（图 ５ 所示）， 他利用 ２Ｄ 空间高斯平滑核函数 ｇ 和 １ 对 １Ｄ 时间 高斯核函数 ｈｅｖ、ｈｏｄ（式（１）和（２））构造了三维响应 函数 Ｒ（式（３））．所要获取的兴趣点个数是通过手动 调整 ２ 个核函数的尺度参数来进行设定的．这个兴 趣点检测器虽然应用广泛；但是检测器本身还是存 在一些缺点，比如运动物体边缘较为平滑（和背景 区分度很小） 即灰度值变化较小时，检测足够的显 著区域也是比较困难，另外，这种检测是在单一尺度 （固定尺度参数）下的． ｈｅｖ（ｔ；τ，ω） ＝ － ｃｏｓ（２πｔω）ｅ －ｔ ２ ／ τ ２ ， （１） ｈｏｄ（ｔ；τ，ω） ＝ － ｓｉｎ（２πｔω）ｅ －ｔ ２ ／ τ ２ ； （２） { Ｒ ＝ （Ｉ∗ｇ∗ｈｅｖ） ２ ＋ （Ｉ∗ｇ∗ｈｏｄ ） ２ ． （３） 图 ５ 芭蕾舞运动中的兴趣点检测和相应的分类标记 Ｆｉｇ．５ Ｉｎｔｅｒｅｓｔ ｐｏｉｎｔｓ ｏｆ Ｂａｌｌｅｔ ｍｏｔｉｏｎｓ ａｎｄ ｔｈｅｉｒ ｃｏｒｒｅ⁃ ｓｐｏｎｄｉｎｇ ｌａｂｅｌｅｄ ｒｅｓｕｌｔｓ ２００６ 年，Ｏｉｋｏｎｏｍｏｐｏｕｌｏｓ ［２１］ 提出了一种改进的兴 趣点检测器，他利用光流信息来降低相机运动或背景 连续变化所带来的背景干扰问题．具体算法是将光流场 中的热力熵信息与 Ｄｏｌｌａｒ 方法中的灰度梯度值相结合 之后对视频中的显著区域进行检测．该方法使用的时空 尺度是利用测试得到的最佳尺度．为了增强兴趣点的描 述有效性，该方法还采用了聚类的手段进行特征选择， 排除掉了一些低显著度的兴趣点． 总的来说，这类显著区域检测器主要利用的是 图像变化信息，因此其检测性能还是很好的．但是这 类检测器最大的缺陷是主要适用于静止相机拍摄的 包含运动信息的视频．为此，２００７ 年 Ｗｏｎｇ 和 Ｃｉｐｏｌ⁃ ｌａ ［２２］提出将空间域检测和时间域检测分开进行的 思想，这样就可以在空间上做合理化的背景减除来 提取主要运动区域，进而适应移动摄相机的情况． ２．４．２ 局部区域描述 近年来，在对兴趣点周围局部区域的描述，即局 部特征的获取上，相关研究人员花费了很大的精力． Ｓｃｈｕｌｄｔ ［２３］是这方面工作的先驱，他先是利用 Ｌａｐｔｅｖ 的检测器［１９］检测兴趣点，再对兴趣点周围的立体区 域提取灰度值变化的标准化差分算子作为局部特 征，最后经过聚类算法计算所有获取特征的统计直 方图．这种方法可以避免摄像头移动带来的干扰，但 是对于相似度较高的运动（如跑步和单腿向前跳） 识别效果比较差． 较先提出兴趣点检测算子的 Ｄｏｌｌａｒ ［２０］同时提出 了局部特征描述的方法．他在文章中对 ３ 种不同的 描述子进行了测试：像素级别的归一化描述子、亮度 梯度描述子和基于光流统计的描述子．其中利用亮 度梯度描述子的分类器达到了最好的运动识别效 果．该方法还利用 ＰＣＡ 来降低特征维度，提高了计 算和存储的效率． 为了将检测到的显著区域较好地表示出来，以 达到较高的特征区分度，Ｓｃｏｖａｎｎｅｒ ［２４］ 在 ２００７ 年提 出了改进的 ３Ｄ⁃ＳＩＦＴ 算子（图 ６ 所示），利用 ３ 个维 度的高斯差分结果计算局部灰度特征，这是一种时 间域上扩展的 ＳＩＦＴ 方法［２５］ ．此外，还有很多特征融 合的描述子建立方法［２６⁃２７］ 都取得了较高的人体运 动识别率． 图 ６ ３Ｄ⁃ＳＩＦＴ 描述算子的提取和建立过程 Ｆｉｇ．６ Ｔｈｅ ｅｘｔｒａｃｔｉｏｎ ｐｒｏｃｅｓｓ ｏｆ ａ ３Ｄ⁃ＳＩＦＴ ｄｅｓｃｒｉｐｔｏｒ 第 ３ 期 孙倩茹，等：视频序列的人体运动描述方法综述 ·１９３·