第3期 孙倩茹，等：视频序列的人体运动描述方法综述 ·191· 征提取会因为严重的背景噪声而变得效率低下 Bobick和Davis2)于2001年提出使用人体轮廓 7)其他环境因素(environmental conditions).录 模板训练分类器的方法，他们采集单一视角的轮廓并 像设置和场景选择也是影响运动分析的重要因素. 对其进行聚类以提取可计算的特征向量.首先利用连 例如，室外场景中存在的阴影、光照变化以及人群拥 续的轮廓形状建立一种运动能量图(MEI),用于表征 挤都会严重影响人体运动识别结果 运动发生的位置信息：再建立一种运动历史图 2 经典的人体运动描述方法 (MⅢ)，用于表征轮廓序列的灰度值变化情况：最后 通过对这2种特征图像的参数化描述建立运动特征 通常来说，不同的运动具有不同的计算复杂度 向量（如图2）.Blank4)和Yilmaz先后提出了结合运 运动表示方法的不同会直接影响后续识别的效率， 动信息的人体3D体积模型，通过获取轮廓序列计算 Bobick[将人的运动分为3类：动作(movement)、行 3D体积的特征值（如体积大小、时空角点位置等）来 动(action)和行为(activity),这3类运动分别处于3 计算运动描述向量.除了利用单纯的轮廓和体积信息 个不同复杂度的层次上.动作是运动的基元，是最基 之外，Wang6]为了探索人体轮廓的运动流形轨迹的 本的运动，是形成其他复杂、高级运动的基础.一般 内在结构，于2007年提出采用LPp)(R变换)对提 来说人体动作在执行过程中会持续较短的时间，其 取的人体轮廓序列进行轨迹分析，他们在多个具有挑 识别方法一般可以采用几何或概率统计的方法3)] 战性的数据库上对这种方法的鲁棒性进行了实验验 一般来说，运动的表示与应用场合有紧密的关系，对 证，均取得了较好的识别效果。 于不同的情况通常会选择不同的运动表示方法.譬 如，在对一个大的场景下进行较远距离的监控时，只 需要提取运动目标的轨迹就可以满足需要，而在识 别近距离人体动作时，对人的肢体进行2D或者3D 建模则会起到更好的效果[)」 动作描述是指给定一段包含人体运动的视频， 需要建立起视频（观察）到高维特征空间一种合理 的映射，用特征或者特征的组合形式来表述这段运 动.参考在第1节中提到的人体运动识别的难点，主 要解决途径就是探求具备高类间区分度且对类内元 素具有很好的“聚类”作用的特征描述方法.好的运 动描述方法可以使人体运动识别系统实现高识别效 率，因此近些年来，运动的特征描述成为运动识别的 重点研究之一 (a)关键顿 (b)MEI (e)MHI 根据近些年的相关研究成果，关于运动的特征 图2人体运动描述子：MEI和MHI 描述方法主要可以分为四大类2]：1)基于时空形状 Fig.2 Human action descriptors:MEI and MHI 模板(spatio-temporal shape template)的运动描述方 后续的很多文献致力于获取对视角和尺度变化 法；2)基于光流(optical flow)特征的运动描述方法； 较为鲁棒的轮廓描述方法，但是在处理实际视频中 3)基于运动轨迹(trajectories)的运动描述方法；4) 出现的遮挡、拥挤、大视角大尺度视频变化等问题 基于兴趣点(interest points)的运动描述方法. 时，基于时空形状模板的运动描述方法难以满足识 2.1基于时空形状模板的运动描述方法 别要求 时空形状模板是一种较早的用于运动识别的方 2.2基于光流特征的运动描述方法 法该方法在训练过程中通过对视频序列中检测到 基于光流特征的运动描述方法是将人体运动联 的人体形状建立起一组与特定运动相对应的人体形 合背景变化作为一个变化的整体，然后通过获取主 状序列运动识别的过程实际就是模板匹配的过程， 运动区域来定位人体运动.光流法不需要预先获取 获得训练样本的高质量轮廓模板是这类方法的前 图像背景，而且计算结果仅仅依靠连续帧的相对运 提.因此，这类方法要求以高精度的人体轮廓分割 动，不受复杂背景的影响，因而在基于对象的运动估 (一般会使用背景减除)为前提，因此当出现复杂背 计、运动检测和跟踪等领域都有广阔的应用前景[) 景情形时，如相机晃动、人体阴影、人体遮挡或者多 光流的基本计算以2帧图像亮度恒定为前提，用泰 个运动目标，此类方法的识别率会变得比较低，甚至 勒级数一阶展开，使得光流计算受限于2帧图像间 会完全失效，征提取会因为严重的背景噪声而变得效率低下． ７）其他环境因素（ ｅｎｖｉｒｏｎｍｅｎｔａｌ ｃｏｎｄｉｔｉｏｎｓ）．录 像设置和场景选择也是影响运动分析的重要因素． 例如，室外场景中存在的阴影、光照变化以及人群拥 挤都会严重影响人体运动识别结果． ２ 经典的人体运动描述方法 通常来说，不同的运动具有不同的计算复杂度， 运动表示方法的不同会直接影响后续识别的效率． Ｂｏｂｉｃｋ ［２］将人的运动分为 ３ 类：动作（ｍｏｖｅｍｅｎｔ）、行 动（ａｃｔｉｏｎ）和行为（ａｃｔｉｖｉｔｙ），这 ３ 类运动分别处于 ３ 个不同复杂度的层次上．动作是运动的基元，是最基 本的运动，是形成其他复杂、高级运动的基础．一般 来说人体动作在执行过程中会持续较短的时间，其 识别方法一般可以采用几何或概率统计的方法［３］ ． 一般来说，运动的表示与应用场合有紧密的关系，对 于不同的情况通常会选择不同的运动表示方法．譬 如，在对一个大的场景下进行较远距离的监控时，只 需要提取运动目标的轨迹就可以满足需要，而在识 别近距离人体动作时，对人的肢体进行 ２Ｄ 或者 ３Ｄ 建模则会起到更好的效果［３］ ． 动作描述是指给定一段包含人体运动的视频， 需要建立起视频（观察）到高维特征空间一种合理 的映射，用特征或者特征的组合形式来表述这段运 动．参考在第 １ 节中提到的人体运动识别的难点，主 要解决途径就是探求具备高类间区分度且对类内元 素具有很好的“聚类”作用的特征描述方法．好的运 动描述方法可以使人体运动识别系统实现高识别效 率，因此近些年来，运动的特征描述成为运动识别的 重点研究之一． 根据近些年的相关研究成果，关于运动的特征 描述方法主要可以分为四大类［２］ ：１）基于时空形状 模板（ｓｐａｔｉｏ⁃ｔｅｍｐｏｒａｌ ｓｈａｐｅ ｔｅｍｐｌａｔｅ） 的运动描述方 法；２）基于光流（ｏｐｔｉｃａｌ ｆｌｏｗ）特征的运动描述方法； ３）基于运动轨迹（ ｔｒａｊｅｃｔｏｒｉｅｓ） 的运动描述方法；４） 基于兴趣点（ｉｎｔｅｒｅｓｔ ｐｏｉｎｔｓ）的运动描述方法． ２．１ 基于时空形状模板的运动描述方法 时空形状模板是一种较早的用于运动识别的方 法．该方法在训练过程中通过对视频序列中检测到 的人体形状建立起一组与特定运动相对应的人体形 状序列．运动识别的过程实际就是模板匹配的过程， 获得训练样本的高质量轮廓模板是这类方法的前 提．因此，这类方法要求以高精度的人体轮廓分割 （一般会使用背景减除）为前提，因此当出现复杂背 景情形时，如相机晃动、人体阴影、人体遮挡或者多 个运动目标，此类方法的识别率会变得比较低，甚至 会完全失效． Ｂｏｂｉｃｋ 和 Ｄａｖｉｓ ［２］ 于 ２００１ 年提出使用人体轮廓 模板训练分类器的方法，他们采集单一视角的轮廓并 对其进行聚类以提取可计算的特征向量．首先利用连 续的轮廓形状建立一种运动能量图（ＭＥＩ），用于表征 运动 发 生 的 位 置 信 息；再 建 立 一 种 运 动 历 史 图 （ＭＨＩ），用于表征轮廓序列的灰度值变化情况；最后 通过对这 ２ 种特征图像的参数化描述建立运动特征 向量（如图 ２）．Ｂｌａｎｋ ［４］和 Ｙｉｌｍａｚ ［５］先后提出了结合运 动信息的人体 ３Ｄ 体积模型，通过获取轮廓序列计算 ３Ｄ 体积的特征值（如体积大小、时空角点位置等）来 计算运动描述向量．除了利用单纯的轮廓和体积信息 之外，Ｗａｎｇ ［６］为了探索人体轮廓的运动流形轨迹的 内在结构，于 ２００７ 年提出采用 ＬＰＰ ［７］ （Ｒ 变换）对提 取的人体轮廓序列进行轨迹分析，他们在多个具有挑 战性的数据库上对这种方法的鲁棒性进行了实验验 证，均取得了较好的识别效果． 图 ２ 人体运动描述子：ＭＥＩ 和 ＭＨＩ Ｆｉｇ．２ Ｈｕｍａｎ ａｃｔｉｏｎ ｄｅｓｃｒｉｐｔｏｒｓ： ＭＥＩ ａｎｄ ＭＨＩ 后续的很多文献致力于获取对视角和尺度变化 较为鲁棒的轮廓描述方法，但是在处理实际视频中 出现的遮挡、拥挤、大视角大尺度视频变化等问题 时，基于时空形状模板的运动描述方法难以满足识 别要求． ２．２ 基于光流特征的运动描述方法 基于光流特征的运动描述方法是将人体运动联 合背景变化作为一个变化的整体，然后通过获取主 运动区域来定位人体运动．光流法不需要预先获取 图像背景，而且计算结果仅仅依靠连续帧的相对运 动，不受复杂背景的影响，因而在基于对象的运动估 计、运动检测和跟踪等领域都有广阔的应用前景［８］ ． 光流的基本计算以 ２ 帧图像亮度恒定为前提，用泰 勒级数一阶展开，使得光流计算受限于 ２ 帧图像间 第 ３ 期 孙倩茹，等：视频序列的人体运动描述方法综述 ·１９１·