第1期 庄伟源，等：关键肢体角度直方图的行为识别 ·21· 学者的关注。在近20年的研究中，研究者们也提出 型151刀的基础上，提出了一个通用的、灵活的混合模 了许多人体行为特征描述方法，如局部时空兴趣 型来捕捉部位间的空间关系和共生关系，取得了很好 点[2)、密集点轨迹[)、密集3-D梯度直方图4等，用 的姿态估计效果：并且这个方法只用了5个模板，计 于行为识别研究。虽然将这些方法用于行为识别研 算复杂度低、效率高，是当前姿态估计领域中的潮流 究也取得一定的成效，但是这些方法所采用的行为 方法。本文采用该算法来估计姿态信息。 特征侧重于描述人体运动的底层或中层特征，缺乏 由于当前姿态估计算法无法精确估计所有的身 语义性和直观性s14]。通过观察肢体在时间轴上的 体部位，因此，合理设计的特征描述子可以更好地利 运动轨迹不难发现，现有这些方法对运动的描述与 用提取到的有效的姿态信息。以往的方法13]利用 人类真实的运动是不相符合的。针对这些人体运动 部位位置信息表述姿态特征。实验证明，在对不同尺 描述方法存在问题，研究者提出了基于姿态信息的 度下的动作视频做行为识别时，利用位置信息构建的 方法。Sermetcan Baysal提出的利用人体可见边缘 姿态特征分类效果不佳，但是每个部位的角度信息具 信息，并转化为若干直线表示的直线姿态表示方法。 有尺度不变性。同时选用的姿态估计算法在部位间 L.Wang刊提出了增强姿态估计进行动作识别。然 引入空间限制，这使得仅利用各部位角度信息表述姿 而这2种方法存在部分局限性：Sermetcan的方法中 态特征成为可能。因此，在设计动作特征时舍弃位置 对于模糊边缘处理区分度欠缺，的方法中对于近 信息，仅提取角度信息。另外，在动作建模层面，文献 似动作如“慢跑”、“跑步”和“走路”判别性不强。 [6-7]利用聚类算法在训练样本中生成一系列标准姿 现有的基于姿态表示的行为识别方法通常是在对 态，并在测试视频中每一帧的姿态信息中找出其最相 姿态正确分析的理想条件下进行的。而人体的姿态估 近的标准姿态。这种方法在构建标准姿态时包含了 计仍然是一个开放的研究问题，目前尚未得到很好地 所有部位信息，容易受到没有准确估计的部位信息的 解决。而当姿态估计无法得到完整准确的结果时，目 影响，不够鲁棒。考虑了另一种策略，即对每个部位 前现有的姿态估计方法也常常因此效果不佳$】。当 单独构建特征，选取关键部位并级联组成动作特征向 前姿态估计算法无法精确定位所有的身体部位时，如 量。同时，受同一肢体的上部和下部（如大臂和小臂） 何利用提取到的正确的姿态信息来设计一个高判别 的角度有相关性联系的启发，在设计特征时引入共生 力、有效的特征成为的本研究问题的核心。 关系并称之为成对肢体特征。 通过对人体运动进行剖析可以发现：人体的行 为动作可以分解为身体各个部位的运动，如：头部运 1关键肢体角度直方图的理论框架 动、手部运动、脚部运动等。但是，正如W.Yang在 图1显示了关键肢体角度直方图的基本流程。 文献[1]所阐述的，各个身体部位在不同动作中所 首先，采用Y.Yang提出的姿态估计算法对输入视频 起的作用也是各不相同的。例如“拳击”动作是两 进行姿态估计，获取每一帧各个部位点的位置信息。 只手在身体同一侧向前击出，而“挥手”动作是两只 然后，本文将具有生理关联性的部位点连接，并定义 手在身体两侧左右挥动。除了这个区别外，其他身 为肢体，利用部位点对的位置信息来计算肢体位置 体部位的结构位置均是相似的。因而，要有效区分 和角度信息。根据各个肢体对特定动作的判别力大 这2种动作，需要重点关注手部的运动信息。本文 小，选取判别力大的手臂肢体和腿部肢体共8个部 将这些具有高判别力的肢体称为关键肢体，并提出 位作为候选关键肢体。 了一个基于关键肢体的鲁棒，有效的动作特征描述 子，用于行为识别研究中。 姿态信息的动作识别方法，首先估计每一帧中人 移动 没有 的姿态信息，然后将连续帧的姿态信息转化为沿着时 选取 间轴的姿态轨迹，再将姿态轨迹映射为动作特征，用 手部 选取手部和腿部 于动作识别。随着当前姿态估计领域的发展，基于姿 态的动作识别的准确率也在显而易见地提高。目前 比较广泛使用的姿态估计方法包括Poselet[J DPMo]、Y.Yangti12)。Poselet是一个基于实例的 输入视频 姿态估计方法，通过大量的模板匹配，在图像中找出 SVM分类器 与人体肢体部位姿态相一致的块。其中Poselet的模 板数超过1OO0个，计算复杂度远高于基于DPM和 图1基于关键肢体角度直方图的动作识别算法基本流程 Y.Yang的算法。Y.Yang在DPM和标准图案模 Fig.1 The basic flow of proposed method学者的关注遥 在近 圆园 年的研究中袁研究者们也提出 了许多人体行为特征描述方法袁如局部时空兴趣 点咱圆暂 尧密集点轨迹咱猿暂 尧密集 猿鄄阅 梯度直方图咱源暂 等袁用 于行为识别研究遥 虽然将这些方法用于行为识别研 究也取得一定的成效袁但是这些方法所采用的行为 特征侧重于描述人体运动的底层或中层特征袁缺乏 语义性和直观性咱缘鄄员源 暂 遥 通过观察肢体在时间轴上的 运动轨迹不难发现袁现有这些方法对运动的描述与 人类真实的运动是不相符合的遥 针对这些人体运动 描述方法存在问题袁研究者提出了基于姿态信息的 方法遥 杂藻则皂藻贼糟葬灶 月葬赠泽葬造咱远暂提出的利用人体可见边缘 信息袁并转化为若干直线表示的直线姿态表示方法遥 蕴援宰葬灶早咱苑暂提出了增强姿态估计进行动作识别遥 然 而这 圆 种方法存在部分局限性院杂藻则皂藻贼糟葬灶 的方法中 对于模糊边缘处理区分度欠缺袁蕴蚤 的方法中对于近 似动作如野慢跑冶尧野跑步冶和野走路冶判别性不强遥 现有的基于姿态表示的行为识别方法通常是在对 姿态正确分析的理想条件下进行的遥 而人体的姿态估 计仍然是一个开放的研究问题袁目前尚未得到很好地 解决遥 而当姿态估计无法得到完整准确的结果时袁目 前现有的姿态估计方法也常常因此效果不佳咱愿暂 遥 当 前姿态估计算法无法精确定位所有的身体部位时袁如 何利用提取到的正确的姿态信息来设计一个高判别 力尧有效的特征成为的本研究问题的核心遥 通过对人体运动进行剖析可以发现院人体的行 为动作可以分解为身体各个部位的运动袁如院头部运 动尧手部运动尧脚部运动等遥 但是袁正如 宰援 再葬灶早 在 文献咱员暂所阐述的袁各个身体部位在不同动作中所 起的作用也是各不相同的遥 例如 野拳击冶动作是两 只手在身体同一侧向前击出袁而野挥手冶动作是两只 手在身体两侧左右挥动遥 除了这个区别外袁其他身 体部位的结构位置均是相似的遥 因而袁要有效区分 这 圆 种动作袁需要重点关注手部的运动信息遥 本文 将这些具有高判别力的肢体称为关键肢体袁并提出 了一个基于关键肢体的鲁棒袁有效的动作特征描述 子袁用于行为识别研究中遥 姿态信息的动作识别方法袁首先估计每一帧中人 的姿态信息袁然后将连续帧的姿态信息转化为沿着时 间轴的姿态轨迹袁再将姿态轨迹映射为动作特征袁用 于动作识别遥 随着当前姿态估计领域的发展袁基于姿 态的动作识别的准确率也在显而易见地提高遥 目前 比较广泛使用的姿态估计方法包括 孕燥泽藻造藻贼咱怨暂 尧 阅孕酝咱 员园 暂 尧再援再葬灶早咱员员 鄄员圆 暂 遥 孕燥泽藻造藻贼 是一个基于实例的 姿态估计方法袁通过大量的模板匹配袁在图像中找出 与人体肢体部位姿态相一致的块遥 其中 孕燥泽藻造藻贼 的模 板数超过 员 园园园 个袁计算复杂度远高于基于 阅孕酝 和 再援 再葬灶早 的算法遥 再援 再葬灶早 在 阅孕酝 和标准图案模 型咱员缘 鄄员苑暂的基础上袁提出了一个通用的尧灵活的混合模 型来捕捉部位间的空间关系和共生关系袁取得了很好 的姿态估计效果曰并且这个方法只用了 缘 个模板袁计 算复杂度低尧效率高袁是当前姿态估计领域中的潮流 方法遥 本文采用该算法来估计姿态信息遥 由于当前姿态估计算法无法精确估计所有的身 体部位袁因此袁合理设计的特征描述子可以更好地利 用提取到的有效的姿态信息遥 以往的方法咱苑鄄员 猿 暂 利用 部位位置信息表述姿态特征遥 实验证明袁在对不同尺 度下的动作视频做行为识别时袁利用位置信息构建的 姿态特征分类效果不佳袁但是每个部位的角度信息具 有尺度不变性遥 同时选用的姿态估计算法在部位间 引入空间限制袁这使得仅利用各部位角度信息表述姿 态特征成为可能遥 因此袁在设计动作特征时舍弃位置 信息袁仅提取角度信息遥 另外袁在动作建模层面袁文献 咱远鄄苑暂利用聚类算法在训练样本中生成一系列标准姿 态袁并在测试视频中每一帧的姿态信息中找出其最相 近的标准姿态遥 这种方法在构建标准姿态时包含了 所有部位信息袁容易受到没有准确估计的部位信息的 影响袁不够鲁棒遥 考虑了另一种策略袁即对每个部位 单独构建特征袁选取关键部位并级联组成动作特征向 量遥 同时袁受同一肢体的上部和下部渊如大臂和小臂冤 的角度有相关性联系的启发袁在设计特征时引入共生 关系并称之为成对肢体特征遥 员摇 关键肢体角度直方图的理论框架 摇 摇 图 员 显示了关键肢体角度直方图的基本流程遥 首先袁采用 再援再葬灶早 提出的姿态估计算法对输入视频 进行姿态估计袁获取每一帧各个部位点的位置信息遥 然后袁本文将具有生理关联性的部位点连接袁并定义 为肢体袁利用部位点对的位置信息来计算肢体位置 和角度信息遥 根据各个肢体对特定动作的判别力大 小袁选取判别力大的手臂肢体和腿部肢体共 愿 个部 位作为候选关键肢体遥 图 员摇 基于关键肢体角度直方图的动作识别算法基本流程 云蚤早援员摇 栽澡藻 遭葬泽蚤糟 枣造燥憎 燥枣 责则燥责燥泽藻凿 皂藻贼澡燥凿 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆员窑