第1期 庄伟源，等：关键肢体角度直方图的行为识别 ·23· 手、慢跑、跑步和走路，文中需要从中找出关键肢体。 M。,视频中P:的运动类型，出现的次数，统计在 通过观察可以发现，拳击、拍手和挥手之间的区别主 第k维。成对肢体特征是一种特征引入了共生关系 要集中在手部运动。而慢跑、跑步和走路的区别集 的特征，通过统计成对肢体的运动类型来表示。所 中于手部运动和腿部运动中，剩下的肢体（头和躯 谓的共生关系是：属于同一个四肢的肢体P:和肢体 干)区分度不高，提供很少的信息嫡。因此，仅选取 四肢的8个肢体作为候选关键肢体，设为P:= P(如右大臂和右小臂都属于右臂)，他们所对应的 (x:,0,),i∈{1,2，…，8}。 运动类型存在相关性。基于这种思想提出成对肢体 2.3肢体角度直方图 特征，其具体步骤如下：设每个成对肢体特征 在第1层分类器中，主要任务是将动作分为非 的维度为M:×M:,若第fn中p:的运动类型是t,:而 移动类和移动类两大类动作，本文提取了躯干的水 P为t,a,则在(k-1)×M+l)维统计。 平位置分布信息并用直方图特征表示，用来判断人 对非移动类动作（包括拳击、拍手和挥手），使 是否发生移动。 用每个部位设置10个运动类型，并使用成对肢体特 在第2层分类器中，需要将每个部位的位置映 征描述手臂部位。特征向量的维度为2×10×10， 射为特征向量。LI Wang!)]和WANG Jiang3]都采 为200维。对移动类动作（包括慢跑、跑步和走 用了相对部位特征。将躯干部位P三 路)，用独立肢体特征表示手臂部位其中每个部位 (uyum,O)作为参照点，其他部位P:映射为 包含18个运动类型，而腿部部位用成对肢体特征表 相对部位特征△p,=(x:一x水一y,8,)。这种 示，其中每个部位包含9个运动类型。对手臂应用 特征在处理尺度不同的动作视频时（图2所示，与 独立肢体特征而不是成对肢体特征的原因在于：经 摄像头的距离不同导致的人在视频中尺度不同)分 观察发现，移动类的动作中，脚部部位的姿态估计准 类效果不佳。同时由于不同动作中，人体姿态形变 确率更高，而由于手臂部位接近躯干，因此无法准确 差异较大，目前没有有效的解决位置归一化的方法。 估计手臂的所有部位，在这种情况对成对肢体特征 注意到部位的角度具有尺度不变的特性，同时由于 的干扰较大而独立肢体特征更具有鲁棒性。整个动 姿态估计模型中各个部位间存在空间限制关系，这 作向量的维度是4×18+2×9×9，为234维。特征 也为仅用肢体角度信息表述姿态提供了基础，因此 提取后同一进行归一化处理。 每个肢体表示为P:=(0)。 3 实验结果 ~段十几秒的视频当中包含着三四百帧图像信 息，如果将每一帧的关键肢体角度特征级联，所组成 实验部分采用KTH action dataset数据集[2o]做 的特征向量维度很大，并且会降低姿态识别准确率。 测试。KTH数据集包含了600个灰度视频，其中共 为了降低维度，实验当中分别对每个肢体定义M个 6类动作：拳击、拍手、挥手、慢跑、跑步和走路。这 运动类型4，，k∈{1,2，…，M)。其中具有相似角 些动作分别由25个参与者在4种不同的场景（户 度的部位P:被指定为同一运动类型。运动类型的 外、户外以及尺度变化、户外以及换其他服装和室 判别方法是：首先，将部位的角度空间（手臂肢体的 内)完成。视频空间分辨率为160×120。 角度空间大小为0~4×18+2×9×9，腿部肢体的 选用70%的视频作为训练集，并采用交叉验证 角度空间大小为T~2π)分为等长的M个区间：然 的方法用对SVM模型参数进行优化。剩下30%视 后，假设第f帧中，部位p,的角度值0。落在角度空 频作为测试集，重复4次实验取平均实验结果。在 间的第k个区间内，那么它的运动类型就判定为 姿态估计部分，人工对每个动作提取15帧图片，并 t,。具体公式如下： 标注部位点位置，用以训练姿态估计模型。在姿态 估计中，尝试加入视频姿态估计[2)的方法以引入时 t.=floor 间限制模型。实验验证部位点在某一帧的定位情况 2T/N 会受到其他帧定位质量的影响，最终可能生成低判 在一段视频当中，以帧为单位，判断每一帧上所 别力的特征。 有关键肢体的运动类型，然后通过对整个视频当中 3.1肢体运动类型的数目对比试验 不同运动类型出现次数的统计，可以构建2种直方 为验证运动类型的数目对分类效果的影响，在 图特征：独立肢体特征和成对肢体特征。独立肢体 第2层分类器中，分别改变非移动类（图4(a)和移 特征也就是独立地统计每个部位的运动类型出现的 动类运动类型的数目。由于在移动类中选取手臂部 次数。设部位P:的独立肢体特征H的维度为 位和腿部部位作为关键肢体，因此分别只改变腿部手尧慢跑尧跑步和走路袁文中需要从中找出关键肢体遥 通过观察可以发现袁拳击尧拍手和挥手之间的区别主 要集中在手部运动遥 而慢跑尧跑步和走路的区别集 中于手部运动和腿部运动中袁剩下的肢体渊头和躯 干冤区分度不高袁提供很少的信息熵遥 因此袁仅选取 四肢的 愿 个肢体作为候选关键肢体袁 设 为 责蚤 越 曾蚤袁赠蚤袁兹蚤 ( ) 袁 蚤 沂 员袁圆袁噎袁愿 { } 遥 圆援猿摇 肢体角度直方图 在第 员 层分类器中袁主要任务是将动作分为非 移动类和移动类两大类动作袁本文提取了躯干的水 平位置分布信息并用直方图特征表示袁用来判断人 是否发生移动遥 在第 圆 层分类器中袁需要将每个部位的位置映 射为特征向量遥 蕴陨 宰葬灶早咱苑暂 和 宰粤晕郧 允蚤葬灶早咱 员猿 暂 都采 用了 相 对 部 位 特 征遥 将躯干部位 责贼燥则泽燥 越 曾贼燥则泽燥袁赠贼燥则泽燥袁兹贼燥则泽燥 ( ) 作为参照点袁其他部位 责蚤 映射为 相对部位特征 吟责蚤 越 渊曾蚤 原 曾贼燥则泽燥袁赠蚤 原 赠贼燥则泽燥袁兹蚤冤 遥 这种 特征在处理尺度不同的动作视频时渊图 圆 所示袁与 摄像头的距离不同导致的人在视频中尺度不同冤分 类效果不佳遥 同时由于不同动作中袁人体姿态形变 差异较大袁目前没有有效的解决位置归一化的方法遥 注意到部位的角度具有尺度不变的特性袁同时由于 姿态估计模型中各个部位间存在空间限制关系袁这 也为仅用肢体角度信息表述姿态提供了基础袁因此 每个肢体表示为 责 鄄 蚤 越 兹蚤 ( ) 遥 一段十几秒的视频当中包含着三四百帧图像信 息袁如果将每一帧的关键肢体角度特征级联袁所组成 的特征向量维度很大袁并且会降低姿态识别准确率遥 为了降低维度袁实验当中分别对每个肢体定义 酝 个 运动类型 贼噪袁责 鄄 蚤 袁 噪 沂 员袁圆袁噎袁 { } 酝 遥 其中具有相似角 度的部位 责 鄄 蚤 被指定为同一运动类型遥 运动类型的 判别方法是院首先袁将部位的角度空间渊手臂肢体的 角度空间大小为 园耀 源 伊 员愿 垣 圆 伊 怨 伊 怨袁腿部肢体的 角度空间大小为 仔 耀 圆仔 冤分为等长的 酝 个区间曰然 后袁假设第 枣灶 帧中袁部位 责 鄄 蚤 的角度值 兹责 鄄 蚤 落在角度空 间的第 噪 个区间内袁那么它的运动类型就判定为 贼噪袁责 鄄 蚤 遥 具体公式如下院 贼噪袁责 鄄 蚤 越 枣造燥燥则 兹责 鄄 蚤 圆仔辕 晕 ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 摇 摇 在一段视频当中袁以帧为单位袁判断每一帧上所 有关键肢体的运动类型袁然后通过对整个视频当中 不同运动类型出现次数的统计袁可以构建 圆 种直方 图特征院独立肢体特征和成对肢体特征遥 独立肢体 特征也就是独立地统计每个部位的运动类型出现的 次数遥 设部位 责 鄄 蚤 的独立肢体特征 匀陨灶凿 责 鄄 蚤 的维度为 酝责 鄄 蚤 袁视频中 责 鄄 蚤 的运动类型 贼噪袁责 鄄 蚤 出现的次数袁统计在 第 噪 维遥 成对肢体特征是一种特征引入了共生关系 的特征袁通过统计成对肢体的运动类型来表示遥 所 谓的共生关系是院属于同一个四肢的肢体 责 鄄 蚤 和肢体 责 鄄 躁 渊如右大臂和右小臂都属于右臂冤 袁他们所对应的 运动类型存在相关性遥 基于这种思想提出成对肢体 特征袁其具体步骤如下院设每个成对肢体特征 匀责葬蚤则 责 鄄 蚤 袁责 鄄 躁 的维度为 酝赃 灶 鄄 伊 酝灶 鄄 袁若第 枣灶 中 责 鄄 蚤 的运动类型是 贼噪袁灶 鄄 而 责 鄄 躁 为 贼造袁灶 鄄 袁则在渊 渊 噪 原 员冤 伊 酝灶 鄄 垣造冤维统计遥 对非移动类动作渊包括拳击尧拍手和挥手冤 袁使 用每个部位设置 员园 个运动类型袁并使用成对肢体特 征描述手臂部位遥 特征向量的维度为 圆 伊 员园 伊 员园袁 为 圆园园 维遥 对移动类动作 渊 包括慢跑尧 跑步和走 路冤 袁用独立肢体特征表示手臂部位其中每个部位 包含 员愿 个运动类型袁而腿部部位用成对肢体特征表 示袁其中每个部位包含 怨 个运动类型遥 对手臂应用 独立肢体特征而不是成对肢体特征的原因在于院经 观察发现袁移动类的动作中袁脚部部位的姿态估计准 确率更高袁而由于手臂部位接近躯干袁因此无法准确 估计手臂的所有部位袁在这种情况对成对肢体特征 的干扰较大而独立肢体特征更具有鲁棒性遥 整个动 作向量的维度是 源 伊 员愿 垣 圆 伊 怨 伊 怨袁为 圆猿源 维遥 特征 提取后同一进行归一化处理遥 猿摇 实验结果 实验部分采用 运栽匀 葬糟贼蚤燥灶 凿葬贼葬泽藻贼 数据集咱 圆园 暂 做 测试遥 运栽匀 数据集包含了 远园园 个灰度视频袁其中共 远 类动作院拳击尧拍手尧挥手尧慢跑尧跑步和走路遥 这 些动作分别由 圆缘 个参与者在 源 种不同的场景渊户 外尧户外以及尺度变化尧户外以及换其他服装和室 内冤完成遥 视频空间分辨率为 员远园 伊 员圆园遥 选用 苑园豫的视频作为训练集袁并采用交叉验证 的方法用对 杂灾酝 模型参数进行优化遥 剩下 猿园豫视 频作为测试集袁重复 源 次实验取平均实验结果遥 在 姿态估计部分袁人工对每个动作提取 员缘 帧图片袁并 标注部位点位置袁用以训练姿态估计模型遥 在姿态 估计中袁尝试加入视频姿态估计咱圆员暂 的方法以引入时 间限制模型遥 实验验证部位点在某一帧的定位情况 会受到其他帧定位质量的影响袁最终可能生成低判 别力的特征遥 猿援员摇 肢体运动类型的数目对比试验 为验证运动类型的数目对分类效果的影响袁在 第 圆 层分类器中袁分别改变非移动类渊图 源渊葬冤冤和移 动类运动类型的数目遥 由于在移动类中选取手臂部 位和腿部部位作为关键肢体袁因此分别只改变腿部 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆猿窑