22 智能系统学报 第10卷 设计一个2层的SVM分类器。第1层分类器 特定共生模型。G=(V,E)是一个相关联部位间设 用于从候选关键肢体当中选出关键肢体，将动作者 置了一致性关系的，K个节点的关系图。(1，l)是在 躯干的水平位置信息分布直方图作为特征，根据这 图片I中L像素位置提取的特征向量（如HOG特 个特征将动作划分成两大类：非移动类和移动类。 征189)。a是m,混合的部位i的一元模板。 非移动类是指除了手部运动外，其他肢体运动较少 (L,-)是l和l的空间特征。β吗是m,混合的部 的行为，只需选用手臂作为关键肢体；移动类则是腿 位i和m,混合的部位j之间的成对弹簧限定。 部也有运动，因此需要将腿部也作为关键肢体。第 从图1左上图可见，在肢体间添加了中间部位点，以 2层SVM分类器中，为解决如图2显示的不同尺度 27个部位点位置信息取代通常的14个标准部位点 下姿态表示问题，仅选用肢体的角度信息做姿态表 (定位在身体14个关节点处，如肩、肘、手腕等)。 示，并利用角度信息定义各个肢体在每一帧中的运 其在肢体间添加了中间部位点（中上臂、中下臂 动类型。然后，设计独立肢体特征和成对肢体特征 等)。每一帧的部位点位置信息为(，=(x。,y), 2种运动类型直方图的统计策略，用以统计各个肢 v∈{1,2，…，27}。对于N帧的视频数据，可获得 体在整个视频中的不同的运动类型的出现次数。最 27×2×N的姿态信息矩阵。 后，将级联的关键肢体的角度直方图作为动作特征， 2.2姿态表示和候选关键肢体 用于做动作识别。 获取到关节点位置信息矩阵之后，需要对其进 行编码，映射为姿态特征，并从中选出关键肢体。应 用姿态估计从不同动作获取的姿态信息如图3线段 所示，相邻部位点间用线段连接后，在视觉上接近于 骨架信息。将这些线段分别定义为小臂、大臂、躯 干、小腿、大腿和头部等肢体，如用直线将右手的部 位点lh和中下臂的部位点l连接并定义为右小臂， 设为P。计算其对应的线段中点位置(xay) 和相对于水平轴的角度0。方法如下： 图2尺度变化实例 Pha=（Xdayda,0h）= Fig.2 Example of scale variation 2 2 2姿态特征与动作特征描述子 2.1姿态信息估计 人体姿态通常呈现出高形变的特点，其类内表 观差异性大，Y.Yang提出的姿态估计具有表观 变化一致性，允许姿态中人体部位发生轻微偏移，并 可以利用少数的模板有效地估计姿态。该方法和图 案结构模型一样，都运用了多成分的混合模型，其中 每个成分表示训练数据集中某种姿态数据，并在此 (a)拳击 (b)拍手 (c挥手 基础上引入共生模型来表示部位间的共生关系。该 姿态估计模型包含3个模型：混合模型、成对弹簧模 型和共生模型。混合模型是无方向图形结构的混 合：成对弹簧模型是成对部位间的空间限制：共生模 型是同一肢体上的部位在方向上的一致性限制。 姿态估计模型输入一帧图像，输出所有 部位的位置信息L(设部位i的位置为l,)。其位置 信息的计算公式为 (d)慢跑 (e)跑步 ()走路 S,L,0=∑的+∑增+ 图3应用姿态估计从不同动作获取的姿态信息 ijeE Fig.3 Using pose estimation to get different configu- ∑a×p(1,)+∑B×(4,-) ration for different human actions 实验分别对6种行为进行测试：拳击、拍手、挥 式中：岭表示部位i的特定类型，b增表示部位类型的摇 摇 设计一个 圆 层的 杂灾酝 分类器遥 第 员 层分类器 用于从候选关键肢体当中选出关键肢体袁将动作者 躯干的水平位置信息分布直方图作为特征袁根据这 个特征将动作划分成两大类院非移动类和移动类遥 非移动类是指除了手部运动外袁其他肢体运动较少 的行为袁只需选用手臂作为关键肢体曰移动类则是腿 部也有运动袁因此需要将腿部也作为关键肢体遥 第 圆 层 杂灾酝 分类器中袁为解决如图 圆 显示的不同尺度 下姿态表示问题袁仅选用肢体的角度信息做姿态表 示袁并利用角度信息定义各个肢体在每一帧中的运 动类型遥 然后袁设计独立肢体特征和成对肢体特征 圆 种运动类型直方图的统计策略袁用以统计各个肢 体在整个视频中的不同的运动类型的出现次数遥 最 后袁将级联的关键肢体的角度直方图作为动作特征袁 用于做动作识别遥 图 圆摇 尺度变化实例 云蚤早援圆摇 耘曾葬皂责造藻 燥枣 泽糟葬造藻 增葬则蚤葬贼蚤燥灶 圆摇 姿态特征与动作特征描述子 圆援员摇 姿态信息估计 人体姿态通常呈现出高形变的特点袁其类内表 观差异性大袁再援再葬灶早 提出的姿态估计咱员员暂 具有表观 变化一致性袁允许姿态中人体部位发生轻微偏移袁并 可以利用少数的模板有效地估计姿态遥 该方法和图 案结构模型一样袁都运用了多成分的混合模型袁其中 每个成分表示训练数据集中某种姿态数据袁并在此 基础上引入共生模型来表示部位间的共生关系遥 该 姿态估计模型包含 猿 个模型院混合模型尧成对弹簧模 型和共生模型遥 混合模型是无方向图形结构的混 合曰成对弹簧模型是成对部位间的空间限制曰共生模 型是同一肢体上的部位在方向上的一致性限制遥 姿态估计模型 输入一帧图像 造则澡 袁输出所有 部位的位置信息 蕴 渊设部位 蚤 的位置为 造蚤 冤 遥 其位置 信息的计算公式为 杂 陨( ) 袁蕴袁酝 越 移蚤沂灾 遭贼蚤 蚤 垣 蚤 移袁躁沂耘 遭贼蚤 贼躁 蚤袁躁 垣 移蚤沂灾 琢皂蚤 蚤 伊 渍 陨袁造蚤 ( ) 垣 蚤 移袁躁沂耘 茁皂蚤 皂躁 蚤 伊 鬃 造蚤 原 造躁 ( ) 式中院 遭贼蚤 蚤 表示部位 蚤 的特定类型袁 遭贼蚤 贼躁 蚤袁躁 表示部位类型的 特定共生模型遥 郧 越 ( ) 灾袁耘 是一个相关联部位间设 置了一致性关系的袁运 个节点的关系图遥 渍 陨袁造蚤 ( ) 是在 图片 陨 中 造蚤 像素位置提取的特征向量渊如 匀韵郧 特 征咱员 愿鄄员怨 暂 冤遥 琢皂蚤 蚤 是 皂蚤 混合的部位 蚤 的一元模板遥 鬃 造蚤 原 造躁 ( ) 是 造蚤 和 造躁 的空间特征遥 茁皂蚤 皂躁 蚤 是 皂蚤 混合的部 位 蚤 和 皂躁 混合的部位 躁 之间的成对弹簧限定遥 从图 员 左上图可见袁在肢体间添加了中间部位点袁以 圆苑 个部位点位置信息取代通常的 员源 个标准部位点 渊定位在身体 员源 个关节点处袁如肩尧肘尧手腕等冤 遥 其在肢体间添加了中间部位点渊 中上臂尧中下臂 等冤 遥 每一帧的部位点位置信息为 造增 越 曾增袁赠增 ( ) 袁 增 沂 员袁圆袁噎袁圆苑 { } 遥 对于 晕 帧的视频数据袁可获得 圆苑 伊 圆 伊 晕 的姿态信息矩阵遥 圆援圆摇 姿态表示和候选关键肢体 获取到关节点位置信息矩阵之后袁需要对其进 行编码袁映射为姿态特征袁并从中选出关键肢体遥 应 用姿态估计从不同动作获取的姿态信息如图 猿 线段 所示袁相邻部位点间用线段连接后袁在视觉上接近于 骨架信息遥 将这些线段分别定义为小臂尧大臂尧躯 干尧小腿尧大腿和头部等肢体袁如用直线将右手的部 位点 造则澡和中下臂的部位点 造则造葬 连接并定义为右小臂袁 设为 责则造葬 遥 计算其对应的线段中点位置渊 曾则造葬袁赠则造葬 冤 和相对于水平轴的角度 兹则造葬 遥 方法如下院 责则造葬 越 渊曾则造葬袁赠则造葬袁兹则造葬冤 越 曾造则澡 垣 曾造则造葬 圆 袁 赠造则澡 垣 赠造则造葬 圆 袁贼葬灶 原员 赠造则澡 原 赠造则造葬 曾造则澡 原 曾造则造葬 ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 图 猿摇 应用姿态估计从不同动作获取的姿态信息 云蚤早援猿摇 哉泽蚤灶早 责燥泽藻 藻泽贼蚤皂葬贼蚤燥灶 贼燥 早藻贼 凿蚤枣枣藻则藻灶贼 糟燥灶枣蚤早怎鄄 则葬贼蚤燥灶 枣燥则 凿蚤枣枣藻则藻灶贼 澡怎皂葬灶 葬糟贼蚤燥灶泽 摇 摇 实验分别对 远 种行为进行测试院拳击尧拍手尧挥 窑圆圆窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷