第10卷第1期 智能系统学报 Vol.10 No.1 2015年2月 CAAI Transactions on Intelligent Systems Feb.2015 D0I:10.3969/j.issn.1673-4785.201410039 网络出版地址：http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201410039.html 关键肢体角度直方图的行为识别 庄伟源13，成运2，林贤明3，苏松志3，曹冬林3，李绍滋3 (1.厦门大学信息科学与技术学院，福建厦门361005：2.湖南人文科技学院通信与控制工程系，湖北娄底417000： 3.福建省仿脑智能系统重点实验室，福建厦门361005) 摘要：当前的姿态表示的行为识别方法通常对姿态的准确性做了很强的假设，而当姿态分析不精确时，这些现有 方法的识别效果不佳。提出了一种低维的、鲁棒的基于关键肢体角度直方图的人体姿态特征描述子，用于将整个动 作视频映射成一个特征向量。同时，还在特征向量中引入共生模型，用以表示肢体间的关联性。最后，设计了分层 的SVM分类器，第1层主要用于选择高判别力的肢体作为关键肢体，第2层则利用关键肢体的角度直方图并作为特 征向量，进行行为识别。实验结果表明，基于关键肢体角度直方图的动作特征具有较好的判别能力，能更好地区分 相似动作，并最终取得了更好的识别效果。 关键词：角度特征：动作识别：关键肢体：角度直方图：姿态表示：行为分析：动作特征 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2015)01-0020-07 中文引用格式：庄伟源，成运，林贤明，等.关键肢体角度直方图的行为识别[J].智能系统学报，2014,10(1)：20-26. 英文引用格式：ZHUANG Weiyuan,CHENG Yun,LIN Xianming,etal.Action recognition based on the angle histogram of key parts[J].CAAI Transactions on Intelligent Systems,2014,10(1):20-26. Action recognition based on the angle histogram of key parts ZHUANG Weiyuan'3,CHENG Yun?,LIN Xianming'3,SU Songzhi'3,CAO Donglin'3,LI Shaozi' (1.School of Information Science and Technology,Xiamen University,Xiamen 361005,China;2 Department of Communication and Control Engineering,Hunan University of Humanities,Science and Technology,Loudi 417000,China;3.Fujian Key Laboratory of the Brain-Like Intelligent Systems,Xiamen 361005,China) Abstract:The current pose-based methods usually make a strong assumption for the accuracy of pose,but when the pose analysis is not precise,these methods cannot achieve satisfying results of recognition.Therefore,this paper proposed a low-dimensional and robust descriptor on the gesture feature of the human body based on the angle histo- gram of key limbs,which is used to map the entire action video into an feature vector.A co-occurrence model is in- troduced into the feature vector for expressing the relationship among limbs.Finally,a two-layer support vector ma- chine (SVM)classifier is designed.The first layer is used to select highly discriminative limbs as key limbs and the second layer takes angle histogram of key limbs as the feature vector for action recognition.Experiment results dem- onstrated that the action feature based on angle histogram of key limbs has excellent judgment ability,may properly distinguish similar actions and achieve better recognition effect. Keywords:angle feature;action recognition;key parts;angle histogram;pose representation;action analyze;ac- tion feature 收稿日期：2014-10-24.网络出版日期：2015-01-13. 人体行为识别是计算机视觉领域的一个热门的 基金项目：国家自然科学基金资助项目(61202143)：福建省自然科学基 金资助项目(2013J05100,2010J01345,2011J01367):厦门市 研究课题，在智能视觉监控、视频检索、人机交互等 科技重点项目资助项目(3502Z20123017). 领域有着广泛的应用前景，也受到了越来越多研究 通信作者：林贤明.E-mail:lixm@xmu.cdu.cn
第 员园 卷第 员 期摇摇摇摇摇 摇摇摇 摇摇 摇摇摇 智 能 系 统 学 报摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援员园 翼援员 圆园员缘 年 圆 月摇摇摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 云藻遭援 圆园员缘 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员源员园园猿怨 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿燥蚤 辕 员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员源员园园猿怨援澡贼皂造 关键肢体角度直方图的行为识别 庄伟源员 袁猿 袁成运圆 袁林贤明员袁 猿 袁苏松志员袁 猿 袁曹冬林员袁 猿 袁李绍滋员袁 猿 渊员援厦门大学 信息科学与技术学院袁福建 厦门 猿远员园园缘曰 圆援 湖南人文科技学院 通信与控制工程系袁湖北 娄底 源员苑园园园曰 猿援 福建省仿脑智能系统重点实验室袁福建 厦门 猿远员园园缘 冤 摘 要院当前的姿态表示的行为识别方法通常对姿态的准确性做了很强的假设袁而当姿态分析不精确时袁这些现有 方法的识别效果不佳遥 提出了一种低维的尧鲁棒的基于关键肢体角度直方图的人体姿态特征描述子袁用于将整个动 作视频映射成一个特征向量遥 同时袁还在特征向量中引入共生模型袁用以表示肢体间的关联性遥 最后袁设计了分层 的 杂灾酝 分类器袁第 员 层主要用于选择高判别力的肢体作为关键肢体袁第 圆 层则利用关键肢体的角度直方图并作为特 征向量袁进行行为识别遥 实验结果表明袁基于关键肢体角度直方图的动作特征具有较好的判别能力袁能更好地区分 相似动作袁并最终取得了更好的识别效果遥 关键词院角度特征曰动作识别曰关键肢体曰角度直方图曰姿态表示曰行为分析曰动作特征 中图分类号院栽孕猿怨员援源摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员缘冤园员鄄园园圆园鄄园苑 中文引用格式院庄伟源袁成运袁林贤明袁等援 关键肢体角度直方图的行为识别咱允暂援 智能系统学报袁 圆园员源袁 员园渊员冤 院 圆园鄄圆远援 英文引用格式院在匀哉粤晕郧 宰藻蚤赠怎葬灶袁 悦匀耘晕郧 再怎灶袁 蕴陨晕 载蚤葬灶皂蚤灶早袁 藻贼 葬造援 粤糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 遭葬泽藻凿 燥灶 贼澡藻 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 责葬则贼泽咱允暂援 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员源袁 员园渊员冤 院 圆园鄄圆远援 粤糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 遭葬泽藻凿 燥灶 贼澡藻 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 责葬则贼泽 在匀哉粤晕郧 宰藻蚤赠怎葬灶员袁猿袁 悦匀耘晕郧 再怎灶圆 袁 蕴陨晕 载蚤葬灶皂蚤灶早员袁猿袁 杂哉 杂燥灶早扎澡蚤员袁猿袁 悦粤韵 阅燥灶早造蚤灶员袁猿袁 蕴陨 杂澡葬燥扎蚤员袁猿 渊员援 杂糟澡燥燥造 燥枣 陨灶枣燥则皂葬贼蚤燥灶 杂糟蚤藻灶糟藻 葬灶凿 栽藻糟澡灶燥造燥早赠袁 载蚤葬皂藻灶 哉灶蚤增藻则泽蚤贼赠袁 载蚤葬皂藻灶 猿远员园园缘袁 悦澡蚤灶葬曰 圆 阅藻责葬则贼皂藻灶贼 燥枣 悦燥皂皂怎灶蚤糟葬贼蚤燥灶 葬灶凿 悦燥灶贼则燥造 耘灶早蚤灶藻藻则蚤灶早袁 匀怎灶葬灶 哉灶蚤增藻则泽蚤贼赠 燥枣 匀怎皂葬灶蚤贼蚤藻泽袁 杂糟蚤藻灶糟藻 葬灶凿 栽藻糟澡灶燥造燥早赠袁蕴燥怎凿蚤 源员苑园园园袁悦澡蚤灶葬曰 猿援 云怎躁蚤葬灶 运藻赠 蕴葬遭燥则葬贼燥则赠 燥枣 贼澡藻 月则葬蚤灶鄄蕴蚤噪藻 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 载蚤葬皂藻灶 猿远员园园缘袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院栽澡藻 糟怎则则藻灶贼 责燥泽藻鄄遭葬泽藻凿 皂藻贼澡燥凿泽 怎泽怎葬造造赠 皂葬噪藻 葬 泽贼则燥灶早 葬泽泽怎皂责贼蚤燥灶 枣燥则 贼澡藻 葬糟糟怎则葬糟赠 燥枣 责燥泽藻袁 遭怎贼 憎澡藻灶 贼澡藻 责燥泽藻 葬灶葬造赠泽蚤泽 蚤泽 灶燥贼 责则藻糟蚤泽藻袁 贼澡藻泽藻 皂藻贼澡燥凿泽 糟葬灶灶燥贼 葬糟澡蚤藻增藻 泽葬贼蚤泽枣赠蚤灶早 则藻泽怎造贼泽 燥枣 则藻糟燥早灶蚤贼蚤燥灶援 栽澡藻则藻枣燥则藻袁 贼澡蚤泽 责葬责藻则 责则燥责燥泽藻凿 葬 造燥憎鄄凿蚤皂藻灶泽蚤燥灶葬造 葬灶凿 则燥遭怎泽贼 凿藻泽糟则蚤责贼燥则 燥灶 贼澡藻 早藻泽贼怎则藻 枣藻葬贼怎则藻 燥枣 贼澡藻 澡怎皂葬灶 遭燥凿赠 遭葬泽藻凿 燥灶 贼澡藻 葬灶早造藻 澡蚤泽贼燥鄄 早则葬皂 燥枣 噪藻赠 造蚤皂遭泽袁 憎澡蚤糟澡 蚤泽 怎泽藻凿 贼燥 皂葬责 贼澡藻 藻灶贼蚤则藻 葬糟贼蚤燥灶 增蚤凿藻燥 蚤灶贼燥 葬灶 枣藻葬贼怎则藻 增藻糟贼燥则援 粤 糟燥鄄燥糟糟怎则则藻灶糟藻 皂燥凿藻造 蚤泽 蚤灶鄄 贼则燥凿怎糟藻凿 蚤灶贼燥 贼澡藻 枣藻葬贼怎则藻 增藻糟贼燥则 枣燥则 藻曾责则藻泽泽蚤灶早 贼澡藻 则藻造葬贼蚤燥灶泽澡蚤责 葬皂燥灶早 造蚤皂遭泽援 云蚤灶葬造造赠袁 葬 贼憎燥鄄造葬赠藻则 泽怎责责燥则贼 增藻糟贼燥则 皂葬鄄 糟澡蚤灶藻 渊 杂灾酝冤 糟造葬泽泽蚤枣蚤藻则 蚤泽 凿藻泽蚤早灶藻凿援 栽澡藻 枣蚤则泽贼 造葬赠藻则 蚤泽 怎泽藻凿 贼燥 泽藻造藻糟贼 澡蚤早澡造赠 凿蚤泽糟则蚤皂蚤灶葬贼蚤增藻 造蚤皂遭泽 葬泽 噪藻赠 造蚤皂遭泽 葬灶凿 贼澡藻 泽藻糟燥灶凿 造葬赠藻则 贼葬噪藻泽 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 造蚤皂遭泽 葬泽 贼澡藻 枣藻葬贼怎则藻 增藻糟贼燥则 枣燥则 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶援 耘曾责藻则蚤皂藻灶贼 则藻泽怎造贼泽 凿藻皂鄄 燥灶泽贼则葬贼藻凿 贼澡葬贼 贼澡藻 葬糟贼蚤燥灶 枣藻葬贼怎则藻 遭葬泽藻凿 燥灶 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 造蚤皂遭泽 澡葬泽 藻曾糟藻造造藻灶贼 躁怎凿早皂藻灶贼 葬遭蚤造蚤贼赠袁 皂葬赠 责则燥责藻则造赠 凿蚤泽贼蚤灶早怎蚤泽澡 泽蚤皂蚤造葬则 葬糟贼蚤燥灶泽 葬灶凿 葬糟澡蚤藻增藻 遭藻贼贼藻则 则藻糟燥早灶蚤贼蚤燥灶 藻枣枣藻糟贼援 运藻赠憎燥则凿泽院葬灶早造藻 枣藻葬贼怎则藻曰 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶曰 噪藻赠 责葬则贼泽曰 葬灶早造藻 澡蚤泽贼燥早则葬皂曰 责燥泽藻 则藻责则藻泽藻灶贼葬贼蚤燥灶曰 葬糟贼蚤燥灶 葬灶葬造赠扎藻曰 葬糟鄄 贼蚤燥灶 枣藻葬贼怎则藻 收稿日期院圆园员源鄄员园鄄圆源援 摇 网络出版日期院圆园员缘鄄园员鄄员猿援 基金项目院国家自然科学基金资助项目渊远员圆园圆员源猿冤 曰福建省自然科学基 金资助项目渊 圆园员猿允园缘员园园袁圆园员园允园员猿源缘袁圆园员员允园员猿远苑冤 曰厦门市 科技重点项目资助项目渊猿缘园圆在圆园员圆猿园员苑冤援 通信作者院林贤明援 耘鄄皂葬蚤造院造蚤灶曾皂岳 曾皂怎援藻凿怎援糟灶援 摇 摇 人体行为识别是计算机视觉领域的一个热门的 研究课题袁在智能视觉监控尧视频检索尧人机交互等 领域有着广泛的应用前景袁也受到了越来越多研究
第1期 庄伟源，等：关键肢体角度直方图的行为识别 ·21· 学者的关注。在近20年的研究中，研究者们也提出 型151刀的基础上，提出了一个通用的、灵活的混合模 了许多人体行为特征描述方法，如局部时空兴趣 型来捕捉部位间的空间关系和共生关系，取得了很好 点[2)、密集点轨迹[)、密集3-D梯度直方图4等，用 的姿态估计效果：并且这个方法只用了5个模板，计 于行为识别研究。虽然将这些方法用于行为识别研 算复杂度低、效率高，是当前姿态估计领域中的潮流 究也取得一定的成效，但是这些方法所采用的行为 方法。本文采用该算法来估计姿态信息。 特征侧重于描述人体运动的底层或中层特征，缺乏 由于当前姿态估计算法无法精确估计所有的身 语义性和直观性s14]。通过观察肢体在时间轴上的 体部位，因此，合理设计的特征描述子可以更好地利 运动轨迹不难发现，现有这些方法对运动的描述与 用提取到的有效的姿态信息。以往的方法13]利用 人类真实的运动是不相符合的。针对这些人体运动 部位位置信息表述姿态特征。实验证明，在对不同尺 描述方法存在问题，研究者提出了基于姿态信息的 度下的动作视频做行为识别时，利用位置信息构建的 方法。Sermetcan Baysal提出的利用人体可见边缘 姿态特征分类效果不佳，但是每个部位的角度信息具 信息，并转化为若干直线表示的直线姿态表示方法。 有尺度不变性。同时选用的姿态估计算法在部位间 L.Wang刊提出了增强姿态估计进行动作识别。然 引入空间限制，这使得仅利用各部位角度信息表述姿 而这2种方法存在部分局限性：Sermetcan的方法中 态特征成为可能。因此，在设计动作特征时舍弃位置 对于模糊边缘处理区分度欠缺，的方法中对于近 信息，仅提取角度信息。另外，在动作建模层面，文献 似动作如“慢跑”、“跑步”和“走路”判别性不强。 [6-7]利用聚类算法在训练样本中生成一系列标准姿 现有的基于姿态表示的行为识别方法通常是在对 态，并在测试视频中每一帧的姿态信息中找出其最相 姿态正确分析的理想条件下进行的。而人体的姿态估 近的标准姿态。这种方法在构建标准姿态时包含了 计仍然是一个开放的研究问题，目前尚未得到很好地 所有部位信息，容易受到没有准确估计的部位信息的 解决。而当姿态估计无法得到完整准确的结果时，目 影响，不够鲁棒。考虑了另一种策略，即对每个部位 前现有的姿态估计方法也常常因此效果不佳$】。当 单独构建特征，选取关键部位并级联组成动作特征向 前姿态估计算法无法精确定位所有的身体部位时，如 量。同时，受同一肢体的上部和下部（如大臂和小臂） 何利用提取到的正确的姿态信息来设计一个高判别 的角度有相关性联系的启发，在设计特征时引入共生 力、有效的特征成为的本研究问题的核心。 关系并称之为成对肢体特征。 通过对人体运动进行剖析可以发现：人体的行 为动作可以分解为身体各个部位的运动，如：头部运 1关键肢体角度直方图的理论框架 动、手部运动、脚部运动等。但是，正如W.Yang在 图1显示了关键肢体角度直方图的基本流程。 文献[1]所阐述的，各个身体部位在不同动作中所 首先，采用Y.Yang提出的姿态估计算法对输入视频 起的作用也是各不相同的。例如“拳击”动作是两 进行姿态估计，获取每一帧各个部位点的位置信息。 只手在身体同一侧向前击出，而“挥手”动作是两只 然后，本文将具有生理关联性的部位点连接，并定义 手在身体两侧左右挥动。除了这个区别外，其他身 为肢体，利用部位点对的位置信息来计算肢体位置 体部位的结构位置均是相似的。因而，要有效区分 和角度信息。根据各个肢体对特定动作的判别力大 这2种动作，需要重点关注手部的运动信息。本文 小，选取判别力大的手臂肢体和腿部肢体共8个部 将这些具有高判别力的肢体称为关键肢体，并提出 位作为候选关键肢体。 了一个基于关键肢体的鲁棒，有效的动作特征描述 子，用于行为识别研究中。 姿态信息的动作识别方法，首先估计每一帧中人 移动 没有 的姿态信息，然后将连续帧的姿态信息转化为沿着时 选取 间轴的姿态轨迹，再将姿态轨迹映射为动作特征，用 手部 选取手部和腿部 于动作识别。随着当前姿态估计领域的发展，基于姿 态的动作识别的准确率也在显而易见地提高。目前 比较广泛使用的姿态估计方法包括Poselet[J DPMo]、Y.Yangti12)。Poselet是一个基于实例的 输入视频 姿态估计方法，通过大量的模板匹配，在图像中找出 SVM分类器 与人体肢体部位姿态相一致的块。其中Poselet的模 板数超过1OO0个，计算复杂度远高于基于DPM和 图1基于关键肢体角度直方图的动作识别算法基本流程 Y.Yang的算法。Y.Yang在DPM和标准图案模 Fig.1 The basic flow of proposed method
学者的关注遥 在近 圆园 年的研究中袁研究者们也提出 了许多人体行为特征描述方法袁如局部时空兴趣 点咱圆暂 尧密集点轨迹咱猿暂 尧密集 猿鄄阅 梯度直方图咱源暂 等袁用 于行为识别研究遥 虽然将这些方法用于行为识别研 究也取得一定的成效袁但是这些方法所采用的行为 特征侧重于描述人体运动的底层或中层特征袁缺乏 语义性和直观性咱缘鄄员源 暂 遥 通过观察肢体在时间轴上的 运动轨迹不难发现袁现有这些方法对运动的描述与 人类真实的运动是不相符合的遥 针对这些人体运动 描述方法存在问题袁研究者提出了基于姿态信息的 方法遥 杂藻则皂藻贼糟葬灶 月葬赠泽葬造咱远暂提出的利用人体可见边缘 信息袁并转化为若干直线表示的直线姿态表示方法遥 蕴援宰葬灶早咱苑暂提出了增强姿态估计进行动作识别遥 然 而这 圆 种方法存在部分局限性院杂藻则皂藻贼糟葬灶 的方法中 对于模糊边缘处理区分度欠缺袁蕴蚤 的方法中对于近 似动作如野慢跑冶尧野跑步冶和野走路冶判别性不强遥 现有的基于姿态表示的行为识别方法通常是在对 姿态正确分析的理想条件下进行的遥 而人体的姿态估 计仍然是一个开放的研究问题袁目前尚未得到很好地 解决遥 而当姿态估计无法得到完整准确的结果时袁目 前现有的姿态估计方法也常常因此效果不佳咱愿暂 遥 当 前姿态估计算法无法精确定位所有的身体部位时袁如 何利用提取到的正确的姿态信息来设计一个高判别 力尧有效的特征成为的本研究问题的核心遥 通过对人体运动进行剖析可以发现院人体的行 为动作可以分解为身体各个部位的运动袁如院头部运 动尧手部运动尧脚部运动等遥 但是袁正如 宰援 再葬灶早 在 文献咱员暂所阐述的袁各个身体部位在不同动作中所 起的作用也是各不相同的遥 例如 野拳击冶动作是两 只手在身体同一侧向前击出袁而野挥手冶动作是两只 手在身体两侧左右挥动遥 除了这个区别外袁其他身 体部位的结构位置均是相似的遥 因而袁要有效区分 这 圆 种动作袁需要重点关注手部的运动信息遥 本文 将这些具有高判别力的肢体称为关键肢体袁并提出 了一个基于关键肢体的鲁棒袁有效的动作特征描述 子袁用于行为识别研究中遥 姿态信息的动作识别方法袁首先估计每一帧中人 的姿态信息袁然后将连续帧的姿态信息转化为沿着时 间轴的姿态轨迹袁再将姿态轨迹映射为动作特征袁用 于动作识别遥 随着当前姿态估计领域的发展袁基于姿 态的动作识别的准确率也在显而易见地提高遥 目前 比较广泛使用的姿态估计方法包括 孕燥泽藻造藻贼咱怨暂 尧 阅孕酝咱 员园 暂 尧再援再葬灶早咱员员 鄄员圆 暂 遥 孕燥泽藻造藻贼 是一个基于实例的 姿态估计方法袁通过大量的模板匹配袁在图像中找出 与人体肢体部位姿态相一致的块遥 其中 孕燥泽藻造藻贼 的模 板数超过 员 园园园 个袁计算复杂度远高于基于 阅孕酝 和 再援 再葬灶早 的算法遥 再援 再葬灶早 在 阅孕酝 和标准图案模 型咱员缘 鄄员苑暂的基础上袁提出了一个通用的尧灵活的混合模 型来捕捉部位间的空间关系和共生关系袁取得了很好 的姿态估计效果曰并且这个方法只用了 缘 个模板袁计 算复杂度低尧效率高袁是当前姿态估计领域中的潮流 方法遥 本文采用该算法来估计姿态信息遥 由于当前姿态估计算法无法精确估计所有的身 体部位袁因此袁合理设计的特征描述子可以更好地利 用提取到的有效的姿态信息遥 以往的方法咱苑鄄员 猿 暂 利用 部位位置信息表述姿态特征遥 实验证明袁在对不同尺 度下的动作视频做行为识别时袁利用位置信息构建的 姿态特征分类效果不佳袁但是每个部位的角度信息具 有尺度不变性遥 同时选用的姿态估计算法在部位间 引入空间限制袁这使得仅利用各部位角度信息表述姿 态特征成为可能遥 因此袁在设计动作特征时舍弃位置 信息袁仅提取角度信息遥 另外袁在动作建模层面袁文献 咱远鄄苑暂利用聚类算法在训练样本中生成一系列标准姿 态袁并在测试视频中每一帧的姿态信息中找出其最相 近的标准姿态遥 这种方法在构建标准姿态时包含了 所有部位信息袁容易受到没有准确估计的部位信息的 影响袁不够鲁棒遥 考虑了另一种策略袁即对每个部位 单独构建特征袁选取关键部位并级联组成动作特征向 量遥 同时袁受同一肢体的上部和下部渊如大臂和小臂冤 的角度有相关性联系的启发袁在设计特征时引入共生 关系并称之为成对肢体特征遥 员摇 关键肢体角度直方图的理论框架 摇 摇 图 员 显示了关键肢体角度直方图的基本流程遥 首先袁采用 再援再葬灶早 提出的姿态估计算法对输入视频 进行姿态估计袁获取每一帧各个部位点的位置信息遥 然后袁本文将具有生理关联性的部位点连接袁并定义 为肢体袁利用部位点对的位置信息来计算肢体位置 和角度信息遥 根据各个肢体对特定动作的判别力大 小袁选取判别力大的手臂肢体和腿部肢体共 愿 个部 位作为候选关键肢体遥 图 员摇 基于关键肢体角度直方图的动作识别算法基本流程 云蚤早援员摇 栽澡藻 遭葬泽蚤糟 枣造燥憎 燥枣 责则燥责燥泽藻凿 皂藻贼澡燥凿 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆员窑
22 智能系统学报 第10卷 设计一个2层的SVM分类器。第1层分类器 特定共生模型。G=(V,E)是一个相关联部位间设 用于从候选关键肢体当中选出关键肢体，将动作者 置了一致性关系的，K个节点的关系图。(1，l)是在 躯干的水平位置信息分布直方图作为特征，根据这 图片I中L像素位置提取的特征向量（如HOG特 个特征将动作划分成两大类：非移动类和移动类。 征189)。a是m,混合的部位i的一元模板。 非移动类是指除了手部运动外，其他肢体运动较少 (L,-)是l和l的空间特征。β吗是m,混合的部 的行为，只需选用手臂作为关键肢体；移动类则是腿 位i和m,混合的部位j之间的成对弹簧限定。 部也有运动，因此需要将腿部也作为关键肢体。第 从图1左上图可见，在肢体间添加了中间部位点，以 2层SVM分类器中，为解决如图2显示的不同尺度 27个部位点位置信息取代通常的14个标准部位点 下姿态表示问题，仅选用肢体的角度信息做姿态表 (定位在身体14个关节点处，如肩、肘、手腕等)。 示，并利用角度信息定义各个肢体在每一帧中的运 其在肢体间添加了中间部位点（中上臂、中下臂 动类型。然后，设计独立肢体特征和成对肢体特征 等)。每一帧的部位点位置信息为(，=(x。,y), 2种运动类型直方图的统计策略，用以统计各个肢 v∈{1,2，…，27}。对于N帧的视频数据，可获得 体在整个视频中的不同的运动类型的出现次数。最 27×2×N的姿态信息矩阵。 后，将级联的关键肢体的角度直方图作为动作特征， 2.2姿态表示和候选关键肢体 用于做动作识别。 获取到关节点位置信息矩阵之后，需要对其进 行编码，映射为姿态特征，并从中选出关键肢体。应 用姿态估计从不同动作获取的姿态信息如图3线段 所示，相邻部位点间用线段连接后，在视觉上接近于 骨架信息。将这些线段分别定义为小臂、大臂、躯 干、小腿、大腿和头部等肢体，如用直线将右手的部 位点lh和中下臂的部位点l连接并定义为右小臂， 设为P。计算其对应的线段中点位置(xay) 和相对于水平轴的角度0。方法如下： 图2尺度变化实例 Pha=（Xdayda,0h）= Fig.2 Example of scale variation 2 2 2姿态特征与动作特征描述子 2.1姿态信息估计 人体姿态通常呈现出高形变的特点，其类内表 观差异性大，Y.Yang提出的姿态估计具有表观 变化一致性，允许姿态中人体部位发生轻微偏移，并 可以利用少数的模板有效地估计姿态。该方法和图 案结构模型一样，都运用了多成分的混合模型，其中 每个成分表示训练数据集中某种姿态数据，并在此 (a)拳击 (b)拍手 (c挥手 基础上引入共生模型来表示部位间的共生关系。该 姿态估计模型包含3个模型：混合模型、成对弹簧模 型和共生模型。混合模型是无方向图形结构的混 合：成对弹簧模型是成对部位间的空间限制：共生模 型是同一肢体上的部位在方向上的一致性限制。 姿态估计模型输入一帧图像，输出所有 部位的位置信息L(设部位i的位置为l,)。其位置 信息的计算公式为 (d)慢跑 (e)跑步 ()走路 S,L,0=∑的+∑增+ 图3应用姿态估计从不同动作获取的姿态信息 ijeE Fig.3 Using pose estimation to get different configu- ∑a×p(1,)+∑B×(4,-) ration for different human actions 实验分别对6种行为进行测试：拳击、拍手、挥 式中：岭表示部位i的特定类型，b增表示部位类型的
摇 摇 设计一个 圆 层的 杂灾酝 分类器遥 第 员 层分类器 用于从候选关键肢体当中选出关键肢体袁将动作者 躯干的水平位置信息分布直方图作为特征袁根据这 个特征将动作划分成两大类院非移动类和移动类遥 非移动类是指除了手部运动外袁其他肢体运动较少 的行为袁只需选用手臂作为关键肢体曰移动类则是腿 部也有运动袁因此需要将腿部也作为关键肢体遥 第 圆 层 杂灾酝 分类器中袁为解决如图 圆 显示的不同尺度 下姿态表示问题袁仅选用肢体的角度信息做姿态表 示袁并利用角度信息定义各个肢体在每一帧中的运 动类型遥 然后袁设计独立肢体特征和成对肢体特征 圆 种运动类型直方图的统计策略袁用以统计各个肢 体在整个视频中的不同的运动类型的出现次数遥 最 后袁将级联的关键肢体的角度直方图作为动作特征袁 用于做动作识别遥 图 圆摇 尺度变化实例 云蚤早援圆摇 耘曾葬皂责造藻 燥枣 泽糟葬造藻 增葬则蚤葬贼蚤燥灶 圆摇 姿态特征与动作特征描述子 圆援员摇 姿态信息估计 人体姿态通常呈现出高形变的特点袁其类内表 观差异性大袁再援再葬灶早 提出的姿态估计咱员员暂 具有表观 变化一致性袁允许姿态中人体部位发生轻微偏移袁并 可以利用少数的模板有效地估计姿态遥 该方法和图 案结构模型一样袁都运用了多成分的混合模型袁其中 每个成分表示训练数据集中某种姿态数据袁并在此 基础上引入共生模型来表示部位间的共生关系遥 该 姿态估计模型包含 猿 个模型院混合模型尧成对弹簧模 型和共生模型遥 混合模型是无方向图形结构的混 合曰成对弹簧模型是成对部位间的空间限制曰共生模 型是同一肢体上的部位在方向上的一致性限制遥 姿态估计模型 输入一帧图像 造则澡 袁输出所有 部位的位置信息 蕴 渊设部位 蚤 的位置为 造蚤 冤 遥 其位置 信息的计算公式为 杂 陨( ) 袁蕴袁酝 越 移蚤沂灾 遭贼蚤 蚤 垣 蚤 移袁躁沂耘 遭贼蚤 贼躁 蚤袁躁 垣 移蚤沂灾 琢皂蚤 蚤 伊 渍 陨袁造蚤 ( ) 垣 蚤 移袁躁沂耘 茁皂蚤 皂躁 蚤 伊 鬃 造蚤 原 造躁 ( ) 式中院 遭贼蚤 蚤 表示部位 蚤 的特定类型袁 遭贼蚤 贼躁 蚤袁躁 表示部位类型的 特定共生模型遥 郧 越 ( ) 灾袁耘 是一个相关联部位间设 置了一致性关系的袁运 个节点的关系图遥 渍 陨袁造蚤 ( ) 是在 图片 陨 中 造蚤 像素位置提取的特征向量渊如 匀韵郧 特 征咱员 愿鄄员怨 暂 冤遥 琢皂蚤 蚤 是 皂蚤 混合的部位 蚤 的一元模板遥 鬃 造蚤 原 造躁 ( ) 是 造蚤 和 造躁 的空间特征遥 茁皂蚤 皂躁 蚤 是 皂蚤 混合的部 位 蚤 和 皂躁 混合的部位 躁 之间的成对弹簧限定遥 从图 员 左上图可见袁在肢体间添加了中间部位点袁以 圆苑 个部位点位置信息取代通常的 员源 个标准部位点 渊定位在身体 员源 个关节点处袁如肩尧肘尧手腕等冤 遥 其在肢体间添加了中间部位点渊 中上臂尧中下臂 等冤 遥 每一帧的部位点位置信息为 造增 越 曾增袁赠增 ( ) 袁 增 沂 员袁圆袁噎袁圆苑 { } 遥 对于 晕 帧的视频数据袁可获得 圆苑 伊 圆 伊 晕 的姿态信息矩阵遥 圆援圆摇 姿态表示和候选关键肢体 获取到关节点位置信息矩阵之后袁需要对其进 行编码袁映射为姿态特征袁并从中选出关键肢体遥 应 用姿态估计从不同动作获取的姿态信息如图 猿 线段 所示袁相邻部位点间用线段连接后袁在视觉上接近于 骨架信息遥 将这些线段分别定义为小臂尧大臂尧躯 干尧小腿尧大腿和头部等肢体袁如用直线将右手的部 位点 造则澡和中下臂的部位点 造则造葬 连接并定义为右小臂袁 设为 责则造葬 遥 计算其对应的线段中点位置渊 曾则造葬袁赠则造葬 冤 和相对于水平轴的角度 兹则造葬 遥 方法如下院 责则造葬 越 渊曾则造葬袁赠则造葬袁兹则造葬冤 越 曾造则澡 垣 曾造则造葬 圆 袁 赠造则澡 垣 赠造则造葬 圆 袁贼葬灶 原员 赠造则澡 原 赠造则造葬 曾造则澡 原 曾造则造葬 ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 图 猿摇 应用姿态估计从不同动作获取的姿态信息 云蚤早援猿摇 哉泽蚤灶早 责燥泽藻 藻泽贼蚤皂葬贼蚤燥灶 贼燥 早藻贼 凿蚤枣枣藻则藻灶贼 糟燥灶枣蚤早怎鄄 则葬贼蚤燥灶 枣燥则 凿蚤枣枣藻则藻灶贼 澡怎皂葬灶 葬糟贼蚤燥灶泽 摇 摇 实验分别对 远 种行为进行测试院拳击尧拍手尧挥 窑圆圆窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 庄伟源，等：关键肢体角度直方图的行为识别 ·23· 手、慢跑、跑步和走路，文中需要从中找出关键肢体。 M。,视频中P:的运动类型，出现的次数，统计在 通过观察可以发现，拳击、拍手和挥手之间的区别主 第k维。成对肢体特征是一种特征引入了共生关系 要集中在手部运动。而慢跑、跑步和走路的区别集 的特征，通过统计成对肢体的运动类型来表示。所 中于手部运动和腿部运动中，剩下的肢体（头和躯 谓的共生关系是：属于同一个四肢的肢体P:和肢体 干)区分度不高，提供很少的信息嫡。因此，仅选取 四肢的8个肢体作为候选关键肢体，设为P:= P(如右大臂和右小臂都属于右臂)，他们所对应的 (x:,0,),i∈{1,2，…，8}。 运动类型存在相关性。基于这种思想提出成对肢体 2.3肢体角度直方图 特征，其具体步骤如下：设每个成对肢体特征 在第1层分类器中，主要任务是将动作分为非 的维度为M:×M:,若第fn中p:的运动类型是t,:而 移动类和移动类两大类动作，本文提取了躯干的水 P为t,a,则在(k-1)×M+l)维统计。 平位置分布信息并用直方图特征表示，用来判断人 对非移动类动作（包括拳击、拍手和挥手），使 是否发生移动。 用每个部位设置10个运动类型，并使用成对肢体特 在第2层分类器中，需要将每个部位的位置映 征描述手臂部位。特征向量的维度为2×10×10， 射为特征向量。LI Wang!)]和WANG Jiang3]都采 为200维。对移动类动作（包括慢跑、跑步和走 用了相对部位特征。将躯干部位P三 路)，用独立肢体特征表示手臂部位其中每个部位 (uyum,O)作为参照点，其他部位P:映射为 包含18个运动类型，而腿部部位用成对肢体特征表 相对部位特征△p,=(x:一x水一y,8,)。这种 示，其中每个部位包含9个运动类型。对手臂应用 特征在处理尺度不同的动作视频时（图2所示，与 独立肢体特征而不是成对肢体特征的原因在于：经 摄像头的距离不同导致的人在视频中尺度不同)分 观察发现，移动类的动作中，脚部部位的姿态估计准 类效果不佳。同时由于不同动作中，人体姿态形变 确率更高，而由于手臂部位接近躯干，因此无法准确 差异较大，目前没有有效的解决位置归一化的方法。 估计手臂的所有部位，在这种情况对成对肢体特征 注意到部位的角度具有尺度不变的特性，同时由于 的干扰较大而独立肢体特征更具有鲁棒性。整个动 姿态估计模型中各个部位间存在空间限制关系，这 作向量的维度是4×18+2×9×9，为234维。特征 也为仅用肢体角度信息表述姿态提供了基础，因此 提取后同一进行归一化处理。 每个肢体表示为P:=(0)。 3 实验结果 ~段十几秒的视频当中包含着三四百帧图像信 息，如果将每一帧的关键肢体角度特征级联，所组成 实验部分采用KTH action dataset数据集[2o]做 的特征向量维度很大，并且会降低姿态识别准确率。 测试。KTH数据集包含了600个灰度视频，其中共 为了降低维度，实验当中分别对每个肢体定义M个 6类动作：拳击、拍手、挥手、慢跑、跑步和走路。这 运动类型4，，k∈{1,2，…，M)。其中具有相似角 些动作分别由25个参与者在4种不同的场景（户 度的部位P:被指定为同一运动类型。运动类型的 外、户外以及尺度变化、户外以及换其他服装和室 判别方法是：首先，将部位的角度空间（手臂肢体的 内)完成。视频空间分辨率为160×120。 角度空间大小为0~4×18+2×9×9，腿部肢体的 选用70%的视频作为训练集，并采用交叉验证 角度空间大小为T~2π)分为等长的M个区间：然 的方法用对SVM模型参数进行优化。剩下30%视 后，假设第f帧中，部位p,的角度值0。落在角度空 频作为测试集，重复4次实验取平均实验结果。在 间的第k个区间内，那么它的运动类型就判定为 姿态估计部分，人工对每个动作提取15帧图片，并 t,。具体公式如下： 标注部位点位置，用以训练姿态估计模型。在姿态 估计中，尝试加入视频姿态估计[2)的方法以引入时 t.=floor 间限制模型。实验验证部位点在某一帧的定位情况 2T/N 会受到其他帧定位质量的影响，最终可能生成低判 在一段视频当中，以帧为单位，判断每一帧上所 别力的特征。 有关键肢体的运动类型，然后通过对整个视频当中 3.1肢体运动类型的数目对比试验 不同运动类型出现次数的统计，可以构建2种直方 为验证运动类型的数目对分类效果的影响，在 图特征：独立肢体特征和成对肢体特征。独立肢体 第2层分类器中，分别改变非移动类（图4(a)和移 特征也就是独立地统计每个部位的运动类型出现的 动类运动类型的数目。由于在移动类中选取手臂部 次数。设部位P:的独立肢体特征H的维度为 位和腿部部位作为关键肢体，因此分别只改变腿部
手尧慢跑尧跑步和走路袁文中需要从中找出关键肢体遥 通过观察可以发现袁拳击尧拍手和挥手之间的区别主 要集中在手部运动遥 而慢跑尧跑步和走路的区别集 中于手部运动和腿部运动中袁剩下的肢体渊头和躯 干冤区分度不高袁提供很少的信息熵遥 因此袁仅选取 四肢的 愿 个肢体作为候选关键肢体袁 设 为 责蚤 越 曾蚤袁赠蚤袁兹蚤 ( ) 袁 蚤 沂 员袁圆袁噎袁愿 { } 遥 圆援猿摇 肢体角度直方图 在第 员 层分类器中袁主要任务是将动作分为非 移动类和移动类两大类动作袁本文提取了躯干的水 平位置分布信息并用直方图特征表示袁用来判断人 是否发生移动遥 在第 圆 层分类器中袁需要将每个部位的位置映 射为特征向量遥 蕴陨 宰葬灶早咱苑暂 和 宰粤晕郧 允蚤葬灶早咱 员猿 暂 都采 用了 相 对 部 位 特 征遥 将躯干部位 责贼燥则泽燥 越 曾贼燥则泽燥袁赠贼燥则泽燥袁兹贼燥则泽燥 ( ) 作为参照点袁其他部位 责蚤 映射为 相对部位特征 吟责蚤 越 渊曾蚤 原 曾贼燥则泽燥袁赠蚤 原 赠贼燥则泽燥袁兹蚤冤 遥 这种 特征在处理尺度不同的动作视频时渊图 圆 所示袁与 摄像头的距离不同导致的人在视频中尺度不同冤分 类效果不佳遥 同时由于不同动作中袁人体姿态形变 差异较大袁目前没有有效的解决位置归一化的方法遥 注意到部位的角度具有尺度不变的特性袁同时由于 姿态估计模型中各个部位间存在空间限制关系袁这 也为仅用肢体角度信息表述姿态提供了基础袁因此 每个肢体表示为 责 鄄 蚤 越 兹蚤 ( ) 遥 一段十几秒的视频当中包含着三四百帧图像信 息袁如果将每一帧的关键肢体角度特征级联袁所组成 的特征向量维度很大袁并且会降低姿态识别准确率遥 为了降低维度袁实验当中分别对每个肢体定义 酝 个 运动类型 贼噪袁责 鄄 蚤 袁 噪 沂 员袁圆袁噎袁 { } 酝 遥 其中具有相似角 度的部位 责 鄄 蚤 被指定为同一运动类型遥 运动类型的 判别方法是院首先袁将部位的角度空间渊手臂肢体的 角度空间大小为 园耀 源 伊 员愿 垣 圆 伊 怨 伊 怨袁腿部肢体的 角度空间大小为 仔 耀 圆仔 冤分为等长的 酝 个区间曰然 后袁假设第 枣灶 帧中袁部位 责 鄄 蚤 的角度值 兹责 鄄 蚤 落在角度空 间的第 噪 个区间内袁那么它的运动类型就判定为 贼噪袁责 鄄 蚤 遥 具体公式如下院 贼噪袁责 鄄 蚤 越 枣造燥燥则 兹责 鄄 蚤 圆仔辕 晕 ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 摇 摇 在一段视频当中袁以帧为单位袁判断每一帧上所 有关键肢体的运动类型袁然后通过对整个视频当中 不同运动类型出现次数的统计袁可以构建 圆 种直方 图特征院独立肢体特征和成对肢体特征遥 独立肢体 特征也就是独立地统计每个部位的运动类型出现的 次数遥 设部位 责 鄄 蚤 的独立肢体特征 匀陨灶凿 责 鄄 蚤 的维度为 酝责 鄄 蚤 袁视频中 责 鄄 蚤 的运动类型 贼噪袁责 鄄 蚤 出现的次数袁统计在 第 噪 维遥 成对肢体特征是一种特征引入了共生关系 的特征袁通过统计成对肢体的运动类型来表示遥 所 谓的共生关系是院属于同一个四肢的肢体 责 鄄 蚤 和肢体 责 鄄 躁 渊如右大臂和右小臂都属于右臂冤 袁他们所对应的 运动类型存在相关性遥 基于这种思想提出成对肢体 特征袁其具体步骤如下院设每个成对肢体特征 匀责葬蚤则 责 鄄 蚤 袁责 鄄 躁 的维度为 酝赃 灶 鄄 伊 酝灶 鄄 袁若第 枣灶 中 责 鄄 蚤 的运动类型是 贼噪袁灶 鄄 而 责 鄄 躁 为 贼造袁灶 鄄 袁则在渊 渊 噪 原 员冤 伊 酝灶 鄄 垣造冤维统计遥 对非移动类动作渊包括拳击尧拍手和挥手冤 袁使 用每个部位设置 员园 个运动类型袁并使用成对肢体特 征描述手臂部位遥 特征向量的维度为 圆 伊 员园 伊 员园袁 为 圆园园 维遥 对移动类动作 渊 包括慢跑尧 跑步和走 路冤 袁用独立肢体特征表示手臂部位其中每个部位 包含 员愿 个运动类型袁而腿部部位用成对肢体特征表 示袁其中每个部位包含 怨 个运动类型遥 对手臂应用 独立肢体特征而不是成对肢体特征的原因在于院经 观察发现袁移动类的动作中袁脚部部位的姿态估计准 确率更高袁而由于手臂部位接近躯干袁因此无法准确 估计手臂的所有部位袁在这种情况对成对肢体特征 的干扰较大而独立肢体特征更具有鲁棒性遥 整个动 作向量的维度是 源 伊 员愿 垣 圆 伊 怨 伊 怨袁为 圆猿源 维遥 特征 提取后同一进行归一化处理遥 猿摇 实验结果 实验部分采用 运栽匀 葬糟贼蚤燥灶 凿葬贼葬泽藻贼 数据集咱 圆园 暂 做 测试遥 运栽匀 数据集包含了 远园园 个灰度视频袁其中共 远 类动作院拳击尧拍手尧挥手尧慢跑尧跑步和走路遥 这 些动作分别由 圆缘 个参与者在 源 种不同的场景渊户 外尧户外以及尺度变化尧户外以及换其他服装和室 内冤完成遥 视频空间分辨率为 员远园 伊 员圆园遥 选用 苑园豫的视频作为训练集袁并采用交叉验证 的方法用对 杂灾酝 模型参数进行优化遥 剩下 猿园豫视 频作为测试集袁重复 源 次实验取平均实验结果遥 在 姿态估计部分袁人工对每个动作提取 员缘 帧图片袁并 标注部位点位置袁用以训练姿态估计模型遥 在姿态 估计中袁尝试加入视频姿态估计咱圆员暂 的方法以引入时 间限制模型遥 实验验证部位点在某一帧的定位情况 会受到其他帧定位质量的影响袁最终可能生成低判 别力的特征遥 猿援员摇 肢体运动类型的数目对比试验 为验证运动类型的数目对分类效果的影响袁在 第 圆 层分类器中袁分别改变非移动类渊图 源渊葬冤冤和移 动类运动类型的数目遥 由于在移动类中选取手臂部 位和腿部部位作为关键肢体袁因此分别只改变腿部 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆猿窑
.24 智能系统学报 第10卷 运动类型数目（图4(b)点划线）)或手臂运动类型 表12种姿态描述结合K-Means聚类与K-NN在移动类的 数目（图4(b)虚线），保持另一关键肢体运动类型 动作的准率 数目不变。 Table 1 Accuracy of pose feature together with K-Means 100 and K_NN on Moving category:(a)angle fea- 98 ture;(b)relative position feature 96 姿态描述 慢跑 跑步 走路 94 相对位置特征 0.77 0.57 0.93 92 角度特征 0.80 0.69 0.90 90 88 实验结果如表1所示，与相对位置特征相比，角 8101214161820 运动类型数目/个 度特征可以更好地区分不同尺度下的动作。但同 (a)非移动类动作 时，这2种特征，与采用聚类算法生成标准姿态相 100,*个手臂成对部位特征+9个腿部成对特征 比，本文方法中对每个部位独立构建特征并级联成 「·。n个手臀独立特征+9个腿部成对特征 行为特征的策略可以有效降低计算复杂度，且具有 96+-18个手臂独立特征+n个腿部成对特征 0: 更高的判别力。 92 884-* g…0 3.4本文方法与当前行为识别算法对比 10 实验当中还对2种当前较为常用的分类器效果 8 进行对比：SVM分类器和Softmax Regression分类 80 681012141618202224 器，实验结果如图5的混淆矩阵所示。其中，SVM 运动类型数目/个 分类器的动作识别的平均准确率达到94.9%，而 (b)移动类动作 Softmax Regression分类器的准确率为85.4%。 图4运动类型数目对实验准确率的影响 Fig.4 The affect of the number of movement types on 拳击拍手挥手慢跑跑步走路 1.0 our methods's performance 拳击 0.57 0.00 0.00 0.D0 0.9 图4中，如果类型数目低于某个值时，分类准确 0.8 性随着类型数目的增加而提升：但如果类型数目超 拍手 0,00 .97 0.09 0.00 ,0 0.7 过某个值时，分类准确率就会下降。证明了更多的 挥手 0.03 0.00 0.9 0.00 0.00 0.00 0.6 运动类型可以更好地表示动作，但当类型数目超过 0.5 一定值时，鲁棒性会下降，姿态估计的质量对动作识 慢跑 0.00 0.00 097 0.0 0.04 0.4 别的影响更大。 0.3 3.2移动类用成对肢体特征表示手臂 跑步 0,00 0.00 0.00 0.17 0.2 同时，为验证对手臂部位的定位误差对共生关 走路 0,0 0.00 0.0 0.1 系以及分类准确性的影响，在移动类中，用成对肢体 特征表示手臂，替代原先的独立肢体特征。并且实 (a)支持向量机 拳击拍手挥手慢跑跑步走路 验过程中，固定腿部肢体运动类型数目为9，改变手 臂肢体运动类型数目。实验结果如图4(b)中实线 拳击 0.04 o oo a间 0.00 0.9 所示，由于姿态估计算法尚不够获得完整准确的结 0.8 拍手 0.07 007 0.00 0.00 0.00 0.7 果，成对肢体特征容易受到单个部位定位误差的影 0.6 响，因此鲁棒性不如独立肢体特征。 挥手 0.04 0.00 0.96 0.00 0.00 0.00 3.3 用聚类算法替代角度直方图特征 0.5 慢跑 0.00 0.00 0.13 0.0 0.4 除此之外，针对移动类动作，文中还对比了角度 0.3 特征和相对位置特征2种姿态描述子的效果，由于 跑步 0.00 0.00 0.00 0.00 0.2 相对位置特征不适合用本文的角度直方图特征，因 此应用了Sermetcant6]和LI Wang[)的方法，利用K- 走路 0.00 0.00 0.00 0.00 0.03 0.97 0.1 Means聚类[2]对所有训练集的姿态描述子进行聚 (b)Softmax回归 类，生成的聚类中心即为标准姿态。对于测试集，对 图5KTH数据集上识别效果的混淆矩阵 每帧的姿态描述子利用KNN算法，寻找最相似的标 Fig.5 Confusion matrices generated by two classifiers 准姿态，并用直方图统计各个标准姿态的出现次数
运动类型数目渊图 源渊遭冤点划线冤 冤或手臂运动类型 数目渊图 源渊遭冤虚线冤 袁保持另一关键肢体运动类型 数目不变遥 渊葬冤 非移动类动作 渊遭冤 移动类动作 图 源摇 运动类型数目对实验准确率的影响 云蚤早援源摇 栽澡藻 葬枣枣藻糟贼 燥枣 贼澡藻 灶怎皂遭藻则 燥枣 皂燥增藻皂藻灶贼 贼赠责藻泽 燥灶 燥怎则 皂藻贼澡燥凿泽鸳泽 责藻则枣燥则皂葬灶糟藻 摇 摇 图 源 中袁如果类型数目低于某个值时袁分类准确 性随着类型数目的增加而提升曰 但如果类型数目超 过某个值时袁分类准确率就会下降遥 证明了更多的 运动类型可以更好地表示动作袁但当类型数目超过 一定值时袁鲁棒性会下降袁姿态估计的质量对动作识 别的影响更大遥 猿援圆摇 移动类用成对肢体特征表示手臂 同时袁为验证对手臂部位的定位误差对共生关 系以及分类准确性的影响袁在移动类中袁用成对肢体 特征表示手臂袁替代原先的独立肢体特征遥 并且实 验过程中袁固定腿部肢体运动类型数目为 怨袁改变手 臂肢体运动类型数目遥 实验结果如图 源渊遭冤中实线 所示袁由于姿态估计算法尚不够获得完整准确的结 果袁成对肢体特征容易受到单个部位定位误差的影 响袁因此鲁棒性不如独立肢体特征遥 猿援猿摇 用聚类算法替代角度直方图特征 除此之外袁针对移动类动作袁文中还对比了角度 特征和相对位置特征 圆 种姿态描述子的效果袁由于 相对位置特征不适合用本文的角度直方图特征袁因 此应用了 杂藻则皂藻贼糟葬灶咱远暂和 蕴陨 宰葬灶早咱苑暂的方法袁利用 运鄄 酝藻葬灶泽 聚类咱圆圆暂对所有训练集的姿态描述子进行聚 类袁生成的聚类中心即为标准姿态遥 对于测试集袁对 每帧的姿态描述子利用 运晕晕 算法袁寻找最相似的标 准姿态袁并用直方图统计各个标准姿态的出现次数遥 表 员摇 圆 种姿态描述结合 运鄄酝藻葬灶泽 聚类与 运鄄晕晕 在移动类的 动作的准率 栽葬遭造藻 员摇 粤糟糟怎则葬糟赠 燥枣 责燥泽藻 枣藻葬贼怎则藻 贼燥早藻贼澡藻则 憎蚤贼澡 运鄄酝藻葬灶泽 葬灶凿 运赃晕晕 燥灶 酝燥增蚤灶早 糟葬贼藻早燥则赠院 渊 葬冤 葬灶早造藻 枣藻葬鄄 贼怎则藻曰 渊遭冤 则藻造葬贼蚤增藻 责燥泽蚤贼蚤燥灶 枣藻葬贼怎则藻 姿态描述 慢跑 跑步 走路 相对位置特征 园援苑苑 园援缘苑 园援怨猿 角度特征 园援愿园 园援远怨 园援怨园 摇 摇 实验结果如表 员 所示袁与相对位置特征相比袁角 度特征可以更好地区分不同尺度下的动作遥 但同 时袁这 圆 种特征袁与采用聚类算法生成标准姿态相 比袁本文方法中对每个部位独立构建特征并级联成 行为特征的策略可以有效降低计算复杂度袁且具有 更高的判别力遥 猿援源摇 本文方法与当前行为识别算法对比 实验当中还对 圆 种当前较为常用的分类器效果 进行对比院 杂灾酝 分类器和 杂燥枣贼皂葬曾 砸藻早则藻泽泽蚤燥灶 分类 器袁实验结果如图 缘 的混淆矩阵所示遥 其中袁 杂灾酝 分类器的动作识别的平均准确率达到 怨源援 怨豫袁而 杂燥枣贼皂葬曾 砸藻早则藻泽泽蚤燥灶 分类器的准确率为 愿缘援源豫遥 图 缘摇 运栽匀 数据集上识别效果的混淆矩阵 云蚤早援缘摇 悦燥灶枣怎泽蚤燥灶 皂葬贼则蚤糟藻泽 早藻灶藻则葬贼藻凿 遭赠 贼憎燥 糟造葬泽泽蚤枣蚤藻则泽 窑圆源窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 庄伟源，等：关键肢体角度直方图的行为识别 25 为了验证本文方法的准确率，分别与当前的主 [2]LAPTEV I.On space-time interest points[J].International 流算法进行对比。表2是本文方法和基于姿态的行 Journal of Computer Vision,2005,64(2/3):107-123. 为识别方法，在KTH动作数据集上具体动作的准确 [3]WANG H,KLASER A,SCHMID C,et al.Action recogni- 率，观察可得，本文方法在各个动作的识别中都有了 tion by dense trajectories C]//IEEE Conference on Com- 较大的提升。表3是本文方法与当前经典的低维或 puter Vision and Pattern Recognition.Colorado,USA, 2011:3169-3176. 者中维局部特征的动作识别方法在KTH数据集上 的平均准确率实验结果对比。其中，在跑步动作中 [4]KLASER A,MARSZALEK M,SCHMID C.A spatio-tem- 常无法准确识别，主要在于其骨架结构与慢跑近似， poral descriptor based on 3d-gradients[C]/British Ma- chine Vision Conference.Leeds,UK,2008:275-285 甚至肉眼也无法准确分辨。 [5]SADANAND S,CORSO J.Action bank:a high-level repre- 表2基于姿态的动作识别算法在KTH动作数据集的准确率 sentation of activity in video[C]//IEEE Conference on Table 2 Recognition accuracy on KTH action dataset of Computer Vision and Pattern Recognition.[s..],2012: pose-based method /% 1234-1241. 方法 拳击拍手 挥手 慢跑跑步 走路 [6]BAYSAL S,DUYGULU P.A line based pose representation Li Wangt)0.760.880.96 1.0 for human action recognition[J].Signal Processing:Image Sermetcan[o0.900.960.940.87 0.980.84 Communication,2013,28(5):458-471. 本文方法 0.970.970.970.970.83 1.0 [7]LI Wang,LI Cheng.Human action recognition from boosted 表3动作识别算法在KTH数据集的平均准确率 pose estimation [C]//International Conference on Digital Table 3 Recognition accuracy on KTH action dataset Image Computing:Techniques and Applications.Sydney, AU.2010:308-313 方法 准确率% [8]徐光祐，曹媛媛.动作识别和行为理解综述[J].中国图 Laptev et al 91.8 像图形学报，2009,14(2)：189-195. Bregonizo et al 93.2 XU Guangyou,CAO Yuanyuan.Action recognition and ac- Liu and Shah [25) 94.3 tivity understanding:a review[J].Joumal of Image and Wu et al.[26] Graphics,.2009,14(2):189-195. 94.5 [9]BOURDEV L,MALIK J.Poselets:body part detectors Gilbert et al 94.5 training using 3-D human pose annotations[C]//IEEE In- 本文方法 94.9 ternational Conference on Computer Vision.[s.1.],2009: 1365-1372. 4结束语 [10]FELZENSZWALB P.MCALLESTER D,RAMANAN D.A 由于姿态估计算法本身一直是一个复杂的研究 discriminatively trained,multi scale,deformable part mod- 问题，基于姿态的行为识别方法一直无法获得满意 el[C]//IEEE Conference on Computer Vision and Pattern 的效果。结合当前最优的姿态估计算法，我们设计 Recognition.Anchorage,USA,2008:1-8. 了2层的分类器，第1层分类器用于选取关键肢体： [11]YANG Y,RAMANAN D.Articulated pose estimation with 在第2层分类器中，为解决不同尺度下的动作分类， flexible mixtures-of-parts[C]//IEEE Conference on Com- 仅用角度信息表示姿态，并提出了关键肢体角度直 puter Vision and Pattern Recognition.Colorado,USA, 2011:1385-1392. 方图的动作特征，在姿态估计尚存在一定程度的估 [12]YANG Y,RAMANAN D.Articulated human detection 计误差时，依然能较为准确的识别动作。 with flexible mixtures of parts[].IEEE Transactions on 当前对每帧独立地进行姿态识别，并且在构建 Pattern Analysis and Machine Intelligence,2013,35 动作特征时，仅用空间信息进行行为识别，已获得较 (12):2878-2890. 精确的结果。如何在动作特征中引入前后时间关 [13]WANG Jiang,LIU Zicheng,WU Ying.Ming acionlet en- 系，并保证特征的鲁棒性，使其可以应用于更为复杂 semble for action recognition with depth cameras C]// 的动作场景中，会是将来研究的重点方向。 IEEE Conference on Computer Vision and Pattern Recogni- 参考文献： tion.[s.L.].USA,2012:1290-1297. [14]雷庆，李绍滋.动作识别中局部时空特征的运动表示方 [1]YANG Weilong,WANG Yang,MORI G.Recognizing hu- 法研究[J].计算机工程与应用，2010,46(34)：7-10. man actions from still images with latent poses[C]//IEEE LEI Qing,LI Shaozi.Research on local spatio-temporal Conference on Computer Vision and Pattern Recognition. features for action recognition[J].Computer Engineering San Francisco,USA,2010:2030-2037. and Applications,2010,46(34):7-10
为了验证本文方法的准确率袁分别与当前的主 流算法进行对比遥 表 圆 是本文方法和基于姿态的行 为识别方法袁在 运栽匀 动作数据集上具体动作的准确 率袁观察可得袁本文方法在各个动作的识别中都有了 较大的提升遥 表 猿 是本文方法与当前经典的低维或 者中维局部特征的动作识别方法在 运栽匀 数据集上 的平均准确率实验结果对比遥 其中袁在跑步动作中 常无法准确识别袁主要在于其骨架结构与慢跑近似袁 甚至肉眼也无法准确分辨遥 表 圆摇 基于姿态的动作识别算法在 运栽匀 动作数据集的准确率 栽葬遭造藻 圆 摇 砸藻糟燥早灶蚤贼蚤燥灶 葬糟糟怎则葬糟赠 燥灶 运栽匀 葬糟贼蚤燥灶 凿葬贼葬泽藻贼 燥枣 责燥泽藻鄄遭葬泽藻凿 皂藻贼澡燥凿 辕 豫 方法 拳击 拍手 挥手 慢跑 跑步 走路 蕴蚤 宰葬灶早咱苑暂 园援苑远 园援愿愿 园援怨远 员援园 要 要 杂藻则皂藻贼糟葬灶 咱远暂 园援怨园 园援怨远 园援怨源 园援愿苑 园援怨愿 园援愿源 本文方法 园援怨苑 园援怨苑 园援怨苑 园援怨苑 园援愿猿 员援园 表 猿摇 动作识别算法在 运栽匀 数据集的平均准确率 栽葬遭造藻 猿摇 砸藻糟燥早灶蚤贼蚤燥灶 葬糟糟怎则葬糟赠 燥灶 运栽匀 葬糟贼蚤燥灶 凿葬贼葬泽藻贼 方法 准确率 豫 蕴葬责贼藻增 藻贼 葬造 咱圆猿暂 怨员援愿 月则藻早燥灶蚤扎燥 藻贼 葬造 咱圆源暂 怨猿援圆 蕴蚤怎 葬灶凿 杂澡葬澡 咱圆缘暂 怨源援猿 宰怎 藻贼 葬造援 咱圆远暂 怨源援缘 郧蚤造遭藻则贼 藻贼 葬造 咱圆苑暂 怨源援缘 本文方法 怨源援怨 源摇 结束语 由于姿态估计算法本身一直是一个复杂的研究 问题袁基于姿态的行为识别方法一直无法获得满意 的效果遥 结合当前最优的姿态估计算法袁我们设计 了 圆 层的分类器袁第 员 层分类器用于选取关键肢体曰 在第 圆 层分类器中袁为解决不同尺度下的动作分类袁 仅用角度信息表示姿态袁并提出了关键肢体角度直 方图的动作特征袁在姿态估计尚存在一定程度的估 计误差时袁依然能较为准确的识别动作遥 当前对每帧独立地进行姿态识别袁并且在构建 动作特征时袁仅用空间信息进行行为识别袁已获得较 精确的结果遥 如何在动作特征中引入前后时间关 系袁并保证特征的鲁棒性袁使其可以应用于更为复杂 的动作场景中袁会是将来研究的重点方向遥 参考文献院 咱员暂再粤晕郧 宰藻蚤造燥灶早袁 宰粤晕郧 再葬灶早袁 酝韵砸陨 郧援 砸藻糟燥早灶蚤扎蚤灶早 澡怎鄄 皂葬灶 葬糟贼蚤燥灶泽 枣则燥皂 泽贼蚤造造 蚤皂葬早藻泽 憎蚤贼澡 造葬贼藻灶贼 责燥泽藻泽咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 杂葬灶 云则葬灶糟蚤泽糟燥袁 哉杂粤袁 圆园员园院 圆园猿园鄄圆园猿苑援 咱圆暂蕴粤孕栽耘灾 陨援 韵灶 泽责葬糟藻鄄贼蚤皂藻 蚤灶贼藻则藻泽贼 责燥蚤灶贼泽咱 允暂援 陨灶贼藻则灶葬贼蚤燥灶葬造 允燥怎则灶葬造 燥枣 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶袁 圆园园缘袁 远源渊圆 辕 猿冤 院 员园苑鄄员圆猿援 咱猿暂宰粤晕郧 匀袁 运蕴粤杂耘砸 粤袁 杂悦匀酝陨阅 悦袁 藻贼 葬造援 粤糟贼蚤燥灶 则藻糟燥早灶蚤鄄 贼蚤燥灶 遭赠 凿藻灶泽藻 贼则葬躁藻糟贼燥则蚤藻泽 咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂鄄 责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 悦燥造燥则葬凿燥袁 哉杂粤袁 圆园员员院 猿员远怨鄄猿员苑远援 咱源暂运蕴粤杂耘砸 粤袁 酝粤砸杂在粤蕴耘运 酝袁 杂悦匀酝陨阅 悦援 粤 泽责葬贼蚤燥鄄贼藻皂鄄 责燥则葬造 凿藻泽糟则蚤责贼燥则 遭葬泽藻凿 燥灶 猿凿鄄早则葬凿蚤藻灶贼泽 咱 悦 暂 辕 辕 月则蚤贼蚤泽澡 酝葬鄄 糟澡蚤灶藻 灾蚤泽蚤燥灶 悦燥灶枣藻则藻灶糟藻援 蕴藻藻凿泽袁 哉运袁 圆园园愿院 圆苑缘鄄圆愿缘援 咱缘暂 杂粤阅粤晕粤晕阅 杂袁 悦韵砸杂韵 允援 粤糟贼蚤燥灶 遭葬灶噪院 葬 澡蚤早澡鄄造藻增藻造 则藻责则藻鄄 泽藻灶贼葬贼蚤燥灶 燥枣 葬糟贼蚤增蚤贼赠 蚤灶 增蚤凿藻燥 咱 悦 暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 咱 泽援 造援暂 袁 圆园员圆院 员圆猿源鄄员圆源员援 咱远暂月粤再杂粤蕴 杂袁 阅哉再郧哉蕴哉 孕援 粤 造蚤灶藻 遭葬泽藻凿 责燥泽藻 则藻责则藻泽藻灶贼葬贼蚤燥灶 枣燥则 澡怎皂葬灶 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶咱 允暂援 杂蚤早灶葬造 孕则燥糟藻泽泽蚤灶早院 陨皂葬早藻 悦燥皂皂怎灶蚤糟葬贼蚤燥灶袁 圆园员猿袁 圆愿渊缘冤 院 源缘愿鄄源苑员援 咱苑暂蕴陨 宰葬灶早袁 蕴陨 悦澡藻灶早援 匀怎皂葬灶 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 枣则燥皂 遭燥燥泽贼藻凿 责燥泽藻 藻泽贼蚤皂葬贼蚤燥灶 咱 悦 暂 辕 辕 陨灶贼藻则灶葬贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 阅蚤早蚤贼葬造 陨皂葬早藻 悦燥皂责怎贼蚤灶早院 栽藻糟澡灶蚤择怎藻泽 葬灶凿 粤责责造蚤糟葬贼蚤燥灶泽援 杂赠凿灶藻赠袁 粤哉袁 圆园员园院 猿园愿鄄猿员猿援 咱愿暂徐光祐袁曹媛媛援 动作识别和行为理解综述咱允暂援 中国图 像图形学报袁 圆园园怨袁员源渊圆冤 院 员愿怨鄄员怨缘援 载哉 郧怎葬灶早赠燥怎袁 悦粤韵 再怎葬灶赠怎葬灶援 粤糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 葬灶凿 葬糟鄄 贼蚤增蚤贼赠 怎灶凿藻则泽贼葬灶凿蚤灶早院 葬 则藻增蚤藻憎 咱 允 暂援 允燥怎则灶葬造 燥枣 陨皂葬早藻 葬灶凿 郧则葬责澡蚤糟泽袁 圆园园怨袁 员源渊圆冤 院 员愿怨鄄员怨缘援 咱怨 暂 月韵哉砸阅耘灾 蕴袁 酝粤蕴陨运 允援 孕燥泽藻造藻贼泽院 遭燥凿赠 责葬则贼 凿藻贼藻糟贼燥则泽 贼则葬蚤灶蚤灶早 怎泽蚤灶早 猿鄄阅 澡怎皂葬灶 责燥泽藻 葬灶灶燥贼葬贼蚤燥灶泽咱悦暂 辕 辕 陨耘耘耘 陨灶鄄 贼藻则灶葬贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶援 咱 泽援造援暂 袁 圆园园怨院 员猿远缘鄄员猿苑圆援 咱 员园暂云耘蕴在耘晕杂在宰粤蕴月 孕袁 酝悦粤蕴蕴耘杂栽耘砸 阅袁 砸粤酝粤晕粤晕 阅援 粤 凿蚤泽糟则蚤皂蚤灶葬贼蚤增藻造赠 贼则葬蚤灶藻凿袁 皂怎造贼蚤 泽糟葬造藻袁 凿藻枣燥则皂葬遭造藻 责葬则贼 皂燥凿鄄 藻造咱悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 粤灶糟澡燥则葬早藻袁 哉杂粤袁 圆园园愿院 员鄄愿援 咱员员暂再粤晕郧 再袁 砸粤酝粤晕粤晕 阅援 粤则贼蚤糟怎造葬贼藻凿 责燥泽藻 藻泽贼蚤皂葬贼蚤燥灶 憎蚤贼澡 枣造藻曾蚤遭造藻 皂蚤曾贼怎则藻泽鄄燥枣鄄责葬则贼泽咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂鄄 责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 悦燥造燥则葬凿燥袁 哉杂粤袁 圆园员员院 员猿愿缘鄄员猿怨圆援 咱 员圆 暂 再粤晕郧 再袁 砸粤酝粤晕粤晕 阅援 粤则贼蚤糟怎造葬贼藻凿 澡怎皂葬灶 凿藻贼藻糟贼蚤燥灶 憎蚤贼澡 枣造藻曾蚤遭造藻 皂蚤曾贼怎则藻泽 燥枣 责葬则贼泽咱 允暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 孕葬贼贼藻则灶 粤灶葬造赠泽蚤泽 葬灶凿 酝葬糟澡蚤灶藻 陨灶贼藻造造蚤早藻灶糟藻袁 圆园员猿袁 猿缘 渊员圆冤 院 圆愿苑愿鄄圆愿怨园援 咱员猿暂宰粤晕郧 允蚤葬灶早袁 蕴陨哉 在蚤糟澡藻灶早袁 宰哉 再蚤灶早援 酝蚤灶早 葬糟蚤燥灶造藻贼 藻灶鄄 泽藻皂遭造藻 枣燥则 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 憎蚤贼澡 凿藻责贼澡 糟葬皂藻则葬泽 咱 悦 暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤鄄 贼蚤燥灶援 咱 泽援造援暂 袁 哉杂粤袁 圆园员圆院 员圆怨园鄄员圆怨苑援 咱员源暂雷庆袁李绍滋援 动作识别中局部时空特征的运动表示方 法研究咱允暂援 计算机工程与应用袁 圆园员园袁 源远渊猿源冤 院 苑鄄员园援 蕴耘陨 匝蚤灶早袁 蕴陨 杂澡葬燥扎蚤援 砸藻泽藻葬则糟澡 燥灶 造燥糟葬造 泽责葬贼蚤燥鄄贼藻皂责燥则葬造 枣藻葬贼怎则藻泽 枣燥则 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 咱 允暂援 悦燥皂责怎贼藻则 耘灶早蚤灶藻藻则蚤灶早 葬灶凿 粤责责造蚤糟葬贼蚤燥灶泽袁 圆园员园袁 源远渊猿源冤 院 苑鄄员园援 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆缘窑
·26· 智能系统学报 第10卷 [15]EPSHTEIN B,ULLMAN S.Semantic hierarchies for recog- USA,2009:1948-1955. nizing objects and parts[C]//IEEE Conference on Com- [25]LIU J,SHAH M.Learning human actions via information puter Vision and Pattern Recognition.[S.I.],2007:1-8. maximization[C]//IEEE Conference on Computer Vision [16 FELZENSZWALB P,HUTTENLOCHER D.Pictorial and Pattern Recognition.Anchorage,USA,2008:1-8. structures for object recognition[].International Journal [26]WU X,XU D,DUAN L,et al.Action recognition using of Computer Vision,2005,61(1):55-79. context and appearance distribution features [C]//IEEE [17]FELZENSZWALB P,GIRSHICK R B.MCALLESTER D. Conference on Computer Vision and Pattern Recognition. et al.Object detection with discriminatively trained part Colorado.USA,2011:489-496. based models[J].IEEE Transactions on Pattern Analysis [27]GILBERT A,ILLINGWORTH J,BOWDEN R.Fast real- and Machine Intelligence,2010,32(9):1627-1645. istic multi-action recognition using mined dense spatio-tem- [18]DALAL N,TRIGGS B.Histograms of oriented gradients for poral features[C]//IEEE Conference on Computer Vision human detection[C]//IEEE Conference on Computer Vi- and Pattern Recognition.Miami,USA,2009:925-931. sion and Pattern Recognition.S.1.]2005:886-893. [28]凌志刚，赵春晖，梁彦.基于视觉的人行为理解综述 [19]曲永宇，刘清，郭建明.基于HOG和颜色特征的行人检 [J].计算机应用研究，2008,25(9)：2570-2578 测[J].武汉理工大学学报，2011,33(4)：134-141. LING Zhigang,ZHAO Chunhui,LIANG Yan.Survey on QU Yongyu,LIU Qing,GUO Jianming.HOG and color vision-based human action understanding[J].Application based pedestrian detection[].Journal of Wuhan Universi- Research of Computers,2008,25(9):2570-2578. ty of Technology,2011,33(4):134-141. 作者简介： [20]LAPTEV I,CAPUTO B,SCHULDT Christian.Local ve- 庄伟源，男，1990年生，硕士研究 locity-adapted motion events for spatio-temporal recognition 生，主要研究方向为人体行为识别、计 []Computer Vision and Image Understanding,2007, 算机视觉、深度学习。 108:207-229. [21]BURGOS-ARTIZZU X P,HALL D,PIETRO P,et al. Merging pose estimates across space and time[C]//British Machine Vision Conference.Bristol,UK,2013:58-69. [22]王千，王成，冯振元.K-means聚类算法研究综述[J] 林贤明，男，1980年生，助理教授， 博士，主要研究方向为人体行为识别、 电子设计工程，2012,20(7)：21-24. WANG Qian,WANG Cheng,FENG Zhenyuan.Review of 移动视觉搜索，计算机视觉、模式识别。 K-means cluster algorithm[J].Electronic Design Engineer- ing,2012,20(7):21-24. [23]LAPTEV I,MARSZALEK M,SCHMID C,el al.Learning 李绍滋，男，1963年生，教授，博士生 realistic human actions from movies C]//IEEE Confer- 导师，博土，福建省人工智能学会副理事 ence on Computer Vision and Pattern Recognition.Anchor- 长兼秘书长，主要研究方向为运动目标检 age,USA,2008:1-8. 测与识别、自然语言处理与多媒体信息检 [24]BREGONZIO M,GONG S,XIANG T.Recognizing action 索等。发表学术论文160余篇，其中被 as clouds of space-time interest points[C]//IEEE Confer- SCI检索16篇、被检索142篇。 ence on Computer Vision and Pattern Recognition.Miami
咱员缘暂耘孕杂匀栽耘陨晕 月袁 哉蕴蕴酝粤晕 杂援 杂藻皂葬灶贼蚤糟 澡蚤藻则葬则糟澡蚤藻泽 枣燥则 则藻糟燥早鄄 灶蚤扎蚤灶早 燥遭躁藻糟贼泽 葬灶凿 责葬则贼泽 咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂鄄 责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援咱 杂援造援暂 袁 圆园园苑院 员鄄愿援 咱 员远 暂 云耘蕴在耘晕杂在宰粤蕴月 孕袁 匀哉栽栽耘晕蕴韵悦匀耘砸 阅援 孕蚤糟贼燥则蚤葬造 泽贼则怎糟贼怎则藻泽 枣燥则 燥遭躁藻糟贼 则藻糟燥早灶蚤贼蚤燥灶咱 允暂援 陨灶贼藻则灶葬贼蚤燥灶葬造 允燥怎则灶葬造 燥枣 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶袁 圆园园缘袁 远员渊员冤 院 缘缘鄄苑怨援 咱员苑暂云耘蕴在耘晕杂在宰粤蕴月 孕袁 郧陨砸杂匀陨悦运 砸 月袁 酝悦粤蕴蕴耘杂栽耘砸 阅袁 藻贼 葬造援 韵遭躁藻糟贼 凿藻贼藻糟贼蚤燥灶 憎蚤贼澡 凿蚤泽糟则蚤皂蚤灶葬贼蚤增藻造赠 贼则葬蚤灶藻凿 责葬则贼 遭葬泽藻凿 皂燥凿藻造泽咱 允暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 孕葬贼贼藻则灶 粤灶葬造赠泽蚤泽 葬灶凿 酝葬糟澡蚤灶藻 陨灶贼藻造造蚤早藻灶糟藻袁 圆园员园袁 猿圆渊怨冤 院 员远圆苑鄄员远源缘援 咱员愿暂阅粤蕴粤蕴 晕袁 栽砸陨郧郧杂 月援 匀蚤泽贼燥早则葬皂泽 燥枣 燥则蚤藻灶贼藻凿 早则葬凿蚤藻灶贼泽 枣燥则 澡怎皂葬灶 凿藻贼藻糟贼蚤燥灶咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤鄄 泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援咱 杂援造援暂 袁 圆园园缘院 愿愿远鄄愿怨猿援 咱员怨暂曲永宇袁刘清袁郭建明援 基于 匀韵郧 和颜色特征的行人检 测咱允暂援 武汉理工大学学报袁 圆园员员袁 猿猿渊源冤院员猿源鄄员源员援 匝哉 再燥灶早赠怎袁 蕴陨哉 匝蚤灶早袁 郧哉韵 允蚤葬灶皂蚤灶早援 匀韵郧 葬灶凿 糟燥造燥则 遭葬泽藻凿 责藻凿藻泽贼则蚤葬灶 凿藻贼藻糟贼蚤燥灶咱 允暂援 允燥怎则灶葬造 燥枣 宰怎澡葬灶 哉灶蚤增藻则泽蚤鄄 贼赠 燥枣 栽藻糟澡灶燥造燥早赠袁 圆园员员袁 猿猿渊源冤 院 员猿源鄄员源员援 咱圆园暂 蕴粤孕栽耘灾 陨袁 悦粤孕哉栽韵 月袁 杂悦匀哉蕴阅栽 悦澡则蚤泽贼蚤葬灶援 蕴燥糟葬造 增藻鄄 造燥糟蚤贼赠鄄葬凿葬责贼藻凿 皂燥贼蚤燥灶 藻增藻灶贼泽 枣燥则 泽责葬贼蚤燥鄄贼藻皂责燥则葬造 则藻糟燥早灶蚤贼蚤燥灶 咱 允暂援 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 陨皂葬早藻 哉灶凿藻则泽贼葬灶凿蚤灶早袁 圆园园苑袁 员园愿院 圆园苑鄄圆圆怨援 咱圆员暂 月哉砸郧韵杂鄄粤砸栽陨在在哉 载 孕袁 匀粤蕴蕴 阅袁 孕陨耘栽砸韵 孕袁 藻贼 葬造援 酝藻则早蚤灶早 责燥泽藻 藻泽贼蚤皂葬贼藻泽 葬糟则燥泽泽 泽责葬糟藻 葬灶凿 贼蚤皂藻咱悦暂 辕 辕 月则蚤贼蚤泽澡 酝葬糟澡蚤灶藻 灾蚤泽蚤燥灶 悦燥灶枣藻则藻灶糟藻援 月则蚤泽贼燥造袁 哉运袁 圆园员猿院 缘愿鄄远怨援 咱圆圆暂王千袁王成袁冯振元援 运鄄皂藻葬灶泽 聚类算法研究综述咱允暂援 电子设计工程袁 圆园员圆袁 圆园渊苑冤 院 圆员鄄圆源援 宰粤晕郧 匝蚤葬灶袁 宰粤晕郧 悦澡藻灶早袁 云耘晕郧 在澡藻灶赠怎葬灶援 砸藻增蚤藻憎 燥枣 运鄄皂藻葬灶泽 糟造怎泽贼藻则 葬造早燥则蚤贼澡皂咱 允暂援 耘造藻糟贼则燥灶蚤糟 阅藻泽蚤早灶 耘灶早蚤灶藻藻则鄄 蚤灶早袁 圆园员圆袁 圆园渊苑冤 院 圆员鄄圆源援 咱圆猿暂蕴粤孕栽耘灾 陨袁 酝粤砸杂在粤蕴耘运 酝袁 杂悦匀酝陨阅 悦袁 藻造 葬造援 蕴藻葬则灶蚤灶早 则藻葬造蚤泽贼蚤糟 澡怎皂葬灶 葬糟贼蚤燥灶泽 枣则燥皂 皂燥增蚤藻泽 咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则鄄 藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 粤灶糟澡燥则鄄 葬早藻袁 哉杂粤袁 圆园园愿院 员鄄愿援 咱圆源暂月砸耘郧韵晕在陨韵 酝袁 郧韵晕郧 杂袁 载陨粤晕郧 栽援 砸藻糟燥早灶蚤扎蚤灶早 葬糟贼蚤燥灶 葬泽 糟造燥怎凿泽 燥枣 泽责葬糟藻鄄贼蚤皂藻 蚤灶贼藻则藻泽贼 责燥蚤灶贼泽咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则鄄 藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 酝蚤葬皂蚤袁 哉杂粤袁 圆园园怨院 员怨源愿鄄员怨缘缘援 咱圆缘暂 蕴陨哉 允袁 杂匀粤匀 酝援 蕴藻葬则灶蚤灶早 澡怎皂葬灶 葬糟贼蚤燥灶泽 增蚤葬 蚤灶枣燥则皂葬贼蚤燥灶 皂葬曾蚤皂蚤扎葬贼蚤燥灶咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 粤灶糟澡燥则葬早藻袁 哉杂粤袁 圆园园愿院 员鄄愿援 咱圆远暂宰哉 载袁 载哉 阅袁 阅哉粤晕 蕴袁藻贼 葬造援 粤糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 怎泽蚤灶早 糟燥灶贼藻曾贼 葬灶凿 葬责责藻葬则葬灶糟藻 凿蚤泽贼则蚤遭怎贼蚤燥灶 枣藻葬贼怎则藻泽 咱 悦 暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 悦燥造燥则葬凿燥袁 哉杂粤袁 圆园员员院 源愿怨鄄源怨远援 咱圆苑暂郧陨蕴月耘砸栽 粤袁 陨蕴蕴陨晕郧宰韵砸栽匀 允袁 月韵宰阅耘晕 砸援 云葬泽贼 则藻葬造鄄 蚤泽贼蚤糟 皂怎造贼蚤鄄葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 怎泽蚤灶早 皂蚤灶藻凿 凿藻灶泽藻 泽责葬贼蚤燥鄄贼藻皂鄄 责燥则葬造 枣藻葬贼怎则藻泽咱 悦暂 辕 辕 陨耘耘耘 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶援 酝蚤葬皂蚤袁 哉杂粤袁 圆园园怨院 怨圆缘鄄怨猿员援 咱圆愿暂凌志刚袁赵春晖袁梁彦援 基于视觉的人行为理解综述 咱允暂援 计算机应用研究袁 圆园园愿袁 圆缘渊怨冤 院 圆缘苑园鄄圆缘苑愿援 蕴陨晕郧 在澡蚤早葬灶早袁 在匀粤韵 悦澡怎灶澡怎蚤袁 蕴陨粤晕郧 再葬灶援 杂怎则增藻赠 燥灶 增蚤泽蚤燥灶鄄遭葬泽藻凿 澡怎皂葬灶 葬糟贼蚤燥灶 怎灶凿藻则泽贼葬灶凿蚤灶早 咱 允暂援 粤责责造蚤糟葬贼蚤燥灶 砸藻泽藻葬则糟澡 燥枣 悦燥皂责怎贼藻则泽袁 圆园园愿袁 圆缘渊怨冤 院 圆缘苑园鄄圆缘苑愿援 作者简介院 庄伟源袁男袁 员怨怨园 年生袁硕士研究 生袁主要研究方向为人体行为识别尧计 算机视觉尧深度学习遥 林贤明袁男袁员怨愿园 年生袁助理教授袁 博士袁主要研究方向为人体行为识别尧 移动视觉搜索尧计算机视觉尧模式识别遥 李绍滋袁男袁员怨远猿 年生袁教授袁博士生 导师袁博士袁福建省人工智能学会副理事 长兼秘书长袁主要研究方向为运动目标检 测与识别尧自然语言处理与多媒体信息检 索等遥 发表学术论文 员远园 余篇袁其中被 杂悦陨 检索 员远 篇尧被 耘陨 检索 员源圆 篇遥 窑圆远窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷