第9卷第5期 智能系统学报 Vol.9 No.5 2014年10月 CAAI Transactions on Intelligent Systems 0ct.2014 D0:10.3969/j.issn.1673-4785.201307057 一种简便的视角无关动作识别方法 王策，姬晓飞，李一波 (沈阳航空航天大学自动化学院，辽宁沈阳110136) 摘要：针对日常生活中人体执行动作时存在视角变化而导致难以识别的问题，提出一种基于视角空间切分的多视 角空间隐马尔可夫模型(HMM)概率融合的视角无关动作识别算法。该方法首先按照人体相对于摄像机的旋转方 向将视角空间分割为多个子空间，然后选取兴趣点视频段词袋特征与分区域的光流特征相融合，形成具有一定视角 鲁棒性特征对人体运动信息进行描述，并在每个子视角空间下利用HMM建立各人体动作的模型，最终通过将多视 角空间相应的动作模型似然概率加权融合，实现对未知视角动作的识别。利用多视角XMAS动作识别数据库对该 算法进行测试的实验结果表明，该算法实现简单且对未知视角下的动作具有较好识别结果。 关键词：动作识别：视角无关：视角空间切分；兴趣点；光流特征；混合特征；隐马尔可夫模型：似然概率加权融合 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2014)05-0577-07 中文引用格式：王策，姬晓飞，李一波.一种简便的视角无关动作识别方法[J].智能系统学报，2014,9(5)：577-583. 英文引用格式：WANG Ce,JI Xiaofei,LI Yibo.Study on a simple view-.invariant action recognition method[J].CAAI Transac- tions on Intelligent Systems,2014,9(5):577-583. Study on a simple view-invariant action recognition method WANG Ce,JI Xiaofei LI Yibo (School of Automation,Shenyang Aerospace University,Shenyang 110136,China) Abstract:It is difficult to recognize the human actions under view changes in daily living.In order to solve this problem,a novel multi-view space hidden Markov model algorithm for view-invariant action recognition based on view space partitioning is proposed in this paper.First,the whole view space is partitioned into multiple sub-view spaces according to the rotation direction of a person relative to camera.Next,a view-robust feature representation by combination of the bag of interest point words in shot length-based video and amplitude histogram of local optical flow is utilized for describing the information of human actions.Thereafter,the human action models in each sub- view space are trained by HMM algorithm.Finally,the unknown view action is recognized via the likelihood proba- bility weighted fusion of the corresponding action models in multi-view space.The experimental results on multi- view action recognition dataset IXMAS demonstrated that the proposed approach is easy to implement and has satis- factory performance for the unknown view action recognition. Keywords:action recognition;view-invariant;view-space partitioning;interest points;optical flow;mixed fea- ture;hidden Markov model:likelihood probability weighted fusion 基于视频的动作识别研究具有广阔的应用前 与摄像机的成像平面平行，或要求摄像机随人体同 景12。目前大多数动作识别方法都要求运动人体 步运动，即人体相对于摄像机之间的视角固定或在 一定范围内运动，然而这样的要求在现实中往往不 收稿日期：2013-07-30. 基金项目：国家自然科学基金资助项目(61103123). 能得到满足。在实际应用中，人体相对于摄像机的 通信作者：姬晓飞.E-mail:jixiaofei7804@126.com 视角通常是任意的、不受约束的，这就要求动作识别第 ９ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．５ ２０１４ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０７０５７ 一种简便的视角无关动作识别方法 王策，姬晓飞，李一波 （沈阳航空航天大学 自动化学院，辽宁 沈阳 １１０１３６） 摘 要：针对日常生活中人体执行动作时存在视角变化而导致难以识别的问题，提出一种基于视角空间切分的多视 角空间隐马尔可夫模型（ＨＭＭ） 概率融合的视角无关动作识别算法。 该方法首先按照人体相对于摄像机的旋转方 向将视角空间分割为多个子空间，然后选取兴趣点视频段词袋特征与分区域的光流特征相融合，形成具有一定视角 鲁棒性特征对人体运动信息进行描述，并在每个子视角空间下利用 ＨＭＭ 建立各人体动作的模型，最终通过将多视 角空间相应的动作模型似然概率加权融合，实现对未知视角动作的识别。 利用多视角 ＩＸＭＡＳ 动作识别数据库对该 算法进行测试的实验结果表明，该算法实现简单且对未知视角下的动作具有较好识别结果。 关键词：动作识别；视角无关；视角空间切分；兴趣点；光流特征；混合特征；隐马尔可夫模型；似然概率加权融合 中图分类号： ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０５⁃０５７７⁃０７ 中文引用格式：王策，姬晓飞，李一波． 一种简便的视角无关动作识别方法［Ｊ］． 智能系统学报， ２０１４， ９（５）： ５７７⁃５８３． 英文引用格式：ＷＡＮＧ Ｃｅ， ＪＩ Ｘｉａｏｆｅｉ ， ＬＩ Ｙｉｂｏ． Ｓｔｕｄｙ ｏｎ ａ ｓｉｍｐｌｅ ｖｉｅｗ⁃ｉｎｖａｒｉａｎｔ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃ⁃ ｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（５）： ５７７⁃５８３． Ｓｔｕｄｙ ｏｎ ａ ｓｉｍｐｌｅ ｖｉｅｗ⁃ｉｎｖａｒｉａｎｔ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ＷＡＮＧ Ｃｅ， ＪＩ Ｘｉａｏｆｅｉ ， ＬＩ Ｙｉｂｏ （Ｓｃｈｏｏｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ， Ｓｈｅｎｙａｎｇ Ａｅｒｏｓｐａｃｅ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｅｎｙａｎｇ １１０１３６， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｔ ｉｓ ｄｉｆｆｉｃｕｌｔ ｔｏ ｒｅｃｏｇｎｉｚｅ ｔｈｅ ｈｕｍａｎ ａｃｔｉｏｎｓ ｕｎｄｅｒ ｖｉｅｗ ｃｈａｎｇｅｓ ｉｎ ｄａｉｌｙ ｌｉｖｉｎｇ． Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ， ａ ｎｏｖｅｌ ｍｕｌｔｉ⁃ｖｉｅｗ ｓｐａｃｅ ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｉｅｗ⁃ｉｎｖａｒｉａｎｔ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｖｉｅｗ ｓｐａｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｆｉｒｓｔ， ｔｈｅ ｗｈｏｌｅ ｖｉｅｗ ｓｐａｃｅ ｉｓ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｓｕｂ⁃ｖｉｅｗ ｓｐａｃｅｓ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｒｏｔａｔｉｏｎ ｄｉｒｅｃｔｉｏｎ ｏｆ ａ ｐｅｒｓｏｎ ｒｅｌａｔｉｖｅ ｔｏ ｃａｍｅｒａ． Ｎｅｘｔ， ａ ｖｉｅｗ⁃ｒｏｂｕｓｔ ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｔｈｅ ｂａｇ ｏｆ ｉｎｔｅｒｅｓｔ ｐｏｉｎｔ ｗｏｒｄｓ ｉｎ ｓｈｏｔ ｌｅｎｇｔｈ⁃ｂａｓｅｄ ｖｉｄｅｏ ａｎｄ ａｍｐｌｉｔｕｄｅ ｈｉｓｔｏｇｒａｍ ｏｆ ｌｏｃａｌ ｏｐｔｉｃａｌ ｆｌｏｗ ｉｓ ｕｔｉｌｉｚｅｄ ｆｏｒ ｄｅｓｃｒｉｂｉｎｇ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ． Ｔｈｅｒｅａｆｔｅｒ， ｔｈｅ ｈｕｍａｎ ａｃｔｉｏｎ ｍｏｄｅｌｓ ｉｎ ｅａｃｈ ｓｕｂ－ ｖｉｅｗ ｓｐａｃｅ ａｒｅ ｔｒａｉｎｅｄ ｂｙ ＨＭＭ ａｌｇｏｒｉｔｈｍ． Ｆｉｎａｌｌｙ， ｔｈｅ ｕｎｋｎｏｗｎ ｖｉｅｗ ａｃｔｉｏｎ ｉｓ ｒｅｃｏｇｎｉｚｅｄ ｖｉａ ｔｈｅ ｌｉｋｅｌｉｈｏｏｄ ｐｒｏｂａ⁃ ｂｉｌｉｔｙ ｗｅｉｇｈｔｅｄ ｆｕｓｉｏｎ ｏｆ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｃｔｉｏｎ ｍｏｄｅｌｓ ｉｎ ｍｕｌｔｉ⁃ｖｉｅｗ ｓｐａｃｅ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ｍｕｌｔｉ⁃ ｖｉｅｗ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｄａｔａｓｅｔ ＩＸＭＡＳ ｄｅｍｏｎｓｔｒａｔｅｄ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｐｐｒｏａｃｈ ｉｓ ｅａｓｙ ｔｏ ｉｍｐｌｅｍｅｎｔ ａｎｄ ｈａｓ ｓａｔｉｓ⁃ ｆａｃｔｏｒｙ ｐｅｒｆｏｒｍａｎｃｅ ｆｏｒ ｔｈｅ ｕｎｋｎｏｗｎ ｖｉｅｗ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ； ｖｉｅｗ⁃ｉｎｖａｒｉａｎｔ； ｖｉｅｗ⁃ｓｐａｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ； ｉｎｔｅｒｅｓｔ ｐｏｉｎｔｓ； ｏｐｔｉｃａｌ ｆｌｏｗ； ｍｉｘｅｄ ｆｅａ⁃ ｔｕｒｅ； ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ； ｌｉｋｅｌｉｈｏｏｄ ｐｒｏｂａｂｉｌｉｔｙ ｗｅｉｇｈｔｅｄ ｆｕｓｉｏｎ 收稿日期：２０１３⁃０７⁃３０． 基金项目：国家自然科学基金资助项目（６１１０３１２３）． 通信作者：姬晓飞．Ｅ⁃ｍａｉｌ：ｊｉｘｉａｏｆｅｉ７８０４＠ １２６．ｃｏｍ． 基于视频的动作识别研究具有广阔的应用前 景［１⁃２］ 。 目前大多数动作识别方法都要求运动人体 与摄像机的成像平面平行，或要求摄像机随人体同 步运动，即人体相对于摄像机之间的视角固定或在 一定范围内运动，然而这样的要求在现实中往往不 能得到满足。 在实际应用中，人体相对于摄像机的 视角通常是任意的、不受约束的，这就要求动作识别