·582· 智能系统学报 第9卷 从混淆矩阵中可以看出，本文算法对大部分的 视角空间内部动作可分性关系对子视角空间下的动 视角变化动作均能正确识别，其识别率可达85%， 作模型似然概率进行加权融合，进而对未知视角的 引入了视角空间概率权值后识别性能更是得到提 测试动作进行识别。在IMXAS数据库上的大量测 升。从混淆概率矩阵的观察来看，Scratch head、 试实验表明，该算法实现简单，且对未知视角下的动 wave两组动作相互间存在较高误识率，主要是由于 作具有较好识别效果。本文算法对相似动作间的识 这两组动作的相似性过高导致的。 别尚存一定得误识率，下一步的研究重点将是进一 3.3不同算法识别性能比较 步完善特征的表示和识别模型结构，合理利用视角 在表2中给出了一些近年来同样在XMAS数 之间的转换信息进一步提高算法的识别率。 据库中进行视角无关的动作识别实验结果，将本文 参考文献： 算法识别结果与其进行比较，进而验证本文算法对 视角变化的适应能力，其各自实验环境下的训练和 [1WEINLAND D.RONFARD R,BOYER E.A survey of vi- 测试数据均采用不同摄像机参数下的动作数据，识 sion-based methods for action representation,segmentation, 别比较结果如表2所示。 and recognition [J].Computer Vision and Image Under- 表2不同算法在XMAS数据库中的动作识别结果比较 standing,2011,115(2):224-241 Table 2 Comparison of different algorithms forview-inde- [2]SEO H,MILANFAR P.Action recognition from one example pendent action recognition in IXMAS dataset [J].IEEE Transactions on Pattern Analysis and Machine ntelligence,2011,33(5):867-882. 来源 方法 识别率/% [3]JI X,LIU H.Advances in view-invariant human motion a- 本文 Mixed feature mutil-view HMMs 88.4 nalysis:a review[J].IEEE Transactions on Systems,Man 文献[9] Shape context PMK-NUP 80.6 and Cybernetics,Part C,2010,40(1):13-24. 文献[17]SSM descriptor+SVM 79.6 [4]JUNEJO I,DEXTER E,LAPTEV I.Action recognition 文献[l8]HOG descriptor+SVM 83.4 from temporal self-similarities[C]//Proceeding of the 10th 文献[19]BOBW+LWE European Conference on Computer Vision.Marseille, 82.8 France,2008:293-306. 从表2的实验结果来看，本文所提出的算法在 [5]LYU F,NEVATIA R.Recognition and segmentation of 3-D 视角无关动作识别准确率方面要明显优于其他的识 human action using HMM and multi-class AdaBoost[C]// 别算法。本文算法识别特征获取方面，不用像LYU Proceeding of the 9th European Conference Computer Vi- 等[]那样需要构建3-D key pose,也不用像Liu sion,Graz,2006:359-372 等[9]在识别时需要预先知道测试相机的信息；本文 [6]YU S,TAN D,TAN T.Modelling the effect of view angle 特征提取简单，且抗干扰能力强，具有一定时间特 variation on appearance-based gait recognition [C]//Pro- 性，其在识别时，能够很好地利用上下文的运动信息 ceeding of the 8th Asian Conference Computer Vision.Hy- derabad,2006:807-816. 与HMM模型相结合，在识别时利用多视角空间概 [7]WEINLAND D,RONFARD R,BOYER E.Free viewpoint 率图模型思想，对视角空间进行切分处理，并对每个 action recognition using motion history volumes[J].Com- 子视角空间下的动作模型似然概率进行加权融合， puter Vision and Image Understanding,2006,104(2): 有效地利用了各子视角空间下的动作模型信息，增 249-257. 加了算法识别的准确率和视角鲁棒性，识别算法简 8]PEURSUM P,VENKATESH S,WEST G.Tracking as ree- 便，计算复杂度低，且实验表明准确率较高。 ognition for articulated full body human motion analysis [C]//Proceeding of the 25th IEEE Conference on Computer 4结束语 Vision and Pattern Recognition.Minneapolis,USA,2007: 文中提出了一种基于视角空间切分的多视角空 1-8. 间HMM模型概率融合的视角无关动作识别算法， [9]LYU F,NEVATIA R.Single view human action recognition using key pose matching and Viterbi path searching//Pro- 其有效地融合了基于局部信息的兴趣点视频段直方 ceeding of the 25th IEEE Conference on Computer Vision 图与基于整体运动信息的分区域光流幅度直方图， and Pattern Recognition.Minneapolis,USA,2007:1-8. 使得视频动作特征具有视角的鲁棒性。在识别阶段 [10]DOLLAR P,RABAUD V,COTTRELL G,et al.Behavior 利用多视角空间构建HMM动作模型，根据测试动 recognition via sparse spatio-temporal features[C]//Pro- 作所在视角空间与各子视角空间近似度关系以及子 ceeding of IEEE International Workshop on Visual Surveil-从混淆矩阵中可以看出，本文算法对大部分的 视角变化动作均能正确识别，其识别率可达 ８５％， 引入了视角空间概率权值后识别性能更是得到提 升。 从混淆概率矩阵的 观 察 来 看， Ｓｃｒａｔｃｈ ｈｅａｄ、 ｗａｖｅ 两组动作相互间存在较高误识率，主要是由于 这两组动作的相似性过高导致的。 ３．３ 不同算法识别性能比较 在表 ２ 中给出了一些近年来同样在 ＩＸＭＡＳ 数 据库中进行视角无关的动作识别实验结果，将本文 算法识别结果与其进行比较，进而验证本文算法对 视角变化的适应能力，其各自实验环境下的训练和 测试数据均采用不同摄像机参数下的动作数据，识 别比较结果如表 ２ 所示。 表 ２ 不同算法在 ＩＸＭＡＳ 数据库中的动作识别结果比较 Ｔａｂｌｅ ２ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒｖｉｅｗ⁃ｉｎｄｅ⁃ ｐｅｎｄｅｎｔ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ＩＸＭＡＳ ｄａｔａｓｅｔ 来源 方法 识别率／ ％ 本文 Ｍｉｘｅｄ ｆｅａｔｕｒｅ ＋ ｍｕｔｉｌ⁃ｖｉｅｗ ＨＭＭｓ ８８．４ 文献［９］ Ｓｈａｐｅ ｃｏｎｔｅｘｔ ＋ ＰＭＫ⁃ＮＵＰ ８０．６ 文献［１７］ ＳＳＭ ｄｅｓｃｒｉｐｔｏｒ＋ ＳＶＭ ７９．６ 文献［１８］ ＨＯＧ ｄｅｓｃｒｉｐｔｏｒ ＋ ＳＶＭ ８３．４ 文献［１９］ ＢＯＢＷ ＋ ＬＷＥ ８２．８ 从表 ２ 的实验结果来看，本文所提出的算法在 视角无关动作识别准确率方面要明显优于其他的识 别算法。 本文算法识别特征获取方面，不用像 ＬＹＵ 等［９ ］ 那样 需 要 构 建 ３⁃Ｄ ｋｅｙ ｐｏｓｅ， 也 不 用 像 Ｌｉｕ 等［１９ ］在识别时需要预先知道测试相机的信息；本文 特征提取简单，且抗干扰能力强，具有一定时间特 性，其在识别时，能够很好地利用上下文的运动信息 与 ＨＭＭ 模型相结合，在识别时利用多视角空间概 率图模型思想，对视角空间进行切分处理，并对每个 子视角空间下的动作模型似然概率进行加权融合， 有效地利用了各子视角空间下的动作模型信息，增 加了算法识别的准确率和视角鲁棒性，识别算法简 便，计算复杂度低，且实验表明准确率较高。 ４ 结束语 文中提出了一种基于视角空间切分的多视角空 间 ＨＭＭ 模型概率融合的视角无关动作识别算法， 其有效地融合了基于局部信息的兴趣点视频段直方 图与基于整体运动信息的分区域光流幅度直方图， 使得视频动作特征具有视角的鲁棒性。 在识别阶段 利用多视角空间构建 ＨＭＭ 动作模型，根据测试动 作所在视角空间与各子视角空间近似度关系以及子 视角空间内部动作可分性关系对子视角空间下的动 作模型似然概率进行加权融合，进而对未知视角的 测试动作进行识别。 在 ＩＭＸＡＳ 数据库上的大量测 试实验表明，该算法实现简单，且对未知视角下的动 作具有较好识别效果。 本文算法对相似动作间的识 别尚存一定得误识率，下一步的研究重点将是进一 步完善特征的表示和识别模型结构，合理利用视角 之间的转换信息进一步提高算法的识别率。 参考文献： ［１］ＷＥＩＮＬＡＮＤ Ｄ， ＲＯＮＦＡＲＤ Ｒ， ＢＯＹＥＲ Ｅ． Ａ ｓｕｒｖｅｙ ｏｆ ｖｉ⁃ ｓｉｏｎ⁃ｂａｓｅｄ ｍｅｔｈｏｄｓ ｆｏｒ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ｓｅｇｍｅｎｔａｔｉｏｎ， ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｊ］． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒ⁃ ｓｔａｎｄｉｎｇ， ２０１１， １１５（２）： ２２４⁃２４１ ［２］ＳＥＯ Ｈ，ＭＩＬＡＮＦＡＲ Ｐ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｏｎｅ ｅｘａｍｐｌｅ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１１， ３３（５）： ８６７⁃８８２． ［３］ＪＩ Ｘ， ＬＩＵ Ｈ． Ａｄｖａｎｃｅｓ ｉｎ ｖｉｅｗ⁃ｉｎｖａｒｉａｎｔ ｈｕｍａｎ ｍｏｔｉｏｎ ａ⁃ ｎａｌｙｓｉｓ： ａ ｒｅｖｉｅｗ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ， Ｐａｒｔ Ｃ， ２０１０， ４０（１）： １３⁃２４． ［４］ ＪＵＮＥＪＯ Ｉ， ＤＥＸＴＥＲ Ｅ， ＬＡＰＴＥＶ Ｉ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｔｅｍｐｏｒａｌ ｓｅｌｆ⁃ｓｉｍｉｌａｒｉｔｉｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ １０ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｍａｒｓｅｉｌｌｅ， Ｆｒａｎｃｅ， ２００８：２９３⁃３０６． ［５］ＬＹＵ Ｆ， ＮＥＶＡＴＩＡ Ｒ． Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ３⁃Ｄ ｈｕｍａｎ ａｃｔｉｏｎ ｕｓｉｎｇ ＨＭＭ ａｎｄ ｍｕｌｔｉ⁃ｃｌａｓｓ ＡｄａＢｏｏｓｔ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ９ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉ⁃ ｓｉｏｎ， Ｇｒａｚ， ２００６： ３５９⁃３７２ ［６］ＹＵ Ｓ， ＴＡＮ Ｄ， ＴＡＮ Ｔ． Ｍｏｄｅｌｌｉｎｇ ｔｈｅ ｅｆｆｅｃｔ ｏｆ ｖｉｅｗ ａｎｇｌｅ ｖａｒｉａｔｉｏｎ ｏｎ ａｐｐｅａｒａｎｃｅ⁃ｂａｓｅｄ ｇａｉｔ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ８ｔｈ Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｈｙ⁃ ｄｅｒａｂａｄ， ２００６： ８０７⁃８１６． ［７］ＷＥＩＮＬＡＮＤ Ｄ， ＲＯＮＦＡＲＤ Ｒ， ＢＯＹＥＲ Ｅ． Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｍｏｔｉｏｎ ｈｉｓｔｏｒｙ ｖｏｌｕｍｅｓ ［ Ｊ］． Ｃｏｍ⁃ ｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， ２００６， １０４ （ ２）： ２４９⁃２５７． ［８］ＰＥＵＲＳＵＭ Ｐ， ＶＥＮＫＡＴＥＳＨ Ｓ， ＷＥＳＴ Ｇ． Ｔｒａｃｋｉｎｇ ａｓ ｒｅｃ⁃ ｏｇｎｉｔｉｏｎ ｆｏｒ ａｒｔｉｃｕｌａｔｅｄ ｆｕｌｌ ｂｏｄｙ ｈｕｍａｎ ｍｏｔｉｏｎ ａｎａｌｙｓｉｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ２５ｔｈ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｍｉｎｎｅａｐｏｌｉｓ， ＵＳＡ， ２００７： １⁃８． ［９］ＬＹＵ Ｆ， ＮＥＶＡＴＩＡ Ｒ． Ｓｉｎｇｌｅ ｖｉｅｗ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｋｅｙ ｐｏｓｅ ｍａｔｃｈｉｎｇ ａｎｄ Ｖｉｔｅｒｂｉ ｐａｔｈ ｓｅａｒｃｈｉｎｇ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ２５ｔｈ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｍｉｎｎｅａｐｏｌｉｓ， ＵＳＡ， ２００７： １⁃８． ［１０］ＤＯＬＬＡＲ Ｐ， ＲＡＢＡＵＤ Ｖ， ＣＯＴＴＲＥＬＬ Ｇ， ｅｔ ａｌ． Ｂｅｈａｖｉｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｓｐａｒｓｅ ｓｐａｔｉｏ⁃ｔｅｍｐｏｒａｌ ｆｅａｔｕｒｅｓ［Ｃ］ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｕａｌ Ｓｕｒｖｅｉｌ⁃ ·５８２· 智 能 系 统 学 报 第 ９ 卷