·196· 智能系统学报 第8卷 2)定义和提取运动序列中的最小运动基元.动 [2]BOBICK A F,DAVIS J W.The recognition of human move- 作识别中没有明确定义的基元，即基本动作单元.大 ment using temporal templates [J].IEEE Transactions on 多数的运动描述中并没有涉及识别前的动作分割， Pattern Analysis and Machine Intelligence,2001,23(3): 然而运动的划分是很多实际视频处理过程中必须考 257-267. [3]傅晓英.基于半连接HMM模型的人体行为识别研究与 虑的重要问题.反过来讲，运动序列是由一系列特征 实现[D].北京：北京交通大学，2009：19. 的阶段构成的，如果能够将其与人体运动特点相结 FU Xiaoying.Study and implementation of human action 合对其合理地细化，用最小基元作为识别单位，对提 recognition based on semi-connected HMM[D].Beijing: 高鲁棒性有很大帮助.这里需要研究的课题是：如何 Beijing Jiaotong University,2009:19. 定义最小基元以及如何有效地提取最小基元的表示 [4]BLANK M,GORELICK L,SHECHTMAN E,et al.Actions 形式 as space-time shapes [C]//International Conference on 3)对现有的运动描述模型进行深层次改进.主 Computer Vision.Beijing,China,2005:1395-1402. 要考虑运动描述方法在视频处理过程中对大信息量 [5]YILMAZ A,SHAH M.Actions sketch:a novel action rep- 的承载，这就导致对特征降维方法的迫切需求.另外 resentation[C//IEEE Conference on Computer Vision and 就是利用不同特征间存在的互补性质探求合理的特 Pattern Recognition.San Diego,USA,2005:984-989. [6]WANG L.SUTER D.Learning and matching of dynamic 征选择和特征融合机制，例如，局部兴趣点和运动轨 shape manifolds for human action recognition J].IEEE 迹的融合特征、光流算子和场景模型描述子的结合. Transactions on Image Processing,2007,16(6):1646- 更深层次的研究，可以就已有的特征描述算法提出 1661. 合理的高层次特征建立框架8)，或寻求更高区分 [7]HE Xiaofei,NIYOGI P.Locality preserving projections 度的特征实现更加高效的动作描述 [M]//THRUN S,SAUL L K,SCHOLKOPF B.Advances 4)将已有算法与实际应用平台相结合.人体运 in Neural Information Processing Systems.Cambridge, 动分析的主要应用场景有家庭环境、公共场所、危险 USA:The MIT Press,2003. 环境和其他一些特定场景[).当具体的算法应用到 [8]冯波.基于光流计算的典型行为识别算法研究[D].西 这些实际场景中时，运动描述与运动识别方法在系 安：西北工业大学.2006：25-26. 统上的实际效果就成为主要的测评标准.当前人机 [9]EFROS AA,BERG A C,BERG E C,et al.Recognizing 之间的通信仅局限于几个特定的姿势，这个局限是 action at a distance[C//International Conference on Com- puter Vision.Nice,France,2003:726-733. 人的姿势结构不易理解造成的，而且跟踪多人的系 [10]FATHI A,MORI G.Action recognition by learing mid- 统由于摄像机的分辨率、计算机处理能力和视角的 level motion features[C]//IEEE Conference on Computer 影响而不能准确地估计身体姿势.为了完成优化尺 Vision and Pattern Recognition.Anchorage,USA,2008: 度和广域的分析，可以寻求准确实时的多摄像机的 1-8. 信息融合方法，以便机器更好地理解人的肢体运动 [11]DANAFAR S.GHEISSARI N.Action recognition for sur- 或者行为[s2] veillance applications using optic flow and SVM[C]//Asi- 本文主要对运动识别方法中的特征描述模型进 an Conference on Computer Vision.Tokyo,Japan,2007: 行了研究归纳起来，利用视频信息进行运动描述的 457-466. 发展趋势主要是：从2D图像（空间）信息向3D视频 [12]RAO C,SHAH M.View-invariance in action recognition (时空)信息转化：从单一特征表述到多特征融合的 [C]//IEEE Conference on Computer Vision and Pattern Recognition.Kauai,USA,2001:316-322. 方法转化；从整体特征向局部子特征的方向转化：从 [13]SHEIKH Y,SHEIKH M,SHAH M.Exploring the space of 处理简单运动视频向高复杂度视频的方向转化：从 a human action[C]//International Conference on Comput- 受限制的实验环境到实际应用场景中的转化， er Vision.Beijing,China,2005:144-149. 参考文献： [14]JOHN V,TRUCCO E,MCKENNA J.Markerless human motion capture using charting and manifold constrained [1]王亮，胡卫明，谭铁牛.人运动的视觉分析综述[]计算 particle swarm optimisation[C]//British Machine Vision 机学报，2002,25(3)：225-237 Conference (Workshops).Aberystwyth,UK,2010:1-11. WANG Liang,HU Weiming,TAN Tieniu.A survey of visu- [15]ALI S,BASHARAT A,SHAH M.Chaotic invariants for al analysis of human motion[J.Chinese Journal of Comput- human action recognition[C]//International Conference on es,2002,25(3):225-237. Computer Vision.Rio de Janeiro,Brazil,2007:1-8.２）定义和提取运动序列中的最小运动基元．动 作识别中没有明确定义的基元，即基本动作单元．大 多数的运动描述中并没有涉及识别前的动作分割， 然而运动的划分是很多实际视频处理过程中必须考 虑的重要问题．反过来讲，运动序列是由一系列特征 的阶段构成的，如果能够将其与人体运动特点相结 合对其合理地细化，用最小基元作为识别单位，对提 高鲁棒性有很大帮助．这里需要研究的课题是：如何 定义最小基元以及如何有效地提取最小基元的表示 形式． ３）对现有的运动描述模型进行深层次改进．主 要考虑运动描述方法在视频处理过程中对大信息量 的承载，这就导致对特征降维方法的迫切需求．另外 就是利用不同特征间存在的互补性质探求合理的特 征选择和特征融合机制，例如，局部兴趣点和运动轨 迹的融合特征、光流算子和场景模型描述子的结合． 更深层次的研究，可以就已有的特征描述算法提出 合理的高层次特征建立框架［４８⁃５０］ ，或寻求更高区分 度的特征实现更加高效的动作描述． ４）将已有算法与实际应用平台相结合．人体运 动分析的主要应用场景有家庭环境、公共场所、危险 环境和其他一些特定场景［５１］ ．当具体的算法应用到 这些实际场景中时，运动描述与运动识别方法在系 统上的实际效果就成为主要的测评标准．当前人机 之间的通信仅局限于几个特定的姿势，这个局限是 人的姿势结构不易理解造成的，而且跟踪多人的系 统由于摄像机的分辨率、计算机处理能力和视角的 影响而不能准确地估计身体姿势．为了完成优化尺 度和广域的分析，可以寻求准确实时的多摄像机的 信息融合方法，以便机器更好地理解人的肢体运动 或者行为［５２］ ． 本文主要对运动识别方法中的特征描述模型进 行了研究．归纳起来，利用视频信息进行运动描述的 发展趋势主要是：从 ２Ｄ 图像（空间）信息向 ３Ｄ 视频 （时空）信息转化；从单一特征表述到多特征融合的 方法转化；从整体特征向局部子特征的方向转化；从 处理简单运动视频向高复杂度视频的方向转化；从 受限制的实验环境到实际应用场景中的转化． 参考文献： ［１］王亮，胡卫明，谭铁牛．人运动的视觉分析综述［ Ｊ］．计算 机学报， ２００２， ２５（３）： ２２５⁃２３７． ＷＡＮＧ Ｌｉａｎｇ， ＨＵ Ｗｅｉｍｉｎｇ， ＴＡＮ Ｔｉｅｎｉｕ． Ａ ｓｕｒｖｅｙ ｏｆ ｖｉｓｕ⁃ ａｌ ａｎａｌｙｓｉｓ ｏｆ ｈｕｍａｎ ｍｏｔｉｏｎ［Ｊ］． Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔ⁃ ｅｒｓ， ２００２， ２５（３）： ２２５⁃２３７． ［２］ＢＯＢＩＣＫ Ａ Ｆ， ＤＡＶＩＳ Ｊ Ｗ． Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｍａｎ ｍｏｖｅ⁃ ｍｅｎｔ ｕｓｉｎｇ ｔｅｍｐｏｒａｌ ｔｅｍｐｌａｔｅｓ ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００１， ２３（ ３）： ２５７⁃２６７． ［３］傅晓英．基于半连接 ＨＭＭ 模型的人体行为识别研究与 实现［Ｄ］．北京：北京交通大学， ２００９： １９． ＦＵ Ｘｉａｏｙｉｎｇ． Ｓｔｕｄｙ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｅｍｉ⁃ｃｏｎｎｅｃｔｅｄ ＨＭＭ ［ Ｄ］． Ｂｅｉｊｉｎｇ： Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２００９： １９． ［４］ＢＬＡＮＫ Ｍ， ＧＯＲＥＬＩＣＫ Ｌ， ＳＨＥＣＨＴＭＡＮ Ｅ， ｅｔ ａｌ． Ａｃｔｉｏｎｓ ａｓ ｓｐａｃｅ⁃ｔｉｍｅ ｓｈａｐｅｓ ［ Ｃ ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２００５： １３９５⁃１４０２． ［５］ＹＩＬＭＡＺ Ａ， ＳＨＡＨ Ｍ． Ａｃｔｉｏｎｓ ｓｋｅｔｃｈ： ａ ｎｏｖｅｌ ａｃｔｉｏｎ ｒｅｐ⁃ ｒｅｓｅｎｔａｔｉｏｎ［Ｃ］ ／ ／ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓａｎ Ｄｉｅｇｏ， ＵＳＡ， ２００５： ９８４⁃９８９． ［６］ ＷＡＮＧ Ｌ， ＳＵＴＥＲ Ｄ． Ｌｅａｒｎｉｎｇ ａｎｄ ｍａｔｃｈｉｎｇ ｏｆ ｄｙｎａｍｉｃ ｓｈａｐｅ ｍａｎｉｆｏｌｄｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００７， １６ （ ６）： １６４６⁃ １６６１． ［ ７ ］ ＨＥ Ｘｉａｏｆｅｉ， ＮＩＹＯＧＩ Ｐ． Ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎｓ ［Ｍ］ ／ ／ ＴＨＲＵＮ Ｓ， ＳＡＵＬ Ｌ Ｋ， ＳＣＨＯＬＫＯＰＦ Ｂ． Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｃａｍｂｒｉｄｇｅ， ＵＳＡ： Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ， ２００３． ［８］冯波．基于光流计算的典型行为识别算法研究［Ｄ］．西 安：西北工业大学， ２００６： ２５⁃２６． ［９］ＥＦＲＯＳ Ａ Ａ， ＢＥＲＧ Ａ Ｃ， ＢＥＲＧ Ｅ Ｃ， ｅｔ ａｌ． Ｒｅｃｏｇｎｉｚｉｎｇ ａｃｔｉｏｎ ａｔ ａ ｄｉｓｔａｎｃｅ［Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍ⁃ ｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｎｉｃｅ， Ｆｒａｎｃｅ， ２００３： ７２６⁃７３３． ［１０］ ＦＡＴＨＩ Ａ， ＭＯＲＩ Ｇ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｌｅａｒｎｉｎｇ ｍｉｄ⁃ ｌｅｖｅｌ ｍｏｔｉｏｎ ｆｅａｔｕｒｅｓ［Ｃ］ ／ ／ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ａｎｃｈｏｒａｇｅ， ＵＳＡ， ２００８： １⁃８． ［１１］ＤＡＮＡＦＡＲ Ｓ， ＧＨＥＩＳＳＡＲＩ Ｎ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｓｕｒ⁃ ｖｅｉｌｌａｎｃｅ ａｐｐｌｉｃａｔｉｏｎｓ ｕｓｉｎｇ ｏｐｔｉｃ ｆｌｏｗ ａｎｄ ＳＶＭ［Ｃ］ ／ ／ Ａｓｉ⁃ ａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｔｏｋｙｏ， Ｊａｐａｎ， ２００７： ４５７⁃４６６． ［１２］ＲＡＯ Ｃ， ＳＨＡＨ Ｍ． Ｖｉｅｗ⁃ｉｎｖａｒｉａｎｃｅ ｉｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｃ］ ／ ／ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｋａｕａｉ， ＵＳＡ， ２００１： ３１６⁃３２２． ［ １３］ＳＨＥＩＫＨ Ｙ， ＳＨＥＩＫＨ Ｍ， ＳＨＡＨ Ｍ． Ｅｘｐｌｏｒｉｎｇ ｔｈｅ ｓｐａｃｅ ｏｆ ａ ｈｕｍａｎ ａｃｔｉｏｎ［Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔ⁃ ｅｒ Ｖｉｓｉｏｎ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２００５： １４４⁃１４９． ［１４］ ＪＯＨＮ Ｖ， ＴＲＵＣＣＯ Ｅ， ＭＣＫＥＮＮＡ Ｊ． Ｍａｒｋｅｒｌｅｓｓ ｈｕｍａｎ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ ｕｓｉｎｇ ｃｈａｒｔｉｎｇ ａｎｄ ｍａｎｉｆｏｌｄ ｃｏｎｓｔｒａｉｎｅｄ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｓａｔｉｏｎ ［ Ｃ］ ／ ／ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ （Ｗｏｒｋｓｈｏｐｓ）． Ａｂｅｒｙｓｔｗｙｔｈ， ＵＫ， ２０１０： １⁃１１． ［１５］ ＡＬＩ Ｓ， ＢＡＳＨＡＲＡＴ Ａ， ＳＨＡＨ Ｍ． Ｃｈａｏｔｉｃ ｉｎｖａｒｉａｎｔｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｒｉｏ ｄｅ Ｊａｎｅｉｒｏ， Ｂｒａｚｉｌ， ２００７： １⁃８． ·１９６· 智 能 系 统 学 报 第 ８ 卷