第8卷第3期 智能系统学报 Vol.8 No.3 2013年6月 CAAI Transactions on Intelligent Systems Jum.2013 D0I:10.3969/j.issn.1673-4785.201212064 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20130515.0939.010.html 视频序列的人体运动描述方法综述 孙倩茹12，王文敏1，刘宏12 (1.北京大学深圳研究生院深圳物联网智能感知技术工程实验室，广东深圳518055：2.北京大学机器感知与智能 教育部重点实验室，北京100871) 摘要：视频中的人体运动分析是计算机视觉领域的重要课题，同时也是近年来备受关注的前沿研究方向之一，在明 确实际视频中存在的若干种难点，如人体遮挡、视频模糊、拍摄视角变化等基础上，从经典的人体运动特征提取、特 征选择以及特征融合3个方面，对基于视频序列的人体运动描述方法和研究现状进行了概述，归纳出人体运动描述 算法的研究难点，并分析了人体运动分析的技术发展趋势.指出了利用不同特征间存在的互补性质探求高性能特征 选择和特征融合机制是人体运动描述技术发展的必然趋势，从处理简单实验场景视频向挑战高难度实际场景视频 的转化是运动视频分析未来发展的方向. 关键词：视频序列：人体运动描述：特征提取：特征选择：特征融合 中图分类号：TP391文献标志码：A文章编号：1673-4785(2013)03-0189-10 中文引用格式：孙倩茹，王文敏，刘宏.视频序列的人体运动描述方法综述[J].智能系统学报，2013,8(3)：189-198 英文引用格式：SUN Qianru,WANG Wenmin,LIU Hong.Study of human action representation in video sequences[J].CAAI Transactions on Intelligent Systems,2013,8(3):189-198. Study of human action representation in video sequences SUN Qianru'2,WANG Wenmin',LIU Hong'2 (1.Engineering Lab on Intelligent Perception for Internet of Things(ELIP),Shenzhen Graduate School of Peking University,Shenz- hen 518055,China:2.Key Laboratory for Machine Perception Ministry of Education),Peking University,Beijing 100871,China) Abstract:Recently analysis of human actions in videos has become an important issue in the field of computer vi- sion.Much attention has been paid to this frontier research.In this paper,we first explicitly defines several existing difficulties in real-world videos,such as body occlusion,video fuzzy,shooting angle change and then conducts a survey based on the popular methods and present situation research studies on human action representation.Next, we focus attention on three aspects of feature extraction,feature selection and feature fusion,and then summarize the research difficulties in algorithms of action description,and analyze the technical development trend of human action analysis.It was pointed out that the inevitable trend of human action representation technology is to explore high-performance feature selection and feature merging mechanism by making use of the complementary mechanism among different features,and the development trend of motion video analysis in the future is to change from pro- cessing simple experimental scene videos to the challenge of real-world scene videos with high difficulties Keywords:video sequences;human action representation;feature extraction;feature selection;feature fusion 运动信息是视频的重要特性之一.近年来，摄像 视频中的人体运动分析是指通过计算机视觉和模式 机等视频录制设备价格的不断降低，计算机性能的 识别的各类技术手段，实现对视频序列中存在特定 不断提高，使得视频相关领域的应用需求不断增加. 人体运动的智能化表示和标记.它在较多计算机视 频应用领域有着广泛且重要的研究应用，因此对人 收稿日期：2012-12-31.网络出版日期：2013-05-15. 基金项目：国家自然科学基金资助项目(60875050,60675025)：国家 体运动描述和识别算法的研究就成为了计算机视觉 “863"计划资助项目(2006AA04Z247):深圳市科学和技术 领域备受关注的前沿研究课题.近几年，国际上一些 创新委员会资助项目(JC201005280682A, JCYJ20120614152234873,CXC201104210010A). 权威期刊如JCV(International Journal of Computer 通信作者：孙倩茹.E-mail:qianrusun@sz-pku.cdu.cn. Vision),CVIU Computer Vision and Image Under-第 ８ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．８ №．３ ２０１３ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１３ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１２１２０６４ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１３０５１５．０９３９．０１０．ｈｔｍｌ 视频序列的人体运动描述方法综述 孙倩茹１，２ ，王文敏１ ，刘宏１，２ （１．北京大学深圳研究生院 深圳物联网智能感知技术工程实验室，广东 深圳 ５１８０５５； ２．北京大学 机器感知与智能 教育部重点实验室，北京 １００８７１） 摘 要：视频中的人体运动分析是计算机视觉领域的重要课题，同时也是近年来备受关注的前沿研究方向之一．在明 确实际视频中存在的若干种难点，如人体遮挡、视频模糊、拍摄视角变化等基础上，从经典的人体运动特征提取、特 征选择以及特征融合 ３ 个方面，对基于视频序列的人体运动描述方法和研究现状进行了概述，归纳出人体运动描述 算法的研究难点，并分析了人体运动分析的技术发展趋势．指出了利用不同特征间存在的互补性质探求高性能特征 选择和特征融合机制是人体运动描述技术发展的必然趋势，从处理简单实验场景视频向挑战高难度实际场景视频 的转化是运动视频分析未来发展的方向． 关键词：视频序列；人体运动描述；特征提取；特征选择；特征融合 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１３）０３⁃０１８９⁃１０ 中文引用格式：孙倩茹，王文敏，刘宏． 视频序列的人体运动描述方法综述［Ｊ］． 智能系统学报， ２０１３， ８（３）： １８９⁃１９８． 英文引用格式：ＳＵＮ Ｑｉａｎｒｕ， ＷＡＮＧ Ｗｅｎｍｉｎ， ＬＩＵ Ｈｏｎｇ． Ｓｔｕｄｙ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１３， ８（３）： １８９⁃１９８． Ｓｔｕｄｙ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ ＳＵＮ Ｑｉａｎｒｕ １，２ ， ＷＡＮＧ Ｗｅｎｍｉｎ １ ， ＬＩＵ Ｈｏｎｇ １，２ （１． Ｅｎｇｉｎｅｅｒｉｎｇ Ｌａｂ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｐｅｒｃｅｐｔｉｏｎ ｆｏｒ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＥＬＩＰ）， Ｓｈｅｎｚｈｅｎ Ｇｒａｄｕａｔｅ Ｓｃｈｏｏｌ ｏｆ Ｐｅｋｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｅｎｚ⁃ ｈｅｎ ５１８０５５， Ｃｈｉｎａ； ２． Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ （Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ）， Ｐｅｋｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １００８７１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｒｅｃｅｎｔｌｙ ａｎａｌｙｓｉｓ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｎ ｖｉｄｅｏｓ ｈａｓ ｂｅｃｏｍｅ ａｎ ｉｍｐｏｒｔａｎｔ ｉｓｓｕｅ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉ⁃ ｓｉｏｎ． Ｍｕｃｈ ａｔｔｅｎｔｉｏｎ ｈａｓ ｂｅｅｎ ｐａｉｄ ｔｏ ｔｈｉｓ ｆｒｏｎｔｉｅｒ ｒｅｓｅａｒｃｈ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｆｉｒｓｔ ｅｘｐｌｉｃｉｔｌｙ ｄｅｆｉｎｅｓ ｓｅｖｅｒａｌ ｅｘｉｓｔｉｎｇ ｄｉｆｆｉｃｕｌｔｉｅｓ ｉｎ ｒｅａｌ⁃ｗｏｒｌｄ ｖｉｄｅｏｓ， ｓｕｃｈ ａｓ ｂｏｄｙ ｏｃｃｌｕｓｉｏｎ， ｖｉｄｅｏ ｆｕｚｚｙ， ｓｈｏｏｔｉｎｇ ａｎｇｌｅ ｃｈａｎｇｅ ａｎｄ ｔｈｅｎ ｃｏｎｄｕｃｔｓ ａ ｓｕｒｖｅｙ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｏｐｕｌａｒ ｍｅｔｈｏｄｓ ａｎｄ ｐｒｅｓｅｎｔ ｓｉｔｕａｔｉｏｎ ｒｅｓｅａｒｃｈ ｓｔｕｄｉｅｓ ｏｎ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ． Ｎｅｘｔ， ｗｅ ｆｏｃｕｓ ａｔｔｅｎｔｉｏｎ ｏｎ ｔｈｒｅｅ ａｓｐｅｃｔｓ ｏｆ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ， ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｎｄ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ， ａｎｄ ｔｈｅｎ ｓｕｍｍａｒｉｚｅ ｔｈｅ ｒｅｓｅａｒｃｈ ｄｉｆｆｉｃｕｌｔｉｅｓ ｉｎ ａｌｇｏｒｉｔｈｍｓ ｏｆ ａｃｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ， ａｎｄ ａｎａｌｙｚｅ ｔｈｅ ｔｅｃｈｎｉｃａｌ ｄｅｖｅｌｏｐｍｅｎｔ ｔｒｅｎｄ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎ ａｎａｌｙｓｉｓ． Ｉｔ ｗａｓ ｐｏｉｎｔｅｄ ｏｕｔ ｔｈａｔ ｔｈｅ ｉｎｅｖｉｔａｂｌｅ ｔｒｅｎｄ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｉｓ ｔｏ ｅｘｐｌｏｒｅ ｈｉｇｈ⁃ｐｅｒｆｏｒｍａｎｃｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｎｄ ｆｅａｔｕｒｅ ｍｅｒｇｉｎｇ ｍｅｃｈａｎｉｓｍ ｂｙ ｍａｋｉｎｇ ｕｓｅ ｏｆ ｔｈｅ ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｃｈａｎｉｓｍ ａｍｏｎｇ ｄｉｆｆｅｒｅｎｔ ｆｅａｔｕｒｅｓ， ａｎｄ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｔｒｅｎｄ ｏｆ ｍｏｔｉｏｎ ｖｉｄｅｏ ａｎａｌｙｓｉｓ ｉｎ ｔｈｅ ｆｕｔｕｒｅ ｉｓ ｔｏ ｃｈａｎｇｅ ｆｒｏｍ ｐｒｏ⁃ ｃｅｓｓｉｎｇ ｓｉｍｐｌｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｓｃｅｎｅ ｖｉｄｅｏｓ ｔｏ ｔｈｅ ｃｈａｌｌｅｎｇｅ ｏｆ ｒｅａｌ⁃ｗｏｒｌｄ ｓｃｅｎｅ ｖｉｄｅｏｓ ｗｉｔｈ ｈｉｇｈ ｄｉｆｆｉｃｕｌｔｉｅｓ． Ｋｅｙｗｏｒｄｓ：ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ； ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ； ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ； ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ； ｆｅａｔｕｒｅ ｆｕｓｉｏｎ 收稿日期：２０１２⁃１２⁃３１． 网络出版日期：２０１３⁃０５⁃１５． 基金项目：国家自然科学基金资助项目（ ６０８７５０５０，６０６７５０２５）；国家 “８６３”计划资助项目（２００６ＡＡ０４Ｚ２４７）；深圳市科学和技术 创 新 委 员 会 资 助 项 目 （ ＪＣ２０１００５２８０６８２Ａ， ＪＣＹＪ２０１２０６１４１５２２３４８７３， ＣＸＣ２０１１０４２１００１０Ａ）． 通信作者：孙倩茹． Ｅ⁃ｍａｉｌ：ｑｉａｎｒｕｓｕｎ＠ ｓｚ．ｐｋｕ．ｅｄｕ．ｃｎ． 运动信息是视频的重要特性之一．近年来，摄像 机等视频录制设备价格的不断降低，计算机性能的 不断提高，使得视频相关领域的应用需求不断增加． 视频中的人体运动分析是指通过计算机视觉和模式 识别的各类技术手段，实现对视频序列中存在特定 人体运动的智能化表示和标记．它在较多计算机视 频应用领域有着广泛且重要的研究应用，因此对人 体运动描述和识别算法的研究就成为了计算机视觉 领域备受关注的前沿研究课题．近几年，国际上一些 权威期刊如 ＩＪＣＶ （ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）、 ＣＶＩＵ （ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒ⁃