第9卷第1期 智能系统学报 Vol.9 No.1 2014年2月 CAAI Transactions on Intelligent Systems Feb.2014 D0:10.3969/j.issn.1673-4785.201305001 网s络出版地址：http:/www.cnki.net/kcms/doi/10.3969/j-issn.1673-4785.201305001.html 累积方向-数量级光流梯度直方图的人体动作识别 郭利，曹江涛，李平1，姬晓飞2 (1.辽宁石油化工大学信息与控制工程学院，辽宁抚顺113001：2.沈阳航空航天大学自动化学院，辽宁沈阳 110136) 摘要：为了提高光流信息在人体动作识别系统中应用的效果和效率，提出一种累计方向-数量级光流梯度直方图 的人体动作特征表示方法。该方法首先利用Hom-Schunck充流算法计算图像光流，然后将光流矢量按照不同的方 向-数量级进行直方图统计，得到单帧图像的方向-数量级的光流梯度直方图，最后将单帧图像的直方图特征在时间 维上进行累积来表示整个视频动作的特征。利用该特征在KTH动作视频库上进行动作识别测试，4个场景的混合 测试得到了87.5%的平均正确识别率，验证了算法的有效性。 关键词：人体动作识别：Hom-Schunck光流：方向-数量级直方图；梯度直方图 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2014)01-0104-05 中文引用格式：郭利，曹江涛，李平，等.累积方向-数量级光流梯度直方图的人体动作识别[J].智能系统学报，2014,9(1)：104-108. 英文引用格式：GUOi,CAO Jiangtao,LI Ping,etal.Human action recognition based on accumulated orientation-magnitude his. tograms of optical flow[J].CAAI Transactions on Intelligent Systems,2014,9(1):104-108. Human action recognition based on accumulated orientation-magnitude histograms of optical flow GUO Li',CAO Jiangtao',LI Ping',JI Xiaofei (1.School of Information and Control Engineering,Liaoning Shihua University,Fushun 113001,China;2.School of Automation, Shenyang Aerospace University,Shenyang 110136,China) Abstract:In order to improve the recognition rate and efficiency of optical flow in the human action recognition sys- tem,a novel method for human action representation based on the accumulated orientation-magnitude gradient his- tograms of the optical flow is proposed in this paper.First the image optical flow is computed,and then every flow vector is counted according to the orientation-magnitude to obtain orientation-magnitude histograms of single frame image.Finally information of the video sequence can be represented by accumulating orientation-magnitude histo- grams in time dimension.The proposed feature is evaluated on a standard database of human actions:KTH.The ex- periment conducted on the four scenes demonstrates that this algorithm is effective and achieves a correct recogni- tion rate of 87.5%with the KTH dataset. Keywords:human action recognition;Hom-Schunck optical flow;orientation-magnitude histograms;gradient histograms 基于视频的人体动作识别是当今计算机视觉领 动人体的外观，通常利用背景减除法获得精准人体 域富有挑战性的热门研究方向。从视频序列中提取 剪影，因此该类方法易受背景噪声的干扰，对部分遮 出相对有辨识力的动作特征是影响动作识别效果的 挡、视角的变化比较敏感。 重要研究内容。视频序列图像中可提取的动作特征 兴趣点就是视频中动作突然发生变化的位置， 有很多，主要分为基于剪影的特征、基于兴趣点的特 该位置包含丰富的运动信息。基于兴趣点的方 征、基于光流的特征等。 法[4]对视角、遮挡和噪声等干扰不敏感，处理过程 在动作识别中，基于剪影的特征]依赖于运 简单，但此类方法的缺点是检测出来的稳定兴趣点 数量太少，且缺失全局信息。 基于光流的特征能够清晰地表示人体的动作， 收稿日期：2013-05-02.网络出版日期：2014-02-20 基金项目：国家自然科学青年基金资助项目(61103123) 受外观特征的干扰最小，也不易受周围环境的影响， 通信作者：曹江涛.E-mail:jiangtao.cao08@gail.com. 有很好的鲁棒性，因此该类方法较适用于实际环境第 ９ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．１ ２０１４ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０５００１ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０５００１．ｈｔｍｌ 累积方向－数量级光流梯度直方图的人体动作识别 郭利１ ，曹江涛１ ，李平１ ，姬晓飞２ （１．辽宁石油化工大学 信息与控制工程学院，辽宁 抚顺 １１３００１；２． 沈阳航空航天大学 自动化学院，辽宁 沈阳 １１０１３６） 摘 要：为了提高光流信息在人体动作识别系统中应用的效果和效率，提出一种累计方向－数量级光流梯度直方图 的人体动作特征表示方法。 该方法首先利用 Ｈｏｒｎ⁃Ｓｃｈｕｎｃｋ 充流算法计算图像光流，然后将光流矢量按照不同的方 向－数量级进行直方图统计，得到单帧图像的方向－数量级的光流梯度直方图，最后将单帧图像的直方图特征在时间 维上进行累积来表示整个视频动作的特征。 利用该特征在 ＫＴＨ 动作视频库上进行动作识别测试，４ 个场景的混合 测试得到了 ８７．５％的平均正确识别率，验证了算法的有效性。 关键词：人体动作识别；Ｈｏｒｎ⁃Ｓｃｈｕｎｃｋ 光流；方向－数量级直方图；梯度直方图 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０１⁃０１０４⁃０５ 中文引用格式：郭利，曹江涛，李平，等．累积方向－数量级光流梯度直方图的人体动作识别［Ｊ］． 智能系统学报， ２０１４， ９（１）： １０４⁃１０８． 英文引用格式：ＧＵＯ Ｌｉ， ＣＡＯ Ｊｉａｎｇｔａｏ， ＬＩ Ｐｉｎｇ， ｅｔ ａｌ． Ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ａｃｃｕｍｕｌａｔｅｄ ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｈｉｓ⁃ ｔｏｇｒａｍｓ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（１）： １０４⁃１０８． Ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ａｃｃｕｍｕｌａｔｅｄ ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ ＧＵＯ Ｌｉ １ ， ＣＡＯ Ｊｉａｎｇｔａｏ １ ， ＬＩ Ｐｉｎｇ １ ， ＪＩ Ｘｉａｏｆｅｉ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｌｉａｏｎｉｎｇ Ｓｈｉｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｆｕｓｈｕｎ １１３００１， Ｃｈｉｎａ； ２． Ｓｃｈｏｏｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ， Ｓｈｅｎｙａｎｇ Ａｅｒｏｓｐａｃｅ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｅｎｙａｎｇ １１０１３６， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ ｉｎ ｔｈｅ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓ⁃ ｔｅｍ， ａ ｎｏｖｅｌ ｍｅｔｈｏｄ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ａｃｃｕｍｕｌａｔｅｄ ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｇｒａｄｉｅｎｔ ｈｉｓ⁃ ｔｏｇｒａｍｓ ｏｆ ｔｈｅ ｏｐｔｉｃａｌ ｆｌｏｗ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｆｉｒｓｔ ｔｈｅ ｉｍａｇｅ ｏｐｔｉｃａｌ ｆｌｏｗ ｉｓ ｃｏｍｐｕｔｅｄ， ａｎｄ ｔｈｅｎ ｅｖｅｒｙ ｆｌｏｗ ｖｅｃｔｏｒ ｉｓ ｃｏｕｎｔｅｄ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｔｏ ｏｂｔａｉｎ ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｈｉｓｔｏｇｒａｍｓ ｏｆ ｓｉｎｇｌｅ ｆｒａｍｅ ｉｍａｇｅ． Ｆｉｎａｌｌｙ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ ｃａｎ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ａｃｃｕｍｕｌａｔｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｈｉｓｔｏ⁃ ｇｒａｍｓ ｉｎ ｔｉｍｅ ｄｉｍｅｎｓｉｏｎ． Ｔｈｅ ｐｒｏｐｏｓｅｄ ｆｅａｔｕｒｅ ｉｓ ｅｖａｌｕａｔｅｄ ｏｎ ａ ｓｔａｎｄａｒｄ ｄａｔａｂａｓｅ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ： ＫＴＨ． Ｔｈｅ ｅｘ⁃ ｐｅｒｉｍｅｎｔ ｃｏｎｄｕｃｔｅｄ ｏｎ ｔｈｅ ｆｏｕｒ ｓｃｅｎｅｓ ｄｅｍｏｎｓｔｒａｔｅｓ ｔｈａｔ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｉｓ ｅｆｆｅｃｔｉｖｅ ａｎｄ ａｃｈｉｅｖｅｓ ａ ｃｏｒｒｅｃｔ ｒｅｃｏｇｎｉ⁃ ｔｉｏｎ ｒａｔｅ ｏｆ ８７．５％ ｗｉｔｈ ｔｈｅ ＫＴＨ ｄａｔａｓｅｔ． Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ； Ｈｏｒｎ⁃Ｓｃｈｕｎｃｋ ｏｐｔｉｃａｌ ｆｌｏｗ； ｏｒｉｅｎｔａｔｉｏｎ⁃ｍａｇｎｉｔｕｄｅ ｈｉｓｔｏｇｒａｍｓ； ｇｒａｄｉｅｎｔ ｈｉｓｔｏｇｒａｍｓ 收稿日期：２０１３⁃０５⁃０２． 网络出版日期：２０１４⁃０２⁃２０． 基金项目：国家自然科学青年基金资助项目（６１１０３１２３）． 通信作者：曹江涛． Ｅ⁃ｍａｉｌ： ｊｉａｎｇｔａｏ．ｃａｏ０８＠ ｇｍａｉｌ．ｃｏｍ． 基于视频的人体动作识别是当今计算机视觉领 域富有挑战性的热门研究方向。 从视频序列中提取 出相对有辨识力的动作特征是影响动作识别效果的 重要研究内容。 视频序列图像中可提取的动作特征 有很多，主要分为基于剪影的特征、基于兴趣点的特 征、基于光流的特征等。 在动作识别中，基于剪影的特征［１⁃３］ 依赖于运 动人体的外观，通常利用背景减除法获得精准人体 剪影，因此该类方法易受背景噪声的干扰，对部分遮 挡、视角的变化比较敏感。 兴趣点就是视频中动作突然发生变化的位置， 该位置包含丰富的运动信息。 基于兴趣点的方 法［４⁃６］对视角、遮挡和噪声等干扰不敏感，处理过程 简单，但此类方法的缺点是检测出来的稳定兴趣点 数量太少，且缺失全局信息。 基于光流的特征能够清晰地表示人体的动作， 受外观特征的干扰最小，也不易受周围环境的影响， 有很好的鲁棒性，因此该类方法较适用于实际环境