第10卷第3期 智能系统学报 Vol.10 No.3 2015年6月 CAAI Transactions on Intelligent Systems Jun.2015 D0:10.3969/j.issn.1673-4785.201407002 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150609.1548.001.html 视频中人体行为的慢特征提取算法 陈婷婷12，阮秋琦，安高云 (1.北京交通大学信息科学研究所，北京100044：2.北京交通大学现代信息科学和网络技术北京市重点实验室，北京 100044) 摘要：从复杂的人体行为中提取出重要的有区分力的特征是进行人体行为分析的关键。目前经典的特征分析方 法大多是线性的特征分析技术，对于非线性处理会导致错误的结果，为此，提出了一种慢特征提取方法。首先，利用 帧间差分法获取帧差图像序列，对选定的初始帧进行特征点检测：然后，利用光流法对特征点进行跟踪，收集训练立 方体：最后，利用收集的训练立方体进行慢特征函数的机器学习，提取出慢特征并进行特征表示。实验中提取每种 行为的慢特征进行对比，结果显示提取的慢特征随时间变化非常缓慢，并且在不同行为之间具有很强的区分力，表 明该方法能够有效提取出人体行为的慢特征。 关键词：人体行为：训练立方体：慢特征函数；慢特征；顿间差分法 中图分类号：TP391文献标志码：A文章编号：1673-4785(2015)03-0381-06 中文引用格式：陈婷婷，阮秋琦，安高云.视频中人体行为的慢特征提取算法[J].智能系统学报，2015,10(3)：381386. 英文引用格式：CHEN Tingting,RUAN Qiuqi,AN Gaoyun.Slow feature extraction algorithm of human actions in video[J].CAAl Transactions on Intelligent Systems,2015,10(3):381-386. Slow feature extraction algorithm of human actions in video CHEN Tingting'.2,RUAN Qiuqi',AN Gaoyun' (1.Institute of Information Science,Beijing Jiaotong University,Beijing 100044,China;2.Beijing Key Laboratory of Advanced Infor- mation Science and Network Technology,Beijing Jiaotong University,Beijing 100044,China Abstract:Extracting important and distinguishable features from complex human actions is the key for human ac- tions analysis.In recent years,classical feature analysis methods are mostly linear feature analysis technologies, which result in error results for non-linear processing.This paper proposes a method of extracting slow features. First,the image sequence of frame difference was obtained by the difference between the consecutive frames and some feature points of selected beginning frame were detected.Next,the feature points were tracked by optical flow method and the training cuboids were collected.Finally,the slow feature functions were learned with the collected training cuboids,then the slow features could be extracted and represented.In the experiment,slow features of each action were extracted and compared with each other.The results show that the extracted slow features vary slowly with time and action interclass has good discrimination,which suggests that this method can extract slow fea- tures from human actions effectively. Keywords:human action;training cuboids;slow feature function;slow feature;frame difference 近年来，随着社会复杂度的增大和人口密集度 的增加，异常事件和突发事件也随之迅速增多，因此 安防监控被提上了日程，成为人们关注的焦点。越 收稿日期：2014-07-02.网络出版日期：2015-06-09. 基金项目：国家“973”计划项目(2012CB316304):国家自然科学基 来越多大规模的视频监控系统被建立，面对海量涌 金资助项目(61172128)：教育部创新团队发展计划项目 现的视频数据，加上工作人员精力有限，不可能时刻 (RT201206). 通信作者：陈婷婷.E-mail:nuan8fcng@126.com 监控视频中发生的事件，因此如何去自动获取分析第 １０ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．３ ２０１５ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０７００２ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０６０９．１５４８．００１．ｈｔｍｌ 视频中人体行为的慢特征提取算法 陈婷婷１，２ ，阮秋琦１ ，安高云１ （１．北京交通大学 信息科学研究所，北京 １０００４４；２．北京交通大学 现代信息科学和网络技术北京市重点实验室，北京 １０００４４） 摘 要：从复杂的人体行为中提取出重要的有区分力的特征是进行人体行为分析的关键。 目前经典的特征分析方 法大多是线性的特征分析技术，对于非线性处理会导致错误的结果，为此，提出了一种慢特征提取方法。 首先，利用 帧间差分法获取帧差图像序列，对选定的初始帧进行特征点检测；然后，利用光流法对特征点进行跟踪，收集训练立 方体；最后，利用收集的训练立方体进行慢特征函数的机器学习，提取出慢特征并进行特征表示。 实验中提取每种 行为的慢特征进行对比，结果显示提取的慢特征随时间变化非常缓慢，并且在不同行为之间具有很强的区分力，表 明该方法能够有效提取出人体行为的慢特征。 关键词：人体行为；训练立方体；慢特征函数；慢特征；帧间差分法 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０３⁃０３８１⁃０６ 中文引用格式：陈婷婷，阮秋琦，安高云． 视频中人体行为的慢特征提取算法［Ｊ］． 智能系统学报， ２０１５， １０（３）： ３８１⁃３８６． 英文引用格式：ＣＨＥＮ Ｔｉｎｇｔｉｎｇ， ＲＵＡＮ Ｑｉｕｑｉ， ＡＮ Ｇａｏｙｕｎ． Ｓｌｏｗ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｎ ｖｉｄｅｏ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（３）： ３８１⁃３８６． Ｓｌｏｗ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｎ ｖｉｄｅｏ ＣＨＥＮ Ｔｉｎｇｔｉｎｇ １，２ ， ＲＵＡＮ Ｑｉｕｑｉ １ ， ＡＮ Ｇａｏｙｕｎ １ （１． Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ； ２． Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ａｄｖａｎｃｅｄ Ｉｎｆｏｒ⁃ ｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ ） Ａｂｓｔｒａｃｔ：Ｅｘｔｒａｃｔｉｎｇ ｉｍｐｏｒｔａｎｔ ａｎｄ ｄｉｓｔｉｎｇｕｉｓｈａｂｌｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｃｏｍｐｌｅｘ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｓ ｔｈｅ ｋｅｙ ｆｏｒ ｈｕｍａｎ ａｃ⁃ ｔｉｏｎｓ ａｎａｌｙｓｉｓ． Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ， ｃｌａｓｓｉｃａｌ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄｓ ａｒｅ ｍｏｓｔｌｙ ｌｉｎｅａｒ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｔｅｃｈｎｏｌｏｇｉｅｓ， ｗｈｉｃｈ ｒｅｓｕｌｔ ｉｎ ｅｒｒｏｒ ｒｅｓｕｌｔｓ ｆｏｒ ｎｏｎ⁃ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ． Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｍｅｔｈｏｄ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｓｌｏｗ ｆｅａｔｕｒｅｓ． Ｆｉｒｓｔ， ｔｈｅ ｉｍａｇｅ ｓｅｑｕｅｎｃｅ ｏｆ ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｗａｓ ｏｂｔａｉｎｅｄ ｂｙ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｃｏｎｓｅｃｕｔｉｖｅ ｆｒａｍｅｓ ａｎｄ ｓｏｍｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｏｆ ｓｅｌｅｃｔｅｄ ｂｅｇｉｎｎｉｎｇ ｆｒａｍｅ ｗｅｒｅ ｄｅｔｅｃｔｅｄ． Ｎｅｘｔ， ｔｈｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｗｅｒｅ ｔｒａｃｋｅｄ ｂｙ ｏｐｔｉｃａｌ ｆｌｏｗ ｍｅｔｈｏｄ ａｎｄ ｔｈｅ ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ ｗｅｒｅ ｃｏｌｌｅｃｔｅｄ． Ｆｉｎａｌｌｙ， ｔｈｅ ｓｌｏｗ ｆｅａｔｕｒｅ ｆｕｎｃｔｉｏｎｓ ｗｅｒｅ ｌｅａｒｎｅｄ ｗｉｔｈ ｔｈｅ ｃｏｌｌｅｃｔｅｄ ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ， ｔｈｅｎ ｔｈｅ ｓｌｏｗ ｆｅａｔｕｒｅｓ ｃｏｕｌｄ ｂｅ ｅｘｔｒａｃｔｅｄ ａｎｄ ｒｅｐｒｅｓｅｎｔｅｄ． Ｉｎ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ， ｓｌｏｗ ｆｅａｔｕｒｅｓ ｏｆ ｅａｃｈ ａｃｔｉｏｎ ｗｅｒｅ ｅｘｔｒａｃｔｅｄ ａｎｄ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｅａｃｈ ｏｔｈｅｒ． Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｅｘｔｒａｃｔｅｄ ｓｌｏｗ ｆｅａｔｕｒｅｓ ｖａｒｙ ｓｌｏｗｌｙ ｗｉｔｈ ｔｉｍｅ ａｎｄ ａｃｔｉｏｎ ｉｎｔｅｒｃｌａｓｓ ｈａｓ ｇｏｏｄ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ， ｗｈｉｃｈ ｓｕｇｇｅｓｔｓ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｃａｎ ｅｘｔｒａｃｔ ｓｌｏｗ ｆｅａ⁃ ｔｕｒｅｓ ｆｒｏｍ ｈｕｍａｎ ａｃｔｉｏｎｓ ｅｆｆｅｃｔｉｖｅｌｙ． Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎ ａｃｔｉｏｎ； ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ； ｓｌｏｗ ｆｅａｔｕｒｅ ｆｕｎｃｔｉｏｎ； ｓｌｏｗ ｆｅａｔｕｒｅ； ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ 收稿日期：２０１４⁃０７⁃０２． 网络出版日期：２０１５⁃０６⁃０９． 基金项目：国家“ ９７３” 计划项目 （ ２０１２ＣＢ３１６３０４）；国家自然科学基 金资助项目（６１１７２１２８）；教育部创新团队发展计划项目 （ＩＲＴ２０１２０６）． 通信作者：陈婷婷． Ｅ⁃ｍａｉｌ： ｎｕａｎ８ｆｅｎｇ＠ １２６．ｃｏｍ． 近年来，随着社会复杂度的增大和人口密集度 的增加，异常事件和突发事件也随之迅速增多，因此 安防监控被提上了日程，成为人们关注的焦点。 越 来越多大规模的视频监控系统被建立，面对海量涌 现的视频数据，加上工作人员精力有限，不可能时刻 监控视频中发生的事件，因此如何去自动获取分析