第10卷第3期 智能系统学报 Vol.10 No.3 2015年6月 CAAI Transactions on Intelligent Systems Jun.2015 D0:10.3969/j.issn.1673-4785.201407002 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150609.1548.001.html 视频中人体行为的慢特征提取算法 陈婷婷12，阮秋琦，安高云 (1.北京交通大学信息科学研究所，北京100044：2.北京交通大学现代信息科学和网络技术北京市重点实验室，北京 100044) 摘要：从复杂的人体行为中提取出重要的有区分力的特征是进行人体行为分析的关键。目前经典的特征分析方 法大多是线性的特征分析技术，对于非线性处理会导致错误的结果，为此，提出了一种慢特征提取方法。首先，利用 帧间差分法获取帧差图像序列，对选定的初始帧进行特征点检测：然后，利用光流法对特征点进行跟踪，收集训练立 方体：最后，利用收集的训练立方体进行慢特征函数的机器学习，提取出慢特征并进行特征表示。实验中提取每种 行为的慢特征进行对比，结果显示提取的慢特征随时间变化非常缓慢，并且在不同行为之间具有很强的区分力，表 明该方法能够有效提取出人体行为的慢特征。 关键词：人体行为：训练立方体：慢特征函数；慢特征；顿间差分法 中图分类号：TP391文献标志码：A文章编号：1673-4785(2015)03-0381-06 中文引用格式：陈婷婷，阮秋琦，安高云.视频中人体行为的慢特征提取算法[J].智能系统学报，2015,10(3)：381386. 英文引用格式：CHEN Tingting,RUAN Qiuqi,AN Gaoyun.Slow feature extraction algorithm of human actions in video[J].CAAl Transactions on Intelligent Systems,2015,10(3):381-386. Slow feature extraction algorithm of human actions in video CHEN Tingting'.2,RUAN Qiuqi',AN Gaoyun' (1.Institute of Information Science,Beijing Jiaotong University,Beijing 100044,China;2.Beijing Key Laboratory of Advanced Infor- mation Science and Network Technology,Beijing Jiaotong University,Beijing 100044,China Abstract:Extracting important and distinguishable features from complex human actions is the key for human ac- tions analysis.In recent years,classical feature analysis methods are mostly linear feature analysis technologies, which result in error results for non-linear processing.This paper proposes a method of extracting slow features. First,the image sequence of frame difference was obtained by the difference between the consecutive frames and some feature points of selected beginning frame were detected.Next,the feature points were tracked by optical flow method and the training cuboids were collected.Finally,the slow feature functions were learned with the collected training cuboids,then the slow features could be extracted and represented.In the experiment,slow features of each action were extracted and compared with each other.The results show that the extracted slow features vary slowly with time and action interclass has good discrimination,which suggests that this method can extract slow fea- tures from human actions effectively. Keywords:human action;training cuboids;slow feature function;slow feature;frame difference 近年来，随着社会复杂度的增大和人口密集度 的增加，异常事件和突发事件也随之迅速增多，因此 安防监控被提上了日程，成为人们关注的焦点。越 收稿日期：2014-07-02.网络出版日期：2015-06-09. 基金项目：国家“973”计划项目(2012CB316304):国家自然科学基 来越多大规模的视频监控系统被建立，面对海量涌 金资助项目(61172128)：教育部创新团队发展计划项目 现的视频数据，加上工作人员精力有限，不可能时刻 (RT201206). 通信作者：陈婷婷.E-mail:nuan8fcng@126.com 监控视频中发生的事件，因此如何去自动获取分析
第 １０ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．３ ２０１５ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０７００２ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０６０９．１５４８．００１．ｈｔｍｌ 视频中人体行为的慢特征提取算法 陈婷婷１，２ ，阮秋琦１ ，安高云１ （１．北京交通大学 信息科学研究所，北京 １０００４４；２．北京交通大学 现代信息科学和网络技术北京市重点实验室，北京 １０００４４） 摘 要：从复杂的人体行为中提取出重要的有区分力的特征是进行人体行为分析的关键。 目前经典的特征分析方 法大多是线性的特征分析技术，对于非线性处理会导致错误的结果，为此，提出了一种慢特征提取方法。 首先，利用 帧间差分法获取帧差图像序列，对选定的初始帧进行特征点检测；然后，利用光流法对特征点进行跟踪，收集训练立 方体；最后，利用收集的训练立方体进行慢特征函数的机器学习，提取出慢特征并进行特征表示。 实验中提取每种 行为的慢特征进行对比，结果显示提取的慢特征随时间变化非常缓慢，并且在不同行为之间具有很强的区分力，表 明该方法能够有效提取出人体行为的慢特征。 关键词：人体行为；训练立方体；慢特征函数；慢特征；帧间差分法 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０３⁃０３８１⁃０６ 中文引用格式：陈婷婷，阮秋琦，安高云． 视频中人体行为的慢特征提取算法［Ｊ］． 智能系统学报， ２０１５， １０（３）： ３８１⁃３８６． 英文引用格式：ＣＨＥＮ Ｔｉｎｇｔｉｎｇ， ＲＵＡＮ Ｑｉｕｑｉ， ＡＮ Ｇａｏｙｕｎ． Ｓｌｏｗ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｎ ｖｉｄｅｏ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（３）： ３８１⁃３８６． Ｓｌｏｗ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｎ ｖｉｄｅｏ ＣＨＥＮ Ｔｉｎｇｔｉｎｇ １，２ ， ＲＵＡＮ Ｑｉｕｑｉ １ ， ＡＮ Ｇａｏｙｕｎ １ （１． Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ； ２． Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ａｄｖａｎｃｅｄ Ｉｎｆｏｒ⁃ ｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ ） Ａｂｓｔｒａｃｔ：Ｅｘｔｒａｃｔｉｎｇ ｉｍｐｏｒｔａｎｔ ａｎｄ ｄｉｓｔｉｎｇｕｉｓｈａｂｌｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｃｏｍｐｌｅｘ ｈｕｍａｎ ａｃｔｉｏｎｓ ｉｓ ｔｈｅ ｋｅｙ ｆｏｒ ｈｕｍａｎ ａｃ⁃ ｔｉｏｎｓ ａｎａｌｙｓｉｓ． Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ， ｃｌａｓｓｉｃａｌ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄｓ ａｒｅ ｍｏｓｔｌｙ ｌｉｎｅａｒ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｔｅｃｈｎｏｌｏｇｉｅｓ， ｗｈｉｃｈ ｒｅｓｕｌｔ ｉｎ ｅｒｒｏｒ ｒｅｓｕｌｔｓ ｆｏｒ ｎｏｎ⁃ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ． Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｍｅｔｈｏｄ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｓｌｏｗ ｆｅａｔｕｒｅｓ． Ｆｉｒｓｔ， ｔｈｅ ｉｍａｇｅ ｓｅｑｕｅｎｃｅ ｏｆ ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｗａｓ ｏｂｔａｉｎｅｄ ｂｙ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｃｏｎｓｅｃｕｔｉｖｅ ｆｒａｍｅｓ ａｎｄ ｓｏｍｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｏｆ ｓｅｌｅｃｔｅｄ ｂｅｇｉｎｎｉｎｇ ｆｒａｍｅ ｗｅｒｅ ｄｅｔｅｃｔｅｄ． Ｎｅｘｔ， ｔｈｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｗｅｒｅ ｔｒａｃｋｅｄ ｂｙ ｏｐｔｉｃａｌ ｆｌｏｗ ｍｅｔｈｏｄ ａｎｄ ｔｈｅ ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ ｗｅｒｅ ｃｏｌｌｅｃｔｅｄ． Ｆｉｎａｌｌｙ， ｔｈｅ ｓｌｏｗ ｆｅａｔｕｒｅ ｆｕｎｃｔｉｏｎｓ ｗｅｒｅ ｌｅａｒｎｅｄ ｗｉｔｈ ｔｈｅ ｃｏｌｌｅｃｔｅｄ ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ， ｔｈｅｎ ｔｈｅ ｓｌｏｗ ｆｅａｔｕｒｅｓ ｃｏｕｌｄ ｂｅ ｅｘｔｒａｃｔｅｄ ａｎｄ ｒｅｐｒｅｓｅｎｔｅｄ． Ｉｎ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ， ｓｌｏｗ ｆｅａｔｕｒｅｓ ｏｆ ｅａｃｈ ａｃｔｉｏｎ ｗｅｒｅ ｅｘｔｒａｃｔｅｄ ａｎｄ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｅａｃｈ ｏｔｈｅｒ． Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｅｘｔｒａｃｔｅｄ ｓｌｏｗ ｆｅａｔｕｒｅｓ ｖａｒｙ ｓｌｏｗｌｙ ｗｉｔｈ ｔｉｍｅ ａｎｄ ａｃｔｉｏｎ ｉｎｔｅｒｃｌａｓｓ ｈａｓ ｇｏｏｄ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ， ｗｈｉｃｈ ｓｕｇｇｅｓｔｓ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｃａｎ ｅｘｔｒａｃｔ ｓｌｏｗ ｆｅａ⁃ ｔｕｒｅｓ ｆｒｏｍ ｈｕｍａｎ ａｃｔｉｏｎｓ ｅｆｆｅｃｔｉｖｅｌｙ． Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎ ａｃｔｉｏｎ； ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ； ｓｌｏｗ ｆｅａｔｕｒｅ ｆｕｎｃｔｉｏｎ； ｓｌｏｗ ｆｅａｔｕｒｅ； ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ 收稿日期：２０１４⁃０７⁃０２． 网络出版日期：２０１５⁃０６⁃０９． 基金项目：国家“ ９７３” 计划项目 （ ２０１２ＣＢ３１６３０４）；国家自然科学基 金资助项目（６１１７２１２８）；教育部创新团队发展计划项目 （ＩＲＴ２０１２０６）． 通信作者：陈婷婷． Ｅ⁃ｍａｉｌ： ｎｕａｎ８ｆｅｎｇ＠ １２６．ｃｏｍ． 近年来，随着社会复杂度的增大和人口密集度 的增加，异常事件和突发事件也随之迅速增多，因此 安防监控被提上了日程，成为人们关注的焦点。 越 来越多大规模的视频监控系统被建立，面对海量涌 现的视频数据，加上工作人员精力有限，不可能时刻 监控视频中发生的事件，因此如何去自动获取分析
·382· 智能系统学报 第10卷 其中包含的内容成为一个亟待解决的问题。视频中 对于每一个j∈{1,2，J}, 大部分内容是人的行为活动，要让计算机理解视频 min△(y):=〈(y(t)2) (1)》 中的人在什么场景做什么，并用自然语言表述出来， ((y:(t)〉=0 (2) 具有很重要的学术和应用价值。因此人体行为分析 〈(y:(t))2〉=1 (3) 成为研究的热点。人体行为分析的一个关键点是从 〈y:(t)y(t)〉=0，j<i (4) 复杂的人体行为中提取重要的有区分力特征。目前 式中：(t)表示y(t)关于时间t的一阶导数，尖括 已经有一些经典的特征分析方法，如主成分分析 (PCA)、独立成分分析(ICA)等1-引。但是这些方 号〈〉表示在时间上求均值。约束条件(2)和(3) 避免了y(t)等于常量。条件(4)说明只要i≠j,则 法都是线性的特征分析技术，对于非线性处理也许 分量y(t)和分量y(t)的协方差为零，即y.(t)和 会导致错误的结果。为了处理非线性系统，提出了 一些改进的方法，如基于核的主成分分析(KPCA)。 y(t)互不相关，由于i和j是任意的，所以能够保证 基于核的主成分分析首先由B.Scholkopf等[)提 输出信号各分量间是不相关的，因此每个分量携带 不同的信息。同时也产生了一个顺序，y,(t)是最 出，在高维特征空间中使用核函数计算主成分，这个 高维特征空间和输入空间是非线性相关的。 佳的输出信号，即变化最慢的信号，y(t)其次，依 次类推。 最近，一种新的数据特征分析方法，即慢特征分 析(slow feature analysis,SFA)[s)被提出。慢特征分 1.2SFA算法具体实现步骤 慢特征分析算法实质上是一个学习问题，也即 析的主要目的是从输入信号中提取最佳的缓慢变化 变分法的最优化问题，一般来讲很难解决。然而对 的特征作为信号的不变表示。随时间变化的信号的 不变特征对于很多模式分类任务非常有用，并且慢 于输入输出函数元素g,被限定为有限个非线性函 数的线性组合，问题就大大简化了。在这个限定下， 特征分析已经被成功应用于姿势识别和图像特征提 解决最优化问题的算法如下。 取等一些领域61。Zhag等]把慢特征分析应用 给定一个1维输入信号x(t)= 于人体行为识别，并取得了很好的效果。基于慢特 (x,(),x2(),,x(t)T,一个J维变换函数g(x)= 征分析能够提取输入信号的不变量信息，并且具有 (g(x),g2(x),…g(x)T。 平移、旋转、缩放、光照等不变性，具有方向选择性和 1)如果变换是线性的，即g(x)=wx,其中x 边缘方向选择性的特点，因此本文提出了视频中人 是输人，w,是权值。不失一般性，假设x均值为0， 体行为的慢特征提取方法。 方差为1，即(x),=0,〈x2),=1。因为y(t)= 1 慢特征分析(SFA)原理 (x(t))=wx(t),所以方程(2)中， 〈y(t)〉=〈g(x(t))）=w(x(t)〉=0 慢特征是利用慢特征分析(SFA)方法从输入信 即式(2)中的限制条件被满足。方程(4)中， 号中获取的能够表征信号发生源某些固有属性的特 〈y:(t)y(t)）=〈yy》,= 征。慢特征能够表征输入信号的不变量信息，对于 ((wx)(wx)）,=w〈xx),w 数据分析和模式识别都有非常重要的作用。慢特征 令B=〈xx〉，，则(y(t)y(t)〉=wBw,只要 的有效提取是后续行为分析的基础，起着关键性的 作用。 选择合适的权值，使得wBw,=δ，，则式(4)中的限 制条件被满足。 1.1SFA的数学描述 式(1)中的目标函数： 慢特征分析算法的目标是从输入的时序信号 △(y)=()2〉，=(w)2).=w(x).w x(t)=(x(t),x2(t),…,x(t))T中提取出变化比较 令A=〈：)，，则△(y:)=wAw:,把式(3)中的限 缓慢的隐含成分，即最具有不变量性质的信息。其 制条件整合到目标函数(1)中，则有 数学描述如下)。 〈()2），wAw 给定一个I维输人信号x(t)= △(y:)= (y〉，wBw (x(t),x2(t),…,x,(t)T,其中t表示时间，变化范 由线性代数可知，能够使上式取得最小值的权 围[o,4]。找到一个J维的变换函数g(x)= 值向量，对应于式(5)一般特征值问题的特征向 (g(x),g(x)…,g(x)T,从而产生J维的输出信 量，此时式(3)中的限制条件也被满足。 号y()=(y,(t),y2(t),…y(t)T,其中y(t):= AW =BWA (5) (x(t))。优化问题框架如下： 式中：W是特征向量矩阵，A是由特征值入1
其中包含的内容成为一个亟待解决的问题。 视频中 大部分内容是人的行为活动，要让计算机理解视频 中的人在什么场景做什么，并用自然语言表述出来， 具有很重要的学术和应用价值。 因此人体行为分析 成为研究的热点。 人体行为分析的一个关键点是从 复杂的人体行为中提取重要的有区分力特征。 目前 已经有一些经典的特征分析方法，如主成分分析 （ＰＣＡ）、独立成分分析（ ＩＣＡ） 等［１－３］ 。 但是这些方 法都是线性的特征分析技术，对于非线性处理也许 会导致错误的结果。 为了处理非线性系统，提出了 一些改进的方法，如基于核的主成分分析（ＫＰＣＡ）。 基于核的主成分分析首先由 Ｂ． Ｓｃｈｏｌｋｏｐｆ 等［４］ 提 出，在高维特征空间中使用核函数计算主成分，这个 高维特征空间和输入空间是非线性相关的。 最近，一种新的数据特征分析方法，即慢特征分 析（ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ， ＳＦＡ） ［５］被提出。 慢特征分 析的主要目的是从输入信号中提取最佳的缓慢变化 的特征作为信号的不变表示。 随时间变化的信号的 不变特征对于很多模式分类任务非常有用，并且慢 特征分析已经被成功应用于姿势识别和图像特征提 取等一些领域［６－１２］ 。 Ｚｈａｎｇ 等［１３］把慢特征分析应用 于人体行为识别，并取得了很好的效果。 基于慢特 征分析能够提取输入信号的不变量信息，并且具有 平移、旋转、缩放、光照等不变性，具有方向选择性和 边缘方向选择性的特点，因此本文提出了视频中人 体行为的慢特征提取方法。 １ 慢特征分析（ＳＦＡ）原理 慢特征是利用慢特征分析（ＳＦＡ）方法从输入信 号中获取的能够表征信号发生源某些固有属性的特 征。 慢特征能够表征输入信号的不变量信息，对于 数据分析和模式识别都有非常重要的作用。 慢特征 的有效提取是后续行为分析的基础，起着关键性的 作用。 １．１ ＳＦＡ 的数学描述 慢特征分析算法的目标是从输入的时序信号 ｘ（ｔ） ＝ ｘ１（ｔ），ｘ２（ｔ），…，ｘ ( Ｉ（ｔ） ) Ｔ 中提取出变化比较 缓慢的隐含成分，即最具有不变量性质的信息。 其 数学描述如下［５］ 。 给 定 一 个 Ｉ 维 输 入 信 号 ｘ（ｔ） ＝ ｘ１（ｔ），ｘ２（ｔ），…，ｘ ( Ｉ（ｔ） ) Ｔ ，其中 ｔ 表示时间，变化范 围 ［ｔ ０ ，ｔ １ ］ 。 找 到 一 个 Ｊ 维 的 变 换 函 数 ｇ（ｘ） ＝ (ｇ１（ｘ），ｇ２（ｘ），．．．，ｇＪ（ｘ） ) Ｔ ，从而产生 Ｊ 维的输出信 号 ｙ（ｔ） ＝ ｙ１（ｔ），ｙ２（ｔ），．．．，ｙ ( Ｊ（ｔ） ) Ｔ ，其中 ｙｊ（ｔ）： ＝ ｇｊ（ｘ（ｔ）） 。 优化问题框架如下： 对于每一个 ｊ ∈ ｛１，２，．．．，Ｊ｝ ， ｍｉｎ ｙｊ Δ（ｙｊ）： ＝ 〈 ｙ · ( ｊ（ｔ） ) ２ 〉 （１） 〈 ｙ( ｉ（ｔ） ) 〉 ＝ ０ （２） 〈 ｙ( ｉ（ｔ） ) ２ 〉 ＝ １ （３） 〈ｙｉ（ｔ）ｙｊ（ｔ）〉 ＝ ０，∀ｊ ＜ ｉ （４） 式中： ｙ · ｊ（ｔ） 表示 ｙｊ（ｔ） 关于时间 ｔ 的一阶导数，尖括 号 〈·〉 表示在时间上求均值。 约束条件（２）和（３） 避免了 ｙｊ（ｔ） 等于常量。 条件（４）说明只要 ｉ ≠ ｊ ，则 分量 ｙｉ（ｔ） 和分量 ｙｊ（ｔ） 的协方差为零，即 ｙｉ（ｔ） 和 ｙｊ（ｔ） 互不相关，由于 ｉ 和 ｊ 是任意的，所以能够保证 输出信号各分量间是不相关的，因此每个分量携带 不同的信息。 同时也产生了一个顺序， ｙ１（ｔ） 是最 佳的输出信号，即变化最慢的信号， ｙ２（ｔ） 其次，依 次类推。 １．２ ＳＦＡ 算法具体实现步骤 慢特征分析算法实质上是一个学习问题，也即 变分法的最优化问题，一般来讲很难解决。 然而对 于输入输出函数元素 ｇｊ 被限定为有限个非线性函 数的线性组合，问题就大大简化了。 在这个限定下， 解决最优化问题的算法如下。 给 定 一 个 Ｉ 维 输 入 信 号 ｘ（ｔ） ＝ ｘ１（ｔ），ｘ２（ｔ），…，ｘ ( Ｉ（ｔ）) Ｔ ，一个 Ｊ 维变换函数 ｇ（ｘ） ＝ (ｇ１（ｘ），ｇ２（ｘ），．．．，ｇＪ（ｘ）) Ｔ 。 １）如果变换是线性的，即 ｇｊ（ｘ） ＝ ｗ Ｔ ｊ ｘ ，其中 ｘ 是输入， ｗｊ 是权值。 不失一般性，假设 ｘ 均值为 ０， 方差为 １， 即 〈ｘ〉ｔ ＝ ０， 〈ｘ ２ 〉ｔ ＝ １。 因为 ｙｊ（ｔ） ＝ ｇｊ（ｘ（ｔ）） ＝ ｗ Ｔ ｊ ｘ（ｔ） ，所以方程（２）中， 〈ｙｊ（ｔ）〉 ＝ 〈ｇｊ（ｘ（ｔ））〉 ＝ ｗ Ｔ ｊ 〈ｘ（ｔ）〉 ＝ ０ 即式（２）中的限制条件被满足。 方程（４）中， 〈ｙｉ（ｔ）ｙｊ（ｔ）〉 ＝ 〈ｙｉ ｙｊ〉ｔ ＝ 〈（ｗ Ｔ ｉ ｘ）（ｗ Ｔ ｊ ｘ）〉ｔ ＝ ｗ Ｔ ｉ 〈ｘ ｘ Ｔ 〉ｔ ｗ Ｔ ｊ 令 Ｂ ＝ 〈ｘ ｘ Ｔ 〉ｔ ，则 〈ｙｉ（ｔ）ｙｊ（ｔ）〉 ＝ ｗ Ｔ ｉ Ｂ ｗｊ ，只要 选择合适的权值，使得 ｗ Ｔ ｉ Ｂ ｗｊ ＝ δｉｊ ，则式（４）中的限 制条件被满足。 式（１）中的目标函数： Δ（ｙｊ） ＝ 〈（ｙ · ｊ） ２ 〉ｔ ＝ 〈（ｗ Ｔ ｊ ｘ · ） ２ 〉ｔ ＝ ｗ Ｔ ｊ 〈ｘ · ｘ ·Ｔ 〉ｔ ｗｊ 令 Ａ ＝ 〈ｘ · ｘ ·Ｔ 〉ｔ ，则 Δ（ｙｊ） ＝ ｗ Ｔ ｊ Ａ ｗｊ ，把式（３）中的限 制条件整合到目标函数（１）中，则有 Δ（ｙｊ） ＝ 〈 ｙ · ｊ ( ) ２ 〉ｔ 〈ｙ ２ ｊ 〉ｔ ＝ ｗ Ｔ ｊ Ａ ｗｊ ｗ Ｔ ｊ Ｂ ｗｊ 由线性代数可知，能够使上式取得最小值的权 值向量 ｗｊ 对应于式（５） 一般特征值问题的特征向 量，此时式（３）中的限制条件也被满足。 ＡＷ ＝ ＢＷΛ （５） 式中： Ｗ 是 特 征 向 量 矩 阵， Λ 是 由 特 征 值 λ１ ， ·３８２· 智 能 系 统 学 报 第 １０ 卷
第3期 陈婷婷，等，视频中人体行为的慢特征提取算法 ·383· 入2，，入x组成的对角矩阵。 2.1收集训练立方体 2)非线性变换可以视为非线性空间的线性变 收集训练立方体是由视频图像序列构建出原始 换s。函数h(x)的非线性扩展定义为 输入信号x(t)的一种方法。首先对原始视频进行 h(x):=[h(x)h,(x)..hu(x)] (6) 处理，得到帧差图像序列。以选定的某一帧图像作 慢特征函数通过以下步骤获得。 为初始帧，检测其特征点[4，然后使用光流法对特 a)使用非线性函数h(x)对原始信号进行扩 征点进行跟踪56，从而得到视频中所有特征点对 展，并把h(x)归一化，使其均值为0，即z:=h(x)- 应的轨迹集合。对于轨迹集合中的每条轨迹，提取 h。,其中h。=(h(x)),,归一化使条件(2)有效。本 其中各个轨迹点心×0邻域内的像素值，形成一系 文使用二次扩展，即h(x)=（x1,x2,1,xx1, 列的像素块，考虑到时间信息，通过△1个相继帧对 12…,xx1）。 每个点的像素块序列进行整合，本文取△1=3。进 b)解决一般化的特征值问题AW=BWA,其 一步对所有的特征点进行整合后得到训练立方体， 中，A:=〈乞)，，B:=〈zz〉，。假设矩阵A和矩 即构建出了输入向量x(t)。图1给出了训练立方 阵B的维数都是M,前K个特征向量w1,w2,,wx 体的获取过程。 (KM)和最小的特征值相联系，即入1≤入2≤…≤ 入x,对应的非线性慢特征函数g(x),g2(x),, P(1) P2) P3) gx(x）: g(x)=w(h(x)-h。) (7) 第1个特征点 P(2) P(3) P4) 这些慢特征函数能够满足约束条件(2)~(4)， 而且能使式(1)中的目标函数最小。 PL-2) P(L-1) 1.3改进的慢特征分析算法(D-SFA) 慢特征分析方法是一种非监督式学习策略，不能 编码有监督的信息，为了把监督信息引入到学习中， P(1) P(2 P(3) 提出了D-SFA(discriminative SFA)学习策略]，其数 学描述为：已知输人信号x()= 第2个特征点 P2) P(3 (4 (x(t),xa(t),…,x(t),c∈{1,2，…，C},目标是 找到一系列的J维输入输出函数g(x)= 立方体 (g1(x),ga(x)…,g(x)T,使得△(gg(x)-y× P(L-1) P(LY △(g(x)）最小，即对于每一个j∈{1,2，…J},使 式(8)最小： △(g(xe)）-Y×△(gg(x))= P1) P2) P3) [gg(x)]2),-y×([g(x)]2),=(8) w[x〉，-y×(e)]wg 第n个特征点 P(2) P(3 P(4) 且满足以下条件： 〈gg(xeue)）,=0 (9) P(L-2) P(L- P(LY 〈[gg(xue)]2）=1 (10) Vj'<j:(gg(xeve)go(xcve)),=0 (11) 图1训练立方体的获取过程 式中：wg是第c类第j个慢特征函数的权值向量，y Fig.1 The process of obtaining training cuboids 是权衡参数。 求解最小值问题可以转化为求解一般的特征值 2.2D-SFA算法提取慢特征 问题：AW=BWA,其中A=（〈x。x〉，-y× 慢特征分析方法是实现提取慢特征任务而提出 (x:x）,),B=〈veXve),A是特征值组成的 的一种学习算法。SFA算法是一种非监督学习算 对角矩阵，W是相应的特征向量。 法，它在人体行为视频中提取慢特征的思想是：不同 种类的行为视频收集到的训练立方体混合在一起用 2视频中人体行为的慢特征提取 于慢特征函数的机器学习，然后用学习出来的慢特 本文提出的视频中人体行为慢特征的提取主要 征函数提取出慢特征。由于不能编码有监督信息， 包括3个部分：收集训练立方体、D-SFA算法提取慢 所以提取出来的慢特征在行为间没有很好的区分 特征和构建ASD特征表示。 力。D-SFA算法在学习过程中引入了监督信息，其
λ２ ，．．．，λ Ｎ 组成的对角矩阵。 ２）非线性变换可以视为非线性空间的线性变 换［５］ 。 函数 ｈ（ｘ）的非线性扩展定义为 ｈ（ｘ）： ＝ ［ｈ１（ｘ） ｈ２（ｘ） ．．． ｈＭ（ｘ）］ （６） 慢特征函数通过以下步骤获得。 ａ）使用非线性函数 ｈ（ ｘ） 对原始信号进行扩 展，并把 ｈ（ｘ）归一化，使其均值为 ０，即 ｚ： ＝ ｈ（ｘ） － ｈ０ ，其中 ｈ０ ＝ 〈ｈ（ｘ）〉ｔ ，归一化使条件（２）有效。 本 文使 用 二 次 扩 展， 即 ｈ（ｘ） ＝ （ｘ１ ，ｘ２ ，．．．，ｘＩ，ｘ１ ｘ１ ， ｘ１ ｘ２ ，．．．，ｘＩ ｘＩ） 。 ｂ）解决一般化的特征值问题 ＡＷ ＝ ＢＷΛ ，其 中， Ａ： ＝ 〈ｚ · ｚ ·Ｔ 〉ｔ ， Ｂ： ＝ 〈ｚ ｚ Ｔ 〉ｔ 。 假设矩阵 Ａ 和矩 阵 Ｂ 的维数都是 Ｍ，前 Ｋ 个特征向量 ｗ１ ，ｗ２ ，．．．，ｗＫ （Ｋ≪Ｍ）和最小的特征值相联系，即 λ１ ≤ λ２ ≤ … ≤ λ Ｋ ，对 应 的 非 线 性 慢 特 征 函 数 ｇ１（ｘ），ｇ２（ｘ），．．．， ｇＫ（ｘ） ： ｇｊ（ｘ） ＝ ｗ Ｔ ｊ （ｈ（ｘ） － ｈ０ ） （７） 这些慢特征函数能够满足约束条件（２） ～ （４）， 而且能使式（１）中的目标函数最小。 １．３ 改进的慢特征分析算法（Ｄ⁃ＳＦＡ） 慢特征分析方法是一种非监督式学习策略，不能 编码有监督的信息，为了把监督信息引入到学习中， 提出了 Ｄ⁃ＳＦＡ（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ＳＦＡ）学习策略［１３］ ，其数 学 描 述 为： 已 知 输 入 信 号 ｘｃ（ｔ） ＝ ｘｃ１（ｔ），ｘｃ２（ｔ），．．．，ｘ ( ｃＩ（ｔ） ) ，ｃ ∈ {１，２，．．．，Ｃ} ，目标是 找到 一 系 列 的 Ｊ 维 输 入 输 出 函 数 ｇｃ（ｘ） ＝ (ｇｃ１（ｘ），ｇｃ２（ｘ），．．．，ｇｃＪ（ｘ） ) Ｔ ，使得 Δ（ｇｃｊ（ｘｃ）） － γ × Δ（ｇｃｊ（ｘｃ′）） 最小，即对于每一个 ｊ ∈ ｛１，２，．．．，Ｊ｝ ，使 式（８）最小： Δ（ｇｃｊ（ｘｃ）） － γ × Δ（ｇｃｊ（ｘｃ′）） ＝ 〈［ｇｃｊ（ｘ · ｃ）］ ２ 〉ｔ － γ × 〈［ｇｃｊ（ｘ · ｃ′）］ ２ 〉ｔ ＝ ω Ｔ ｃｊ 〈ｘ · ｃ ｘ ·Ｔ ｃ 〉ｔ － γ × 〈ｘ · ｃ′ ｘ ·Ｔ ｃ′〉ｔ [ ] ωｃｊ （８） 且满足以下条件： 〈ｇｃｊ（ｘｃ∪ｃ′）〉ｔ ＝ ０ （９） 〈［ｇｃｊ（ｘｃ∪ｃ′）］ ２ 〉ｔ ＝ １ （１０） ∀ｊ′ ＜ ｊ：〈ｇｃｊ′（ｘｃ∪ｃ′）ｇｃｊ（ｘｃ∪ｃ′）〉ｔ ＝ ０ （１１） 式中： ωｃｊ 是第 ｃ 类第 ｊ 个慢特征函数的权值向量， γ 是权衡参数。 求解最小值问题可以转化为求解一般的特征值 问题： ＡＷ ＝ ＢＷΛ ， 其 中 Ａ ＝ （ 〈ｘｃ ｘ Ｔ ｃ 〉ｔ － γ × 〈ｘｃ ′ ｘ Ｔ ｃ ′〉ｔ） ， Ｂ ＝ 〈ｘｃ∪ｃ′ ｘ Ｔ ｃ∪ｃ′〉ｔ ， Λ 是特征值组成的 对角矩阵， Ｗ 是相应的特征向量。 ２ 视频中人体行为的慢特征提取 本文提出的视频中人体行为慢特征的提取主要 包括 ３ 个部分：收集训练立方体、Ｄ⁃ＳＦＡ 算法提取慢 特征和构建 ＡＳＤ 特征表示。 ２．１ 收集训练立方体 收集训练立方体是由视频图像序列构建出原始 输入信号 ｘ（ ｔ） 的一种方法。 首先对原始视频进行 处理，得到帧差图像序列。 以选定的某一帧图像作 为初始帧，检测其特征点［１４］ ，然后使用光流法对特 征点进行跟踪［１５－１６］ ，从而得到视频中所有特征点对 应的轨迹集合。 对于轨迹集合中的每条轨迹，提取 其中各个轨迹点 ｗ × ｗ 邻域内的像素值，形成一系 列的像素块，考虑到时间信息，通过 Δｔ 个相继帧对 每个点的像素块序列进行整合，本文取 Δｔ ＝ ３。 进 一步对所有的特征点进行整合后得到训练立方体， 即构建出了输入向量 ｘ（ ｔ）。 图 １ 给出了训练立方 体的获取过程。 图 １ 训练立方体的获取过程 Ｆｉｇ． １ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｏｂｔａｉｎｉｎｇ ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ ２．２ Ｄ⁃ＳＦＡ 算法提取慢特征 慢特征分析方法是实现提取慢特征任务而提出 的一种学习算法。 ＳＦＡ 算法是一种非监督学习算 法，它在人体行为视频中提取慢特征的思想是：不同 种类的行为视频收集到的训练立方体混合在一起用 于慢特征函数的机器学习，然后用学习出来的慢特 征函数提取出慢特征。 由于不能编码有监督信息， 所以提取出来的慢特征在行为间没有很好的区分 力。 Ｄ⁃ＳＦＡ 算法在学习过程中引入了监督信息，其 第 ３ 期 陈婷婷，等：视频中人体行为的慢特征提取算法 ·３８３·
.384. 智能系统学报 第10卷 在人体行为视频中提取慢特征的思想是：对于每一 然后把平方导数在所有的立方体上进行累加， 类行为收集到的训练立方体分别用于慢特征函数的 从而形成ASD特征为 学习，这样学习出的慢特征函数具有行为类间的区 分力，即对类内行为具有选择性。 f=∑V (13) 2.3ASD特征表示 式中：N表示1个行为视频中收集的立方体的个数， 由于慢特征分析能够使均方导数最小，所以1 V:=(1,.2…,心x)T,K表示慢特征函数的个数。 个立方体对相应慢特征函数的拟合度可以通过变换 3实验结果及分析 立方体的平方导数来衡量[]。如果值很小，则说明 这个立方体和慢特征函数拟合得很好。对于第i个 3.1数据库介绍 立方体C:和第j个慢特征函数，定义平方导数： 本文选用魏茨曼科学院行为识别数据库(Weiz 1 L-At mann human action database)进行慢特征的提取实验， 2-4三[c(u+)©g-c(0⑧，J 用于验证慢特征分析方法在人体行为视频中提取慢 (12) 特征的有效性。该数据库包含10种单人行为，包括 式中：L表示特征点跟踪的帧数，△1表示每个时间 弯腰、奔跑、单脚跳、双脚跳、原地跳、挥手跳、侧行、行 点累计的相继帧的个数，☒表示变换操作，本文取 走、单臂挥舞和双臂挥舞。每种行为分别由9位不同 L=15,△t=3。 的人完成。图2给出了每类行为的图像样本。 (a)Walk (b)Run (c)Jump (d)Pjump (e)Bend (f)Wavel (g)Wave2 (h)Skip (i)Jack ()Side 图2 Weizmann人体行为数据库样图 Fig.2 Sample images of each type of action in the Weizmann database 3.2实验结果及分析 为了验证慢特征分析方法在人体行为视频中提 取慢特征的有效性，使用3.1介绍的数据库进行实 验。实验分别从SFA和D-SFA对不同行为提取慢特 05i0051005005i0050 征的效果对比和使用D-SFA计算出的ASD特征的模 值对比2个方面，说明慢特征分析方法能够有效提取 (a)Walk (b)Run (c)Jump (d)Pjump (e)Bend 慢特征，且D-SFA较之SFA效果更好。图3和4为2 种算法提取的慢特征随时间的变化图对比， 图3中使用SFA算法对不同的行为进行慢特征 051005005T005i0050 的提取。可以看出不同行为的慢特征随时间的变化 I/s (f)Wavel (g)Wave2 (h)Skip (i)Jack (j)Side 具有相似性，区分力比较小。这是因为SFA算法是 图3SA算法提取的慢特征随时间变化 一种非监督式学习算法，不能编码任何监督信息，其 Fig.3 The diagram of slow features extracted by SFA 慢特征函数是由所有行为混合在一起进行机器学习 vary with time 得到的，因此慢特征函数被不同行为所共有，降低了 图4中使用D-SFA算法进行慢特征的提取。 行为间的区分力。 图中包含10×10个子图，其中坐标为(i,)的子图
在人体行为视频中提取慢特征的思想是：对于每一 类行为收集到的训练立方体分别用于慢特征函数的 学习，这样学习出的慢特征函数具有行为类间的区 分力，即对类内行为具有选择性。 ２．３ ＡＳＤ 特征表示 由于慢特征分析能够使均方导数最小，所以 １ 个立方体对相应慢特征函数的拟合度可以通过变换 立方体的平方导数来衡量［１３］ 。 如果值很小，则说明 这个立方体和慢特征函数拟合得很好。 对于第 ｉ 个 立方体 Ｃｉ 和第 ｊ 个慢特征函数，定义平方导数： ｖｉ，ｊ ＝ １ Ｌ － Δｔ∑ Ｌ－Δｔ ｔ ＝ １ ［Ｃｉ（ｔ ＋ １） Ｆｊ － Ｃｉ（ｔ） Ｆｊ］ ２ （１２） 式中： Ｌ 表示特征点跟踪的帧数， Δｔ 表示每个时间 点累计的相继帧的个数， 表示变换操作，本文取 Ｌ ＝ １５， Δｔ ＝ ３。 然后把平方导数在所有的立方体上进行累加， 从而形成 ＡＳＤ 特征为 ｆＡＳＤ ＝ ∑ Ｎ ｉ Ｖｉ （１３） 式中： Ｎ 表示 １ 个行为视频中收集的立方体的个数， Ｖｉ ＝ （ｖｉ，１ ，ｖｉ，２ ，．．．，ｖｉ，Ｋ） Ｔ ，Ｋ 表示慢特征函数的个数。 ３ 实验结果及分析 ３．１ 数据库介绍 本文选用魏茨曼科学院行为识别数据库（Ｗｅｉｚ⁃ ｍａｎｎ ｈｕｍａｎ ａｃｔｉｏｎ ｄａｔａｂａｓｅ）进行慢特征的提取实验， 用于验证慢特征分析方法在人体行为视频中提取慢 特征的有效性。 该数据库包含 １０ 种单人行为，包括 弯腰、奔跑、单脚跳、双脚跳、原地跳、挥手跳、侧行、行 走、单臂挥舞和双臂挥舞。 每种行为分别由 ９ 位不同 的人完成。 图 ２ 给出了每类行为的图像样本。 图 ２ Ｗｅｉｚｍａｎｎ 人体行为数据库样图 Ｆｉｇ． ２ Ｓａｍｐｌｅ ｉｍａｇｅｓ ｏｆ ｅａｃｈ ｔｙｐｅ ｏｆ ａｃｔｉｏｎ ｉｎ ｔｈｅ Ｗｅｉｚｍａｎｎ ｄａｔａｂａｓｅ ３．２ 实验结果及分析 为了验证慢特征分析方法在人体行为视频中提 取慢特征的有效性，使用 ３．１ 介绍的数据库进行实 验。 实验分别从 ＳＦＡ 和 Ｄ⁃ＳＦＡ 对不同行为提取慢特 征的效果对比和使用 Ｄ⁃ＳＦＡ 计算出的 ＡＳＤ 特征的模 值对比 ２ 个方面，说明慢特征分析方法能够有效提取 慢特征，且 Ｄ⁃ＳＦＡ 较之 ＳＦＡ 效果更好。 图 ３ 和 ４ 为 ２ 种算法提取的慢特征随时间的变化图对比， 图 ３ 中使用 ＳＦＡ 算法对不同的行为进行慢特征 的提取。 可以看出不同行为的慢特征随时间的变化 具有相似性，区分力比较小。 这是因为 ＳＦＡ 算法是 一种非监督式学习算法，不能编码任何监督信息，其 慢特征函数是由所有行为混合在一起进行机器学习 得到的，因此慢特征函数被不同行为所共有，降低了 行为间的区分力。 图 ３ ＳＦＡ 算法提取的慢特征随时间变化 Ｆｉｇ． ３ Ｔｈｅ ｄｉａｇｒａｍ ｏｆ ｓｌｏｗ ｆｅａｔｕｒｅｓ ｅｘｔｒａｃｔｅｄ ｂｙ ＳＦＡ ｖａｒｙ ｗｉｔｈ ｔｉｍｅ 图 ４ 中使用 Ｄ⁃ＳＦＡ 算法进行慢特征的提取。 图中包含 １０ × １０ 个子图，其中坐标为（ ｉ，ｊ）的子图 ·３８４· 智 能 系 统 学 报 第 １０ 卷
第3期 陈婷婷，等，视频中人体行为的慢特征提取算法 ·385. 表示第j类行为经第i类行为的慢特征函数变换 表1是D-SFA算法计算出来的不同类行为的 得到的慢特征随时间的变化图。可以看出对角线ASD特征的模值.该表是由10×10个单元构成，第 上的图随时间基本不变，这说明D-SFA算法具有(i,》个单元表示第j类行为的立方体经第i类行为 行为类间的选择性，每种行为训练出的慢特征函的慢特征函数变换后计算出来的ASD特征的模值。 数能使该行为变慢，而使其他行为变化相对较快。由表中数据可知，第j列中，第(，)个单元中的数据 这是因为D-SFA算法是对每一类行为都进行机器比该列其他数据都要小得多。这说明D-SFA算法学 学习，分别得到对应的慢特征函数，因此提取出的习出的慢特征函数只能使该类行为的ASD特征值变 慢特征具有很好的区分力。 慢，因此行为类间具有很好的区分力。 2 20 20 20 20 20 20 20 20 20 20 2 20 00 5 100 5 100 5 100 5 100 100 5 00 100 t/s Walk Run Jump Pjump Bend Wavel Wave2 Skip Jack Side 图4D-SFA算法提取的慢特征随时间变化 Fig.4 The diagram of slow features extracted by D-SFA vary with time 表1训练集和测试集统计数据 Table 1 Statistics of training and test sets Action Walk Run Jump Pjump Bend Wavel Wave2 Skip Jack Side Walk0.070900151.7900133.5700132.8400127.8400128.4700124.6200135.1600160.2300145.4800 Run 229.14000.062400218.8200229.8600224.9300237.4000230.6000232.5900252.6400232.0000 Jump699.7845673.71190.012000596.5573574.3793594.0445583.2389637.6344657.6208 605.6687 Pjump599.9425657.4419491.77150.001600541.0673553.9552532.8642633.4542747.7722637.9117 Bemd671.9932810.7030716.9600680.96020.000700936.5132640.2150646.0397836.8717669.5776 Wave1111.1700103.8800109.3100109.6000993.86160.002800106.1900929.6607100.8900908.2750 Wave2671.4227658.9956637.1384596.0246512.6974710.91550.000784677.3866605.9737707.1462 Skip154.8300152.9600135.6500154.3000144.1200144.6500136.38000.062100159.4800169.3400 Jack 199.0400221.7600186.6100179.8000180.1000195.6000194.5400218.02000.011900213.6700 Side186.2600200.9200173.8900171.5800169.1600165.0300172.5100181.5800198.18000.035200
表示第 ｊ 类行为经第 ｉ 类行为的慢特征函数变换 得到的慢特征随时间的变化图。 可以看出对角线 上的图随时间基本不变，这说明 Ｄ⁃ＳＦＡ 算法具有 行为类间的选择性，每种行为训练出的慢特征函 数能使该行为变慢，而使其他行为变化相对较快。 这是因为 Ｄ⁃ＳＦＡ 算法是对每一类行为都进行机器 学习，分别得到对应的慢特征函数，因此提取出的 慢特征具有很好的区分力。 表 １ 是 Ｄ⁃ＳＦＡ 算法计算出来的不同类行为的 ＡＳＤ 特征的模值．该表是由 １０ × １０ 个单元构成，第 （ｉ，ｊ）个单元表示第 ｊ 类行为的立方体经第 ｉ 类行为 的慢特征函数变换后计算出来的 ＡＳＤ 特征的模值。 由表中数据可知，第 ｊ 列中，第（ ｊ，ｊ）个单元中的数据 比该列其他数据都要小得多。 这说明 Ｄ⁃ＳＦＡ 算法学 习出的慢特征函数只能使该类行为的 ＡＳＤ 特征值变 慢，因此行为类间具有很好的区分力。 图 ４ Ｄ⁃ＳＦＡ 算法提取的慢特征随时间变化 Ｆｉｇ． ４ Ｔｈｅ ｄｉａｇｒａｍ ｏｆ ｓｌｏｗ ｆｅａｔｕｒｅｓ ｅｘｔｒａｃｔｅｄ ｂｙ Ｄ⁃ＳＦＡ ｖａｒｙ ｗｉｔｈ ｔｉｍｅ 表 １ 训练集和测试集统计数据 Ｔａｂｌｅ １ Ｓｔａｔｉｓｔｉｃｓ ｏｆ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｓｔ ｓｅｔｓ Ａｃｔｉｏｎ Ｗａｌｋ Ｒｕｎ Ｊｕｍｐ Ｐｊｕｍｐ Ｂｅｎｄ Ｗａｖｅ１ Ｗａｖｅ２ Ｓｋｉｐ Ｊａｃｋ Ｓｉｄｅ Ｗａｌｋ ０．０７０ ９００ １５１．７９０ ０ １３３．５７０ ０ １３２．８４０ ０ １２７．８４０ ０ １２８．４７０ ０ １２４．６２０ ０ １３５．１６０ ０ １６０．２３０ ０ １４５．４８０ ０ Ｒｕｎ ２２９．１４０ ０ ０．０６２ ４００ ２１８．８２０ ０ ２２９．８６０ ０ ２２４．９３０ ０ ２３７．４００ ０ ２３０．６００ ０ ２３２．５９０ ０ ２５２．６４０ ０ ２３２．０００ ０ Ｊｕｍｐ ６９９．７８４ ５ ６７３．７１１ ９ ０．０１２ ０００ ５９６．５５７ ３ ５７４．３７９ ３ ５９４．０４４ ５ ５８３．２３８ ９ ６３７．６３４ ４ ６５７．６２０ ８ ６０５．６６８ ７ Ｐｊｕｍｐ ５９９．９４２ ５ ６５７．４４１ ９ ４９１．７７１ ５ ０．００１ ６００ ５４１．０６７ ３ ５５３．９５５ ２ ５３２．８６４ ２ ６３３．４５４ ２ ７４７．７７２ ２ ６３７．９１１ ７ Ｂｅｎｄ ６７１．９９３ ２ ８１０．７０３ ０ ７１６．９６０ ０ ６８０．９６０ ２ ０．０００ ７００ ９３６．５１３ ２ ６４０．２１５ ０ ６４６．０３９ ７ ８３６．８７１ ７ ６６９．５７７ ６ Ｗａｖｅ１ １１１．１７０ ０ １０３．８８０ ０ １０９．３１０ ０ １０９．６００ ０ ９９３．８６１ ６ ０．００２ ８００ １０６．１９０ ０ ９２９．６６０ ７ １００．８９０ ０ ９０８．２７５ ０ Ｗａｖｅ２ ６７１．４２２ ７ ６５８．９９５ ６ ６３７．１３８ ４ ５９６．０２４ ６ ５１２．６９７ ４ ７１０．９１５ ５ ０．０００ ７８４ ６７７．３８６ ６ ６０５．９７３ ７ ７０７．１４６ ２ Ｓｋｉｐ １５４．８３０ ０ １５２．９６０ ０ １３５．６５０ ０ １５４．３００ ０ １４４．１２０ ０ １４４．６５０ ０ １３６．３８０ ０ ０．０６２ １００ １５９．４８０ ０ １６９．３４０ ０ Ｊａｃｋ １９９．０４０ ０ ２２１．７６０ ０ １８６．６１０ ０ １７９．８００ ０ １８０．１００ ０ １９５．６００ ０ １９４．５４０ ０ ２１８．０２０ ０ ０．０１１ ９００ ２１３．６７０ ０ Ｓｉｄｅ １８６．２６０ ０ ２００．９２０ ０ １７３．８９０ ０ １７１．５８０ ０ １６９．１６０ ０ １６５．０３０ ０ １７２．５１０ ０ １８１．５８０ ０ １９８．１８０ ０ ０．０３５ ２００ 第 ３ 期 陈婷婷，等：视频中人体行为的慢特征提取算法 ·３８５·
·386· 智能系统学报 第10卷 4 结束语 segmentation using slow feature analysis C//2011 IEEE Intelligent Vehicles Symposium (IV).Baden-Baden,Ger- 本文提出了视频中人体行为的慢特征提取方法， many,2011:800-806. 首先收集训练立方体，然后分别用SFA算法和D [12]DENG Xiaogang,TIAN Xuemin,HU Xiangyang.Nonlinear SFA算法进行慢特征函数的机器学习，经慢特征函数 process fault diagnosis based on slow feature analysis[C]// 变换后得到慢特征，并进一步构建ASD特征。实验 2012 10th World Congress on Intelligent Control and Auto- 结果表明D-SFA算法能更有效地提取出人体行为的 mation.Beijing,China,2012:3152-3156. 慢特征。由于特征点跟踪的过程中，少量特征点在后 [13]ZHANG Zhang,TAO Dacheng.Slow feature analysis for 续帧中会出现漂移现象，对后面的处理会产生一定的 human action recognition[J].IEEE Transactions on Pat- 影响，今后将进一步研究以取得更好的效果。 tern Analysis and Machine Intelligence,2012,34(3): 436-450. 参考文献： [14]王丽辉，袁保宗.三维散乱点云模型的特征点检测[J]. 信号处理，2011,27(6)：932-938. [1]VENKATASUBRAMANIAN V,RENGASWAMY R,KA- WANG Lihui,YUAN Baozong.Feature point detection for VURI S N,et al.A review of process fault detection and di- agnosis:Part III:process history based methods[J].Com- 3D scattered point cloud model [J].Signal Processing. 2011,27(6):932-938. puters Chemical Engineering,2003,27(3):327-346. [15]马龙，王鲁平，陈小天，等.噪声环境下光流场估计方法 [2]CHERRY G A,QIN S J.Multiblock principal component [J].信号处理，2012,28(1)：87-91. analysis based on a combined index for semiconductor fault MA Long,WANG Luping,CHEN Xiaotian,et al.Determi- detection and diagnosis[J].IEEE Transactions on Semi- conductor Manufacturing,2006,19(2):159-172. ning optical flow field in the presence of noise[J].Signal Processing,2012,28(1):87-91. [3]DUNIA R,QIN S J.Joint diagnosis of process and sensor [16]江志军，易华蓉.一种基于图像金字塔光流的特征跟踪 faults using principal component analysis[J].Control Engi- 方法[J].武汉大学学报：信息科学版，2007,32(8)： neering Practice,1998,6(4):457-469. 680-683. [4]SCHOLKPOF B,SMOLA A,MOLLER K R.Nonlinear com- JIANG Zhijun,YI Huarong.An image pyramid-based fea- ponent analysis as a kernel eigenvalue problem[J].Neural ture detection and tracking algorithmJ.Geomatics and In- Computation,1998,10(5):1299-1319. formation Science of Wuhan University,2007,32(8):680- [5]WISKOTT L,SEINOWSKI T L.Slow feature analysis:unsu- 683. pervised learning of invariances [J].Neural Computation, 作者简介： 2002,14(4):715-770. 陈婷婷，女，1987年生，硕士研究生， 6]BERKES P,WISKOTT L.Slow feature analysis vields a rich 主要研究方向为人体行为分析。 repertoire of complex cell properties[J].Journal of Vision, 2005,5(6):579-602 [7]XIA Qi,GAO Jianbin,XU Chunxiang.A new watermarking algorithm based on slowly feature analysis[C]//International Conference on Apperceiving Computing and Intelligence Anal- ysis.Chengdu,China,2008:70-72. 阮秋琦，男，1944年生，教授，博士 [8]GAO Jianbin,LI Jianping,XIA Qi.Slowly feature analysis of 生导师，主要研究方向为数字图像处 Gabor feature for face recognition [C]//2008 International 理、计算机视觉。曾多次获得省部级 Conference on Apperceiving Computing and Intelligence Anal- ysis.Chengdu,China,2008:177-180. 科技进步奖，发表学术论文350余篇， 出版专著4部。 [9]HUANG Yaping,ZHAO Jiali,TIAN Mei,et al.Slow feature discriminant analysis and its application on handwritten digit recognition [C]//International Joint Conference on Neural 安高云，男，1980年生，副教授，主要 Networks.Atlanta,USA.2009:1294-1297. 研究方向为图像处理、人脸识别、统计模 [10]MA Kuijun,TAO Qing,WANG Jue.Nonlinear blind source 式识别。 separation using slow feature analysis with random features [C]//2010 20th International Conference on Pattern Recog- nition.Istanbul,Turkey,2010:830-833. [11 KOHNL T,KUMMERT F,FRITSCH J.Monocular road
４ 结束语 本文提出了视频中人体行为的慢特征提取方法， 首先收集训练立方体，然后分别用 ＳＦＡ 算法和 Ｄ⁃ ＳＦＡ 算法进行慢特征函数的机器学习，经慢特征函数 变换后得到慢特征，并进一步构建 ＡＳＤ 特征。 实验 结果表明 Ｄ⁃ＳＦＡ 算法能更有效地提取出人体行为的 慢特征。 由于特征点跟踪的过程中，少量特征点在后 续帧中会出现漂移现象，对后面的处理会产生一定的 影响，今后将进一步研究以取得更好的效果。 参考文献： ［１ ］ ＶＥＮＫＡＴＡＳＵＢＲＡＭＡＮＩＡＮ Ｖ， ＲＥＮＧＡＳＷＡＭＹ Ｒ， ＫＡ⁃ ＶＵＲＩ Ｓ Ｎ， ｅｔ ａｌ． Ａ ｒｅｖｉｅｗ ｏｆ ｐｒｏｃｅｓｓ ｆａｕｌｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｉ⁃ ａｇｎｏｓｉｓ： Ｐａｒｔ ＩＩＩ： ｐｒｏｃｅｓｓ ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｔｈｏｄｓ［ Ｊ］． Ｃｏｍ⁃ ｐｕｔｅｒｓ ＆ Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ２００３， ２７（３）： ３２７⁃３４６． ［２］ＣＨＥＲＲＹ Ｇ Ａ， ＱＩＮ Ｓ Ｊ． Ｍｕｌｔｉｂｌｏｃｋ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ｂａｓｅｄ ｏｎ ａ ｃｏｍｂｉｎｅｄ ｉｎｄｅｘ ｆｏｒ ｓｅｍｉｃｏｎｄｕｃｔｏｒ ｆａｕｌｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｉａｇｎｏｓｉｓ ［ Ｊ］ ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｅｍｉ⁃ ｃｏｎｄｕｃｔｏｒ Ｍａｎｕｆａｃｔｕｒｉｎｇ， ２００６， １９（ ２） ： １５９⁃１７２． ［３］ ＤＵＮＩＡ Ｒ， ＱＩＮ Ｓ Ｊ． Ｊｏｉｎｔ ｄｉａｇｎｏｓｉｓ ｏｆ ｐｒｏｃｅｓｓ ａｎｄ ｓｅｎｓｏｒ ｆａｕｌｔｓ ｕｓｉｎｇ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ［ Ｊ］． Ｃｏｎｔｒｏｌ Ｅｎｇｉ⁃ ｎｅｅｒｉｎｇ Ｐｒａｃｔｉｃｅ， １９９８， ６（４）： ４５７⁃４６９． ［４］ＳＣＨÖＬＫＰＯＦ Ｂ， ＳＭＯＬＡ Ａ， ＭÜＬＬＥＲ Ｋ Ｒ． Ｎｏｎｌｉｎｅａｒ ｃｏｍ⁃ ｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ａｓ ａ ｋｅｒｎｅｌ ｅｉｇｅｎｖａｌｕｅ ｐｒｏｂｌｅｍ［ Ｊ］． Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， １９９８， １０（５）： １２９９⁃１３１９． ［５］ＷＩＳＫＯＴＴ Ｌ， ＳＥＩＮＯＷＳＫＩ Ｔ Ｌ． Ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ： ｕｎｓｕ⁃ ｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｉｎｖａｒｉａｎｃｅｓ ［ Ｊ］． Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， ２００２， １４（４）： ７１５⁃７７０． ［６］ＢＥＲＫＥＳ Ｐ， ＷＩＳＫＯＴＴ Ｌ． Ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｙｉｅｌｄｓ ａ ｒｉｃｈ ｒｅｐｅｒｔｏｉｒｅ ｏｆ ｃｏｍｐｌｅｘ ｃｅｌｌ ｐｒｏｐｅｒｔｉｅｓ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｉｏｎ， ２００５， ５（６）： ５７９⁃６０２． ［７］ＸＩＡ Ｑｉ， ＧＡＯ Ｊｉａｎｂｉｎ， ＸＵ Ｃｈｕｎｘｉａｎｇ． Ａ ｎｅｗ ｗａｔｅｒｍａｒｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｓｌｏｗｌｙ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ［Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｅｒｃｅｉｖｉｎｇ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｎａｌ⁃ ｙｓｉｓ． Ｃｈｅｎｇｄｕ， Ｃｈｉｎａ， ２００８： ７０⁃７２． ［８］ＧＡＯ Ｊｉａｎｂｉｎ， ＬＩ Ｊｉａｎｐｉｎｇ， ＸＩＡ Ｑｉ． Ｓｌｏｗｌｙ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｏｆ Ｇａｂｏｒ ｆｅａｔｕｒｅ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｃ］ ／ ／ ２００８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｅｒｃｅｉｖｉｎｇ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｎａｌ⁃ ｙｓｉｓ． Ｃｈｅｎｇｄｕ， Ｃｈｉｎａ， ２００８： １７７⁃１８０． ［９］ＨＵＡＮＧ Ｙａｐｉｎｇ， ＺＨＡＯ Ｊｉａｌｉ， ＴＩＡＮ Ｍｅｉ， ｅｔ ａｌ． Ｓｌｏｗ ｆｅａｔｕｒｅ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｏｎ ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ａｔｌａｎｔａ， ＵＳＡ， ２００９： １２９４⁃１２９７． ［１０］ＭＡ Ｋｕｉｊｕｎ， ＴＡＯ Ｑｉｎｇ， ＷＡＮＧ Ｊｕｅ． Ｎｏｎｌｉｎｅａｒ ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｕｓｉｎｇ ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｗｉｔｈ ｒａｎｄｏｍ ｆｅａｔｕｒｅｓ ［Ｃ］ ／ ／ ２０１０ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇ⁃ ｎｉｔｉｏｎ． Ｉｓｔａｎｂｕｌ， Ｔｕｒｋｅｙ， ２０１０： ８３０⁃８３３． ［１１］ ＫÜＨＮＬ Ｔ， ＫＵＭＭＥＲＴ Ｆ， ＦＲＩＴＳＣＨ Ｊ． Ｍｏｎｏｃｕｌａｒ ｒｏａｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ［ Ｃ］ ／ ／ ２０１１ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ （ ＩＶ）． Ｂａｄｅｎ⁃Ｂａｄｅｎ， Ｇｅｒ⁃ ｍａｎｙ， ２０１１： ８００⁃８０６． ［１２］ＤＥＮＧ Ｘｉａｏｇａｎｇ， ＴＩＡＮ Ｘｕｅｍｉｎ， ＨＵ Ｘｉａｎｇｙａｎｇ． Ｎｏｎｌｉｎｅａｒ ｐｒｏｃｅｓｓ ｆａｕｌｔ ｄｉａｇｎｏｓｉｓ ｂａｓｅｄ ｏｎ ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ［Ｃ］ ／ ／ ２０１２ １０ｔｈ Ｗｏｒｌｄ Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｎｔｒｏｌ ａｎｄ Ａｕｔｏ⁃ ｍａｔｉｏｎ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２０１２： ３１５２⁃３１５６． ［１３］ＺＨＡＮＧ Ｚｈａｎｇ， ＴＡＯ Ｄａｃｈｅｎｇ． Ｓｌｏｗ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［ Ｊ］ ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔ⁃ ｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１２， ３４ （ ３） ： ４３６⁃４５０． ［１４］王丽辉， 袁保宗． 三维散乱点云模型的特征点检测［ Ｊ］． 信号处理， ２０１１， ２７（６）： ９３２⁃９３８． ＷＡＮＧ Ｌｉｈｕｉ， ＹＵＡＮ Ｂａｏｚｏｎｇ． Ｆｅａｔｕｒｅ ｐｏｉｎｔ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ３Ｄ ｓｃａｔｔｅｒｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｍｏｄｅｌ ［ Ｊ ］． Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ２０１１， ２７（６）： ９３２⁃９３８． ［１５］马龙， 王鲁平， 陈小天， 等． 噪声环境下光流场估计方法 ［Ｊ］． 信号处理， ２０１２， ２８（１）： ８７⁃９１． ＭＡ Ｌｏｎｇ， ＷＡＮＧ Ｌｕｐｉｎｇ， ＣＨＥＮ Ｘｉａｏｔｉａｎ， ｅｔ ａｌ． Ｄｅｔｅｒｍｉ⁃ ｎｉｎｇ ｏｐｔｉｃａｌ ｆｌｏｗ ｆｉｅｌｄ ｉｎ ｔｈｅ ｐｒｅｓｅｎｃｅ ｏｆ ｎｏｉｓｅ ［ Ｊ］． Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ２０１２， ２８（１）： ８７⁃９１． ［１６］江志军， 易华蓉． 一种基于图像金字塔光流的特征跟踪 方法［ Ｊ］． 武汉大学学报：信息科学版， ２００７， ３２ （ ８）： ６８０⁃６８３． ＪＩＡＮＧ Ｚｈｉｊｕｎ， ＹＩ Ｈｕａｒｏｎｇ． Ａｎ ｉｍａｇｅ ｐｙｒａｍｉｄ⁃ｂａｓｅｄ ｆｅａ⁃ ｔｕｒｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ［Ｊ］． Ｇｅｏｍａｔｉｃｓ ａｎｄ Ｉｎ⁃ ｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ｏｆ Ｗｕｈａｎ Ｕｎｉｖｅｒｓｉｔｙ， ２００７， ３２（８）： ６８０⁃ ６８３． 作者简介： 陈婷婷，女，１９８７ 年生，硕士研究生， 主要研究方向为人体行为分析。 阮秋琦，男，１９４４ 年生，教授，博士 生导师，主要研究方向为数字图像处 理、计算机 视 觉。 曾 多 次 获 得 省 部 级 科技进步奖，发表学术论文 ３５０ 余篇， 出版专著 ４ 部。 安高云，男，１９８０ 年生，副教授，主要 研究方向为图像处理、人脸识别、统计模 式识别。 ·３８６· 智 能 系 统 学 报 第 １０ 卷