第12卷第1期 智能系统学报 Vol.12 No.1 2017年2月 CAAI Transactions on Intelligent Systems Feb.2017 D0I:10.11992/is.201611008 网络出版地址：http:/kns.cmki.net/kcms/detail/23.1538.TP.20170228.1323.004.html RGBD人体行为识别中的自适应特征选择方法 龚冬颖12，黄敏12，张洪博3，李绍滋2 (1.厦门大学智能科学与技术系，福建厦门361005：2.厦门大学福建省仿脑智能系统重点实验室，福建厦门 361005:3.华侨大学计算机科学与技术学院，福建厦门361005) 摘要：目前在RGBD视频的行为识别中，为了提高识别准确率，许多方法采用多特征融合的方式。通过实验分析 发现，行为在特定特征上的分类效果好，但是多特征融合并不能体现个别特征的分类优势，同时融合后的特征维度 很高，时空开销大。为了解决这个问题，提出了RGBD人体行为识别中的自适应特征选择方法，通过随机森林和信 息嫡分析人体关节点判别力，以高判别力的人体关节点的数量作为特征选择的标准。通过该数量阈值的筛选，选择 关节点特征或者关节点相对位置作为行为识别特征。实验结果表明，该方法相比于特征融合的算法，行为识别的准 确率有了较大提高，超过了大部分算法的识别结果。 关键词：人体行为识别；自适应特征选择；信息嫡；随机森林 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2017)01-001-07 中文引用格式：龚冬颗，黄敏，张洪博，等.RGBD人体行为识别中的自适应特征选择方法[J].智能系统学报，2017,12(1)：1-7. 英文引用格式：GONG Dongying,HUANG Min,.ZHANG Hongbo,etal.Adaptive feature selection method for action recognition of human body in RGBD data[J].CAAI transactions on intelligent systems,2017,12(1):1-7. Adaptive feature selection method for action recognition of human body in RGBD data GONG Dongying'2,HUANG Min'2,ZHANG Hongbo',LI Shaozi2 (1.Intelligent Science Technology Department,Xiamen University,Xiamen 361005,China;2.Fujian Key Laboratory of Brain-like Intelligent Systems,Xiamen University,Xiamen 361005,China;3.Computer Science Technology School,Huagiao University,Xiamen 361005.China) Abstract:Many methods adopt the technique of multi-feature fusion to improve the recognition accuracy of RGBD video.Experimental analyses revealed that the classification effect of certain behavior in some features is good; however,multi-feature fusion cannot reflect the classification superiority of certain features.Moreover,multi-feature fusion is highly dimensional and considerably expensive in terms of time and space.This research proposes an adaptive feature selection method for RGBD human-action recognition to solve this problem.First,random forest and information entropy were used to analyze the judgment ability of the human joints,whereas the number of human joints with high judgment ability were chosen as the feature selection criterion.By screening the threshold number,either the joint feature or the relative positions of the joints was used as the recognition feature of action. Experimental results show that compared with multi-feature fusion,the method significantly improved the accuracy of action recognition and outperformed most other algorithms. Keywords:action recognition of human body;adaptive feature selection;information entropy;random forest 人体行为识别在计算机视觉领域上有很重要境等。目前，人体行为识别主要困难在于用于人体 的研究意义，广泛应用于异常人体行为识别、用户行为识别的视频持续在一系列的时间和空间，视频 身份识别、基于内容的体育视频检索、智能家居环 基于一个很高维的时间和空间，行为表示困难，同 时同一个动作受执行个体、速度、衣着、光照、遮挡 收稿日期：2016-11-07.网络出版日期：2017-02-28. 基金项目：国家自然科学基金项目(61572409,61571188,61202143)；和摄像头拍摄角度的影响，行为的类内距离大，类 福建省自然科学基金项目(2013J05100):中医健康管理福建 省2011协同创新中心项目. 间差异小。新推出的3-D体感摄像机（例如 通信作者：李绍滋.E-mail:szlig@xmu.cdu.cn
第 １２ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．１ ２０１７ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６１１００８ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７０２２８．１３２３．００４．ｈｔｍｌ ＲＧＢＤ 人体行为识别中的自适应特征选择方法 龚冬颖１，２ ，黄敏１，２ ，张洪博３ ，李绍滋１，２ （１．厦门大学 智能科学与技术系，福建 厦门 ３６１００５；２．厦门大学 福建省仿脑智能系统重点实验室，福建 厦门 ３６１００５； ３．华侨大学 计算机科学与技术学院，福建 厦门 ３６１００５） 摘 要：目前在 ＲＧＢＤ 视频的行为识别中，为了提高识别准确率，许多方法采用多特征融合的方式。 通过实验分析 发现，行为在特定特征上的分类效果好，但是多特征融合并不能体现个别特征的分类优势，同时融合后的特征维度 很高，时空开销大。 为了解决这个问题，提出了 ＲＧＢＤ 人体行为识别中的自适应特征选择方法，通过随机森林和信 息熵分析人体关节点判别力，以高判别力的人体关节点的数量作为特征选择的标准。 通过该数量阈值的筛选，选择 关节点特征或者关节点相对位置作为行为识别特征。 实验结果表明，该方法相比于特征融合的算法，行为识别的准 确率有了较大提高，超过了大部分算法的识别结果。 关键词：人体行为识别；自适应特征选择；信息熵；随机森林 中图分类号： ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０１－００１－０７ 中文引用格式：龚冬颖，黄敏，张洪博，等．ＲＧＢＤ 人体行为识别中的自适应特征选择方法［Ｊ］． 智能系统学报， ２０１７， １２（１）： １－７． 英文引用格式：ＧＯＮＧ Ｄｏｎｇｙｉｎｇ，ＨＵＡＮＧ Ｍｉｎ，ＺＨＡＮＧ Ｈｏｎｇｂｏ，ｅｔ ａｌ．Ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｍａｎ ｂｏｄｙ ｉｎ ＲＧＢＤ ｄａｔａ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（１）：１－７． Ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｍａｎ ｂｏｄｙ ｉｎ ＲＧＢＤ ｄａｔａ ＧＯＮＧ Ｄｏｎｇｙｉｎｇ １，２ ，ＨＵＡＮＧ Ｍｉｎ １，２ ，ＺＨＡＮＧ Ｈｏｎｇｂｏ ３ ，ＬＩ Ｓｈａｏｚｉ １，２ （１． Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｃｉｅｎｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｐａｒｔｍｅｎｔ， Ｘｉａｍｅｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｘｉａｍｅｎ ３６１００５， Ｃｈｉｎａ； ２． Ｆｕｊｉａｎ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｂｒａｉｎ －ｌｉｋｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， Ｘｉａｍｅｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｘｉａｍｅｎ ３６１００５， Ｃｈｉｎａ； ３． Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ Ｓｃｈｏｏｌ， Ｈｕａｑｉａｏ Ｕｎｉｖｅｒｓｉｔｙ， Ｘｉａｍｅｎ ３６１００５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｍａｎｙ ｍｅｔｈｏｄｓ ａｄｏｐｔ ｔｈｅ ｔｅｃｈｎｉｑｕｅ ｏｆ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ＲＧＢＤ ｖｉｄｅｏ． Ｅｘｐｅｒｉｍｅｎｔａｌ ａｎａｌｙｓｅｓ ｒｅｖｅａｌｅｄ ｔｈａｔ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｅｆｆｅｃｔ ｏｆ ｃｅｒｔａｉｎ ｂｅｈａｖｉｏｒ ｉｎ ｓｏｍｅ ｆｅａｔｕｒｅｓ ｉｓ ｇｏｏｄ； ｈｏｗｅｖｅｒ， ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ｃａｎｎｏｔ ｒｅｆｌｅｃｔ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｕｐｅｒｉｏｒｉｔｙ ｏｆ ｃｅｒｔａｉｎ ｆｅａｔｕｒｅｓ． Ｍｏｒｅｏｖｅｒ， ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ｉｓ ｈｉｇｈｌｙ ｄｉｍｅｎｓｉｏｎａｌ ａｎｄ ｃｏｎｓｉｄｅｒａｂｌｙ ｅｘｐｅｎｓｉｖｅ ｉｎ ｔｅｒｍｓ ｏｆ ｔｉｍｅ ａｎｄ ｓｐａｃｅ． Ｔｈｉｓ ｒｅｓｅａｒｃｈ ｐｒｏｐｏｓｅｓ ａｎ ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ＲＧＢＤ ｈｕｍａｎ⁃ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ． Ｆｉｒｓｔ， ｒａｎｄｏｍ ｆｏｒｅｓｔ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｅｎｔｒｏｐｙ ｗｅｒｅ ｕｓｅｄ ｔｏ ａｎａｌｙｚｅ ｔｈｅ ｊｕｄｇｍｅｎｔ ａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｈｕｍａｎ ｊｏｉｎｔｓ， ｗｈｅｒｅａｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｈｕｍａｎ ｊｏｉｎｔｓ ｗｉｔｈ ｈｉｇｈ ｊｕｄｇｍｅｎｔ ａｂｉｌｉｔｙ ｗｅｒｅ ｃｈｏｓｅｎ ａｓ ｔｈｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｃｒｉｔｅｒｉｏｎ． Ｂｙ ｓｃｒｅｅｎｉｎｇ ｔｈｅ ｔｈｒｅｓｈｏｌｄ ｎｕｍｂｅｒ， ｅｉｔｈｅｒ ｔｈｅ ｊｏｉｎｔ ｆｅａｔｕｒｅ ｏｒ ｔｈｅ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎｓ ｏｆ ｔｈｅ ｊｏｉｎｔｓ ｗａｓ ｕｓｅｄ ａｓ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｆｅａｔｕｒｅ ｏｆ ａｃｔｉｏｎ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ， ｔｈｅ ｍｅｔｈｏｄ ｓｉｇｎｉｆｉｃａｎｔｌｙ ｉｍｐｒｏｖｅｄ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｏｕｔｐｅｒｆｏｒｍｅｄ ｍｏｓｔ ｏｔｈｅｒ ａｌｇｏｒｉｔｈｍｓ． Ｋｅｙｗｏｒｄｓ：ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｍａｎ ｂｏｄｙ； ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ； ｉｎｆｏｒｍａｔｉｏｎ ｅｎｔｒｏｐｙ； ｒａｎｄｏｍ ｆｏｒｅｓｔ 收稿日期：２０１６－１１－０７． 网络出版日期：２０１７－０２－２８． 基金项目：国家自然科学基金项目 （ ６１５７２４０９， ６１５７１１８８ ，６１２０２１４３）； 福建省自然科学基金项目 （２０１３Ｊ０５１００）；中医健康管理福建 省 ２０１１ 协同创新中心项目． 通信作者：李绍滋． Ｅ⁃ｍａｉｌ：ｓｚｌｉｇ＠ ｘｍｕ．ｅｄｕ．ｃｎ． 人体行为识别在计算机视觉领域上有很重要 的研究意义，广泛应用于异常人体行为识别、用户 身份识别、基于内容的体育视频检索、智能家居环 境等。 目前，人体行为识别主要困难在于用于人体 行为识别的视频持续在一系列的时间和空间，视频 基于一个很高维的时间和空间，行为表示困难，同 时同一个动作受执行个体、速度、衣着、光照、遮挡 和摄像头拍摄角度的影响，行为的类内距离大，类 间差 异 小。 新 推 出 的 ３⁃Ｄ 体 感 摄 像 机 （ 例 如
·2. 智能系统学报 第12卷 Kinect),除了提供RGB视频外，还有深度信息、关节 于表示行为，进而提高行为的识别率。 点信息，能快速分割前景背景，为人体行为识别带 1 来了新的思路。因此，目前许多行为识别的工作都 相关技术介绍 是基于RGB视频序列的。 目前，在RGBD的人体行为识别中主要采用基 现有RGBD视频的行为识别中，特征主要分为 于关节点序列的运动轨迹特征以及基于局部或者 两种：深度表观特征和关节点运动特征。深度表观 整体的表观特征。 特征主要基于某一时空领域内的深度点云信息，侧 关节点运动轨迹特征是指骨架在时间序列上 重描述时空域内的深度表观细节，可以是某一时空 的变化所提取的特征。Yang)提出基于关节点3-D 域内的占有模式山、4-D法向量统计和运动历史 位置的位置特征、运动特征和位移特征，使用贝叶 图梯度统计)等。关节点运动特征主要基于关节 斯最邻近法则(NBNN)进行分类。Wang等I)在 点3-D位置，通过关节点位置的时间变化)和空间 Actionlet Ensemble中使用到3-D关节点相对位置特 偏移值[来描述行为，此方法特征紧凑，避免了大 征，并且添加了傅里叶时间金字塔提高精度。Xa 量的冗余计算。但在一些人物交互的行为中，仅采 等4)在3-D关节点球形位置计算直方图，通过隐马 用关节点运动特征无法刻画交互物体，需要引入深 尔可夫模型建立3-D关节点的时间演变模型进行 度表观特征。 分类。 因此，很多学者尝试采用特征融合的方法，同 另一种主要特征是基于局部或整体的表观表 时使用多模态特征来描述行为。在一些方法 示。Wang等[)提出LOP作为关节点的深度表观信 中s-),结合了多种从2-D图像提取的特征，使用单 息，用此特征来描述人体与物体的交互。HOPC是 个分类器进行分类。还有一些方法中设计了多种 Rahmani]提出的基于3-D点云的表示方法，围绕 分类器。文献[8-9]通过对各种分类器的分类结果 该点可以得到自适应时空支撑体。SNV是Yang 进行整合，从而提高了行为识别的准确率。 等)]在时空体内描述的深度表观信息和变化信息， 但是这些特征融合方法普遍存在3个缺陷： 该特征是由深度序列划分成时空网格，并聚类底层 1)视频存在类内类间的区别，用多个特征串联可能 法向量获得的。 存在结果受其中某个特征影响，结果达不到预期效 不同的特征在不同行为上具有不同的识别强 果：2)无法对特征与类别之间的关系进行分析：3) 度。不少文章也选择了多特征的方法，使得这些特 多特征融合的维度很高，对于训练以及测试需要大 征存在互补性。除了一些单纯使用不同特征简单 量的时间，而目前普遍采用的降维方式如PCA会降 连接进行融合以外1,3-4)，还有一些特征进行了融 低准确率。因此，本文设计了一种特征选择方式， 合处理。Gao等[1]提取深度序列图的不同特征，然 根据关节特征分析关节点的判别类型，选择不同的 后进行多特征映射并且使用字典学习模型。Lu 行为特征用于识别行为。 等[1提出基于3D2的CNN框架，这个框架可以自 本文提出的自适应特征选择方法，分别采用 动从原始深度视频序列提取时空特征。Li等)使 H0N4D关节点表观特征[o]和关节点相对距离特征 用组合稀疏正则化，提出用多特征稀疏融合 作为行为表示特征。要实现上述目的，主要存在的 (MFSF)排序以获得特征的共享和特定结构的重 问题是在测试过程中，需要确定特征选择的依据。 要性。 对于MSR-Daily Activity3-D数据集来说，尽管已经 现有方法中，结合关节点运动信息和局部表观 知道HON4D关节点特征在喝水、吃东西等类别上 信息能很好地描述行为。关节点运动信息虽然可 效果较好，相对距离特征对于看书、打电话、玩游戏 以表现人体运动姿态，但是在捕获变化的时候无法 等行为的识别较好，但是在测试过程中测试样本却 避免运动速度的影响。在关节点局部表观信息上 是不知道该使用什么特征来表现。通过实验分析 虽然可以捕捉一些人体的姿态信息，但是描述运动 发现，采用HON4D关节点特征分类较好时，对应于 特点有限。HON4D的特征较短，经过傅里叶变化 高判别力的关节点数量较多。因此在本文中采用 后，保留的低频信息不仅特征短、而且判别力强 随机森林对HON4D关节点进行建模，根据关节点 因此，在本文提出的模型中，采用关节点相对距离 的类别投票结果熵，将其结果作为关节点的判别 作为运动信息模型，关节点位置的HON4D特征作 力，提出了自适应嫡阈值，选择高判别力的关节点； 为表观信息模型，根据关节点的判别力，选择不同 同时基于高判别力关节点数量的特征选择方法，用 的特征，进而增强分类性能。在特征处理上采用
Ｋｉｎｅｃｔ），除了提供ＲＧＢ视频外，还有深度信息、关节 点信息，能快速分割前景背景，为人体行为识别带 来了新的思路。 因此，目前许多行为识别的工作都 是基于 ＲＧＢ 视频序列的。 现有 ＲＧＢＤ 视频的行为识别中，特征主要分为 两种：深度表观特征和关节点运动特征。 深度表观 特征主要基于某一时空领域内的深度点云信息，侧 重描述时空域内的深度表观细节，可以是某一时空 域内的占有模式［１］ 、４⁃Ｄ 法向量统计［２］ 和运动历史 图梯度统计［３］ 等。 关节点运动特征主要基于关节 点 ３⁃Ｄ 位置，通过关节点位置的时间变化［１］ 和空间 偏移值［４］来描述行为，此方法特征紧凑，避免了大 量的冗余计算。 但在一些人物交互的行为中，仅采 用关节点运动特征无法刻画交互物体，需要引入深 度表观特征。 因此，很多学者尝试采用特征融合的方法，同 时使 用 多 模 态 特 征 来 描 述 行 为。 在 一 些 方 法 中［５－７］ ，结合了多种从 ２⁃Ｄ 图像提取的特征，使用单 个分类器进行分类。 还有一些方法中设计了多种 分类器。 文献［８－９］通过对各种分类器的分类结果 进行整合，从而提高了行为识别的准确率。 但是这些特征融合方法普遍存在 ３ 个缺陷： １）视频存在类内类间的区别，用多个特征串联可能 存在结果受其中某个特征影响，结果达不到预期效 果；２）无法对特征与类别之间的关系进行分析；３） 多特征融合的维度很高，对于训练以及测试需要大 量的时间，而目前普遍采用的降维方式如 ＰＣＡ 会降 低准确率。 因此，本文设计了一种特征选择方式， 根据关节特征分析关节点的判别类型，选择不同的 行为特征用于识别行为。 本文提出的自适应特征选择方法，分别采用 ＨＯＮ４Ｄ 关节点表观特征［１０］和关节点相对距离特征 作为行为表示特征。 要实现上述目的，主要存在的 问题是在测试过程中，需要确定特征选择的依据。 对于 ＭＳＲ⁃Ｄａｉｌｙ Ａｃｔｉｖｉｔｙ ３⁃Ｄ 数据集来说，尽管已经 知道 ＨＯＮ４Ｄ 关节点特征在喝水、吃东西等类别上 效果较好，相对距离特征对于看书、打电话、玩游戏 等行为的识别较好，但是在测试过程中测试样本却 是不知道该使用什么特征来表现。 通过实验分析 发现，采用 ＨＯＮ４Ｄ 关节点特征分类较好时，对应于 高判别力的关节点数量较多。 因此在本文中采用 随机森林对 ＨＯＮ４Ｄ 关节点进行建模，根据关节点 的类别投票结果熵，将其结果作为关节点的判别 力，提出了自适应熵阈值，选择高判别力的关节点； 同时基于高判别力关节点数量的特征选择方法，用 于表示行为，进而提高行为的识别率。 １ 相关技术介绍 目前，在 ＲＧＢＤ 的人体行为识别中主要采用基 于关节点序列的运动轨迹特征以及基于局部或者 整体的表观特征。 关节点运动轨迹特征是指骨架在时间序列上 的变化所提取的特征。 Ｙａｎｇ ［１１］提出基于关节点３⁃Ｄ 位置的位置特征、运动特征和位移特征，使用贝叶 斯最邻近法则 （ ＮＢＮＮ） 进行分类。 Ｗａｎｇ 等［１］ 在 Ａｃｔｉｏｎｌｅｔ Ｅｎｓｅｍｂｌｅ 中使用到 ３⁃Ｄ 关节点相对位置特 征，并且添加了傅里叶时间金字塔提高精度。 Ｘｉａ 等［４］在 ３⁃Ｄ 关节点球形位置计算直方图，通过隐马 尔可夫模型建立 ３⁃Ｄ 关节点的时间演变模型进行 分类。 另一种主要特征是基于局部或整体的表观表 示。 Ｗａｎｇ 等［１］提出 ＬＯＰ 作为关节点的深度表观信 息，用此特征来描述人体与物体的交互。 ＨＯＰＣ 是 Ｒａｈｍａｎｉ ［１２］提出的基于 ３⁃Ｄ 点云的表示方法，围绕 该点可以得到自适应时空支撑体。 ＳＮＶ 是 Ｙａｎｇ 等［２］在时空体内描述的深度表观信息和变化信息， 该特征是由深度序列划分成时空网格，并聚类底层 法向量获得的。 不同的特征在不同行为上具有不同的识别强 度。 不少文章也选择了多特征的方法，使得这些特 征存在互补性。 除了一些单纯使用不同特征简单 连接进行融合以外［１，１３－１４］ ，还有一些特征进行了融 合处理。 Ｇａｏ 等［１５］提取深度序列图的不同特征，然 后进行多特征映射并且使用字典学习模型。 Ｌｉｕ 等［１６］提出基于 ３Ｄ ２ 的 ＣＮＮ 框架，这个框架可以自 动从原始深度视频序列提取时空特征。 Ｌｉ 等［１７］ 使 用组 合 稀 疏 正 则 化， 提 出 用 多 特 征 稀 疏 融 合 （ＭＦＳＦ） 排序以获得特征的共享和特定结构的重 要性。 现有方法中，结合关节点运动信息和局部表观 信息能很好地描述行为。 关节点运动信息虽然可 以表现人体运动姿态，但是在捕获变化的时候无法 避免运动速度的影响。 在关节点局部表观信息上， 虽然可以捕捉一些人体的姿态信息，但是描述运动 特点有限。 ＨＯＮ４Ｄ 的特征较短，经过傅里叶变化 后，保留的低频信息不仅特征短、而且判别力强。 因此，在本文提出的模型中，采用关节点相对距离 作为运动信息模型，关节点位置的 ＨＯＮ４Ｄ 特征作 为表观信息模型，根据关节点的判别力，选择不同 的特征，进而增强分类性能。 在特征处理上采用 ·２· 智 能 系 统 学 报 第 １２ 卷
第1期 龚冬颖，等：RGBD人体行为识别中的自适应特征选择方法 3· Actionlet Ensemble提出的傅里叶时间金字塔，此方 最终数据为(1+cc)个排序表，其中第1列为所有数 法能够很好地去除时间上对分类带来的影响。 据集对于其中一个行为的平均错误率。最终，从基 自适应特征选择方法 于整个数据集上的关节点升序表中取出前N个关 2 节点，将其HON4D特征串联，得到表观特征。 在本节中，我们将详细介绍自适应特征选择方 2.2基于熵的自适应特征选择方法 法。本文考虑了两种特征，即体现关节点表观信息 关节点相对位移特征，适用于运动变化较大的 的HON4D特征[1o和运动变化的关节点相对距离特 行为，如静止、站起、坐下等，而表观特征则可以刻 征。在特征选择上，基于关节点嫡进行自适应特征 画交互物体和局部细节变化的行为，如看书、打电 选择，人体行为识别方法如图1所示。 话等。因此，应根据行为的特点选择合适的特征。 选择器 为此，本文提出了基于嫡的自适应特征选择方法。 首先，为了评估表观特征对于各行为的判别 HON4D RE ◆ 分类 特征 力，我们将各关节点的表观特征输入RF模型，从训 练模型中得到决策树的投票结果，由投票结果的不 深度视频序列 确定性去判断该类特征在行为分类上是否具备代 关节点 F H 相对距 分类 表性。确定性强，表示该特征能够充分代表样本， 离特征 反之，则使用关节点相对位移。由于任何信息都存 骨架序列 在冗余，冗余的程度与不确定性有关，排除冗余后 图1自适应特征选择方法框架 的平均信息量称为“信息嫡”。不确定性函数为 Fig.1 The frame of adaptive feature selection method 1 fp)=log÷=-logp (3) 2.1特征介绍 p 首先，关节点相对距离特征以臀部为参考点， 对于整个信息源而言，嫡的定义为 计算每一帧内各关节点相对参考点的位移。记第i H(U)=E(-logP:)=-】 立pog P时 (4) 个关节点在第f帧的坐标为J,(=(,,),nmm =1 为关节点总数量，则每一帧的相对关节点位移为 因此，在本文的算法中，我们将在关节点特征 V(f)={J.(f-Jf)1i=2,3,4,…,nm;j=1} 的RF模型中引入熵的概念。行为c在训练数据集 (1) 的第s(s=1,2,…,S)个样本中的第n(n=1,2,…, 再将各帧的相对关节点位移串联，进行傅里叶变换，即 n)个关节点，通过使用随机森林模型得到的T棵 决策树，利用决策树进行投票分类，则每个关节点 F(u)=∫厂foe"a (2) 都会对训练样本产生投票结果。该样本的投票结 取变换后的低频信息，最终得到关节点相对距离特 果为(noa×cc)个，每个投票结果表示为？s,(i= 征。其次，在表观特征上，我们对HON4D进行了改 1,2,…,cc4s),投票的概率为 进，根据关节点判别力筛选出前N个判别力强的关 空se=gs/∑g成e (5) 节点特征。关节点判别力是指某个关节点的特征 在数据集上准确率的评判值。为了得到不同关节 由此得到每个样本的信息嫡，并求出个样本 点判别力评价，我们将每个关节点HON4D特征随 的平均信息嫡，因此在c。.类行为中可得到在该模型 机森林(RF)中进行模型训练，得到各个模型中的袋 的信息嫡En(n,=1,2,…,nJoint）。 外估计错误率，以便用来评价关节点的判别力。随 在训练模型中可以得到平均信息嫡，根据此信 机森林是一个具有T棵决策树的集成模型。本文 息嫡得到针对于此关节点模型的嫡的阈值。 采用自举采样法，在训练阶段，每棵决策树都会在 作为特征自适应选择的选择器时，测试样本在 训练集中生成自举采样，大约丢弃37%的样本，根 经过20个关节点模型时，可以类似于训练模型得到 据这些丢弃样本去计算袋外估计错误率。 20个嫡。本文中熵的意义为，HON4D特征的嫡越 对于给定行为c(c=1,2,…,cc),cu.为数据集 大信息不确定性越大，表示测试样本使用HON4D 的类别，根据各关节点p(p=1,2,…,ni)在相应的 不能准确描述行为，因此不使用关节点特征，而选 RF模型上计算的该行为上的袋外估计错误率，每个 择关节点相对距离特征。 行为将得到一个关节点错误率升序的排序表。则 在实验中，本文设定当测试样本的嫡超过训练
Ａｃｔｉｏｎｌｅｔ Ｅｎｓｅｍｂｌｅ 提出的傅里叶时间金字塔，此方 法能够很好地去除时间上对分类带来的影响。 ２ 自适应特征选择方法 在本节中，我们将详细介绍自适应特征选择方 法。 本文考虑了两种特征，即体现关节点表观信息 的 ＨＯＮ４Ｄ 特征［１０］和运动变化的关节点相对距离特 征。 在特征选择上，基于关节点熵进行自适应特征 选择，人体行为识别方法如图 １ 所示。 图 １ 自适应特征选择方法框架 Ｆｉｇ．１ Ｔｈｅ ｆｒａｍｅ ｏｆ ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ２．１ 特征介绍 首先，关节点相对距离特征以臀部为参考点， 计算每一帧内各关节点相对参考点的位移。 记第 ｉ 个关节点在第 ｆ 帧的坐标为 Ｊｉ（ ｆ） ＝ （ ｘ ｆ ｉ，ｙ ｆ ｉ，ｚ ｆ ｉ），ｎＪｏｉｎｔ 为关节点总数量，则每一帧的相对关节点位移为 Ｖ（ｆ） ＝ ｛Ｊｉ（ｆ） － Ｊｊ（ｆ） ｜ ｉ ＝ ２，３，４，…，ｎＪｏｉｎｔ； ｊ ＝ １｝ （１） 再将各帧的相对关节点位移串联，进行傅里叶变换，即 Ｆ（ω） ＝ ∫ ¥ －¥ ｆ（ｔ）ｅ －ｊａｘ ｄｔ （２） 取变换后的低频信息，最终得到关节点相对距离特 征。 其次，在表观特征上，我们对 ＨＯＮ４Ｄ 进行了改 进，根据关节点判别力筛选出前 Ｎ 个判别力强的关 节点特征。 关节点判别力是指某个关节点的特征 在数据集上准确率的评判值。 为了得到不同关节 点判别力评价，我们将每个关节点 ＨＯＮ４Ｄ 特征随 机森林（ＲＦ）中进行模型训练，得到各个模型中的袋 外估计错误率，以便用来评价关节点的判别力。 随 机森林是一个具有 Ｔ 棵决策树的集成模型。 本文 采用自举采样法，在训练阶段，每棵决策树都会在 训练集中生成自举采样，大约丢弃 ３７％的样本，根 据这些丢弃样本去计算袋外估计错误率。 对于给定行为 ｃ（ｃ ＝ １，２，…，ｃＣｌｓ），ｃＣｌｓ为数据集 的类别，根据各关节点 ｐ（ｐ ＝ １，２，…，ｎＪｏｉｎｔ）在相应的 ＲＦ 模型上计算的该行为上的袋外估计错误率，每个 行为将得到一个关节点错误率升序的排序表。 则 最终数据为（１＋ｃＣｌｓ）个排序表，其中第 １ 列为所有数 据集对于其中一个行为的平均错误率。 最终，从基 于整个数据集上的关节点升序表中取出前 Ｎ 个关 节点，将其 ＨＯＮ４Ｄ 特征串联，得到表观特征。 ２．２ 基于熵的自适应特征选择方法 关节点相对位移特征，适用于运动变化较大的 行为，如静止、站起、坐下等，而表观特征则可以刻 画交互物体和局部细节变化的行为，如看书、打电 话等。 因此，应根据行为的特点选择合适的特征。 为此，本文提出了基于熵的自适应特征选择方法。 首先，为了评估表观特征对于各行为的判别 力，我们将各关节点的表观特征输入 ＲＦ 模型，从训 练模型中得到决策树的投票结果，由投票结果的不 确定性去判断该类特征在行为分类上是否具备代 表性。 确定性强，表示该特征能够充分代表样本， 反之，则使用关节点相对位移。 由于任何信息都存 在冗余，冗余的程度与不确定性有关，排除冗余后 的平均信息量称为“信息熵”。 不确定性函数为 ｆ（ｐ） ＝ ｌｏｇ １ ｐ ＝ － ｌｏｇ ｐ （３） 对于整个信息源而言，熵的定义为 Ｈ（Ｕ） ＝ Ｅ（ － ｌｏｇ ｐｉ） ＝ － ∑ ｎ ｉ ＝ １ ｐｉ ｌｏｇ ｐｉ （４） 因此，在本文的算法中，我们将在关节点特征 的 ＲＦ 模型中引入熵的概念。 行为 ｃ 在训练数据集 的第 ｓ（ｓ ＝ １，２，…，Ｓ）个样本中的第 ｎｊ（ｎｊ ＝ １，２，…， ｎＪｏｉｎｔ）个关节点，通过使用随机森林模型得到的 Ｔ 棵 决策树，利用决策树进行投票分类，则每个关节点 都会对训练样本产生投票结果。 该样本的投票结 果为（ｎＪｏｉｎｔ ×ｃＣｌｓ ） 个，每个投票结果表示为 ｖ ｎｊ ，Ｓ，ｃ ｉ （ ｉ ＝ １，２，…，ｃＣｌｓ），投票的概率为 ｐ ｎｊ ，Ｓ，ｃ ｉ ＝ ｖ ｎｊ ，Ｓ，ｃ ｉ ／∑ ｃＣｌｓ ｋ ＝ １ ｖ ｎｊ ，Ｓ，ｃ ｋ （５） 由此得到每个样本的信息熵，并求出 Ｓ 个样本 的平均信息熵，因此在 ｃＣｌｓ类行为中可得到在该模型 的信息熵 Ｅｎｊ （ｎｊ ＝ １，２，…，ｎＪｏｉｎｔ）。 在训练模型中可以得到平均信息熵，根据此信 息熵得到针对于此关节点模型的熵的阈值。 作为特征自适应选择的选择器时，测试样本在 经过 ２０ 个关节点模型时，可以类似于训练模型得到 ２０ 个熵。 本文中熵的意义为，ＨＯＮ４Ｄ 特征的熵越 大信息不确定性越大，表示测试样本使用 ＨＯＮ４Ｄ 不能准确描述行为，因此不使用关节点特征，而选 择关节点相对距离特征。 在实验中，本文设定当测试样本的熵超过训练 第 １ 期 龚冬颖，等：ＲＧＢＤ 人体行为识别中的自适应特征选择方法 ·３·
智能系统学报 第12卷 模型中得到的平均信息嫡的个数为C,设置阈值为 拍摄，是日常活动的数据集，如图2。在这个数据集 C。,C<C。,选择HON4D关节点表观特征，否则选择 中，动作覆盖手、腿、躯干以及其他一些互动行为。 关节点相对距离特征。 其中数据集中每个行为由10个人完成，每个人分别 算法详见算法1。 以不同的姿态完成。该数据集样本数为320。在本 算法1基于嫡的自适应特征选择算法 文的实验中，我们将在每个行为中选取5个人所完 输入训练样本平均嫡，测试样本HON4D特 成的10个样本，也就是其中160个作为训练样本， 征与关节点相对距离特征，20个关节点模型，关节 其余160个作为测试样本。 点相对距离模型，HON4D关节点组合模型，阈值 在设置参数方面，HON4D中网格大小为 Cp,平均信息熵En(n=1,2,…,na） 60×60×10,步长为3×3×1，傅里叶变换取低频信息 输出预测标签。 10。在本文的方法中，需要设置阈值：每个关节点的 1)初始化C为0。 信息熵阈值和高判别力关节点的数量阈值。其中， 2)for第n个关节点in所有关节点数目do。 每个关节点的信息熵阈值采用各自的平均信息嫡 3)第n个关节点的HON4D特征作为测试样本 作为阈值，是一种自适应的方法，不需要手动调节。 特征，由相对应的关节点模型测试得到c个投票 同时，通过实验对比，关节点数量的阈值C,=16时， 结果。 行为识别的准确率最高。 4)计算c4个投票结果的投票概率。 3.1特征介绍 5)计算该模型下的投票熵。 在HON4D的关节点判别力表示中，我们采用 6)比较E与该模型下的投票嫡，若E。小， 错误率的方式进行衡量，可以从20个关节点模型中 则C+1。 分别得到16个行为的错误率。从图2可以看出，某 7)end for 个行为中错误率较低的关节点在该行为中占据比 8)比较C与C。,若C小，则使用关节点相对距 较重要的位置，比如图2(a)的行为为喝水的动作， 离特征；若C大，则使用HON4D特征。 重要的关节点主要集中在手部、头部，这些关节点 9)输出预测标签。 的错误率也较低。 3实验结果 根据这16个行为的关节点错误率可以得到针 对整个数据集的平均错误率，由平均错误率可以得 为了验证本方法的可用性，我们将在MSR-Daily 到相应关节点的排序为{2,10,11,1,12,5,9,3,17， Activity3D数据集上验证。该数据使用Kinect设备 4,7,13,6,8,14,18,15,19,16,20}。 (a)喝水 (b)吃东西 (c)看书 (d)打电话 (e)写字(D用笔记本电脑(g)使用吸尘器(h)欢呼 (静止 )扔纸团(k)玩游戏 (①)躺在沙发上(m)走路 (n)弹吉他(o)站起来(p)坐下 图2关节点错误率骨架图 Fig.2 The skeleton diagram of joint point error
模型中得到的平均信息熵的个数为 Ｃ，设置阈值为 Ｃｐ，Ｃ＜Ｃｐ，选择 ＨＯＮ４Ｄ 关节点表观特征，否则选择 关节点相对距离特征。 算法详见算法 １。 算法 １ 基于熵的自适应特征选择算法 输入 训练样本平均熵，测试样本 ＨＯＮ４Ｄ 特 征与关节点相对距离特征，２０ 个关节点模型，关节 点相对距离模型，ＨＯＮ４Ｄ 关节点组合模型，阈值 Ｃｐ，平均信息熵 Ｅｎｊ （ｎｊ ＝ １，２，…，ｎＪｏｉｎｔ） 输出 预测标签。 １）初始化 Ｃ 为 ０。 ２）ｆｏｒ 第 ｎｊ 个关节点 ｉｎ 所有关节点数目 ｄｏ。 ３）第 ｎｊ 个关节点的 ＨＯＮ４Ｄ 特征作为测试样本 特征，由相对应的关节点模型测试得到 ｃＣｌｓ 个投票 结果。 ４）计算 ｃＣｌｓ个投票结果的投票概率。 ５）计算该模型下的投票熵。 ６） 比较 Ｅｎｊ 与该模型下的投票熵， 若 Ｅｎｊ 小， 则Ｃ＋１。 ７）ｅｎｄ ｆｏｒ。 ８）比较 Ｃ 与 Ｃｐ，若 Ｃ 小，则使用关节点相对距 离特征；若 Ｃ 大，则使用 ＨＯＮ４Ｄ 特征。 ９）输出预测标签。 ３ 实验结果 为了验证本方法的可用性，我们将在ＭＳＲ⁃Ｄａｉｌｙ Ａｃｔｉｖｉｔｙ ３Ｄ 数据集上验证。 该数据使用 Ｋｉｎｅｃｔ 设备 拍摄，是日常活动的数据集，如图 ２。 在这个数据集 中，动作覆盖手、腿、躯干以及其他一些互动行为。 其中数据集中每个行为由 １０ 个人完成，每个人分别 以不同的姿态完成。 该数据集样本数为 ３２０。 在本 文的实验中，我们将在每个行为中选取 ５ 个人所完 成的 １０ 个样本，也就是其中 １６０ 个作为训练样本， 其余 １６０ 个作为测试样本。 在设 置 参 数 方 面， ＨＯＮ４Ｄ 中 网 格 大 小 为 ６０×６０×１０，步长为 ３×３×１，傅里叶变换取低频信息 １０。 在本文的方法中，需要设置阈值：每个关节点的 信息熵阈值和高判别力关节点的数量阈值。 其中， 每个关节点的信息熵阈值采用各自的平均信息熵 作为阈值，是一种自适应的方法，不需要手动调节。 同时，通过实验对比，关节点数量的阈值 Ｃｐ ＝ １６ 时， 行为识别的准确率最高。 ３．１ 特征介绍 在 ＨＯＮ４Ｄ 的关节点判别力表示中，我们采用 错误率的方式进行衡量，可以从 ２０ 个关节点模型中 分别得到 １６ 个行为的错误率。 从图 ２ 可以看出，某 个行为中错误率较低的关节点在该行为中占据比 较重要的位置，比如图 ２（ａ）的行为为喝水的动作， 重要的关节点主要集中在手部、头部，这些关节点 的错误率也较低。 根据这 １６ 个行为的关节点错误率可以得到针 对整个数据集的平均错误率，由平均错误率可以得 到相应关节点的排序为｛２，１０，１１，１，１２，５，９，３，１７， ４，７，１３，６，８，１４，１８，１５，１９，１６，２０｝。 图 ２ 关节点错误率骨架图 Ｆｉｇ．２ Ｔｈｅ ｓｋｅｌｅｔｏｎ ｄｉａｇｒａｍ ｏｆ ｊｏｉｎｔ ｐｏｉｎｔ ｅｒｒｏｒ ·４· 智 能 系 统 学 报 第 １２ 卷
第1期 龚冬颖，等：RGBD人体行为识别中的自适应特征选择方法 5· 实验中，我们采用交叉验证法，发现取前12 为了判断关节点局部特征是否能够代表该行 个关节点子序列时，分类模型结果最佳。图3 为，本文引入关节点的信息嫡。从图2可以清楚看 给出了测试集在不同关节点个数下的准确率变 到，(c)(d)(e)(f)(j)(k)图中的行为中大部分的 化，准确率随关节点个数增加而提升，但到达某 关节点错误率都较高，而(i)(o)(p)图中行为的关 个范围值后趋于稳定。在后续实验中，我们选 节点错误率都很低。如图4中所示，这几个行为的 取前12个关节点子序列的HON4D特征作为表 嫡在错误率高的行为中，嫡同样高，这样说明了关 观特征。 节点表观特征在这些行为中，不确定性大，无法将 85 其分到正确的类别。相反的，在其错误率较低的行 为中，其嫡普遍也比较低，可以使用关节点表观特 电 征代表该行为。因此，可以看出使用嫡作为两个特 75 征模型的判断标准是可行的。 同时，每个关节点信息熵的阈值，对实验结果 70 有着较大影响。采用统一阈值的方式虽然简单，但 65 是并没有区分不同关节点的差异，而每个关节点采 用不同的阈值手动调节的方法，参数较多。因此， 60 02468101214161820 本文采用平均信息熵作为阈值的自适应方法，不需 关节点数目 要设置参数。 由图5可以看出，在设置相同的阈值中准确率 图3HON4D模型关节点准确率 最高为88.75%，而采用本文提出的方法，在该数据 Fig.3 The joint accuracy of HON4D model 集上准确率可以达到91.25%，提高了2.5%。 15◆ (a)看书b)计打电话 (c)写字(@用笔记本(e)扔纸团 (玩游戏 电脑 20 (g)静止 (h)站起来 (坐下 图4关节点熵骨架图 Fig.4 The skeleton diagram of joint point entropy 90 3.2行为识别分析结果 本文使用了两种特征，一种是基于关节点 86 判别力的HON4D局部表观特征，另一种是使用 关节点相对距离变化来表达该数据集。根据高 83 判别力关节点的数量选择不同的特征用于行为 82 识别。在实验中，数量阈值C。从1~20，结果如 81 8 图6所示。 3.03.13.23.33.43.53.63.73.83.9 嫡 通过图6的对比可以看出，在C,=16时，准确 图5相同值准确率 率是91.25%，达到最高。分类的混淆矩阵如图7~ Fig.5 The accuracy of same threshold 图9所示
实验中，我们采用交叉验证法，发现取前 １２ 个关节点子 序 列 时， 分 类 模 型 结 果 最 佳。 图 ３ 给出了测试集在不同关节点个数下的准确率变 化，准确率随关节点个数增加而提升，但到达某 个范围值后趋于稳定。 在后续实验 中，我 们 选 取前 １２ 个关节点子序列的 ＨＯＮ４Ｄ 特征作为表 观特征。 图 ３ ＨＯＮ４Ｄ 模型关节点准确率 Ｆｉｇ．３ Ｔｈｅ ｊｏｉｎｔ ａｃｃｕｒａｃｙ ｏｆ ＨＯＮ４Ｄ ｍｏｄｅｌ 为了判断关节点局部特征是否能够代表该行 为，本文引入关节点的信息熵。 从图 ２ 可以清楚看 到，（ｃ）（ｄ） （ ｅ） （ ｆ） （ ｊ） （ ｋ）图中的行为中大部分的 关节点错误率都较高，而（ ｉ） （ ｏ） （ ｐ）图中行为的关 节点错误率都很低。 如图 ４ 中所示，这几个行为的 熵在错误率高的行为中，熵同样高，这样说明了关 节点表观特征在这些行为中，不确定性大，无法将 其分到正确的类别。 相反的，在其错误率较低的行 为中，其熵普遍也比较低，可以使用关节点表观特 征代表该行为。 因此，可以看出使用熵作为两个特 征模型的判断标准是可行的。 同时，每个关节点信息熵的阈值，对实验结果 有着较大影响。 采用统一阈值的方式虽然简单，但 是并没有区分不同关节点的差异，而每个关节点采 用不同的阈值手动调节的方法，参数较多。 因此， 本文采用平均信息熵作为阈值的自适应方法，不需 要设置参数。 由图 ５ 可以看出，在设置相同的阈值中准确率 最高为 ８８．７５％，而采用本文提出的方法，在该数据 集上准确率可以达到 ９１．２５％，提高了 ２．５％。 图 ４ 关节点熵骨架图 Ｆｉｇ．４ Ｔｈｅ ｓｋｅｌｅｔｏｎ ｄｉａｇｒａｍ ｏｆ ｊｏｉｎｔ ｐｏｉｎｔ ｅｎｔｒｏｐｙ 图 ５ 相同阈值准确率 Ｆｉｇ．５ Ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｓａｍｅ ｔｈｒｅｓｈｏｌｄ ３．２ 行为识别分析结果 本文使用 了 两 种 特 征， 一 种 是 基 于 关 节 点 判别力的 ＨＯＮ４Ｄ 局部表观特征，另一种是使用 关节点相对距离变化来表达该数据集。 根据高 判别力关节点的数量选择不同的特征用于行为 识别。 在实验中，数量阈值 Ｃｐ 从 １ ～ ２０，结果如 图 ６ 所示。 通过图 ６ 的对比可以看出，在 Ｃｐ ＝ １６ 时，准确 率是 ９１．２５％， 达到最高。 分类的混淆矩阵如图 ７ ～ 图 ９ 所示。 第 １ 期 龚冬颖，等：ＲＧＢＤ 人体行为识别中的自适应特征选择方法 ·５·
·6 智能系统学报 第12卷 95 可以成立的。关节点相对距离特征在图2(c)(d) (e)(f)(Gj)(k)这些行为上较有优势。而本文提出 的特征选择方法，将这两种特征的优势进行了充分 的合并，结果有了很大的提高。 翼 目前，基于该数据集的方法非常多。由表1可 80 知，目前大部分使用直接串联的特征效果并不理 想，使用本文中的两个特征时，整体的准确率只达 75 到了86.25%，由于特征关节点相对距离线性可分， 0 2468101214161820 直接导致结果受到关节点相对距离的影响，其中 图6C,取值准确率 HON4D特征就无法发挥作用。 Fig.6 The accuracy of C's value 表1对比实验准确率 Tablel The accuracy of contrast experiment 分类 具体方法 准确率/% 0000.000.000000.00d00000000000000.000.000.00000 HOPC 81.7 000.000.000C00.090.00Q.000000000.000.000.000.000C0 单特征 00G00.00g00.00g0910000a.0.00G% SNV 86.25 00+00000 000.a00000.0 0.1c00t00c0a00.m0.100000.00c0 00,0a.000.0.m0001c00.000.c00.00,00.000000.Dn00 Actionlet 86.75 特征融合 10f000a0a00.000.0ac00.00ca2 07010000.00000.000c0 RGGPO7 90.4 00000a00.000.n100.000.c00000300.00.0000.00c0 HON4D 78.5 140o06a00.00.000c00.c0a00c000001 100000 000.000.000.00.m0.000.00.c00.000.c00.000.0m0.0000m1c0 16000a.a0m0.0000.0090a030900.03000.000000m1c0 H0N4D(12个关节点) 79.375 2 4 6810121416 本文算法 关节点相对距离 86.25 图7HON4D特征的混淆矩阵 直接串联 86.25 Fig.7 The confusion matrix of HON4D feature 自适应特征选择法 91.25 0010170000100000.000000000000.100000.000.000000.0 43000.0000019@1000.100000000.000000,000000.00,000000.0C 0000D000070221000000000000000000.00.000000年 4 总结 8000.000.000000000000001001000.000000000000.000000.0 000000000000000000000006500100000000000000 文中提出了特征自适应选择方法，此方法包括 10 4个组成部分，即HON4D关节点模型、HON4D关节 000.000000000000000.000.000.0000000000002.100.00.0C 1400.0.....0 点组合模型、关节点相对距离模型和自适应特征选 2 46810121416 择器。首先我们根据HON4D的关节点特征训练得 图8相对距离特征的混淆矩阵 到关节点随机森林的模型，根据平均嫡结果为测试 Fig.8 The confusion matrix of the relative positions feature 投票结果的阈值，以此来权衡HON4D关节点特征 1000000000000000000000000000000000000 m1000.00.00000.0000000000000000.000000000 在此测试样本中是否存在较高的识别率。本文提出 00m000001100m000000m000000m00000000 的方法在MSR-Daily Activity3D这个数据集上评估。实 0000000000000h70200000.1000000000000000010000 0000 验结果表明，本文的方法确实有效。 000000000.0000000000m0001001000000.0000000000 2 00100000000000080000D0000 参考文献： 149000.000000000.000.000.00000.000000000.00000101000.1 0000000000m0.0000000m00000000000000m0.0000101.g 160000000m0.0000m000000m000020.000000 [1]WANG Jiang,LIU Zicheng,WU Ying,et al.Mining actionlet 4 6810121416 ensemble for action recognition with depth cameras C// 图9自适应特征选择方法的混淆矩阵 Proceedings of 2012 IEEE Conference on Computer Vision Fig.9 The confusion matrix of adaptive feature and Pattern Recognition CVPR )Providence,USA, selection method 2012:1290-1297. 从混淆矩阵可以看出，在图2中(c)(d)(e)(f) [2]YANG Xiaodong,TIAN Yingli.Super normal vector for activity (j)(k)这几种行为上，HON4D特征的分类效果较 recognition using depth sequences [C]//Proceedings of 2014 差，由此可以验证本文引入嫡来作为判断该特征是 IEEE Conference on Computer Vision and Pattem Recognition
图 ６ Ｃｐ 取值准确率 Ｆｉｇ．６ Ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ Ｃｐ ｓ ｖａｌｕｅ 图 ７ ＨＯＮ４Ｄ 特征的混淆矩阵 Ｆｉｇ．７ Ｔｈｅ ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ ｏｆ ＨＯＮ４Ｄ ｆｅａｔｕｒｅ 图 ８ 相对距离特征的混淆矩阵 Ｆｉｇ．８ Ｔｈｅ ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ ｏｆ ｔｈｅ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎｓ ｆｅａｔｕｒｅ 图 ９ 自适应特征选择方法的混淆矩阵 Ｆｉｇ． ９ Ｔｈｅ ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ ｏｆ ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ 从混淆矩阵可以看出，在图 ２ 中（ｃ）（ｄ）（ｅ）（ｆ） （ｊ）（ｋ）这几种行为上，ＨＯＮ４Ｄ 特征的分类效果较 差，由此可以验证本文引入熵来作为判断该特征是 可以成立的。 关节点相对距离特征在图 ２（ ｃ） （ ｄ） （ｅ）（ｆ）（ｊ）（ｋ）这些行为上较有优势。 而本文提出 的特征选择方法，将这两种特征的优势进行了充分 的合并，结果有了很大的提高。 目前，基于该数据集的方法非常多。 由表 １ 可 知，目前大部分使用直接串联的特征效果并不理 想，使用本文中的两个特征时，整体的准确率只达 到了 ８６．２５％，由于特征关节点相对距离线性可分， 直接导致结果受到关节点相对距离的影响，其中 ＨＯＮ４Ｄ 特征就无法发挥作用。 表 １ 对比实验准确率 Ｔａｂｌｅ１ Ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｃｏｎｔｒａｓｔ ｅｘｐｅｒｉｍｅｎｔ 分类 具体方法 准确率／ ％ 单特征 ＨＯＰＣ ８１．７ ＳＮＶ ８６．２５ 特征融合 Ａｃｔｉｏｎｌｅｔ ８６．７５ ＲＧＧＰ ［１７］ ９０．４ 本文算法 ＨＯＮ４Ｄ ７８．５ ＨＯＮ４Ｄ（１２ 个关节点） ７９．３７５ 关节点相对距离 ８６．２５ 直接串联 ８６．２５ 自适应特征选择法 ９１．２５ ４ 总结 文中提出了特征自适应选择方法，此方法包括 ４ 个组成部分，即 ＨＯＮ４Ｄ 关节点模型、ＨＯＮ４Ｄ 关节 点组合模型、关节点相对距离模型和自适应特征选 择器。 首先我们根据 ＨＯＮ４Ｄ 的关节点特征训练得 到关节点随机森林的模型，根据平均熵结果为测试 投票结果的阈值，以此来权衡 ＨＯＮ４Ｄ 关节点特征 在此测试样本中是否存在较高的识别率。 本文提出 的方法在 ＭＳＲ⁃Ｄａｉｌｙ Ａｃｔｉｖｉｔｙ ３Ｄ 这个数据集上评估。 实 验结果表明，本文的方法确实有效。 参考文献： ［１］ＷＡＮＧ Ｊｉａｎｇ， ＬＩＵ Ｚｉｃｈｅｎｇ， ＷＵ Ｙｉｎｇ， ｅｔ ａｌ． Ｍｉｎｉｎｇ ａｃｔｉｏｎｌｅｔ ｅｎｓｅｍｂｌｅ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｄｅｐｔｈ ｃａｍｅｒａｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ ＣＶＰＲ ）． Ｐｒｏｖｉｄｅｎｃｅ， ＵＳＡ， ２０１２： １２９０－１２９７． ［２］ＹＡＮＧ Ｘｉａｏｄｏｎｇ， ＴＩＡＮ Ｙｉｎｇｌｉ． Ｓｕｐｅｒ ｎｏｒｍａｌ ｖｅｃｔｏｒ ｆｏｒ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｄｅｐｔｈ ｓｅｑｕｅｎｃｅｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ·６· 智 能 系 统 学 报 第 １２ 卷
第1期 龚冬颖，等：RGBD人体行为识别中的自适应特征选择方法 7 Columbus,USA,2014:804-811. [13]YU Gang,LIU Zicheng,YUAN Junsong.Discriminative [3 CHEN Chen,JAFARI R,KEHTARNAVAZ N.Action orderlet mining for real-time recognition of human-object recognition from depth sequences using depth motion maps- interaction[M]//CREMERS D,REID I,SAITO H,et al. based local binary patterns [C]//Proceedings of 2015 Computer Vision-ACCV 2014.Lecture Notes in Computer IEEE Winter Conference on Applications of Computer Science.Cham:Springer International Publishing,2015: Vision.Waikoloa,USA,2015:1092-1099. 50-65. [4]XIA LU,CHEN C C,AGGARWAL J K.View invariant human [14]CHAARAOUI AA,PADILLA-LOPEZ J R,FLOREZ- action recognition using histograms of 3D joints [C]// REVUELTA F.Fusion of skeletal and silhouette-based Proceedings of 2012 IEEE Computer Society Conference on features for human action recognition with RGB-D devices Computer Vision and Patter Recognition Workshops. [C]//Proceedings of 2013 IEEE International Conference Providence,USA,2012:20-27. on Computer Vision Workshops.Sydney,Australia, [5]LIU Jingen,ALI S,SHAH M.Recognizing human actions 2013:91-97. using multiple features [C]//Proceedings of 2008 IEEE [15]GAO Zan,ZHANG Hua,LIU AA,et al.Human action Conference on Computer Vision and Pattern Recognition. recognition on depth dataset[J].Neural computing and Anchorage,USA,2008:1-8. applications,2016,27(7):2047-2054. [6]WANG Liang,ZHOU Hang,LOW S C.et al.Action [16]LIU Zhi,ZHANG Chenyang,TIAN Yingli.3D-based deep recognition via multi-feature fusion and Gaussian process convolutional neural network for action recognition with classification C]//Proceedings of 2009 Workshop on depth sequences[J].Image and vision computing,2016, Applications of Computer Vision.Snowbird,USA,2009:1 55(2):93-100. -6. [17]LI Meng,LEUNG H,SHUM H P H.Human action [7]LIU Jia,YANG Jie,ZHANG Yi,et al.Action recognition recognitionvia skeletal and depth based feature fusion by multiple features and hyper-sphere multi-class SVM [C]//Proceedings of the 9th International Conference on [C]//Proceedings of the 20th International Conference on Motion in Games.Burlingame,USA,2016:123-132. Pattern Recognition.Istanbul,Turkey,2010:3744-3747. 作者简介： 8]BENMOKHTAR R.Robust human action recognition scheme 龚冬颖，女，1992年生，硕士研究 based on high-level feature fusion[J].Multimedia tools and 生，主要研究方向为行为识别、机器 applications,2014,69(2):253-275. 学习。 [9]TRAN K,KAKADIARIS I A,SHAH S K.Fusion of human posture features for continuous action recognition [C]/ Proceedings of the 11th European Conference on Trends and Topics in Computer Vision.Heraklion,Greece, 2010:244-257. 黄敏，女，1982年生，博士研究生， [10]OREIFEJ O,LIU Zicheng.HON4D:histogram of oriented 主要研究方向为行为识别、机器学习、 4D normals for activity recognition from depth sequences 目标检测和图像检索。 [C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,USA,2013: 716-723. [11]YANG Xiaodong,TIAN Yingli.Effective 3D action recognition 张洪博，男，1986年生，讲师，博士， using EigenJoints[J].Journal of visual communication and 主要研究方向为人体行为识别，主持国 image representation,2014,25(1):2-11. 家自然科学基金青年项目和福建省自 [12]RAHMANI H,MAHMOOD A.HUYNH D Q,et al.Real 然科学基金面上项目各1项，发表学术 time action recognition using histograms of depth gradients 论文多篇，其中被SCI、EI检索20余篇。 and random decision forests [C]//Proceedings of 2014 IEEE Winter Conference on Applications of Computer Vision.Steamboat Springs,USA,2014:626-633
Ｃｏｌｕｍｂｕｓ， ＵＳＡ， ２０１４： ８０４－８１１． ［３ ］ ＣＨＥＮ Ｃｈｅｎ， ＪＡＦＡＲＩ Ｒ， ＫＥＨＴＡＲＮＡＶＡＺ Ｎ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｄｅｐｔｈ ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ ｄｅｐｔｈ ｍｏｔｉｏｎ ｍａｐｓ⁃ ｂａｓｅｄ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１５ ＩＥＥＥ Ｗｉｎｔｅｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｗａｉｋｏｌｏａ， ＵＳＡ， ２０１５： １０９２－１０９９． ［４］ＸＩＡ ＬＵ， ＣＨＥＮ Ｃ Ｃ， ＡＧＧＡＲＷＡＬ Ｊ Ｋ． Ｖｉｅｗ ｉｎｖａｒｉａｎｔ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｈｉｓｔｏｇｒａｍｓ ｏｆ ３Ｄ ｊｏｉｎｔｓ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１２ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ． Ｐｒｏｖｉｄｅｎｃｅ， ＵＳＡ， ２０１２： ２０－２７． ［５］ ＬＩＵ Ｊｉｎｇｅｎ， ＡＬＩ Ｓ， ＳＨＡＨ Ｍ． Ｒｅｃｏｇｎｉｚｉｎｇ ｈｕｍａｎ ａｃｔｉｏｎｓ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ｆｅａｔｕｒｅｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００８ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ａｎｃｈｏｒａｇｅ， ＵＳＡ， ２００８： １－８． ［６］ ＷＡＮＧ Ｌｉａｎｇ， ＺＨＯＵ Ｈａｎｇ， ＬＯＷ Ｓ Ｃ， ｅｔ ａｌ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ａｎｄ Ｇａｕｓｓｉａｎ ｐｒｏｃｅｓｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００９ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓｎｏｗｂｉｒｄ， ＵＳＡ， ２００９： １ －６． ［７］ＬＩＵ Ｊｉａ， ＹＡＮＧ Ｊｉｅ， ＺＨＡＮＧ Ｙｉ， ｅｔ ａｌ． Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｍｕｌｔｉｐｌｅ ｆｅａｔｕｒｅｓ ａｎｄ ｈｙｐｅｒ⁃ｓｐｈｅｒｅ ｍｕｌｔｉ⁃ｃｌａｓｓ ＳＶＭ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｉｓｔａｎｂｕｌ， Ｔｕｒｋｅｙ， ２０１０： ３７４４－３７４７． ［８］ＢＥＮＭＯＫＨＴＡＲ Ｒ． Ｒｏｂｕｓｔ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｓｃｈｅｍｅ ｂａｓｅｄ ｏｎ ｈｉｇｈ⁃ｌｅｖｅｌ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ［Ｊ］． Ｍｕｌｔｉｍｅｄｉａ ｔｏｏｌｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１４， ６９（２）： ２５３－２７５． ［９］ＴＲＡＮ Ｋ， ＫＡＫＡＤＩＡＲＩＳ Ｉ Ａ， ＳＨＡＨ Ｓ Ｋ． Ｆｕｓｉｏｎ ｏｆ ｈｕｍａｎ ｐｏｓｔｕｒｅ ｆｅａｔｕｒｅｓ ｆｏｒ ｃｏｎｔｉｎｕｏｕｓ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｔｒｅｎｄｓ ａｎｄ Ｔｏｐｉｃｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｈｅｒａｋｌｉｏｎ， Ｇｒｅｅｃｅ， ２０１０： ２４４－２５７． ［１０］ＯＲＥＩＦＥＪ Ｏ， ＬＩＵ Ｚｉｃｈｅｎｇ． ＨＯＮ４Ｄ： ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ４Ｄ ｎｏｒｍａｌｓ ｆｏｒ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｄｅｐｔｈ ｓｅｑｕｅｎｃｅｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｐｏｒｔｌａｎｄ， ＵＳＡ， ２０１３： ７１６－７２３． ［１１］ＹＡＮＧ Ｘｉａｏｄｏｎｇ， ＴＩＡＮ Ｙｉｎｇｌｉ． Ｅｆｆｅｃｔｉｖｅ ３Ｄ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ＥｉｇｅｎＪｏｉｎｔｓ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｖｉｓｕａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ ｉｍａｇｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ２０１４， ２５（１）： ２－１１． ［１２］ＲＡＨＭＡＮＩ Ｈ， ＭＡＨＭＯＯＤ Ａ， ＨＵＹＮＨ Ｄ Ｑ， ｅｔ ａｌ． Ｒｅａｌ ｔｉｍｅ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｈｉｓｔｏｇｒａｍｓ ｏｆ ｄｅｐｔｈ ｇｒａｄｉｅｎｔｓ ａｎｄ ｒａｎｄｏｍ ｄｅｃｉｓｉｏｎ ｆｏｒｅｓｔｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１４ ＩＥＥＥ Ｗｉｎｔｅｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓｔｅａｍｂｏａｔ Ｓｐｒｉｎｇｓ， ＵＳＡ， ２０１４： ６２６－６３３． ［１３］ ＹＵ Ｇａｎｇ， ＬＩＵ Ｚｉｃｈｅｎｇ， ＹＵＡＮ Ｊｕｎｓｏｎｇ． Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｏｒｄｅｒｌｅｔ ｍｉｎｉｎｇ ｆｏｒ ｒｅａｌ⁃ｔｉｍｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｍａｎ⁃ｏｂｊｅｃｔ ｉｎｔｅｒａｃｔｉｏｎ［Ｍ］ ／ ／ ＣＲＥＭＥＲＳ Ｄ， ＲＥＩＤ Ｉ， ＳＡＩＴＯ Ｈ， ｅｔ ａｌ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ—ＡＣＣＶ ２０１４． Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ． Ｃｈａｍ： Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ， ２０１５： ５０－６５． ［１４］ ＣＨＡＡＲＡＯＵＩ Ａ Ａ， ＰＡＤＩＬＬＡ⁃ＬＯＰＥＺ Ｊ Ｒ， ＦＬＯＲＥＺ⁃ ＲＥＶＵＥＬＴＡ Ｆ． Ｆｕｓｉｏｎ ｏｆ ｓｋｅｌｅｔａｌ ａｎｄ ｓｉｌｈｏｕｅｔｔｅ⁃ｂａｓｅｄ ｆｅａｔｕｒｅｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ＲＧＢ⁃Ｄ ｄｅｖｉｃｅｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｗｏｒｋｓｈｏｐｓ． Ｓｙｄｎｅｙ， Ａｕｓｔｒａｌｉａ， ２０１３： ９１－９７． ［１５］ＧＡＯ Ｚａｎ， ＺＨＡＮＧ Ｈｕａ， ＬＩＵ Ａ Ａ， ｅｔ ａｌ． Ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｎ ｄｅｐｔｈ ｄａｔａｓｅｔ ［ Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔｉｎｇ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１６， ２７（７）： ２０４７－２０５４． ［１６］ＬＩＵ Ｚｈｉ， ＺＨＡＮＧ Ｃｈｅｎｙａｎｇ， ＴＩＡＮ Ｙｉｎｇｌｉ． ３Ｄ⁃ｂａｓｅｄ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｄｅｐｔｈ ｓｅｑｕｅｎｃｅｓ［ Ｊ］． Ｉｍａｇｅ ａｎｄ ｖｉｓｉｏｎ ｃｏｍｐｕｔｉｎｇ， ２０１６， ５５（２）： ９３－１００． ［１７］ ＬＩ Ｍｅｎｇ， ＬＥＵＮＧ Ｈ， ＳＨＵＭ Ｈ Ｐ Ｈ． Ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎｖｉａ ｓｋｅｌｅｔａｌ ａｎｄ ｄｅｐｔｈ ｂａｓｅｄ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｏｔｉｏｎ ｉｎ Ｇａｍｅｓ． Ｂｕｒｌｉｎｇａｍｅ， ＵＳＡ， ２０１６： １２３－１３２． 作者简介： 龚冬颖，女，１９９２ 年生，硕士研究 生，主要研究方 向 为 行 为 识 别、 机 器 学习。 黄敏，女，１９８２ 年生，博士研究生， 主要研究方向为行为识别、机器学习、 目标检测和图像检索。 张洪博，男，１９８６ 年生，讲师，博士， 主要研究方向为人体行为识别，主持国 家自然科学基金青年项目和福建省自 然科学基金面上项目各 １ 项，发表学术 论文多篇，其中被 ＳＣＩ、ＥＩ 检索 ２０ 余篇。 第 １ 期 龚冬颖，等：ＲＧＢＤ 人体行为识别中的自适应特征选择方法 ·７·
