第1期 龚冬颖，等：RGBD人体行为识别中的自适应特征选择方法 3· Actionlet Ensemble提出的傅里叶时间金字塔，此方 最终数据为(1+cc)个排序表，其中第1列为所有数 法能够很好地去除时间上对分类带来的影响。 据集对于其中一个行为的平均错误率。最终，从基 自适应特征选择方法 于整个数据集上的关节点升序表中取出前N个关 2 节点，将其HON4D特征串联，得到表观特征。 在本节中，我们将详细介绍自适应特征选择方 2.2基于熵的自适应特征选择方法 法。本文考虑了两种特征，即体现关节点表观信息 关节点相对位移特征，适用于运动变化较大的 的HON4D特征[1o和运动变化的关节点相对距离特 行为，如静止、站起、坐下等，而表观特征则可以刻 征。在特征选择上，基于关节点嫡进行自适应特征 画交互物体和局部细节变化的行为，如看书、打电 选择，人体行为识别方法如图1所示。 话等。因此，应根据行为的特点选择合适的特征。 选择器 为此，本文提出了基于嫡的自适应特征选择方法。 首先，为了评估表观特征对于各行为的判别 HON4D RE ◆ 分类 特征 力，我们将各关节点的表观特征输入RF模型，从训 练模型中得到决策树的投票结果，由投票结果的不 深度视频序列 确定性去判断该类特征在行为分类上是否具备代 关节点 F H 相对距 分类 表性。确定性强，表示该特征能够充分代表样本， 离特征 反之，则使用关节点相对位移。由于任何信息都存 骨架序列 在冗余，冗余的程度与不确定性有关，排除冗余后 图1自适应特征选择方法框架 的平均信息量称为“信息嫡”。不确定性函数为 Fig.1 The frame of adaptive feature selection method 1 fp)=log÷=-logp (3) 2.1特征介绍 p 首先，关节点相对距离特征以臀部为参考点， 对于整个信息源而言，嫡的定义为 计算每一帧内各关节点相对参考点的位移。记第i H(U)=E(-logP:)=-】 立pog P时 (4) 个关节点在第f帧的坐标为J,(=(,,),nmm =1 为关节点总数量，则每一帧的相对关节点位移为 因此，在本文的算法中，我们将在关节点特征 V(f)={J.(f-Jf)1i=2,3,4,…,nm;j=1} 的RF模型中引入熵的概念。行为c在训练数据集 (1) 的第s(s=1,2,…,S)个样本中的第n(n=1,2,…, 再将各帧的相对关节点位移串联，进行傅里叶变换，即 n)个关节点，通过使用随机森林模型得到的T棵 决策树，利用决策树进行投票分类，则每个关节点 F(u)=∫厂foe"a (2) 都会对训练样本产生投票结果。该样本的投票结 取变换后的低频信息，最终得到关节点相对距离特 果为(noa×cc)个，每个投票结果表示为？s,(i= 征。其次，在表观特征上，我们对HON4D进行了改 1,2,…,cc4s),投票的概率为 进，根据关节点判别力筛选出前N个判别力强的关 空se=gs/∑g成e (5) 节点特征。关节点判别力是指某个关节点的特征 在数据集上准确率的评判值。为了得到不同关节 由此得到每个样本的信息嫡，并求出个样本 点判别力评价，我们将每个关节点HON4D特征随 的平均信息嫡，因此在c。.类行为中可得到在该模型 机森林(RF)中进行模型训练，得到各个模型中的袋 的信息嫡En(n,=1,2,…,nJoint）。 外估计错误率，以便用来评价关节点的判别力。随 在训练模型中可以得到平均信息嫡，根据此信 机森林是一个具有T棵决策树的集成模型。本文 息嫡得到针对于此关节点模型的嫡的阈值。 采用自举采样法，在训练阶段，每棵决策树都会在 作为特征自适应选择的选择器时，测试样本在 训练集中生成自举采样，大约丢弃37%的样本，根 经过20个关节点模型时，可以类似于训练模型得到 据这些丢弃样本去计算袋外估计错误率。 20个嫡。本文中熵的意义为，HON4D特征的嫡越 对于给定行为c(c=1,2,…,cc),cu.为数据集 大信息不确定性越大，表示测试样本使用HON4D 的类别，根据各关节点p(p=1,2,…,ni)在相应的 不能准确描述行为，因此不使用关节点特征，而选 RF模型上计算的该行为上的袋外估计错误率，每个 择关节点相对距离特征。 行为将得到一个关节点错误率升序的排序表。则 在实验中，本文设定当测试样本的嫡超过训练Ａｃｔｉｏｎｌｅｔ Ｅｎｓｅｍｂｌｅ 提出的傅里叶时间金字塔，此方 法能够很好地去除时间上对分类带来的影响。 ２ 自适应特征选择方法 在本节中，我们将详细介绍自适应特征选择方 法。 本文考虑了两种特征，即体现关节点表观信息 的 ＨＯＮ４Ｄ 特征［１０］和运动变化的关节点相对距离特 征。 在特征选择上，基于关节点熵进行自适应特征 选择，人体行为识别方法如图 １ 所示。 图 １ 自适应特征选择方法框架 Ｆｉｇ．１ Ｔｈｅ ｆｒａｍｅ ｏｆ ａｄａｐｔｉｖｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ２．１ 特征介绍 首先，关节点相对距离特征以臀部为参考点， 计算每一帧内各关节点相对参考点的位移。 记第 ｉ 个关节点在第 ｆ 帧的坐标为 Ｊｉ（ ｆ） ＝ （ ｘ ｆ ｉ，ｙ ｆ ｉ，ｚ ｆ ｉ），ｎＪｏｉｎｔ 为关节点总数量，则每一帧的相对关节点位移为 Ｖ（ｆ） ＝ ｛Ｊｉ（ｆ） － Ｊｊ（ｆ） ｜ ｉ ＝ ２，３，４，…，ｎＪｏｉｎｔ； ｊ ＝ １｝ （１） 再将各帧的相对关节点位移串联，进行傅里叶变换，即 Ｆ（ω） ＝ ∫ ¥ －¥ ｆ（ｔ）ｅ －ｊａｘ ｄｔ （２） 取变换后的低频信息，最终得到关节点相对距离特 征。 其次，在表观特征上，我们对 ＨＯＮ４Ｄ 进行了改 进，根据关节点判别力筛选出前 Ｎ 个判别力强的关 节点特征。 关节点判别力是指某个关节点的特征 在数据集上准确率的评判值。 为了得到不同关节 点判别力评价，我们将每个关节点 ＨＯＮ４Ｄ 特征随 机森林（ＲＦ）中进行模型训练，得到各个模型中的袋 外估计错误率，以便用来评价关节点的判别力。 随 机森林是一个具有 Ｔ 棵决策树的集成模型。 本文 采用自举采样法，在训练阶段，每棵决策树都会在 训练集中生成自举采样，大约丢弃 ３７％的样本，根 据这些丢弃样本去计算袋外估计错误率。 对于给定行为 ｃ（ｃ ＝ １，２，…，ｃＣｌｓ），ｃＣｌｓ为数据集 的类别，根据各关节点 ｐ（ｐ ＝ １，２，…，ｎＪｏｉｎｔ）在相应的 ＲＦ 模型上计算的该行为上的袋外估计错误率，每个 行为将得到一个关节点错误率升序的排序表。 则 最终数据为（１＋ｃＣｌｓ）个排序表，其中第 １ 列为所有数 据集对于其中一个行为的平均错误率。 最终，从基 于整个数据集上的关节点升序表中取出前 Ｎ 个关 节点，将其 ＨＯＮ４Ｄ 特征串联，得到表观特征。 ２．２ 基于熵的自适应特征选择方法 关节点相对位移特征，适用于运动变化较大的 行为，如静止、站起、坐下等，而表观特征则可以刻 画交互物体和局部细节变化的行为，如看书、打电 话等。 因此，应根据行为的特点选择合适的特征。 为此，本文提出了基于熵的自适应特征选择方法。 首先，为了评估表观特征对于各行为的判别 力，我们将各关节点的表观特征输入 ＲＦ 模型，从训 练模型中得到决策树的投票结果，由投票结果的不 确定性去判断该类特征在行为分类上是否具备代 表性。 确定性强，表示该特征能够充分代表样本， 反之，则使用关节点相对位移。 由于任何信息都存 在冗余，冗余的程度与不确定性有关，排除冗余后 的平均信息量称为“信息熵”。 不确定性函数为 ｆ（ｐ） ＝ ｌｏｇ １ ｐ ＝ － ｌｏｇ ｐ （３） 对于整个信息源而言，熵的定义为 Ｈ（Ｕ） ＝ Ｅ（ － ｌｏｇ ｐｉ） ＝ － ∑ ｎ ｉ ＝ １ ｐｉ ｌｏｇ ｐｉ （４） 因此，在本文的算法中，我们将在关节点特征 的 ＲＦ 模型中引入熵的概念。 行为 ｃ 在训练数据集 的第 ｓ（ｓ ＝ １，２，…，Ｓ）个样本中的第 ｎｊ（ｎｊ ＝ １，２，…， ｎＪｏｉｎｔ）个关节点，通过使用随机森林模型得到的 Ｔ 棵 决策树，利用决策树进行投票分类，则每个关节点 都会对训练样本产生投票结果。 该样本的投票结 果为（ｎＪｏｉｎｔ ×ｃＣｌｓ ） 个，每个投票结果表示为 ｖ ｎｊ ，Ｓ，ｃ ｉ （ ｉ ＝ １，２，…，ｃＣｌｓ），投票的概率为 ｐ ｎｊ ，Ｓ，ｃ ｉ ＝ ｖ ｎｊ ，Ｓ，ｃ ｉ ／∑ ｃＣｌｓ ｋ ＝ １ ｖ ｎｊ ，Ｓ，ｃ ｋ （５） 由此得到每个样本的信息熵，并求出 Ｓ 个样本 的平均信息熵，因此在 ｃＣｌｓ类行为中可得到在该模型 的信息熵 Ｅｎｊ （ｎｊ ＝ １，２，…，ｎＪｏｉｎｔ）。 在训练模型中可以得到平均信息熵，根据此信 息熵得到针对于此关节点模型的熵的阈值。 作为特征自适应选择的选择器时，测试样本在 经过 ２０ 个关节点模型时，可以类似于训练模型得到 ２０ 个熵。 本文中熵的意义为，ＨＯＮ４Ｄ 特征的熵越 大信息不确定性越大，表示测试样本使用 ＨＯＮ４Ｄ 不能准确描述行为，因此不使用关节点特征，而选 择关节点相对距离特征。 在实验中，本文设定当测试样本的熵超过训练 第 １ 期 龚冬颖，等：ＲＧＢＤ 人体行为识别中的自适应特征选择方法 ·３·