第3期 孙倩茹，等：视频序列的人体运动描述方法综述 ·195· 合要求严格正确的归一化操作.如果特征之间存在 严重的维度差异，就必须调整特征空间的维度，否则 特征融合之后的性能反而会变得很差， 4.2决策层面的融合方法 决策层面的融合是指首先使用多种特征分别训 (a)特征选择结果1 练分类器，然后将得到的几个分类决策进行判决得 到最终的分类或者识别结果.显然，这种方法是以独 立特征的识别结果为前提的。 表1是典型人体运动特征建立、特征选择和特 征融合等方法在典型人体运动数据库[4,1]上的识别 率的比较。 表1典型的运动描述方法的识别率比较 (b)特征选择结果2 Table 1 Recognition rates of traditional action representa- 图8使用PageRank方法得到的特征选择结果 tion methods % Fig.8 Feature selection using PageRank 人体描 KTH WEIZMANN 上述2种特征选择方法利用了特征在分类时表 述方法 数据库 数据库 现的不同类间区分能力，其中滤纸法在不进行任何 Sun[2s] 100.00 训练的情况下，力求得到可以实现最优二分类的独 Sun(3s] 94.00 97.80 立特征也就是说，该方法在选择特征的时候不考虑 Lint36] 93.43 类间公共特征.与此不同的是包装器法利用同一特 Wang[) 92.51 100.00 征在不同运动类别上表现出来的特性，通过训练分 Liu(35) 92.30 一 类器根据类间独立特征和类间共享特征对运动分类 Ikizler[0] 94.00 90.50 100.00 的影响进行评估，进而评价特征的优劣，实现最终的 Fathito] Zhang(a) 91.33 92.89 特征选择 Klaser[22) 91.40 84.30 4特征融合方法 Niebles[27] 83.30 90.00 Liul4] 94.16 特征融合是指为了得到更好的运动表示模型和 Zhaol4] 91.17 89.92 更高的运动识别率，将来自不同获取渠道的特征进 Gilbert[45] Savaresel4 86.83 行合理的信息融合.一般来说，只有对具有互补作用 Nowozin【4J 84.72 的特征进行融合时才会提高运动识别率.另外，由于 Dollar[20) 81.17 85.20 不同特征在维度、尺度和可行性上都有区别，所以直 接融合反而会带来性能的降低.由此可见，合理有效 总结与展望 的融合算法是极为重要的现有的特征融合方法一 视频中的人体运动描述作为一个新的研究领 般可以划分为2种：特征层面的融合和决策层面的 域，在实际应用上存在着很多问题，在今后的若干年 融合 中仍会是一个研究热点如下几个方面已经成为未 4.1特征层面的融合方法 来的发展趋势。 所谓特征层面的融合，是指对不同特征的特征 1)从视频中获取足够显著的人体运动特征.基 空间进行合并，最终使用一个融合之后的特征对运 于视频的人体运动特征提取是人体运动识别领域的 动进行表示.这是最常见的一种融合思路.Lin等[36 重要研究内容.由于人体是非刚性结构，且运动过程 指出可以将运动特征和形状特征进行加权融合，其 中存在遮挡等问题，使得基于视频的人体运动捕获 中各项的最优权值利用部分训练样本的交叉验证计 非常困难：然而目前国内外的研究成果对诸多问题 算得到.Schindler等[3]将3类局部特征（时空梯度、 进行简化，且大多只能对标准数据库中的运动进行 光流、ST)进行了融合，在统一框架的实验中提升 有效的捕获.从实际场景的运动视频中捕获、提取出 了4.5%的人体运动识别率. 显著的人体运动信息始终是推动整个运动识别领域 这类方法比较直观简单，但是特征直方图的融 发展的重要研究方向.图 ８ 使用 ＰａｇｅＲａｎｋ 方法得到的特征选择结果 Ｆｉｇ．８ Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｕｓｉｎｇ ＰａｇｅＲａｎｋ 上述 ２ 种特征选择方法利用了特征在分类时表 现的不同类间区分能力，其中滤纸法在不进行任何 训练的情况下，力求得到可以实现最优二分类的独 立特征．也就是说，该方法在选择特征的时候不考虑 类间公共特征．与此不同的是包装器法利用同一特 征在不同运动类别上表现出来的特性，通过训练分 类器根据类间独立特征和类间共享特征对运动分类 的影响进行评估，进而评价特征的优劣，实现最终的 特征选择． ４ 特征融合方法 特征融合是指为了得到更好的运动表示模型和 更高的运动识别率，将来自不同获取渠道的特征进 行合理的信息融合．一般来说，只有对具有互补作用 的特征进行融合时才会提高运动识别率．另外，由于 不同特征在维度、尺度和可行性上都有区别，所以直 接融合反而会带来性能的降低．由此可见，合理有效 的融合算法是极为重要的．现有的特征融合方法一 般可以划分为 ２ 种：特征层面的融合和决策层面的 融合． ４．１ 特征层面的融合方法 所谓特征层面的融合，是指对不同特征的特征 空间进行合并，最终使用一个融合之后的特征对运 动进行表示．这是最常见的一种融合思路．Ｌｉｎ 等［３６］ 指出可以将运动特征和形状特征进行加权融合，其 中各项的最优权值利用部分训练样本的交叉验证计 算得到．Ｓｃｈｉｎｄｌｅｒ 等［３７］将 ３ 类局部特征（时空梯度、 光流、ＳＩＦＴ）进行了融合，在统一框架的实验中提升 了 ４．５％的人体运动识别率． 这类方法比较直观简单，但是特征直方图的融 合要求严格正确的归一化操作．如果特征之间存在 严重的维度差异，就必须调整特征空间的维度，否则 特征融合之后的性能反而会变得很差． ４．２ 决策层面的融合方法 决策层面的融合是指首先使用多种特征分别训 练分类器，然后将得到的几个分类决策进行判决得 到最终的分类或者识别结果．显然，这种方法是以独 立特征的识别结果为前提的． 表 １ 是典型人体运动特征建立、特征选择和特 征融合等方法在典型人体运动数据库［４，１９］上的识别 率的比较． 表 １ 典型的运动描述方法的识别率比较 Ｔａｂｌｅ １ Ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｏｆ ｔｒａｄｉｔｉｏｎａｌ ａｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔａ⁃ ｔｉｏｎ ｍｅｔｈｏｄｓ ％ 人体描 述方法 ＫＴＨ 数据库［１９］ ＷＥＩＺＭＡＮＮ 数据库［４］ Ｓｕｎ ［２８］ — １００．００ Ｓｕｎ ［３８］ ９４．００ ９７．８０ Ｌｉｎ ［３６］ ９３．４３ — Ｗａｎｇ ［３９］ ９２．５１ １００．００ Ｌｉｕ ［３５］ ９２．３０ — Ｉｋｉｚｌｅｒ ［４０］ ９４．００ — Ｆａｔｈｉ ［１０］ ９０．５０ １００．００ Ｚｈａｎｇ ［４１］ ９１．３３ ９２．８９ Ｋｌäｓｅｒ ［４２］ ９１．４０ ８４．３０ Ｎｉｅｂｌｅｓ ［２７］ ８３．３０ ９０．００ Ｌｉｕ ［４３］ ９４．１６ — Ｚｈａｏ ［４４］ ９１．１７ — Ｇｉｌｂｅｒｔ ［４５］ ８９．９２ — Ｓａｖａｒｅｓｅ ［４６］ ８６．８３ — Ｎｏｗｏｚｉｎ ［４７］ ８４．７２ — Ｄｏｌｌａｒ ［２０］ ８１．１７ ８５．２０ ５ 总结与展望 视频中的人体运动描述作为一个新的研究领 域，在实际应用上存在着很多问题，在今后的若干年 中仍会是一个研究热点．如下几个方面已经成为未 来的发展趋势． １）从视频中获取足够显著的人体运动特征．基 于视频的人体运动特征提取是人体运动识别领域的 重要研究内容．由于人体是非刚性结构，且运动过程 中存在遮挡等问题，使得基于视频的人体运动捕获 非常困难；然而目前国内外的研究成果对诸多问题 进行简化，且大多只能对标准数据库中的运动进行 有效的捕获．从实际场景的运动视频中捕获、提取出 显著的人体运动信息始终是推动整个运动识别领域 发展的重要研究方向． 第 ３ 期 孙倩茹，等：视频序列的人体运动描述方法综述 ·１９５·