·640· 智能系统学报 第15卷 器检测到两个学习目标。最终的混合模态识别准 反应与模态特征之间的对应关系，构建普适的稳 确率均达到82%左右。 健的情感模型是当前工程应用研究中急需解决且 就应用型情感识别系统而言，较具代表性的 具有挑战性的问题。文献[99]提出了一种归一化 是2007年Kapoor等6提出的学习伴侣系统，该 数据转换方法，将模态信号中依赖于个体的分量 系统不仅使用面部表情，还结合了皮肤电导、姿势 去除，构建不依赖于个体的共用特征空间，从而 等信息。该系统通过识别用户是否处于失落状态 消除模态数据特征个体差异性所带来的影响，实 而自动调整呈现的学习内容，给用户提供了极大 现了跨被试者、可迁移的非个体依赖的情感生理 的协助。Liu等7提出了一种将眼动和脑电图 状态识别，提出了更接近实际应用的情绪识别方法。 相结合的多模态情绪识别框架，利用提取出的特 目前大多的情绪识别模型训练需要花费大量 征对3类（正面、中性和负面）情绪进行识别。他 前期时间进行系统标定，这极大地限制了工程应 们所提出的双模态深度自编码器能够充分利用脑 用的场景，同时无标签多模态数据的获取相对比 神经信号（脑电）与外围生理信息（眼球运动）的 较容易，因此基于无标签样本的多模态学习对于 互补性来提高模型的情绪识别准确率，最终的准 工程应用具有重要意义。Du等2提出了一个多 确率达到91.01%。 视角深层生成多视图情绪识别模型，将无标签的 半监督分类问题转化为一个专门的缺失数据输人 工程应用的讨论与建议 任务，其中丢失的视图被视为一个潜在变量，并 要实现具有一定情绪识别功能的人机交互应 在推理过程中被整合出来。 用，建立自然的人机交互过程，需要满足数据高 6.3多模态在线系统设计 质量获取、识别过程中准确性和鲁棒性、在线识 当我们需要借助多种模态对情绪状态进行综 别的时效性这3个方面的要求。因此在实际工程 合分析时，首先工程应用过程中多种模态数据采 应用方面，我们针对数据的获取与处理、系统应 集仪器设备分别记录的每种模态信号在时间上必 用模型泛化设计、实时在线系统设计等方面的挑 须准确对应或同步。最直接方式是保证每种模态 战，提出了操作性建议以及在实践应用需要考虑 采集的频率一致，但在工程应用中要保证异质多 的问题。 源模态数据采集频率一致是不现实的。清华大学 6.1多模态情绪数据的获取与处理 高小榕团队1]使用伪随机序列编码信号同时标 情绪识别的实际应用过程中，如何快速准确 记视频和脑电信号的数据同步方法，完成了眼动 地采集高质量的多模态信号是一个关键问题。 仪与脑电同步采集平台的搭建。 2017德国柏林工业大学的脑机接口研究团队发 与多模态情绪识别离线算法分析不同，多模 布了一款可同时采集脑电信号、近红外光谱，以 态情绪识别在实际的工程应用中我们更强调系统 及其他常规生理参数（如心电、肌电和加速度 需要实时针对当前新的样本，不断学习新的特征 等)的无线模块化硬件架构。类似的高精准、 并保存大部分已经学习到的知识，适当调整模型 便携式、可扩展性的多生理参数采集硬件架构， 结构，从而不断提升模型的泛化能力。大连理工 是多模态情绪识别研究走向工程应用是先决条件。 大学赵亮提出一种多模态数据增量共聚类融 使用多模态进行情绪识别的意义在于通过不 合算法，设计了3种增量聚类策略，即簇创建、簇 同模态之间的情绪信息互补，融合各模态潜在的 合并和聚类划分，对多模态数据进行增量聚类融 共享信息，进而提升情绪识别任务的有效性。但 合，同时设计一种自适应的模态权重机制，在共 混合了各种异质高维的特征，带来的最直接问题 聚类融合过程中对模态权重进行动态调整以应对 就是维数灾难，从而显著降低了模型的性能。同 多模态数据处理的实时性问题。 时，数据中包含的负相关特征，也将会极大影响 7未来展望 模型识别的准确率，因此需要针对不同的数据源 采用合适的降维方法，保留数量适当且分类效果 本文对目前多模态情绪识别研究现状进行了 好的特征。 综述，包括情绪模型的描述、情绪诱发的范式设 6.2系统应用模型泛化设计 计、按多模态的融合层次介绍了各层次下的融合 情绪刺激反应普遍都存在着个体差异性和非 策略、不同模态类型混合的情绪识别方案，论证 平稳特性，即不同个体在面对同一刺激产生的情 了多模态融合技术可以极大提高情绪识别效果， 绪反应不尽相同，从这种差异中寻找稳定的情绪 同时对多模态情绪识别方法转为工程技术应用提器检测到两个学习目标。最终的混合模态识别准 确率均达到 82% 左右。 就应用型情感识别系统而言，较具代表性的 是 2007 年 Kapoor 等 [96] 提出的学习伴侣系统，该 系统不仅使用面部表情,还结合了皮肤电导、姿势 等信息。该系统通过识别用户是否处于失落状态 而自动调整呈现的学习内容，给用户提供了极大 的协助[23]。Liu 等 [97] 提出了一种将眼动和脑电图 相结合的多模态情绪识别框架，利用提取出的特 征对 3 类 (正面、中性和负面) 情绪进行识别。他 们所提出的双模态深度自编码器能够充分利用脑 神经信号 (脑电) 与外围生理信息 (眼球运动) 的 互补性来提高模型的情绪识别准确率，最终的准 确率达到 91.01%。 6 工程应用的讨论与建议 要实现具有一定情绪识别功能的人机交互应 用，建立自然的人机交互过程，需要满足数据高 质量获取、识别过程中准确性和鲁棒性、在线识 别的时效性这 3 个方面的要求。因此在实际工程 应用方面，我们针对数据的获取与处理、系统应 用模型泛化设计、实时在线系统设计等方面的挑 战，提出了操作性建议以及在实践应用需要考虑 的问题。 6.1 多模态情绪数据的获取与处理 情绪识别的实际应用过程中，如何快速准确 地采集高质量的多模态信号是一个关键问题。 2017 德国柏林工业大学的脑机接口研究团队发 布了一款可同时采集脑电信号、近红外光谱，以 及其他常规生理参数 (如心电、肌电和加速度 等) 的无线模块化硬件架构[98]。类似的高精准、 便携式、可扩展性的多生理参数采集硬件架构， 是多模态情绪识别研究走向工程应用是先决条件。 使用多模态进行情绪识别的意义在于通过不 同模态之间的情绪信息互补，融合各模态潜在的 共享信息，进而提升情绪识别任务的有效性。但 混合了各种异质高维的特征，带来的最直接问题 就是维数灾难，从而显著降低了模型的性能。同 时，数据中包含的负相关特征，也将会极大影响 模型识别的准确率，因此需要针对不同的数据源 采用合适的降维方法，保留数量适当且分类效果 好的特征。 6.2 系统应用模型泛化设计 情绪刺激反应普遍都存在着个体差异性和非 平稳特性，即不同个体在面对同一刺激产生的情 绪反应不尽相同，从这种差异中寻找稳定的情绪 反应与模态特征之间的对应关系，构建普适的稳 健的情感模型是当前工程应用研究中急需解决且 具有挑战性的问题。文献 [99] 提出了一种归一化 数据转换方法，将模态信号中依赖于个体的分量 去除，构建不依赖于个体的共用特征空间，从而 消除模态数据特征个体差异性所带来的影响，实 现了跨被试者、可迁移的非个体依赖的情感生理 状态识别，提出了更接近实际应用的情绪识别方法。 目前大多的情绪识别模型训练需要花费大量 前期时间进行系统标定，这极大地限制了工程应 用的场景，同时无标签多模态数据的获取相对比 较容易，因此基于无标签样本的多模态学习对于 工程应用具有重要意义。Du 等 [21] 提出了一个多 视角深层生成多视图情绪识别模型，将无标签的 半监督分类问题转化为一个专门的缺失数据输入 任务，其中丢失的视图被视为一个潜在变量，并 在推理过程中被整合出来。 6.3 多模态在线系统设计 当我们需要借助多种模态对情绪状态进行综 合分析时,首先工程应用过程中多种模态数据采 集仪器设备分别记录的每种模态信号在时间上必 须准确对应或同步。最直接方式是保证每种模态 采集的频率一致，但在工程应用中要保证异质多 源模态数据采集频率一致是不现实的。清华大学 高小榕团队[100] 使用伪随机序列编码信号同时标 记视频和脑电信号的数据同步方法，完成了眼动 仪与脑电同步采集平台的搭建。 与多模态情绪识别离线算法分析不同，多模 态情绪识别在实际的工程应用中我们更强调系统 需要实时针对当前新的样本，不断学习新的特征 并保存大部分已经学习到的知识，适当调整模型 结构，从而不断提升模型的泛化能力。大连理工 大学赵亮[101] 提出一种多模态数据增量共聚类融 合算法，设计了 3 种增量聚类策略，即簇创建、簇 合并和聚类划分，对多模态数据进行增量聚类融 合，同时设计一种自适应的模态权重机制，在共 聚类融合过程中对模态权重进行动态调整以应对 多模态数据处理的实时性问题。 7 未来展望 本文对目前多模态情绪识别研究现状进行了 综述，包括情绪模型的描述、情绪诱发的范式设 计、按多模态的融合层次介绍了各层次下的融合 策略、不同模态类型混合的情绪识别方案，论证 了多模态融合技术可以极大提高情绪识别效果， 同时对多模态情绪识别方法转为工程技术应用提 ·640· 智 能 系 统 学 报 第 15 卷