第17卷 智能系统学报 ·1042· 自主神经通路 抑制信号 表情预表达 泄露 (大脑皮层运动区) 微表情 风说 险谎 非自主 情等 神经通路 表情预表达 (大脑皮层运动区) 微表情 终 自主神经通路 抑制信号 情绪产生 表情表达准备 微表情的产生 图2微表情的产生机制 Fig.2 The production mechanism of micro-expressions 2.3复杂表情 应的表达信号交织在一起。Keltner等B认为，当 一些学者关注“复杂表情”，以期能更好地解 考虑到不同的模态时，我们就应该认可存在24种 释“不太标准”的表情。一篇发表在PNAS上的颇 情绪状态的独特表达。 有影响力的文章对复杂表情的定义是：复杂表情 既然情绪表达是多方面的，那么在表情提供 是由基本表情组合而成的”。实验者要求参与者 的信息不充分的情况下，就可以加入其他通道的 学习原型表情，并且努力摆出原型表情的组合， 信息，如肢体动作、皮肤温度、语言内容、语气语 然后筛选出可以明确识别表情的图片。在此基础 调、外周生理信号和中枢神经活动等。理论上而 上，研究者对这些复杂表情的类别进行分类，得 言，多模态信息互相补充可以得到更加完整的 到了较高的准确率，认为该实验证明了22种情绪 更加确定的信号，因此应能获得更好的情绪识别 类别的表达和识别是一致的。 结果，而很多实证研究也证明了这一点。如果多 Li等2从社交网络中收集了表情图片，招募 模态信息能够让我们更准确地识别情绪，那么， 315名参与者对数以万计的图片进行标注，筛选 对机器来说，只要能获得足够的多模态数据，就 出多标签的表情图片，建立了一个复杂表情数据 能够通过深度学习，建立良好的情绪预测模型。 库RAF-ML。该数据库的标注采用的是6种基本 情绪的标签。如果某个标签的选择人数超过20%， 3表情数据的演化 则标定为存在该种情绪：如果有2个以上的标签 从最初的6种基本表情到更多类型的表情， 有20%人选择，则定义为多标签（复杂）情绪。这 从摆拍表情到自然表情，从实验室场景中的表情 个研究使用的是复杂表情的“操作性定义”。 到自然场景(in-the-wild)中的表情，从静态表情图 值得一提的是，虽然关于复杂情绪与表情的 片到动态表情视频，从表情的单一面部动作模式 研究工作大多是在基本情绪理论框架下开展的， 到表情的多模态信息，从小样本到大样本，表情 但是该理论的领袖人物Ekman早期并不认同“复 数据库的建设取得了巨大的进展，这是情绪心理 杂情绪”这个概念。Ekman认为在生理反应与行 学家和情感计算科学家共同努力的结果。 为表达上缺乏存在复杂表情的证据。在他看来， 研究者提升机器识别人类情绪的准确性的工 所谓复杂的情绪只是多个基本表情的序列呈现， 作主要集中在基于表情数据库训练出一个计算快 是混合(mixed)而非融合(blend)。 速的、鲁棒性高的模型43，努力使机器能够基于 2.4表情的多模态信息 表情准确分类表达者内心情绪的状态。显而易见 在过去的20年里，对情绪识别的研究已经超 的是，自动表情识别的准确性在很大程度上受制 越了对6种情绪的静态描述，开启了一种多模态 于数据库中样本标注的质量。 的、动态的行为模式，涉及面部动作、发声、身体 3.1从摆拍表情到自发的自然表情 运动、凝视、手势、头部运动、触摸，甚至气味 早期的表情数据库里大多是摆拍(posed)的 的描述情绪表达的方式。例如，凝视模式和头部 原型表情，如CK+、JAFFE7、MUG、RaFD9。 动作与尴尬0、自豪和敬畏B的体验，以及相 近年来的表情数据库更加关注表情样本的自发性自主神经通路 自主神经通路 表情预表达 (大脑皮层运动区) 表情预表达 (大脑皮层运动区) 抑制信号 抑制信号 泄露 终止 非自主 神经通路 情绪产生 表情表达准备 情绪 微表情 微表情 微表情的产生 高 风说 险谎 情等 景 ( ) 图 2 微表情的产生机制 Fig. 2 The production mechanism of micro-expressions 2.3 复杂表情 一些学者关注“复杂表情”，以期能更好地解 释“不太标准”的表情。一篇发表在 PNAS 上的颇 有影响力的文章对复杂表情的定义是：复杂表情 是由基本表情组合而成的[27]。实验者要求参与者 学习原型表情，并且努力摆出原型表情的组合， 然后筛选出可以明确识别表情的图片。在此基础 上，研究者对这些复杂表情的类别进行分类，得 到了较高的准确率，认为该实验证明了 22 种情绪 类别的表达和识别是一致的。 Li 等 [28] 从社交网络中收集了表情图片，招募 315 名参与者对数以万计的图片进行标注，筛选 出多标签的表情图片，建立了一个复杂表情数据 库 RAF-ML。该数据库的标注采用的是 6 种基本 情绪的标签。如果某个标签的选择人数超过 20%， 则标定为存在该种情绪；如果有 2 个以上的标签 有 20% 人选择，则定义为多标签（复杂）情绪。这 个研究使用的是复杂表情的“操作性定义”。 值得一提的是，虽然关于复杂情绪与表情的 研究工作大多是在基本情绪理论框架下开展的， 但是该理论的领袖人物 Ekman 早期并不认同“复 杂情绪”这个概念。Ekman[2] 认为在生理反应与行 为表达上缺乏存在复杂表情的证据。在他看来， 所谓复杂的情绪只是多个基本表情的序列呈现， 是混合（mixed）而非融合（blend）。 2.4 表情的多模态信息 在过去的 20 年里，对情绪识别的研究已经超 越了对 6 种情绪的静态描述，开启了一种多模态 的、动态的行为模式，涉及面部动作、发声、身体 运动、凝视、手势、头部运动、触摸，甚至气味[29] 的描述情绪表达的方式。例如，凝视模式和头部 动作与尴尬[30] 、自豪[31] 和敬畏[32] 的体验，以及相 应的表达信号交织在一起。Keltner 等 [33] 认为，当 考虑到不同的模态时，我们就应该认可存在 24 种 情绪状态的独特表达。 既然情绪表达是多方面的，那么在表情提供 的信息不充分的情况下，就可以加入其他通道的 信息，如肢体动作、皮肤温度、语言内容、语气语 调、外周生理信号和中枢神经活动等。理论上而 言，多模态信息互相补充可以得到更加完整的、 更加确定的信号，因此应能获得更好的情绪识别 结果，而很多实证研究也证明了这一点。如果多 模态信息能够让我们更准确地识别情绪，那么， 对机器来说，只要能获得足够的多模态数据，就 能够通过深度学习，建立良好的情绪预测模型。 3 表情数据的演化 从最初的 6 种基本表情到更多类型的表情， 从摆拍表情到自然表情，从实验室场景中的表情 到自然场景（in-the-wild）中的表情，从静态表情图 片到动态表情视频，从表情的单一面部动作模式 到表情的多模态信息，从小样本到大样本，表情 数据库的建设取得了巨大的进展，这是情绪心理 学家和情感计算科学家共同努力的结果。 研究者提升机器识别人类情绪的准确性的工 作主要集中在基于表情数据库训练出一个计算快 速的、鲁棒性高的模型[34-35] ，努力使机器能够基于 表情准确分类表达者内心情绪的状态。显而易见 的是，自动表情识别的准确性在很大程度上受制 于数据库中样本标注的质量。 3.1 从摆拍表情到自发的自然表情 早期的表情数据库里大多是摆拍（posed）的 原型表情，如 CK+[36] 、JAFFE[37] 、MUG[38] 、RaFD[39]。 近年来的表情数据库更加关注表情样本的自发性 第 17 卷 智 能 系 统 学 报 ·1042·