·1045· 颜文靖，等：心理学视角下的自动表情识别 第5期 视觉和模式识别技术。所以，许多数据库也选择 们常常会遇到一些困难。在数据标注过程中，我 基于AU组合来做情绪标注，并获得了令人满意 们很难确定这些表情是否确切地反映了某种情 的效果，如Emotionet!。在情绪标注过程中，有 绪。虽然在数据采集过程中，我们收集了主观评 些数据库的开发人员基于AU组合的同时，也尽 价、评估了视频的情绪特点并进行了面部动作编 可能地考虑主观报告与视频的内容464切。但是， 码，但是却发现主观评估与面部动作有时并不匹 标注准确性依然会受到情绪体验与表情之间的一 配（基于基本情绪理论的观，点应该是匹配的）。而 致性水平的约束，因为只有提供了一致的表面形 且，我们还发现巨大的个体差异，例如，有些人看 态标准，计算机才可以对表情特征做很好的分类。 到恶心的内容会表现出大笑，但是这个大笑并不 4.4情感维度标注 等于“高兴”，然而当事人又说不清是什么情绪。 非摆拍条件下的表情照片中，符合原型表情 于是，虽然基于数据库的自动表情识别准确率非 的动作组合较少，所以基于原型表情模板进行情 常高，但是在现实生活情景中的识别准确率往往 绪类型的标注比较困难。而基于FACS提供的 不是很高，难以应用于实践。 “核心AU”分析也很难确认某个表情的情绪类别。 5.1问题一：表情与真实情绪体验的一致性 而根据情感维度模型，则没有必要假设独立的离 我们前期在微表情数据库的构建以及微表情 散的情绪类型。这种观点认为，少量的两极维度 分析等领域做了一些颇有成效的工作，但也发现 可以作为情感体验和情感识别的基本构件。这 情绪与表情的一致性并没有理论预期得那么高。 也是为什么许多非摆拍的样本也标注了维度，如 同时，大量研究也表明，人的内在情绪体验和外 AFEW-VAs,AffectNet!。 在表情、生理信号之间的相关性较低。 从愉快到不愉快的效价(Valence)维度在定 Durn等o进行了一项荟萃分析（元分析）. 义情绪体验和表达方面至关重要。这一维度能够 其包含了37篇关于情绪体验与原型表情之间关 被人类自动地、快速地识别出来，而且具有普遍 系的研究。研究通过计算相关系数，来确定一种 性6。毕竞，积极和消极的情感状态位于情感空 情绪与所设定表达之间的一致性程度（见表1）。 间的相反位置，它们以一种非常不同的方式被传 荟萃分析的结果显示，高兴与典型笑容的总体相 达。所以，效价似乎是非常容易标注的，而唤醒 关系数是0.40(95%的置信区间为0.310.49)。如 度(Arousal)的标注比较困难。例如，哭泣是唤醒 果我们把高兴(Happiness)和好玩(Amusement)看 程度低的情绪吗？生闷气的唤醒程度是否比哭泣 作是两种相互独立的情绪，那么与微笑相关的总 高呢，高多少呢？而且，在较低的效价和唤醒度 体估计值是：快乐为0.27[0.16,0.39]，好玩为0.52 状态下，人们哪怕有情绪体验，也往往面无表情。 [0.43,0.62]。而参与者在高兴时出现典型笑容的 自动表情识别面临的主要问题 概率是0.41[0.08,0.73]。如果把高兴和好玩分开 考虑，则高兴的概率为0.12[0.06,0.181，好玩的概 在实践中，从数据的标注到计算机的识别，我 率为0.47[0.09,0.84]。 表1情绪与原型表情表达关系的元分析结果(Duran,2017) Table 1 The meta-analysis for the relationship between felt emotions and prototypical facial expressions 情绪 被试数 相关系数(95%置信区间) 被试数 反应概率(95%置信区间) 高兴+好玩 1398 0.40[0.31,0.49 217 0.41[0.080.73] 高兴 732 0.27[0.16,0.39] 98 0.12[0.06,0.18] 好玩 666 0.52[0.43,0.62 119 0.47[0.09,0.84] 惊讶 168 0.24[0.04,0.44] 515 0.09[0.05,0.14] 厌恶 187 0.24[0.10,0.37J 279 0.32[0.14,0.50] 悲伤 247 0.41[0.200.63] 119 0.21[0.14,0.29] 愤怒 281 0.22[0.11,0.33] 133 0.28[0.20,0.35] 恐惧 60 0.11[-0.14,0.36 170 0.34[0.00,0.74] 在所有测试的情绪类别中，除了恐惧之外，其 然而，高于随机水平并不能说明特定情绪可以对 他情绪与原型表情的相关系数均高于随机水平。 应到特定表情。实际上，它们之间的相关性很视觉和模式识别技术。所以，许多数据库也选择 基于 AU 组合来做情绪标注，并获得了令人满意 的效果，如 Emotionet[49]。在情绪标注过程中，有 些数据库的开发人员基于 AU 组合的同时，也尽 可能地考虑主观报告与视频的内容[46-47]。但是， 标注准确性依然会受到情绪体验与表情之间的一 致性水平的约束，因为只有提供了一致的表面形 态标准，计算机才可以对表情特征做很好的分类。 4.4 情感维度标注 非摆拍条件下的表情照片中，符合原型表情 的动作组合较少，所以基于原型表情模板进行情 绪类型的标注比较困难。而基于 FACS 提供的 “核心 AU”分析也很难确认某个表情的情绪类别。 而根据情感维度模型，则没有必要假设独立的离 散的情绪类型。这种观点认为，少量的两极维度 可以作为情感体验和情感识别的基本构件[15]。这 也是为什么许多非摆拍的样本也标注了维度，如 AFEW-VA[68] ，AffectNet[34]。 从愉快到不愉快的效价（Valence）维度在定 义情绪体验和表达方面至关重要。这一维度能够 被人类自动地、快速地识别出来，而且具有普遍 性 [69]。毕竟，积极和消极的情感状态位于情感空 间的相反位置，它们以一种非常不同的方式被传 达 [69]。所以，效价似乎是非常容易标注的，而唤醒 度（Arousal）的标注比较困难。例如，哭泣是唤醒 程度低的情绪吗？生闷气的唤醒程度是否比哭泣 高呢，高多少呢？而且，在较低的效价和唤醒度 状态下，人们哪怕有情绪体验，也往往面无表情。 5 自动表情识别面临的主要问题 在实践中，从数据的标注到计算机的识别，我 们常常会遇到一些困难。在数据标注过程中，我 们很难确定这些表情是否确切地反映了某种情 绪。虽然在数据采集过程中，我们收集了主观评 价、评估了视频的情绪特点并进行了面部动作编 码，但是却发现主观评估与面部动作有时并不匹 配（基于基本情绪理论的观点应该是匹配的）。而 且，我们还发现巨大的个体差异，例如，有些人看 到恶心的内容会表现出大笑，但是这个大笑并不 等于“高兴”，然而当事人又说不清是什么情绪。 于是，虽然基于数据库的自动表情识别准确率非 常高，但是在现实生活情景中的识别准确率往往 不是很高，难以应用于实践。 5.1 问题一：表情与真实情绪体验的一致性 我们前期在微表情数据库的构建以及微表情 分析等领域做了一些颇有成效的工作，但也发现 情绪与表情的一致性并没有理论预期得那么高。 同时，大量研究也表明，人的内在情绪体验和外 在表情、生理信号之间的相关性较低。 Durán 等 [70] 进行了一项荟萃分析（元分析）， 其包含了 37 篇关于情绪体验与原型表情之间关 系的研究。研究通过计算相关系数，来确定一种 情绪与所设定表达之间的一致性程度（见表 1）。 荟萃分析的结果显示，高兴与典型笑容的总体相 关系数是 0.40（95% 的置信区间为 0.31~0.49）。如 果我们把高兴（Happiness）和好玩（Amusement）看 作是两种相互独立的情绪，那么与微笑相关的总 体估计值是：快乐为 0.27[0.16, 0.39]，好玩为 0.52 [0.43, 0.62]。而参与者在高兴时出现典型笑容的 概率是 0.41[0.08, 0.73]。如果把高兴和好玩分开 考虑，则高兴的概率为 0.12[0.06, 0.18]，好玩的概 率为 0.47[0.09, 0.84]。 表 1 情绪与原型表情表达关系的元分析结果（Duran，2017） Table 1 The meta-analysis for the relationship between felt emotions and prototypical facial expressions 情绪 被试数 相关系数（95%置信区间） 被试数 反应概率（95%置信区间） 高兴+好玩 1398 0.40[0.31, 0.49] 217 0.41 [0.08 0.73] 高兴 732 0.27[0.16, 0.39] 98 0.12[0.06, 0.18] 好玩 666 0.52[0.43, 0.62] 119 0.47[0.09, 0.84] 惊讶 168 0.24 [0.04, 0.44] 515 0.09 [0.05, 0.14] 厌恶 187 0.24 [0.10, 0.37] 279 0.32 [0.14, 0.50] 悲伤 247 0.41 [0.20 0.63] 119 0.21 [0.14, 0.29] 愤怒 281 0.22 [0.11, 0.33] 133 0.28 [0.20, 0.35] 恐惧 60 0.11 [–0. 14, 0.36] 170 0.34 [0.00, 0.74] 在所有测试的情绪类别中，除了恐惧之外，其 他情绪与原型表情的相关系数均高于随机水平。 然而，高于随机水平并不能说明特定情绪可以对 应到特定表情。实际上，它们之间的相关性很 ·1045· 颜文靖，等：心理学视角下的自动表情识别 第 5 期