第17卷 智能系统学报 ·1040· 以蓬勃发展，并影响着自动表情识别的未来发展 理反应与行为表现)（见图1）：基本情绪能够被 方向。我们前期围绕情绪的相关问题（尤其是微 全人类识别。以这些观点为核心的理论被称为基 表情)，在心理学和计算机科学等学科交叉领域 本情绪理论。自动表情识别领域中的工作大多数 开展工作，考察了情绪与表情的关系、微表情的 是根据基本情绪理论进行情绪分类的。 行为特点，构建了3个微表情数据库和一个伪装 表情数据库，研发微表情和伪装表情自动识别与 检测算法等。 虽然自动表情识别已经取得了重大进展，但 是依然存在着一些问题，导致实际应用中存在困 难。我们在研究过程中也产生了有关情绪的面部 (a)中性 b)高兴 (c)惊讶 (d轻蔑 表达及数据标注等方面的困惑，并进行了反思。本 文基于心理学视角，首先系统地梳理自动表情识别 的心理学基础、情绪的面部表达方式、表情数据 的演化、表情样本的标注方法等方面的理论观点 与实践进展，然后分析指出自动表情识别面临的 主要问题，最后基于心理学的建构论，提出在人 (e)悲伤 ()恐惧 (g)厌恶 (h)愤怒 际交互过程中进行表情“理解”有望进一步提高自 动表情识别的有效性，并预期这可能是自动表情 图1 基本情绪对应的原型表情示例（模特为本文第一作者） Fig.1 An example of the prototypical facial expressions 识别研究的未来发展方向。本文是一篇从心理学 corresponding to the basic emotion theory (the mod- 视角下思考自动表情识别的理论性文章，而非综 el is the first author of this paper) 述性或实证性文章。主要梳理表情识别的心理学 基本情绪理论认为每种情绪都是一个整体。 基础、情绪的面部表达方式、表情数据的演化、表 例如，高兴意味着我们内心有愉悦的体验，身体上 情样本的标注等方面的理论观点与实践进展，对 有心跳加速等生理活动，并可能还有对应的外显 计算机识别出的“情绪”进行心理学视角的思考。 动作，如手舞足蹈、眉飞色舞等。这是一个封装 1表情识别的心理学基础 好的系统，一旦触动某种情绪则会引发一系列完 整、特定的反应B,。基本情绪理论顺应了人类认 情绪心理学中两大流派一基本情绪理论 识活动的一般趋势：对纷繁复杂的事物进行分 (basic emotion theory)和维度论(dimension ap- 析，形成清晰的、结构化的知识体系。使用这些 proach)一几乎是所有自动表情识别的心理学 简洁的类别标签，我们可以把复杂的情绪过程与 基础。其中基本情绪理论处于主流地位，因为它 性格特征归属为简单的类别，这不仅与多数人的 有清晰的理论框架，结构化的系统，且与人们的 生活体验相契合，也便于人们理解这些心理现象 常识体验相吻合。 并进行沟通交流，同时也为机器自动表情识别提 1.1基本情绪理论 供了一个结构化的理论框架。 早在1872年，达尔文在《人类与动物的表情》 根据基本情绪理论，不同的情绪类型是离散 一书中对表情进行了分类。20世纪60至70年 的，相互独立的，有特定的诱发原因、主观体验 代，Ekman'2-总结了基本情绪具有的11个特点， 生理唤醒和行为反应，那么主观的情绪体验一定 包括特定的普遍性信号(distinctive universal sig 会反映在生理与行为上，即个体会表达出可观测 nal)、灵长类动物共有(present in other primates)、特 的信号以区分内在的情绪体验，内在情绪体验与 定的生理反应(distinctive physiological response)、 外在信号的关系是有效的(valid)、特异的(specif- 特定的普遍诱发事件(distinctive universals in ante- ic)和普遍的(generalized)。所以，通过提取面部 cedent events)、一致的情绪性反应(coherence 动作、肢体动作T、语言内容)、音频信号例、外 among emotional response)、特定的主观感受(dis- 周生理变化（如心率、血压、皮肤电），和中枢神 tinctive subjective feeling)等。Ekman等认为，人类 经变化（如脑电波、血氧消耗）)等特征，研究者 拥有几类基本情绪，诸如高兴、悲伤、厌恶、愤 就可以推测个体内在的主观情绪体验。 怒、惊讶、恐惧等；这几类基本情绪是离散的、相 1.2情绪的维度论 互独立的；每类情绪都有其特定的主观体验、生 情绪的维度论由来已久。一个经典的情绪维以蓬勃发展，并影响着自动表情识别的未来发展 方向。我们前期围绕情绪的相关问题（尤其是微 表情），在心理学和计算机科学等学科交叉领域 开展工作，考察了情绪与表情的关系、微表情的 行为特点，构建了 3 个微表情数据库和一个伪装 表情数据库，研发微表情和伪装表情自动识别与 检测算法等。 虽然自动表情识别已经取得了重大进展，但 是依然存在着一些问题，导致实际应用中存在困 难。我们在研究过程中也产生了有关情绪的面部 表达及数据标注等方面的困惑，并进行了反思。本 文基于心理学视角，首先系统地梳理自动表情识别 的心理学基础、情绪的面部表达方式、表情数据 的演化、表情样本的标注方法等方面的理论观点 与实践进展，然后分析指出自动表情识别面临的 主要问题，最后基于心理学的建构论，提出在人 际交互过程中进行表情“理解”有望进一步提高自 动表情识别的有效性，并预期这可能是自动表情 识别研究的未来发展方向。本文是一篇从心理学 视角下思考自动表情识别的理论性文章，而非综 述性或实证性文章。主要梳理表情识别的心理学 基础、情绪的面部表达方式、表情数据的演化、表 情样本的标注等方面的理论观点与实践进展，对 计算机识别出的“情绪”进行心理学视角的思考。 1 表情识别的心理学基础 情绪心理学中两大流派−基本情绪理论 （basic emotion theory）和维度论（dimension ap￾proach）−几乎是所有自动表情识别的心理学 基础。其中基本情绪理论处于主流地位，因为它 有清晰的理论框架，结构化的系统，且与人们的 常识体验相吻合。 1.1 基本情绪理论 早在 1872 年，达尔文在《人类与动物的表情》 一书中对表情进行了分类[1]。20 世纪 60 至 70 年 代，Ekman[2-3] 总结了基本情绪具有的 11 个特点， 包括特定的普遍性信号（distinctive universal sig￾nal）、灵长类动物共有 (present in other primates)、特 定的生理反应 (distinctive physiological response)、 特定的普遍诱发事件 (distinctive universals in ante￾cedent events)、一致的情绪性反应（coherence among emotional response）、特定的主观感受（dis￾tinctive subjective feeling）等。Ekman 等认为，人类 拥有几类基本情绪，诸如高兴、悲伤、厌恶、愤 怒、惊讶、恐惧等；这几类基本情绪是离散的、相 互独立的；每类情绪都有其特定的主观体验、生 理反应与行为表现[2] （见图 1）；基本情绪能够被 全人类识别。以这些观点为核心的理论被称为基 本情绪理论。自动表情识别领域中的工作大多数 是根据基本情绪理论进行情绪分类的[4]。 (a) 中性 (b) 高兴 (c) 惊讶 (d) 轻蔑 (e) 悲伤 (f) 恐惧 (g) 厌恶 (h) 愤怒 图 1 基本情绪对应的原型表情示例 (模特为本文第一作者) Fig. 1 An example of the prototypical facial expressions corresponding to the basic emotion theory (the mod￾el is the first author of this paper) 基本情绪理论认为每种情绪都是一个整体。 例如，高兴意味着我们内心有愉悦的体验，身体上 有心跳加速等生理活动，并可能还有对应的外显 动作，如手舞足蹈、眉飞色舞等。这是一个封装 好的系统，一旦触动某种情绪则会引发一系列完 整、特定的反应[3,5]。基本情绪理论顺应了人类认 识活动的一般趋势：对纷繁复杂的事物进行分 析，形成清晰的、结构化的知识体系。使用这些 简洁的类别标签，我们可以把复杂的情绪过程与 性格特征归属为简单的类别，这不仅与多数人的 生活体验相契合，也便于人们理解这些心理现象 并进行沟通交流，同时也为机器自动表情识别提 供了一个结构化的理论框架。 根据基本情绪理论，不同的情绪类型是离散 的，相互独立的，有特定的诱发原因、主观体验、 生理唤醒和行为反应，那么主观的情绪体验一定 会反映在生理与行为上，即个体会表达出可观测 的信号以区分内在的情绪体验，内在情绪体验与 外在信号的关系是有效的（valid）、特异的（specif￾ic）和普遍的（generalized）。所以，通过提取面部 动作[6] 、肢体动作[7] 、语言内容[8] 、音频信号[9] 、外 周生理变化（如心率、血压、皮肤电）[10] ，和中枢神 经变化（如脑电波、血氧消耗）[11] 等特征，研究者 就可以推测个体内在的主观情绪体验。 1.2 情绪的维度论 情绪的维度论由来已久。一个经典的情绪维 第 17 卷 智 能 系 统 学 报 ·1040·