·1049· 颜文靖，等：心理学视角下的自动表情识别 第5期 在个体与环境的互动过程中形成和调节的。因 是根据一个时刻的静态的表现就确定了的，而是 此，预测加工理论实际上是一种基于贝叶斯计算 在双方的互动过程中，根据反馈信息逐渐地校准 的建构论。 关于对方的情绪的评估，并最终让当事人的情绪 从预测加工理论的建构论视角来看，我们不 体验与之前的预测逐渐靠近，实现了最小知觉偏 应该努力地做所谓的“情绪分类”，即，不再基于 差。预测加工理论为这个互动建构过程提供了一 外部的行为与生理指标来推测当事人的内部有哪 个可计算的模型。 种情绪状态；而应该基于个体与他人及情境的互 动与建构去做“情绪理解”。唯有这样，我们在前 7结论 面陈述的情绪识别所遭遇的诸多困难有可能得以 综上所述，自动表情识别作为心理学与计算 化解。 机科学等深度交叉的前沿领域，受到了众多专家 在日常生活中，如果我们一开始就给他人的 的关注。我们梳理自动表情识别的心理学基础、 反应贴上具体的情绪标签，那么，很可能会因为 情绪的面部表达方式、表情数据的演化、表情样 情绪标签的片面性而误解了对方的情绪，或者因 本的标注等方面的理论观点与实践进展，然后分 为语言的抽象性而抽离了对方反应的生态意义， 析指出自动表情识别面临的主要问题，最后基于 使得具身(embody)的情绪体验变成了一个抽象 预测加工理论的建构观点，提出注重交互过程中 的情绪识别命题。在现实的交互过程中，情绪体 的表情“理解”。我们认为，情绪理解是动态的过 验是非常具体而鲜活的。人们会在交互过程中不 程，需要根据事件的进展而不断建构并修正自己 断地建构、修正对他人情绪的理解。例如，当我 的解释。因此，自动表情识别的研究重点应该着 看到一个人独自安静地坐在角落，可能会先形成 眼于对个体在与其他人或场景进行互动过程中的 一个假设：他现在不高兴。基于这个假设，我会 心理体验的理解。基于此，我们有理由期待，自 进一步预测：如果我现在去和他开玩笑，极有可 动表情识别的有效性可以进一步提高，并开启表 能会激惹他。这个预测更进一步激发我的下一个 情识别的2.0时代。 假设：在这个情景中我最好不要去打扰他。这个 假设将继续触发了我对与这个人互动的下一步的 参考文献： 预测…；在这个过程中，每一个环节上的假设 [1]DARWIN C.The expression of the emotions in man and 都会激活下一步的预测，这个预测又进一步成为 animals[M].New York:Appleton and Company,1872. 下一个环节的假设…。对当事人而言，在特定 [2] EKMAN P.An argument for basic emotions[J].Cogni- 情景中，时刻T的假设-预测链必然是以时刻 tion and emotion,1992,6(3/4):169-200. T-,的假设-预测链为前提而建构的，而在时刻 [3] EKMAN P.CORDARO D.What is meant by calling T1之前，还有时刻T2% emotions basic[J].Emotion review,2011,3(4):364-370. 同时，从对方的角度来看，那个静静坐在角落 [4] SARIYANIDI E,GUNES H,CAVALLARO A.Auto- 的人可能原本并没有特别的情绪，只是安静地坐 matic analysis of facial affect:a survey of registration, 在那里。但他觉察到我靠近他，又安静地离开，他 representation,and recognition[J].IEEE transactions on 也会形成一系列的假设-预测链，例如：这个人平 pattern analysis and machine intelligence,2015,37(6): 常会与我开玩笑，今天却表现得很冷漠，也许是 1113-1133. 他对我有不满意；也许是因为我之前什么事情令 [5] CRIVELLI C,FRIDLUND A J.Inside-out:from basic 他不高兴了…在这样的假设-预测链中，当事 emotions theory to the behavioral ecology view[J].Journ- 人事实上体验到了某种不高兴的情绪。因此，他 al of nonverbal behavior,2019,43(2):161-194. 的不高兴情绪并不是从一开始被我“识别”出来 [6] LI Shan,DENG Weihong.Deep facial expression recog- 的，而是在我和他的互动过程中建构出来的。 nition:a survey[J].IEEE transactions on affective com- 如果我在进入这个情景中的第一时间形成的 puting,2020(99):1. 假设是：他看起来很安静，我可以过去和他开开 [7] NOROOZI F.CORNEANU C A,KAMINSKA D,et al. 玩笑…则在我与他之间将形成另外不同的互动 Survey on emotional body gesture recognition[J].IEEE 模式，双方也将在另一种互动模式中建构另外的 transactions on affective computing,2021,12(2):505- 情绪体验。总之，在这个过程中，这个人的情绪 523 体验和表达，以及周围人对他的情绪的理解都不 [8] SAILUNAZ K.DHALIWAL M,ROKNE J,et al.Emo-在个体与环境的互动过程中形成和调节的[74]。因 此，预测加工理论实际上是一种基于贝叶斯计算 的建构论。 从预测加工理论的建构论视角来看，我们不 应该努力地做所谓的“情绪分类”，即，不再基于 外部的行为与生理指标来推测当事人的内部有哪 种情绪状态；而应该基于个体与他人及情境的互 动与建构去做“情绪理解”。唯有这样，我们在前 面陈述的情绪识别所遭遇的诸多困难有可能得以 化解。 在日常生活中，如果我们一开始就给他人的 反应贴上具体的情绪标签，那么，很可能会因为 情绪标签的片面性而误解了对方的情绪，或者因 为语言的抽象性而抽离了对方反应的生态意义， 使得具身（embody）的情绪体验变成了一个抽象 的情绪识别命题。在现实的交互过程中，情绪体 验是非常具体而鲜活的。人们会在交互过程中不 断地建构、修正对他人情绪的理解。例如，当我 看到一个人独自安静地坐在角落，可能会先形成 一个假设：他现在不高兴。基于这个假设，我会 进一步预测：如果我现在去和他开玩笑，极有可 能会激惹他。这个预测更进一步激发我的下一个 假设：在这个情景中我最好不要去打扰他。这个 假设将继续触发了我对与这个人互动的下一步的 预测……；在这个过程中，每一个环节上的假设 都会激活下一步的预测，这个预测又进一步成为 下一个环节的假设……。对当事人而言，在特定 情景中，时刻 T 的假设–预测链必然是以时刻 T−1 的假设–预测链为前提而建构的，而在时刻 T−1 之前，还有时刻 T−2…… [86] 同时，从对方的角度来看，那个静静坐在角落 的人可能原本并没有特别的情绪，只是安静地坐 在那里。但他觉察到我靠近他，又安静地离开，他 也会形成一系列的假设–预测链，例如：这个人平 常会与我开玩笑，今天却表现得很冷漠，也许是 他对我有不满意；也许是因为我之前什么事情令 他不高兴了……在这样的假设–预测链中，当事 人事实上体验到了某种不高兴的情绪。因此，他 的不高兴情绪并不是从一开始被我“识别”出来 的，而是在我和他的互动过程中建构出来的。 如果我在进入这个情景中的第一时间形成的 假设是：他看起来很安静，我可以过去和他开开 玩笑……则在我与他之间将形成另外不同的互动 模式，双方也将在另一种互动模式中建构另外的 情绪体验。总之，在这个过程中，这个人的情绪 体验和表达，以及周围人对他的情绪的理解都不 是根据一个时刻的静态的表现就确定了的，而是 在双方的互动过程中，根据反馈信息逐渐地校准 关于对方的情绪的评估，并最终让当事人的情绪 体验与之前的预测逐渐靠近，实现了最小知觉偏 差。预测加工理论为这个互动建构过程提供了一 个可计算的模型。 7 结论 综上所述，自动表情识别作为心理学与计算 机科学等深度交叉的前沿领域，受到了众多专家 的关注。我们梳理自动表情识别的心理学基础、 情绪的面部表达方式、表情数据的演化、表情样 本的标注等方面的理论观点与实践进展，然后分 析指出自动表情识别面临的主要问题，最后基于 预测加工理论的建构观点，提出注重交互过程中 的表情“理解”。我们认为，情绪理解是动态的过 程，需要根据事件的进展而不断建构并修正自己 的解释。因此，自动表情识别的研究重点应该着 眼于对个体在与其他人或场景进行互动过程中的 心理体验的理解。基于此，我们有理由期待，自 动表情识别的有效性可以进一步提高，并开启表 情识别的 2.0 时代。 参考文献： DARWIN C. The expression of the emotions in man and animals[M]. New York: Appleton and Company, 1872. [1] EKMAN P. An argument for basic emotions[J]. Cogni￾tion and emotion, 1992, 6(3/4): 169–200. [2] EKMAN P, CORDARO D. What is meant by calling emotions basic[J]. Emotion review, 2011, 3(4): 364–370. [3] SARIYANIDI E, GUNES H, CAVALLARO A. Auto￾matic analysis of facial affect: a survey of registration, representation, and recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(6): 1113–1133. [4] CRIVELLI C, FRIDLUND A J. Inside-out: from basic emotions theory to the behavioral ecology view[J]. Journ￾al of nonverbal behavior, 2019, 43(2): 161–194. [5] LI Shan, DENG Weihong. Deep facial expression recog￾nition: a survey[J]. IEEE transactions on affective com￾puting, 2020(99): 1. [6] NOROOZI F, CORNEANU C A, KAMIŃSKA D, et al. Survey on emotional body gesture recognition[J]. IEEE transactions on affective computing, 2021, 12(2): 505– 523. [7] [8] SAILUNAZ K, DHALIWAL M, ROKNE J, et al. Emo- ·1049· 颜文靖，等：心理学视角下的自动表情识别 第 5 期