第17卷第5期 智能系统学报 Vol.17 No.5 2022年9月 CAAI Transactions on Intelligent Systems Sep.2022 D0:10.11992/tis.202112056 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20220617.1819.008.html 心理学视角下的自动表情识别 颜文靖，蒋柯，傅小兰2 (1.温州医科大学精神医学学院浙江省阿尔茨海默病研究重点实验室，渐江温州325015,2.中国科学院心理 研究所脑与认知科学国家重点实验室，北京100101：3.中国科学院大学心理学系，北京100049) 摘要：自动表情识别是心理学与计算机科学等深度交叉的前沿领域。情绪心理学、模式识别、情感计算等领 域的研究者发展表情识别相关的理论、数据库和算法，极大地推动了自动表情识别技术的进步。文章基于心理 学视角，结合我们前期开展的相关工作，首先梳理自动表情识别的心理学基础、情绪的面部表达方式、表情数 据的演化、表情样本的标注等方面的理论观点与实践进展，然后分析指出自动表情识别面临的主要问题，最后 基于预测加工理论的建构观点，提出注重交互过程中的表情“理解”，有望进一步提高自动表情识别的有效性， 并预期这可能是自动表情识别研究的未来发展方向。 关键词：自动表情识别：基本情绪理论：情绪维度理论：表情数据库；建构论；情绪标注：微表情；面部动作 中图分类号：TP202:F407 文献标志码：A文章编号：1673-4785(2022)05-1039-15 中文引用格式：颜文靖，蒋柯，傅小兰.心理学视角下的自动表情识别.智能系统学报，2022,17(5)：1039-1053. 英文引用格式：YAN Wenjing,JIANG Ke,,FU Xiaolan..Automatic facial expression recognition from a psychological perspective. CAAI transactions on intelligent systems,2022,17(5):1039-1053. Automatic facial expression recognition from a psychological perspective YAN Wenjing',JIANG Ke',FU Xiaolan23 (1.School of Mental Health,Key Laboratory of Alzheimer's Disease of Zhejiang Province,Wenzhou Medical University,Wenzhou 325015,China;2.State Key Laboratory of Brain and Cognitive Science,Institute of Psychology,Chinese Academy of Sciences, Beijing 100101,China:3.Department of Psychology,University of the Chinese Academy of Sciences,Beijing 100049,China) Abstract:Automatic facial expression recognition is an interdisciplinary and frontier field,spanning psychology,com- puter science,and other research areas.Researchers in the fields of emotional psychology,pattern recognition,and af- fective computing develop expression recognition-related theories,databases,and algorithms,greatly progressing the automatic facial expression technologies.Combining the previous related work,the article first discusses the theoretical perspectives and practical advances in the psychological basis of automatic facial expression recognition,facial expres- sion approaches to emotions,facial expression database development,and emotion annotations.Then,it analyzes and highlights the primary issues in automatic expression recognition.Finally,based on the constructivism of the predictive processing theory,it proposes that attention must be paid to"understanding"the facial expressions in interpersonal inter- action to further improve the effectiveness of automatic facial expression recognition and be the future research direc- tion. Keywords:automatic expression recognition;basic emotion theory;dimension theory in emotion;database of facial ex- pressions,constructivism;emotion annotation;micro-expressions;facial actions 如果机器能够像人类一样，通过识别表情来 为实现这个美好的愿望，几十年来心理学与计算 了解他人的情绪状态，会是件多么美妙的事情。 机科学等领域的研究者付出了巨大的努力，构建 理论、采集数据和研发算法，推动自动表情识别 收稿日期：2021-12-30.网络出版日期：2022-06-20. 研究不断取得新进展。心理学在为自动表情识别 基金项目：温州市科技计划项目(G20210027). 通信作者：傅小兰.E-mail:fuxl@psych.ac.cn 提供思路和启发的同时，其情绪心理学分支也得DOI: 10.11992/tis.202112056 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20220617.1819.008.html 心理学视角下的自动表情识别 颜文靖1 ，蒋柯1 ，傅小兰2,3 （1. 温州医科大学 精神医学学院 浙江省阿尔茨海默病研究重点实验室, 浙江 温州 325015; 2. 中国科学院心理 研究所 脑与认知科学国家重点实验室, 北京 100101; 3. 中国科学院大学 心理学系, 北京 100049） 摘 要：自动表情识别是心理学与计算机科学等深度交叉的前沿领域。情绪心理学、模式识别、情感计算等领 域的研究者发展表情识别相关的理论、数据库和算法，极大地推动了自动表情识别技术的进步。文章基于心理 学视角，结合我们前期开展的相关工作，首先梳理自动表情识别的心理学基础、情绪的面部表达方式、表情数 据的演化、表情样本的标注等方面的理论观点与实践进展，然后分析指出自动表情识别面临的主要问题，最后 基于预测加工理论的建构观点，提出注重交互过程中的表情“理解”，有望进一步提高自动表情识别的有效性， 并预期这可能是自动表情识别研究的未来发展方向。 关键词：自动表情识别；基本情绪理论；情绪维度理论；表情数据库；建构论；情绪标注；微表情；面部动作 中图分类号：TP202; F407 文献标志码：A 文章编号：1673−4785(2022)05−1039−15 中文引用格式：颜文靖, 蒋柯, 傅小兰. 心理学视角下的自动表情识别 [J]. 智能系统学报, 2022, 17(5): 1039–1053. 英文引用格式：YAN Wenjing, JIANG Ke, FU Xiaolan. Automatic facial expression recognition from a psychological perspective[J]. CAAI transactions on intelligent systems, 2022, 17(5): 1039–1053. Automatic facial expression recognition from a psychological perspective YAN Wenjing1 ，JIANG Ke1 ，FU Xiaolan2,3 (1. School of Mental Health, Key Laboratory of Alzheimer’s Disease of Zhejiang Province, Wenzhou Medical University, Wenzhou 325015, China; 2. State Key Laboratory of Brain and Cognitive Science, Institute of Psychology, Chinese Academy of Sciences, Beijing 100101, China; 3. Department of Psychology, University of the Chinese Academy of Sciences, Beijing 100049, China) Abstract: Automatic facial expression recognition is an interdisciplinary and frontier field, spanning psychology, com￾puter science, and other research areas. Researchers in the fields of emotional psychology, pattern recognition, and af￾fective computing develop expression recognition-related theories, databases, and algorithms, greatly progressing the automatic facial expression technologies. Combining the previous related work, the article first discusses the theoretical perspectives and practical advances in the psychological basis of automatic facial expression recognition, facial expres￾sion approaches to emotions, facial expression database development, and emotion annotations. Then, it analyzes and highlights the primary issues in automatic expression recognition. Finally, based on the constructivism of the predictive processing theory, it proposes that attention must be paid to “understanding” the facial expressions in interpersonal inter￾action to further improve the effectiveness of automatic facial expression recognition and be the future research direc￾tion. Keywords: automatic expression recognition; basic emotion theory; dimension theory in emotion; database of facial ex￾pressions; constructivism; emotion annotation; micro-expressions; facial actions 如果机器能够像人类一样，通过识别表情来 了解他人的情绪状态，会是件多么美妙的事情。 为实现这个美好的愿望，几十年来心理学与计算 机科学等领域的研究者付出了巨大的努力，构建 理论、采集数据和研发算法，推动自动表情识别 研究不断取得新进展。心理学在为自动表情识别 提供思路和启发的同时，其情绪心理学分支也得 收稿日期：2021−12−30. 网络出版日期：2022−06−20. 基金项目：温州市科技计划项目（G20210027）. 通信作者：傅小兰. E-mail：fuxl@psych.ac.cn. 第 17 卷第 5 期 智 能 系 统 学 报 Vol.17 No.5 2022 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2022