第17卷第2期 智能系统学报 Vol.17 No.2 2022年3月 CAAI Transactions on Intelligent Systems Mar.2022 D0:10.11992/tis.202107028 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20211202.1101.004.html 深度多尺度融合注意力残差人脸表情识别网络 高涛，杨朝晨，陈婷，邵倩，雷涛 (1.长安大学信息工程学院，陕西西安710000：2.陕西科技大学电子信息与人工智能学院，陕西西安 710021) 摘要：针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题，提 出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network,DMFA-ResNet)。该模 型基于ResNet-.50残差网络，设计了新的注意力残差模块，由7个具有三条支路的注意残差学习单元构成，能够 对输入图像进行并行多卷积操作，以获得多尺度特征，同时引入注意力机制，突出重点局部区域，有利于遮挡 图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息，简化网络复杂度，在保证感受野的 情况下减少计算量，实现网络抗过拟合效果。在3组数据集上的实验结果表明，本文提出的算法均优于对比的 其他先进方法。 关键词：人脸表情识别：残差网络：多尺度特征：注意力机制：遮挡人脸：卷积神经网络：特征融合：深度学习 中图分类号：TP391文献标志码：A 文章编号：1673-4785(2022)02-0393-09 中文引用格式：高涛，杨朝晨，陈婷，等.深度多尺度融合注意力残差人脸表情识别网络J.智能系统学报，2022,17(2)： 393-401. 英文引用格式：GAO Tao,YANG Zhaochen,,CHEN Ting,etal.Deep multiscale fusion attention residual network for facial expres- sion recognition CAAI transactions on intelligent systems,2022,17(2):393-401. Deep multiscale fusion attention residual network for facial expression recognition GAO Tao',YANG Zhaochen',CHEN Ting',SHAO Qian',LEI Tao (1.School of Information Engineering,Chang'an University,Xi'an 710000,China;2.School of Electronic Information and Artificial Intelligence,Shaanxi University of Science and Technology,Xi'an 710021,China) Abstract:This paper proposes a deep multiscale fusion attention residual network based on the ResNet-50 model to solve the problems of the diversification of facial expression presentation and the susceptibility of facial expression re- cognition to nonlinear factors,such as illumination,posture,and occlusion.A novel attention residual module consist- ing of seven attention residual learning units with three branches is designed to perform multiple convolution operations on the input image in parallel and obtain multiscale features.To highlight important local areas,the attention mechan- ism is introduced simultaneously,which is conducive to the feature learning of the occluded images.Furthermore,a novel transition layer is added between the attention residual modules to remove redundant information,simplify the network complexity,reduce the amount of calculation while ensuring the receptive field,and realize the anti-overfitting effect of the network.Experimental results on three datasets demonstrate that the proposed algorithm is superior to other advanced methods. Keywords:facial expression recognition;residual network;multiscale features;attention mechanism;occlusion of hu- man faces;convolution neural network;feature fusion;deep learning 情绪包含大量的情感信息，当人们面对面交 出来山。随着人工智能技术的飞速发展，人脸表 流时，情绪会自动或不自觉地通过面部表情表现 情识别(FER)已成为计算机图像处理中一个重要 的研究课题。 收稿日期：2021-07-16.网络出版日期：2021-12-05 人脸表情识别主要包括预处理、特征提取和 基金项目：国家重点研发计划项目(2019YFE0108300:国家自 然科学基金项目(62001058)：陕西省重点研发计划项 分类识别3个部分。其中，算法识别精度高低 目(2019GY-039:长安大学中央高校基本科研业务 费专项资金项目(300102241201). 主要由特征提取方法决定。人脸表情特征提取方 通信作者：陈婷.E-mail:tchenchd@I26.com 法主要分为基于传统特征提取的方法和基于深度DOI: 10.11992/tis.202107028 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20211202.1101.004.html 深度多尺度融合注意力残差人脸表情识别网络 高涛1 ，杨朝晨1 ，陈婷1 ，邵倩1 ，雷涛2 （1. 长安大学 信息工程学院, 陕西 西安 710000; 2. 陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021） 摘 要：针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题，提 出了一种深度多尺度融合注意力残差网络 (deep multi-scale fusion attention residual network, DMFA-ResNet)。该模 型基于 ResNet-50 残差网络，设计了新的注意力残差模块，由 7 个具有三条支路的注意残差学习单元构成，能够 对输入图像进行并行多卷积操作，以获得多尺度特征，同时引入注意力机制，突出重点局部区域，有利于遮挡 图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息，简化网络复杂度，在保证感受野的 情况下减少计算量，实现网络抗过拟合效果。在 3 组数据集上的实验结果表明，本文提出的算法均优于对比的 其他先进方法。 关键词：人脸表情识别；残差网络；多尺度特征；注意力机制；遮挡人脸；卷积神经网络；特征融合；深度学习 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2022)02−0393−09 中文引用格式：高涛, 杨朝晨, 陈婷, 等. 深度多尺度融合注意力残差人脸表情识别网络 [J]. 智能系统学报, 2022, 17(2): 393–401. 英文引用格式：GAO Tao, YANG Zhaochen, CHEN Ting, et al. Deep multiscale fusion attention residual network for facial expres￾sion recognition[J]. CAAI transactions on intelligent systems, 2022, 17(2): 393–401. Deep multiscale fusion attention residual network for facial expression recognition GAO Tao1 ，YANG Zhaochen1 ，CHEN Ting1 ，SHAO Qian1 ，LEI Tao2 (1. School of Information Engineering, Chang’an University, Xi’an 710000, China; 2. School of Electronic Information and Artificial Intelligence, Shaanxi University of Science and Technology, Xi’an 710021, China) Abstract: This paper proposes a deep multiscale fusion attention residual network based on the ResNet-50 model to solve the problems of the diversification of facial expression presentation and the susceptibility of facial expression re￾cognition to nonlinear factors, such as illumination, posture, and occlusion. A novel attention residual module consist￾ing of seven attention residual learning units with three branches is designed to perform multiple convolution operations on the input image in parallel and obtain multiscale features. To highlight important local areas, the attention mechan￾ism is introduced simultaneously, which is conducive to the feature learning of the occluded images. Furthermore, a novel transition layer is added between the attention residual modules to remove redundant information, simplify the network complexity, reduce the amount of calculation while ensuring the receptive field, and realize the anti-overfitting effect of the network. Experimental results on three datasets demonstrate that the proposed algorithm is superior to other advanced methods. Keywords: facial expression recognition; residual network; multiscale features; attention mechanism; occlusion of hu￾man faces; convolution neural network; feature fusion; deep learning 情绪包含大量的情感信息，当人们面对面交 流时，情绪会自动或不自觉地通过面部表情表现 出来[1]。随着人工智能技术的飞速发展，人脸表 情识别 (FER) 已成为计算机图像处理中一个重要 的研究课题。 人脸表情识别主要包括预处理、特征提取和 分类识别 3 个部分[2]。其中，算法识别精度高低 主要由特征提取方法决定。人脸表情特征提取方 法主要分为基于传统特征提取的方法和基于深度 收稿日期：2021−07−16. 网络出版日期：2021−12−05. 基金项目：国家重点研发计划项目 (2019YFE0108300); 国家自 然科学基金项目 (62001058); 陕西省重点研发计划项 目 (2019GY-039); 长安大学中央高校基本科研业务 费专项资金项目 (300102241201). 通信作者：陈婷. E-mail：tchenchd@126.com. 第 17 卷第 2 期 智 能 系 统 学 报 Vol.17 No.2 2022 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2022