工程科学学报.第44卷.第1期：104-113.2022年1月 Chinese Journal of Engineering,Vol.44,No.1:104-113,January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.06.15.006;http://cje.ustb.edu.cn 基于S-LRCN的微表情识别算法 李学翰)，胡四泉2)四，石志国12，)，张明 1)北京科技大学计算机与通信工程学院，北京1000832)北京科技大学顺德研究生院.佛山5283993)北京市大数据中心，北京100101 4)电子科技大学通信与信息工程学院，成都611731 ☒通信作者，E-mail:husiquan@ustb.edu.cn 摘要基于面部动态表情序列，针对静态表情缺少时间信息等问题，将空间特征与时间特征融合，利用神经网络在图像分 类领域良好的特征，对需要进行细节分析的表情序列进行处理，提出基于分离式长期循环卷积网络(Separate long-term recurrent convolutional networks,S-LRCN)的微表情识别方法.首先选取微表情数据集提取面部图像序列，引入迁移学习的方 法，通过预训练的卷积神经网络模型提取表情帧的空间特征，降低网络训练中过拟合的危险，并将视频序列的提取特征输入 长短期记忆网络(Long short--team memory,LSTM)处理时域特征.最后建立学习者表情序列小型数据库，将该方法用于辅助 教学评价. 关键词微表情识别：时空特征：长期递归卷积网络：长短期记忆网络：教学评价 分类号TP391.4 Micro-expression recognition algorithm based on separate long-term recurrent convolutional network LI Xue-han,HU Si-quan2,SHI Zhi-guo 2),ZHANG Ming 1)School of Computer and Communication Engineering.University of Science and Technology Beijing,Beijing 00083,China 2)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528399,China 3)Beijing Big Data Center,Beijing 100101,China 4)School of Information and Communication Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China Corresponding author,E-mail:husiquan@ustb.edu.cn ABSTRACT With the rapid development of machine learning and deep neural network and the popularization of intelligent devices, face recognition technology has rapidly developed.At present,the accuracy of face recognition has exceeded that of the human eyes. Moreover,the software and hardware conditions of large-scale popularization are available,and the application fields are widely distributed.As an important part of face recognition technology,facial expression recognition has been a widely studied subject in the fields of artificial intelligence,security,automation,medical treatment,and driving in recent years.Expression recognition,an active research area in human-computer interaction,involves informatics and psychology and has good research prospect in teaching evaluation.Micro-expression,which has great research significance,is a kind of short-lived facial expression that humans unconsciously make when trying to hide some emotion.Different from the general static facial expression recognition,to realize micro-expression recognition,besides extracting the spatial feature information of facial expression deformation in the image,the temporal-motion information of the continuous image sequence also needs to be considered.In this study,given that static expression features lack temporal information,so that the subtle changes in expression cannot be fully reflected,facial dynamic expression sequences were used 收稿日期：2020-06-15 基金项目：国家自然科学基金资助项目(61977005)：四川省科技计划资助项目(2018 GZDZX0034):北京科技大学顺德研究生院科技创新 专项资助项目(BK19CF003):北京市科技计划资助项目(Z201100004220010)基于 S-LRCN 的微表情识别算法 李学翰1)，胡四泉1,2) 苣，石志国1,2,3)，张    明4) 1) 北京科技大学计算机与通信工程学院，北京 100083    2) 北京科技大学顺德研究生院，佛山 528399    3) 北京市大数据中心，北京 100101    4) 电子科技大学通信与信息工程学院，成都 611731 苣通信作者， E-mail: husiquan@ustb.edu.cn 摘    要    基于面部动态表情序列，针对静态表情缺少时间信息等问题，将空间特征与时间特征融合，利用神经网络在图像分 类领域良好的特征，对需要进行细节分析的表情序列进行处理，提出基于分离式长期循环卷积网络 (Separate long-term recurrent convolutional networks, S-LRCN) 的微表情识别方法. 首先选取微表情数据集提取面部图像序列，引入迁移学习的方 法，通过预训练的卷积神经网络模型提取表情帧的空间特征，降低网络训练中过拟合的危险，并将视频序列的提取特征输入 长短期记忆网络 (Long short-team memory, LSTM) 处理时域特征. 最后建立学习者表情序列小型数据库，将该方法用于辅助 教学评价. 关键词    微表情识别；时空特征；长期递归卷积网络；长短期记忆网络；教学评价 分类号    TP391.4 Micro-expression  recognition  algorithm  based  on  separate  long-term  recurrent convolutional network LI Xue-han1) ，HU Si-quan1,2) 苣 ，SHI Zhi-guo1,2,3) ，ZHANG Ming4) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528399, China 3) Beijing Big Data Center, Beijing 100101, China 4) School of Information and Communication Engineering, University of Electronic Science and Technology of China, Chengdu 611731, China 苣 Corresponding author, E-mail: husiquan@ustb.edu.cn ABSTRACT    With the rapid development of machine learning and deep neural network and the popularization of intelligent devices, face recognition technology has rapidly developed. At present, the accuracy of face recognition has exceeded that of the human eyes. Moreover,  the  software  and  hardware  conditions  of  large-scale  popularization  are  available,  and  the  application  fields  are  widely distributed. As an important part of face recognition technology, facial expression recognition has been a widely studied subject in the fields of artificial intelligence, security, automation, medical treatment, and driving in recent years. Expression recognition, an active research  area  in  human –computer  interaction,  involves  informatics  and  psychology  and  has  good  research  prospect  in  teaching evaluation. Micro-expression, which has great research significance, is a kind of short-lived facial expression that humans unconsciously make  when  trying  to  hide  some  emotion.  Different  from  the  general  static  facial  expression  recognition,  to  realize  micro-expression recognition,  besides  extracting  the  spatial  feature  information  of  facial  expression  deformation  in  the  image,  the  temporal-motion information  of  the  continuous  image  sequence  also  needs  to  be  considered.  In  this  study,  given  that  static  expression  features  lack temporal information, so that the subtle changes in expression cannot be fully reflected, facial dynamic expression sequences were used 收稿日期: 2020−06−15 基金项目: 国家自然科学基金资助项目（61977005）；四川省科技计划资助项目（2018GZDZX0034）；北京科技大学顺德研究生院科技创新 专项资助项目（BK19CF003）；北京市科技计划资助项目（Z201100004220010） 工程科学学报，第 44 卷，第 1 期：104−113，2022 年 1 月 Chinese Journal of Engineering, Vol. 44, No. 1: 104−113, January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.06.15.006; http://cje.ustb.edu.cn