第6期 徐玮，等：基于双注意力模型和迁移学习的Apex帧微表情识别 ·1019· 文在使用Focal Loss函数的基础上进行了4组对 4结束语 比实验，分别是原生ResNet18模型、融合空间注 意力模块的ResNet18模型、融合通道注意力模块 本文使用集成空间、通道双注意力机制的 的ResNet18模型和融合双注意力模块的ResNet18 ResNet18网络，更加关注微表情的细节特征，同 模型，识别准确率如表2所示。可以看到，3种融 时引入Focal Loss函数缓解微表情数据集样本类 合注意力模块的方法在识别准确率方面，相比较 别不平衡的状况。在CK+宏表情数据集上预训练 原生ResNet18分别提升了4.02%、2.41%和4.82%， 后，迁移模型参数至CASMEⅡ微表情数据集再 证明该双注意力机制有助于微表情识别。 进行训练测试，取得了不错的识别效果。考虑到 表2各神经网络实验结果对比 本文算法仅使用微表情视频序列中的Apex帧， Table 2 Comparison of experimental results of various 相比现有的一些算法有着更为广泛的适用场景。 neural networks 后续研究将进一步关注于微表情数据集中样本的 识别方法 准确率% 平衡性问题，同时更深地挖掘宏表情与微表情之 ResNet18(baseline) 38.55 间的关联，提高微表情识别的精度。 ResNet18+spatial 42.57 ResNet18+channel 40.96 参考文献： ResNet18 spatial channel 43.37 [1]SHEN Xunbing.WU Qi.FU Xiaolan.Effects of the dura- 结合Focal Loss和双注意力模块的识别算法 tion of expressions on the recognition of microexpre- 在CASME IⅡ数据上实验，得到最终准确率为 ssions[J].Journal of Zhejiang University SCIENCE B. 43.37%。将该算法应用于CK+数据集，按照 2012,13(3:221-230 8:2划分训练集和测试集，多次训练后选取测试 [2]ZHAO Guoying,PIETIKAINEN M.Dynamic texture re- 集准确率最高为94.38%的模型进行迁移学习。 cognition using local binary patterns with an application to 在模型预训练后，微表情识别准确率提升至44.97%。 facial expressions[J].IEEE transactions on pattern analys- 为了进一步全面衡量分类器的性能，在实验中增 is and machine intelligence,2007,29(6):915-928. 加另外一个评价标准F值(F1-score)),其定义为 [3]WANG Yandan,SEE J,PHAN R C W,et al.LBP with six F:=2x PxR intersection points:reducing redundant information in (12) P+R LBP-TOP for micro-expression recognition[C]//Proceed- TP ings of the 12th Asian Conference on Computer Vision. P=P+F甲 (13) Singapore,Singapore,2014:525-537. TP R=TP+FN (14) [4]卢官明，杨成，杨文娟，等.基于LBP-TOP特征的微表情 识别U.南京邮电大学学报（自然科学版），2017,37(6)： 式中：TP表示真阳性(true positive)的个数；FP表 1-7. 示假阳性(false positive)的个数；FN表示假阴性 LU Guanming,YANG Cheng,YANG Wenjuan,et al.Mi- (false negative)的个数；P代表准确率；R代表召回 cro-expression recognition based on LBP-TOP features[J]. 率。表3给出了各种方法在CASME IⅡ数据集上 Journal of Nanjing University of Posts and Telecommunic- 的实验结果，本文算法在准确率方面相比其他微 ations (natural science edition),2017,37(6):1-7. 表情识别方法有一定的提升，在F,值方面也优于 [5]WANG Sujing,YAN Wenjing,LI Xiaobai,et al.Micro- 大多数算法。 expression recognition using dynamic textures on tensor 表3 CASMEⅡ数据集实验结果对比 independent color space[C]//Proceedings of the 22nd Inter- Table 3 Comparison of experimental results on CASME II national Conference on Pattern Recognition.Stockholm. database Sweden,2014:4678-4683 识别方法 准确率%F1值 分类数目 [6]WANG Sujing,YAN Wenjing,LI Xiaobai,et al.Micro- LBpRoT expression recognition using color spaces[J].IEEE transac- 39.68 0.3589 5 OSW 3 tions on image processing,2015,24(12):6034-6047. 41.70 0.3820 5 FDMm [7]XU Feng,ZHANG Junping,WANG J Z.Microexpression 41.96 0.2972 AdaBoost4 identification and categorization using a facial dynamics 38.76 0.2609 5 map[J].IEEE transactions on affective computing,2017, AdaBoost+STM+TIM4 43.78 0.3337 8(2:254-267. 本文算法（未迁移学习） 43.37 0.3513 [8]LIU Yongjin,ZHANG Jinkai,YAN Wenjing,et al.A main 本文算法（迁移学习后） 44.97 0.3784 directional mean optical flow feature for spontaneous mi-文在使用 Focal Loss 函数的基础上进行了 4 组对 比实验，分别是原生 ResNet18 模型、融合空间注 意力模块的 ResNet18 模型、融合通道注意力模块 的 ResNet18 模型和融合双注意力模块的 ResNet18 模型，识别准确率如表 2 所示。可以看到，3 种融 合注意力模块的方法在识别准确率方面，相比较 原生 ResNet18 分别提升了 4.02%、2.41% 和 4.82%， 证明该双注意力机制有助于微表情识别。 表 2 各神经网络实验结果对比 Table 2 Comparison of experimental results of various neural networks 识别方法 准确率/% ResNet18 (baseline) 38.55 ResNet18 + spatial 42.57 ResNet18 + channel 40.96 ResNet18 + spatial + channel 43.37 F1 F1 结合 Focal Loss 和双注意力模块的识别算法 在 CASME II 数据上实验，得到最终准确率为 43.37%。将该算法应用于 CK+数据集，按照 8∶2 划分训练集和测试集，多次训练后选取测试 集准确率最高为 94.38% 的模型进行迁移学习。 在模型预训练后，微表情识别准确率提升至 44.97%。 为了进一步全面衡量分类器的性能，在实验中增 加另外一个评价标准 值 ( -score)，其定义为 F1 = 2× P×R P+R (12) P = TP TP+FP (13) R = TP TP+FN (14) F1 式中：TP 表示真阳性 (true positive) 的个数；FP 表 示假阳性 (false positive) 的个数；FN 表示假阴性 (false negative) 的个数；P 代表准确率；R 代表召回 率。表 3 给出了各种方法在 CASME II 数据集上 的实验结果，本文算法在准确率方面相比其他微 表情识别方法有一定的提升，在 值方面也优于 大多数算法。 表 3 CASME II 数据集实验结果对比 Table 3 Comparison of experimental results on CASME II database 识别方法 准确率/% F1 值 分类数目 LBP[20] 39.68 0.3589 5 OSW [23] 41.70 0.3820 5 FDM [7] 41.96 0.2972 5 AdaBoost [24] 38.76 0.2609 5 AdaBoost + STM + TIM [24] 43.78 0.3337 5 本文算法(未迁移学习) 43.37 0.3513 5 本文算法(迁移学习后) 44.97 0.3784 5 4 结束语 本文使用集成空间、通道双注意力机制的 ResNet18 网络，更加关注微表情的细节特征，同 时引入 Focal Loss 函数缓解微表情数据集样本类 别不平衡的状况。在 CK+宏表情数据集上预训练 后，迁移模型参数至 CASME II 微表情数据集再 进行训练测试，取得了不错的识别效果。考虑到 本文算法仅使用微表情视频序列中的 Apex 帧， 相比现有的一些算法有着更为广泛的适用场景。 后续研究将进一步关注于微表情数据集中样本的 平衡性问题，同时更深地挖掘宏表情与微表情之 间的关联，提高微表情识别的精度。 参考文献： SHEN Xunbing, WU Qi, FU Xiaolan. Effects of the dura￾tion of expressions on the recognition of microexpre￾ssions[J]. Journal of Zhejiang University SCIENCE B, 2012, 13(3): 221–230. [1] ZHAO Guoying, PIETIKAINEN M. Dynamic texture re￾cognition using local binary patterns with an application to facial expressions[J]. IEEE transactions on pattern analys￾is and machine intelligence, 2007, 29(6): 915–928. [2] WANG Yandan, SEE J, PHAN R C W, et al. LBP with six intersection points: reducing redundant information in LBP-TOP for micro-expression recognition[C]//Proceed￾ings of the 12th Asian Conference on Computer Vision. Singapore, Singapore, 2014: 525-537. [3] 卢官明, 杨成, 杨文娟, 等. 基于 LBP-TOP 特征的微表情 识别 [J]. 南京邮电大学学报(自然科学版), 2017, 37(6): 1–7. LU Guanming, YANG Cheng, YANG Wenjuan, et al. Mi￾cro-expression recognition based on LBP-TOP features[J]. Journal of Nanjing University of Posts and Telecommunic￾ations (natural science edition), 2017, 37(6): 1–7. [4] WANG Sujing, YAN Wenjing, LI Xiaobai, et al. Micro￾expression recognition using dynamic textures on tensor independent color space[C]//Proceedings of the 22nd Inter￾national Conference on Pattern Recognition. Stockholm, Sweden, 2014: 4678−4683. [5] WANG Sujing, YAN Wenjing, LI Xiaobai, et al. Micro￾expression recognition using color spaces[J]. IEEE transac￾tions on image processing, 2015, 24(12): 6034–6047. [6] XU Feng, ZHANG Junping, WANG J Z. Microexpression identification and categorization using a facial dynamics map[J]. IEEE transactions on affective computing, 2017, 8(2): 254–267. [7] LIU Yongjin, ZHANG Jinkai, YAN Wenjing, et al. A main directional mean optical flow feature for spontaneous mi- [8] 第 6 期 徐玮，等：基于双注意力模型和迁移学习的 Apex 帧微表情识别 ·1019·