第2期 高涛，等：深度多尺度融合注意力残差人脸表情识别网络 。399· 表7 JAFFE上遮挡表情识别 1.0 愤怒 090.07 Table 7 Occlusion facial expression recognition on JAFFE % 轻蔑 0.90 0.10 方法 眼睛遮挡 嘴巴遮挡 厌恶 1.00 Gabor 85.66 86.97 0.6 Gabor+gray-level matrix 88.88 90.90 恐惧 020 160 020 WLDH 87.23 89.47 4 快乐 0 DFR 89.47 91.81 DMFA-ResNet 91.22 0.19 93.56 悲伤 0.2 惊讶 表8和表9分别为DMFA-ResNet算法在CK+ 和JAFFE数据集上的Fl-score值。图8和图9分 别为DMFA-ResNet算法在CK+和JAFFE数据集 (b)遮挡嘴巴图片在CK+上的混淆矩阵 上的遮挡混淆矩阵。 图8在CK+数据集上的遮挡混淆矩阵 表8CK+上遮挡表情F1-score值 Fig.8 Occlusion confusion matrix on the CK+ Table 8 F1-score of occlusion facial expression on CK+ 表情 眼睛遮挡 嘴巴遮挡 愤怒 0.92 0.04 0.04 愤怒 0.89 0.96 厌恶 0.8 91 0.04 0.04 轻蔑 0.86 0.76 恐惧 0.0408 厌恶 0,12 0.98 0.90 0.6 恐惧 0.99 0.75 快乐 092 0.08 快乐 0.99 1 04 中性 09 0.04 悲伤 0.89 0.90 惊讶 1 0.90 悲伤 0.040.040.04 084 0.04 0.2 惊讶 0.04 0.90 表9 JAFFE上遮挡表情F1-score值 Table 9 F1-score of occlusion facial expression on JAFFE 步母惑 表情 眼睛遮挡 嘴巴遮挡 (a)遮挡眼睛图片在JAFFE上的混淆矩阵 愤怒 0.96 0.96 愤怒192 0.08 厌恶 0.90 0.92 厌恶 0.8 恐惧 096 0.04 0.88 0.89 快乐 0.94 0.94 恐惧 0.04083 0.08 0.04 0.6 中性 0.92 0.96 快乐 096 0.04 悲伤 0.82 0.88 0.4 096 0.04 惊讶 中性 0.94 0.98 悲伤 0.040.04092 0.2 1.0 愤怒 0.96 0.07 惊讶 0.04 0.9% 轻蔑0.10 01 0.8 多效 097 (b)遮挡嘴巴图片在JAFFE上的混淆矩阵 厌恶 0.03 0.6 图9在JAFFE数据集上的遮挡混淆矩阵 恐惧 Fig.9 Occlusion confusion matrix on the JAFFE 0.4 快乐 0.02 098 由表6、表7可知，对于遮挡图像，DMFA- 悲伤0.060.12 0.2 ResNet比DFR算法在CK+和JAFFE数据集上的 惊讶 识别精度分别提升2.5%和1.5%，且DMFA-Res- Net对遮挡表情的识别在两个数据集上均取得最 高识别精度。 (a)遮挡眼睛图片在CK+上的混淆矩阵 由表8和图8可知，遮挡眼睛后，DMFA-Res表 7 JAFFE 上遮挡表情识别 Table 7 Occlusion facial expression recognition on JAFFE % 方法 眼睛遮挡 嘴巴遮挡 Gabor 85.66 86.97 Gabor+gray-level matrix 88.88 90.90 WLDH 87.23 89.47 DFR 89.47 91.81 DMFA-ResNet 91.22 93.56 表 8 和表 9 分别为 DMFA-ResNet 算法在 CK+ 和 JAFFE 数据集上的 F1-score值。图 8 和图 9 分 别为 DMFA-ResNet 算法在 CK+和 JAFFE 数据集 上的遮挡混淆矩阵。 表 8 CK+上遮挡表情 F1-score 值 Table 8 F1-score of occlusion facial expression on CK + 表情 眼睛遮挡 嘴巴遮挡 愤怒 0.89 0.96 轻蔑 0.86 0.76 厌恶 0.98 0.90 恐惧 0.99 0.75 快乐 0.99 1 悲伤 0.89 0.90 惊讶 1 0.90 表 9 JAFFE 上遮挡表情 F1-score 值 Table 9 F1-score of occlusion facial expression on JAFFE 表情 眼睛遮挡 嘴巴遮挡 愤怒 0.96 0.96 厌恶 0.90 0.92 恐惧 0.88 0.89 快乐 0.94 0.94 中性 0.92 0.96 悲伤 0.82 0.88 惊讶 0.94 0.98 (a) 遮挡眼睛图片在 CK+ 上的混淆矩阵 1.0 0.8 0.6 0.4 0.2 0 0.96 0.10 0.06 0.12 0.90 0.97 1.00 0.98 0.81 1.00 0.07 0.03 0.02 愤怒 愤怒 轻蔑 厌恶 恐惧 快乐 悲伤 惊讶 轻蔑 厌恶 恐惧 快乐 悲伤 惊讶 (b) 遮挡嘴巴图片在 CK+ 上的混淆矩阵 1.0 0.8 0.6 0.4 0.2 0 0.93 0.90 1.00 0.60 1.00 0.81 1.00 0.07 0.20 0.10 0.19 0.20 愤怒 愤怒 轻蔑 厌恶 恐惧 快乐 悲伤 惊讶 轻蔑 厌恶 恐惧 快乐 悲伤 惊讶 图 8 在 CK+数据集上的遮挡混淆矩阵 Fig. 8 Occlusion confusion matrix on the CK+ (a) 遮挡眼睛图片在 JAFFE 上的混淆矩阵 0.8 0.6 0.4 0.2 0 0.92 0.91 0.85 0.92 0.96 0.84 0.96 0.04 0.04 0.04 0.12 0.04 0.08 0.04 0.04 0.04 0.04 0.04 0.04 0.04 (b) 遮挡嘴巴图片在 JAFFE 上的混淆矩阵 0.8 0.6 0.4 0.2 0 0.92 0.96 0.85 0.96 0.96 0.92 0.96 0.08 0.08 0.04 0.04 0.04 0.04 0.04 0.04 0.04 0.04 愤怒 愤怒 厌恶 恐惧 快乐 中性 悲伤 惊讶 厌恶 恐惧 快乐 中性 悲伤 惊讶 愤怒 愤怒 厌恶 恐惧 快乐 中性 悲伤 惊讶 厌恶 恐惧 快乐 中性 悲伤 惊讶 图 9 在 JAFFE 数据集上的遮挡混淆矩阵 Fig. 9 Occlusion confusion matrix on the JAFFE 由表 6、表 7 可知，对于遮挡图像，DMFA￾ResNet 比 DFR 算法在 CK+和 JAFFE 数据集上的 识别精度分别提升 2.5% 和 1.5%，且 DMFA-Res￾Net 对遮挡表情的识别在两个数据集上均取得最 高识别精度。 由表 8 和图 8 可知，遮挡眼睛后，DMFA-Res- 第 2 期 高涛，等：深度多尺度融合注意力残差人脸表情识别网络 ·399·