·398· 智能系统学报 第17卷 表4不同方法在Oulu-CASIA数据集上的测试结果 情况，一般由墨镜、口罩等引起。若局部区域被 Table 4 Test results of different methods on Oulu-CASIA 遮挡，卷积神经网络就难以抓住重点区域进行特 data sets 征提取，针对这种情况，本章将在遮挡的扩充数 方法 A/% 据集上进行实验。表6和表7分别为各种算法在 参数重要性正则1叼 88.19 CK+和JAFFE数据集上的遮挡。 DFLFls] 87.85 1.0 LCE 83.26 愤怒 )9 0.04 0.9 IDFERMI201 88.25 轻蔑 0.8 DeRLRI 88.0 0.7 厌恶 0.6 DFR 91.16 恐惧 1 0.5 DMFA-ResNet 92.57 快乐 0.4 表5是不同方法在CK+和JAFFE数据集上的 0.3 悲伤 0 0.2 测试结果。结果表明，DFR算法在CK+和JAFFE 0.1 数据集上分别能够达到99.68%和96.25%的识别 惊讶 0 率。比文献[22]在两个数据集中的识别率分别高 西g 出6.22%和1.5%，比文献[23]在两个数据集中的 (a)DFR在CK+上的混淆矩阵 识别率分别高出2.92%和9.51%。 1.0 表5不同方法在CK+和JAFFE数据集上的测试结果 愤怒 09 0.04 0.9 Table 5 Test results of different methods on CK+and 号 厌恶 0.040 0.8 JAFFE data sets 0.7 方法 CK+数据集 JAFFE数据集 恐惧 10创 0.6 DCMA-CNNsE☑ 94.75 快乐 09 93.46 0.04 0.5 CNN pre-processing 96.76 86.74 中性 0.4 10 0.3 WMDCNNEAI 98.50 92.3 悲伤 0.04 0.9 0.2 WMDNNR25] 97.02 92.21 0.08 0.1 HDNNS1261 惊讶 96.46 91.27 0 DFR 99.68 96.25 步型感 DMFA-ResNet 99.70 96.30 (b)DFR在JAFFE上的混淆矩阵 图7DFR在CK+和JAFFE数据集上的混淆矩阵 图7分别为DFR算法在CK+和JAFFE数据 Fig.7 Confusion matrix of DFR on CK+and JAFFE 集的混淆矩阵，其中DFR能够在CK+数据集上对 轻蔑、厌恶、恐惧、快乐、悲伤和惊讶这六种表情 表6CK+上遮挡表情识别 达到100%识别率；在JAFFE数据集上对恐惧及 Table 6 occlusion facial expression recognition on CK+ oo 中性表情能够达到100%识别率，但惊喜表情容 易被误判为中性表情，因此识别精度最低。 方法 眼睛遮挡 嘴巴遮挡 DFR算法对比其他先进算法在识别率上有很 PCA+SVM 89.04 83.84 大提升，充分验证了改进的残差模块和过渡层能 CNN 91.69 89.17 够提取更加精确的人脸表情特征。DMFA-Res- DCGAN+CNN 87.83 8543 Net算法在CK+和JAFFE数据集上的识别率分别 为99.7%和96.3%，比DFR算法在两个数据集中 end-to-end GAN 92.69 90.57 分别提高0.02%和0.05%，证明了引入注意力机 微调VGGface 89.90 87.34 制模块和多尺度特征融合模块对提升人脸表情识 MU-VGGNet 94.06 91.63 别率是有利的。 DFR 93.81 92.78 3.3.3遮挡表情实验 DMFA-ResNet 95.31 93.81 实际生活中，人脸表情图像采集会伴有遮挡表 4 不同方法在 Oulu-CASIA 数据集上的测试结果 Table 4 Test results of different methods on Oulu-CASIA data sets 方法 A/% 参数重要性正则[17] 88.19 DFLF[18] 87.85 LCE[19] 83.26 IDFERM[20] 88.25 DeRL[21] 88.0 DFR 91.16 DMFA-ResNet 92.57 表 5 是不同方法在 CK+和 JAFFE 数据集上的 测试结果。结果表明，DFR 算法在 CK+和 JAFFE 数据集上分别能够达到 99.68% 和 96.25% 的识别 率。比文献 [22] 在两个数据集中的识别率分别高 出 6.22% 和 1.5%，比文献 [23] 在两个数据集中的 识别率分别高出 2.92% 和 9.51%。 表 5 不同方法在 CK+和 JAFFE 数据集上的测试结果 Table 5 Test results of different methods on CK+ and JAFFE data sets % 方法 CK+数据集 JAFFE数据集 DCMA-CNNs[22] 93.46 94.75 CNN pre-processing[23] 96.76 86.74 WMDCNN[24] 98.50 92.3 WMDNN[25] 97.02 92.21 HDNNS[26] 96.46 91.27 DFR 99.68 96.25 DMFA-ResNet 99.70 96.30 图 7 分别为 DFR 算法在 CK+和 JAFFE 数据 集的混淆矩阵，其中 DFR 能够在 CK+数据集上对 轻蔑、厌恶、恐惧、快乐、悲伤和惊讶这六种表情 达到 100% 识别率；在 JAFFE 数据集上对恐惧及 中性表情能够达到 100% 识别率，但惊喜表情容 易被误判为中性表情，因此识别精度最低。 DFR 算法对比其他先进算法在识别率上有很 大提升，充分验证了改进的残差模块和过渡层能 够提取更加精确的人脸表情特征。DMFA-Res￾Net 算法在 CK+和 JAFFE 数据集上的识别率分别 为 99.7% 和 96.3%，比 DFR 算法在两个数据集中 分别提高 0.02% 和 0.05%，证明了引入注意力机 制模块和多尺度特征融合模块对提升人脸表情识 别率是有利的。 3.3.3 遮挡表情实验 实际生活中，人脸表情图像采集会伴有遮挡 情况，一般由墨镜、口罩等引起。若局部区域被 遮挡，卷积神经网络就难以抓住重点区域进行特 征提取，针对这种情况，本章将在遮挡的扩充数 据集上进行实验。表 6 和表 7 分别为各种算法在 CK+和 JAFFE 数据集上的遮挡。 愤怒 愤怒 (a) DFR 在 CK+ 上的混淆矩阵 轻蔑 厌恶 恐惧 快乐 悲伤 惊讶 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.96 1.00 1.00 1.00 1.00 1.00 1.00 0.04 轻蔑 厌恶 恐惧 快乐 悲伤 惊讶 愤怒 愤怒 厌恶 恐惧 快乐 中性 悲伤 惊讶 厌恶 恐惧 快乐 中性 悲伤 惊讶 (b) DFR 在 JAFFE 上的混淆矩阵 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.96 0.96 1.00 0.96 1.00 0.96 0.92 0.04 0.04 0.04 0.04 0.08 图 7 DFR 在 CK+和 JAFFE 数据集上的混淆矩阵 Fig. 7 Confusion matrix of DFR on CK+ and JAFFE 表 6 CK+上遮挡表情识别 Table 6 occlusion facial expression recognition on CK+ % 方法 眼睛遮挡 嘴巴遮挡 PCA+SVM 89.04 83.84 CNN 91.69 89.17 DCGAN+CNN 87.83 85.43 end-to-end GAN 92.69 90.57 微调VGGface 89.90 87.34 MU-VGGNet 94.06 91.63 DFR 93.81 92.78 DMFA-ResNet 95.31 93.81 ·398· 智 能 系 统 学 报 第 17 卷