第3期 莫宏伟，等：基于迁移学习的无监督跨域人脸表情识别 ·403· 析，并给出了在C&V和N&V两种实验场景下各 生气0.410.140.150.080.210.01 1.0 对比算法在6种表情上的识别率混淆矩阵，分别 厌恶0.20.450.070.080.160.04 0.8 如图6和图7所示。 整8根080.1403201402012 40.6 通过图6和图7可以看出，在CK+作为源域， 警高兴.010.120.060601002 0.4 Oulu-CASIA VIS作为目标域时，在DaL中各种表 悲伤0.20.130.180.070.360.06 0.2 情的识别率均高于各基准对比算法，并且不同算 惊讶0.050.070.10.030.03072 .0 法在6种表情上的识别率差异相对较大。例如， g 在DaL中“惊讶”、“高兴”这2种表情的识别率相 预测标签 (e)DaL算法 对较高，分别为72%、60%，而“悲伤”和“恐惧”这 2种表情的识别率较低，分别为36%、32%。 图6 C&V实验场景下各对比方法在6种表情上的识别 率混淆矩阵 Fig.6 -1.0 Confusion matrix of the recognition rate of each 生气023020.050.090.060.37 comparison method on six expressions in the C&V 厌恶0.210.60.160.080.02027 0.8 experimental scene 整恐惧020240120.13006024 0.6 结合表2可知，出现这种现象主要是因为在 变商兴090150680320203/ CK+数据库中“吃惊”表情的样本数量最多，有 0.4 85张表情图像，而“恐惧”仅有25张表情图像。 悲伤0.220.280.120.060.140.18 02 另外，还可以看到，“愤怒”、“厌恶”和“悲伤”这 惊讶0.230250.020.1700.33 0 3种表情比较容易误判，结合图4中各表情样本， e 出现这种情况原因可能是因为受试者在表达这 预测标签 3种表情时的面部运动变化不大，因此提取的特 (a)SVM算法 生气0.320.120.160.030.350.02 1.0 征较为相似，不易于区分。此外，当源域为Oulu- CASIA NIR,目标域为Oulu-CASIA VIS时，“悲 厌恶0.170.350.10.050.310.02 0.8 伤”和“恐惧”这2种表情的识别准确率有了大幅 0.6 提升，平均提高了22%左右，且其他4种表情的 0.4 识别率也有较大提升。这进一步说明了，数据库 悲伤0.210.050.350.030280.08 02 中样本数量的多少对跨域人脸表情识别的效果具 惊讶0.030.040.080.030.260.56 有一定的影响。但无论CK+和Oulu-CASIA 0 NIR哪个数据库作为源域，DaL的识别准确率均 预测标签 高于各基准对比算法，验证了该算法在跨域人脸 (b)KMM算法 表情识别上的有效性。 1.0 生气0.320.360.020.050.130.12 1.0 生气0430.210.130.010.140.08 厌恶0.280.380.020.060.210.12 0.8 厌恶0.20.480.120.020150.03 0.8 邕恐惧0.20.080240.080.230.17 0.6 整恐惧0.110.140.340.140.20.08 0.6 毫高兴0.090080.1604200602 0.4 室高兴08090.14050902 0.4 悲伤0.280.160.060.040.280.18 0.2 悲伤0.20.130.170.080.380.04 0.2 惊讶0.10.040.120.080.090.57 0 惊讶0.10.120.110.10.030.54 ” 0 预测标签 (c)KLIEP算法 预测标签 1.0 (a)SVM算法 生气0270.20.150.110.140.13 1.0 生气0580.220.10.020.050.03 厌恶0.180.30.140.120.110.15 0.8 厌恶0.160.60.100.120.02 0.8 恐惧0.150.170.180.10.18022 0.6 菱有兴015020c8A40c0 恐惧0.140.120.480.080.090.09 0.6 0.4 室商兴00400202□0105 0.4 悲伤0240.150.220.040.20.15 0.2 悲伤0.180.170.120.010.50.02 0.2 惊讶0.210.060.160.060.140.36 惊讶0.060.080.080.020.04072 .0 预测标签 (dSTM算法 预测标签 (b)KMM算法析，并给出了在 C&V 和 N&V 两种实验场景下各 对比算法在 6 种表情上的识别率混淆矩阵，分别 如图 6 和图 7 所示。 通过图 6 和图 7 可以看出，在 CK+作为源域， Oulu-CASIA VIS 作为目标域时，在 DaL 中各种表 情的识别率均高于各基准对比算法，并且不同算 法在 6 种表情上的识别率差异相对较大。例如， 在 DaL 中 “惊讶”、“高兴”这 2 种表情的识别率相 对较高，分别为 72%、60%，而“悲伤”和“恐惧”这 2 种表情的识别率较低，分别为 36%、32%。 0.27 0.2 0.15 0.11 0.14 0.13 0.18 0.3 0.14 0.12 0.11 0.15 0.15 0.17 0.18 0.1 0.18 0.22 0.15 0.22 0.08 0.34 0.08 0.13 0.24 0.15 0.22 0.04 0.2 0.15 0.21 0.06 0.16 0.06 0.14 0.36 1.0 0.8 0.6 0.4 0.2 0 预测标签 真实标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 生气 厌恶 恐惧 高兴 悲伤 惊讶 (d) STM 算法 预测标签 (a) SVM 算法 真实标签 生气 1.0 0.23 0.2 0.05 0.09 0.06 0.37 0.21 0.6 0.16 0.08 0.02 0.27 0.2 0.240.12 0.13 0.06 0.24 0.09 0.150.08 0.32 0.02 0.34 0.22 0.280.12 0.06 0.14 0.18 0.23 0.250.02 0.17 0 0.33 0.8 0.6 0.4 0.2 0 厌恶 恐惧 高兴 悲伤 惊讶 生气 厌恶 恐惧 高兴 悲伤 惊讶 (b) KMM 算法 0.32 0.12 0.16 0.03 0.35 0.02 0.17 0.35 0.1 0.05 0.31 0.02 0.05 0.04 0.26 0.12 0.43 0.10 0.02 0.05 0.08 0.52 0.3 0.03 0.21 0.05 0.35 0.03 0.28 0.08 0.03 0.04 0.08 0.03 0.26 0.56 1.0 0.8 0.6 0.4 0.2 0 预测标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 真实标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 (c) KLIEP 算法 0.32 0.36 0.02 0.05 0.13 0.12 0.28 0.38 0.02 0.06 0.21 0.12 0.2 0.08 0.24 0.08 0.23 0.17 0.09 0.08 0.16 0.42 0.06 0.2 0.28 0.16 0.06 0.04 0.28 0.18 0.1 0.04 0.12 0.08 0.09 0.57 1.0 0.8 0.6 0.4 0.2 0 预测标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 真实标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 0.41 0.14 0.15 0.08 0.21 0.01 0.2 0.45 0.07 0.08 0.16 0.04 0.08 0.14 0.32 0.14 0.2 0.12 0.1 0.12 0.06 0.6 0.1 0.02 0.2 0.13 0.18 0.07 0.36 0.06 0.05 0.07 0.1 0.03 0.03 0.72 1.0 0.8 0.6 0.4 0.2 0 预测标签 真实标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 生气 厌恶 恐惧 高兴 悲伤 惊讶 (e) DaL 算法 图 6 C&V 实验场景下各对比方法在 6 种表情上的识别 率混淆矩阵 Fig. 6 Confusion matrix of the recognition rate of each comparison method on six expressions in the C&V experimental scene 结合表 2 可知，出现这种现象主要是因为在 CK+数据库中 “吃惊”表情的样本数量最多，有 85 张表情图像，而“恐惧”仅有 25 张表情图像。 另外，还可以看到，“愤怒”、“厌恶”和“悲伤”这 3 种表情比较容易误判，结合图 4 中各表情样本， 出现这种情况原因可能是因为受试者在表达这 3 种表情时的面部运动变化不大，因此提取的特 征较为相似，不易于区分。此外，当源域为 Oulu￾CASIA NIR，目标域为 Oulu-CASIA VIS 时，“悲 伤”和“恐惧”这 2 种表情的识别准确率有了大幅 提升，平均提高了 22% 左右，且其他 4 种表情的 识别率也有较大提升。这进一步说明了，数据库 中样本数量的多少对跨域人脸表情识别的效果具 有一定的影响。但无论 CK+和 Oulu-CASIA NIR 哪个数据库作为源域，DaL 的识别准确率均 高于各基准对比算法，验证了该算法在跨域人脸 表情识别上的有效性。 预测标签 (a) SVM 算法 真实标签 生气 1.0 0.43 0.21 0.13 0.01 0.14 0.08 0.2 0.48 0.12 0.02 0.15 0.03 0.11 0.14 0.34 0.14 0.2 0.08 0.08 0.09 0.14 0.5 0.09 0.12 0.2 0.13 0.17 0.08 0.38 0.04 0.1 0.12 0.11 0.1 0.03 0.54 0.8 0.6 0.4 0.2 0 厌恶 恐惧 高兴 悲伤 惊讶 生气 厌恶 恐惧 高兴 悲伤 惊讶 (b) KMM 算法 0.58 0.22 0.1 0.02 0.05 0.03 0.16 0.6 0.1 0 0.12 0.02 0.14 0.12 0.48 0.08 0.09 0.09 0.04 0.02 0.2 0.7 0.01 0.05 0.18 0.17 0.12 0.01 0.5 0.02 0.06 0.08 0.08 0.02 0.04 0.72 1.0 0.8 0.6 0.4 0.2 0 预测标签 真实标签 生气 厌恶 恐惧 高兴 悲伤 惊讶 生气 厌恶 恐惧 高兴 悲伤 惊讶 第 3 期 莫宏伟，等：基于迁移学习的无监督跨域人脸表情识别 ·403·