·266· 智能系统学报 第13卷 类效果，可看出本文的方法比SRCO和GSRCU2I表 挡级别较小，这些表情图像的决策信息缺失的少。 情识别率略高。 在这两种数据库上所有表情只有惊讶表情的识别效 本方法在随机遮挡的情况下取得比其他方法较 果在遮挡级别为0.2时受到了影响，其他表情都没 为理想的识别效果，接下来分析本文在不同遮挡级 有受到影响。当图像遮挡级别为03时，在这两种 别对于每种表情识别的影响大小。两种数据库不 数据库上所有表情只有生气、悲伤和惊讶表情识别 同遮挡级别对每种表情的遮挡情况如表3和表4。 效果受到了影响。当图像遮挡级别为0.40.5，在 表3每种表情在JAFFE数据库不同遮挡级别的识别率 JAFFE数据库上高兴和中性表情取得了较好的识 Table 3 The accuracies of each expression on JAFFE in dif- 别效果，在图像遮挡级别为0.6时中性表情取得了 ferent levels of block occlusions 较好的识别效果。然而在Cohn-Kanade数据库上， 遮挡级别 生气厌恶 恐惧高兴中性悲伤惊讶 当图像遮挡级别为0.4~0.6时，恐惧和中性表情取 0 90 81.82 100 100 100 100100 得了较好的识别效果。当图像遮挡级别为0.7~0.9时， 所有的表情的识别率（除了中性表情外）都受到了 0.1 90 81.82 100 100 100 100 100 较为严重的影响。 0.2 90 81.82 100 100 100 100 90 从两表中可以看出中性表情识别率在不同的图 0.3 90 81.82 100 100 10090.91 像遮挡级别下都可以保持了较高的识别率。即使在 遮挡级别为0.9的JAFFE数据库上，中性表情的识 0.4 90 81.8291.67 100 10090.91 90 别率仍为60%。这是由于本文在赋予编码残差e的 0.5 90 81.82 83.33 100 10081.82 90 初值时，选用的是所有训练表情图像的平均表情作 0.6 81.82 75.0091.6710081.8290 为e的初值，中性表情和平均人脸表情很相似。因 0.7 60 63.6458.3341.67 90 72.7350 此，即使在遮挡级别很大是，中性表情也较其他表 情更容易更有效地识别。 0.8 60 45.4541.67 41.67 80 54.55 50 图5表示的是JAFFE数据库上所有测试的中 0.9 20 18.1816.6716.67 60 18.18 10 性表情图像和所有训练表情图像的平均表情图像。 表4每种表情在Cohn-Kanade数据库不同遮挡级别的识 虽然在JAFFE数据库上中性表情的识别效果在遮 别率 挡级别很高的时候也能取得较好识别效果，但是在 Table 4 The accuracies of each expression on Cohn-Kanade Cohn-Kanade数据库上这种现象表现的并不是十分 in different levels of block occlusions % 明显。在遮挡级别为0.9时的中性表情识别率为 遮挡级别生气厌恶恐惧高兴中性悲伤惊讶 46.67%。尽管中性表情的识别率较其他的表情识 0 96.67 90 100 100 100 100 100 别率高，但是与在JAFFE数据上的识别率相比还是 0.1 96.67 90 100 100 100 100 100 相差较大。这是由于JAFFE数据库上的人脸表情 图像都是女性，并且都属于同一国家的。 0.2 96.67 90 100 100 100 10096.67 0.3 93.33 90 100 100 100 93.3396.67 0.4 93.33 90 100 96.67 100 % 90 0.5 86.67 96.67 100 90 0.6 86.67 90 100 93.33 100 90 90 0.7 63.33 50 70 76.6786.6776.67 70 b)平均人验 0.8 33.3323.3323.3336.67 60 20 33.33 (a)部分中性表情 表情图像 0.9 1016.673.3323.3346.676.67 20 图5 JAFFE数据库 Fig.5 JAFFE 从表3和表4可以看出，随着表中给出的人脸 而Cohn-Kanade数据库中的人脸表情图像是来 表情图像的随机遮挡级别的增大，两种数据库上不 自不同的国籍和不同性别的。这将造成如图6所示 同的人脸表情识别率随之降低。在两种数据库中， 的中性表情和平均人脸表情之间的相似性较小。因 生气、高兴、中性、悲伤和惊讶表情在图像遮挡级别 此，当遮挡级别为0.7~0.9时，在Cohn-Kanade数据 为0~0.1取得了较为理想的识别效果。这是由于遮 库上的中性表情较JAFFE上的中性表情的识别率类效果，可看出本文的方法比 SRC[10]和 GSRC[12]表 情识别率略高。 本方法在随机遮挡的情况下取得比其他方法较 为理想的识别效果，接下来分析本文在不同遮挡级 别对于每种表情识别的影响大小。两种数据库不 同遮挡级别对每种表情的遮挡情况如表 3 和表 4。 表 3 每种表情在 JAFFE 数据库不同遮挡级别的识别率 Table 3 The accuracies of each expression on JAFFE in dif￾ferent levels of block occlusions % 遮挡级别 生气 厌恶 恐惧 高兴 中性 悲伤 惊讶 0 90 81.82 100 100 100 100 100 0.1 90 81.82 100 100 100 100 100 0.2 90 81.82 100 100 100 100 90 0.3 90 81.82 100 100 100 90.91 90 0.4 90 81.82 91.67 100 100 90.91 90 0.5 90 81.82 83.33 100 100 81.82 90 0.6 90 81.82 75.00 91.67 100 81.82 90 0.7 60 63.64 58.33 41.67 90 72.73 50 0.8 60 45.45 41.67 41.67 80 54.55 50 0.9 20 18.18 16.67 16.67 60 18.18 10 表 4 每种表情在 Cohn-Kanade 数据库不同遮挡级别的识 别率 Table 4 The accuracies of each expression on Cohn-Kanade in different levels of block occlusions % 遮挡级别 生气 厌恶 恐惧 高兴 中性 悲伤 惊讶 0 96.67 90 100 100 100 100 100 0.1 96.67 90 100 100 100 100 100 0.2 96.67 90 100 100 100 100 96.67 0.3 93.33 90 100 100 100 93.33 96.67 0.4 93.33 90 100 96.67 100 90 90 0.5 86.67 90 100 96.67 100 90 90 0.6 86.67 90 100 93.33 100 90 90 0.7 63.33 50 70 76.67 86.67 76.67 70 0.8 33.33 23.33 23.33 36.67 60 20 33.33 0.9 10 16.67 3.33 23.33 46.67 6.67 20 从表 3 和表 4 可以看出，随着表中给出的人脸 表情图像的随机遮挡级别的增大，两种数据库上不 同的人脸表情识别率随之降低。在两种数据库中， 生气、高兴、中性、悲伤和惊讶表情在图像遮挡级别 为 0~0.1 取得了较为理想的识别效果。这是由于遮 挡级别较小，这些表情图像的决策信息缺失的少。 在这两种数据库上所有表情只有惊讶表情的识别效 果在遮挡级别为 0.2 时受到了影响，其他表情都没 有受到影响。当图像遮挡级别为 0.3 时，在这两种 数据库上所有表情只有生气、悲伤和惊讶表情识别 效果受到了影响。当图像遮挡级别为 0.4~0.5，在 JAFFE 数据库上高兴和中性表情取得了较好的识 别效果，在图像遮挡级别为 0.6 时中性表情取得了 较好的识别效果。然而在 Cohn-Kanade 数据库上， 当图像遮挡级别为 0.4~0.6 时，恐惧和中性表情取 得了较好的识别效果。当图像遮挡级别为 0.7~0.9 时， 所有的表情的识别率 (除了中性表情外) 都受到了 较为严重的影响。 e e 从两表中可以看出中性表情识别率在不同的图 像遮挡级别下都可以保持了较高的识别率。即使在 遮挡级别为 0.9 的 JAFFE 数据库上，中性表情的识 别率仍为 60%。这是由于本文在赋予编码残差 的 初值时，选用的是所有训练表情图像的平均表情作 为 的初值，中性表情和平均人脸表情很相似。因 此，即使在遮挡级别很大是，中性表情也较其他表 情更容易更有效地识别。 图 5 表示的是 JAFFE 数据库上所有测试的中 性表情图像和所有训练表情图像的平均表情图像。 虽然在 JAFFE 数据库上中性表情的识别效果在遮 挡级别很高的时候也能取得较好识别效果，但是在 Cohn-Kanade 数据库上这种现象表现的并不是十分 明显。在遮挡级别为 0.9 时的中性表情识别率为 46.67%。尽管中性表情的识别率较其他的表情识 别率高，但是与在 JAFFE 数据上的识别率相比还是 相差较大。这是由于 JAFFE 数据库上的人脸表情 图像都是女性，并且都属于同一国家的。 (a) 䘔͙ܲᕓ㶔ᗱ (b) ᎟౳Ϧ㙤 ׻㶔ᗱప 图 5 JAFFE 数据库 Fig. 5 JAFFE 而 Cohn-Kanade 数据库中的人脸表情图像是来 自不同的国籍和不同性别的。这将造成如图 6 所示 的中性表情和平均人脸表情之间的相似性较小。因 此，当遮挡级别为 0.7~0.9 时，在 Cohn-Kanade 数据 库上的中性表情较 JAFFE 上的中性表情的识别率 ·266· 智 能 系 统 学 报 第 13 卷