第6期 姜义，等：基于生成对抗网络的人脸口罩图像合成 ·1079· 表4性能对比2 [3]SCHROFF F,KALENICHENKO D,PHILBIN J.Fa- Table 4 Performance comparison 2 ceNet:a unified embedding for face recognition and clus- 方法 SSIM LPIPS tering[C]//2015 IEEE Conference on Computer Vision GAN 0.634 0.170 and Pattern Recognition.Boston,USA,2015:815-823. [4]李小薪，梁荣华.有遮挡人脸识别综述：从子空间回归 DCGAN 0.748 0.119 到深度学习).计算机学报，2018,41(1)：177-207. WGAN 0.898 0.058 LI Xiaoxin,LIANG Ronghua.A review for face recogni- 本文方法 0.921 0.010 tion with occlusion:from subspace regression to deep learning[J].Chinese journal of computers,2018,41(1): 4结束语 177-207. [5] ANWAR A,RAYCHOWDHURY A.Masked face recog- 本文提出了一种生成对抗网络与空间变换网 nition for secure authentication[EB/OL].(2020-08- 络相结合的给人脸图像佩戴口罩的方法，并且在 25)[2020-12-01]htps://arxiv..org/abs/2008.11104 设计上采用了由生成对抗网络生成空间变换网络 [6] CABANI A,HAMMOUNDI K,BENHABILES H,et al. 的变换参数，而不是直接生成人脸与口罩融合后的 Masked-Face-Net-a dataset of correctly/incorrectly 图像的特殊设计。在设计神经网络时使用了多尺 masked face images in the context of covid-19[EB/OL]. 度卷积的方法，使生成器能更好地提取特征。在 (2020-08-18)[2020-12-01]https:/arxiv.org/abs/2008 训练时采用了W距离作为衡量两个不同样本之间 08016. 距离的计算，克服了生成对抗网络训练难且容易 [7] GOODFELLOW I J,POUGET-ABADIE J.MIRZA M. 出现模式坍塌的问题。相比于其他方法，本文方 et al.Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Pro- 法在合成的图像更加逼真，口罩也更贴合人脸。 cessing Systems.Montreal,Canada,2014:2672-2680. 实验结果显示，在人脸和口罩都无任何标记 [8]胡铭菲，刘建伟，左信.深度生成模型综述[EB/OL] 的情况下，该神经网络模型可以学习到相应的变 (2021-10-28)[2021-10-30]https:/doi.org/10.16383/ 换参数并合成高质量的人脸戴口罩图像。实验结 j.aas.c190866. 果证实，融合后的人脸图像不失真且很好的保留 HU Mingfei,LIU Jianwei,ZUO Xin.Survey on deep 了面部特征，同时也将口罩覆盖到了人脸正确的 generative model[EB/OL].(2021-10-28)[2021-10-30] 位置。在研究过程中也发现，在人脸图像由于角 https://doi.org/10.16383/j.aas.c190866. 度问题只有半张脸可见的情况下本文方法效果不 [9]MIRZA M,OSINDERO S.Conditional generative ad- 完美的问题。因此如何在任意角度对人脸图片上 versarial nets[EB/OL].(2014-11-06)[2020-12-01] 不失真地进行口罩合成将是进一步的研究方向， https://arxiv.org/abs/1411.1784. 进一步将利用本文制作的戴口罩人脸数据集进行 [10]RADFORD A,METZ L.CHINTALA S.Unsupervised 口罩遮挡的面部识别研究。 repress-enttation learning with deep convolutional gener- 参考文献： ative adversarial networks[EB/OL].(2016-01-07)[2020- 12-01]https://arxiv.org/abs/1511.06434. []国家卫生健康委员会新型冠状病毒肺炎诊疗方案（试 [11]ARJOVSKY M.CHINTALA S,BOTTOU L.Wasser- 行第八版)[EB/0L].(2020-08-18)[2020-12-08]htp:∥ stein GAN[EB/OL].(2017-12-06)[2020-12-01] www.gov.cn/zhengce/zhengceku/2020-08/19/content https://arxiv.org/abs/1701.07875. 5535757.htm. [12]GULRAJANI I.AHMED F,ARJOVSKY M,et al.Im National Health Commission of the People's Republic of proved training of Wasserstein GANs[C]//Proceedings China.Diagnosis and treatment protocol for novel of the 31st International Conference on Neural Informa- coronavirus pneumonia (trial version 8)[EB/OL].(2020- tion Processing Systems.Long Beach,USA,2017:5769- 08-18)[2020-12-01]http://www.gov.cn/zhengce/zheng 5779. cek/2020-08/19/content5535757.htm [13]WU Jiqing,HUANG Zhiwu,THOMA J,et al.Wasser- [2]TAIGMAN Y,YANG Ming,RANZATO M A,et al. stein divergence for GANs[C]//Proceedings of the 15th DeepFace:closing the gap to human-level performance in European Conference on Computer Vision(ECCV).Mu- face verification[Cl//2014 IEEE Conference on Com- nich,Germany,2018:673-688. puter Vision and Pattern Recognition.Columbus,USA. [14]JADERBERG M,SIMONYAN K,ZISSERMAN A,et 2014:1701-1708. al.Spatial transformer networks[C]//Proceedings of the表 4 性能对比 2 Table 4 Performance comparison 2 方法 SSIM LPIPS GAN 0.634 0.170 DCGAN 0.748 0.119 WGAN 0.898 0.058 本文方法 0.921 0.010 4 结束语 本文提出了一种生成对抗网络与空间变换网 络相结合的给人脸图像佩戴口罩的方法，并且在 设计上采用了由生成对抗网络生成空间变换网络 的变换参数，而不是直接生成人脸与口罩融合后的 图像的特殊设计。在设计神经网络时使用了多尺 度卷积的方法，使生成器能更好地提取特征。在 训练时采用了 W 距离作为衡量两个不同样本之间 距离的计算，克服了生成对抗网络训练难且容易 出现模式坍塌的问题。相比于其他方法，本文方 法在合成的图像更加逼真，口罩也更贴合人脸。 实验结果显示，在人脸和口罩都无任何标记 的情况下，该神经网络模型可以学习到相应的变 换参数并合成高质量的人脸戴口罩图像。实验结 果证实，融合后的人脸图像不失真且很好的保留 了面部特征，同时也将口罩覆盖到了人脸正确的 位置。在研究过程中也发现，在人脸图像由于角 度问题只有半张脸可见的情况下本文方法效果不 完美的问题。因此如何在任意角度对人脸图片上 不失真地进行口罩合成将是进一步的研究方向， 进一步将利用本文制作的戴口罩人脸数据集进行 口罩遮挡的面部识别研究。 参考文献： 国家卫生健康委员会.新型冠状病毒肺炎诊疗方案 (试 行第八版)[EB/OL].(2020-08-18)[2020-12-08]http:// www.gov.cn/zhengce/zhengceku/2020-08/19/content_ 5535757.htm. National Health Commission of the People's Republic of China. Diagnosis and treatment protocol for novel coronavirus pneumonia (trial version 8) [EB/OL].(2020- 08-18)[2020-12-01]http://www.gov.cn/zhengce/zheng ceku/2020-08/19/content_5535757.htm. [1] TAIGMAN Y, YANG Ming, RANZATO M A, et al. DeepFace: closing the gap to human-level performance in face verification[C]//2014 IEEE Conference on Com￾puter Vision and Pattern Recognition. Columbus, USA, 2014: 1701−1708. [2] SCHROFF F, KALENICHENKO D, PHILBIN J. Fa￾ceNet: a unified embedding for face recognition and clus￾tering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 815−823. [3] 李小薪, 梁荣华. 有遮挡人脸识别综述: 从子空间回归 到深度学习 [J]. 计算机学报, 2018, 41(1): 177–207. LI Xiaoxin, LIANG Ronghua. A review for face recogni￾tion with occlusion: from subspace regression to deep learning[J]. Chinese journal of computers, 2018, 41(1): 177–207. [4] ANWAR A, RAYCHOWDHURY A. Masked face recog￾nition for secure authentication[EB/OL].(2020-08- 25)[2020-12-01] https://arxiv.org/abs/2008.11104. [5] CABANI A, HAMMOUNDI K, BENHABILES H, et al. Masked-Face-Net—a dataset of correctly/incorrectly masked face images in the context of covid-19[EB/OL]. (2020-08-18)[2020-12-01] https://arxiv.org/abs/2008. 08016. [6] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Pro￾cessing Systems. Montreal, Canada, 2014: 2672−2680. [7] 胡铭菲,刘建伟,左信.深度生成模型综述 [EB/OL]. （2021-10-28） [2021-10-30] https://doi.org/10.16383/ j.aas.c190866. HU Mingfei, LIU Jianwei, ZUO Xin. Survey on deep generative model[EB/OL].（2021-10-28） [2021-10-30] https://doi.org/10.16383/j.aas.c190866. [8] MIRZA M, OSINDERO S. Conditional generative ad￾versarial nets[EB/OL].(2014-11-06)[2020-12-01] https://arxiv.org/abs/1411.1784. [9] RADFORD A, METZ L, CHINTALA S. Unsupervised repress-enttation learning with deep convolutional gener￾ative adversarial networks[EB/OL]. (2016-01-07)[2020- 12-01] https://arxiv.org/abs/1511.06434. [10] ARJOVSKY M, CHINTALA S, BOTTOU L. Wasser￾stein GAN [EB/OL].(2017-12-06)[2020-12-01] https://arxiv.org/abs/1701.07875. [11] GULRAJANI I, AHMED F, ARJOVSKY M, et al. Im￾proved training of Wasserstein GANs[C]//Proceedings of the 31st International Conference on Neural Informa￾tion Processing Systems. Long Beach, USA, 2017: 5769− 5779. [12] WU Jiqing, HUANG Zhiwu, THOMA J, et al. Wasser￾stein divergence for GANs[C]//Proceedings of the 15th European Conference on Computer Vision (ECCV). Mu￾nich, Germany, 2018: 673−688. [13] JADERBERG M, SIMONYAN K, ZISSERMAN A, et al. Spatial transformer networks[C]//Proceedings of the [14] 第 6 期 姜义，等：基于生成对抗网络的人脸口罩图像合成 ·1079·