第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202012010 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20210830.1306.004html 基于生成对抗网络的人脸口罩图像合成 姜义，吕荣镇，刘明珠，韩闯 (哈尔滨理工大学测控技术与通信工程学院，黑龙江哈尔滨150080) 摘要：为了解决现阶段缺乏被口罩遮挡的人脸数据集的问题，本文提出了基于生成对抗网络与空间变换网络 相结合生成戴口罩的人脸图像的方法。本文的方法以生成对抗网络为基础，结合了多尺度卷积核对图像进行 不同尺度的特征提取，并引入了沃瑟斯坦散度作为度量真实样本和合成样本之间的距离，并以此来优化生成器 的性能。实验表明，所提方法能够在没有对原始图像进行任何标注的情况下有效地对人脸图像进行口罩佩戴， 且合成的图像具有较高的真实性。 关键词：深度学习；生成对抗网络；空间变换：卷积神经网络；图像融合；口罩；人脸数据集；人脸识别 中图分类号：TP391文献标志码：A文章编号：1673-4785(2021)06-1073-08 中文引用格式：姜义，吕荣镇，刘明珠，等.基于生成对抗网络的人脸口罩图像合成.智能系统学报，2021,16(6)： 1073-1080. 英文引用格式：JIANG Yi,,LYU Rongzhen,,LIU Mingzhu,et al.Masked face image synthesis based on a generative adversarial net- work[JI.CAAI transactions on intelligent systems,2021,16(6):1073-1080. Masked face image synthesis based on a generative adversarial network JIANG Yi,LYU Rongzhen,LIU Mingzhu,HAN Chuang (School of Measurement-Control Technology and Communications Engineering,Harbin University of Science and Technology,Har- bin 150080,China) Abstract:This paper proposes a method for generating masked face images using a generative adversarial network (GAN)and spatial transformer networks.The proposed method is used to solve the present problem of lacking face data- sets of people wearing masks.Based on the GAN,the proposed method introduces a multiscale convolution kernel to extract image characteristics in various dimensions.This method introduces the Wasserstein divergence to measure the distance between an authentic specimen and a synthetic specimen so that generator's performance can be optimized.Ex- periments show that the proposed method can add a mask to a face image effectively without any annotations on the ori- ginal image,and the synthesized image has high fidelity. Keywords:deep learning;generative adversarial networks;spatial transformation;convolution neural network;image fusion;face mask;human face dataset,face recognition Coronavirus disease2019(COVD-19)虽然在我 触这些物体导致感染。所以戴口罩出行和在公共 国已经得到了很好的控制，但仍然在全球一些地 场所保持社交距离成为了阻止疫情传播的重要方 区蔓延。COVID-19是指2019年开始流行的新型 法。同时由于该病毒具有接触传染的特性，在公 冠状病毒感染导致的肺炎，是一种急性呼吸道传 共场合使用指纹或掌纹等接触式的身份识别方式 染病。导致该肺炎的病毒可以通过呼吸道飞沫 同样存在安全风险。人脸识别系统由于能够避免 在人群中进行大范围的传播。此外，病毒感染者 不必要的接触因而比其他识别方式安全得多。在 接触过的物体也可能残留病毒，人们可能通过接 口罩成为生活必需品时，也对现有的人脸识别系 统提出了挑战。目前的基于深度学习的人脸识别 收稿日期：2020-12-03.网络出版日期：2021-08-30. 基金项目：国家自然科学基金项目(61601149)：黑龙江省科学 方法)，在面对无遮挡物的人脸识别上取得了很 基金项日(QC2017074):黑龙江省普通本科高等学校 青年创新人才培养计划项目(UNPYSCT-2018199). 好的识别率，但是在大面积遮挡的人脸面前已经 通信作者：姜义.E-mail:jasonj@hrbust..edu.cn 不再能够准确识别身份了。其主要原因在于训DOI: 10.11992/tis.202012010 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210830.1306.004.html 基于生成对抗网络的人脸口罩图像合成 姜义，吕荣镇，刘明珠，韩闯 （哈尔滨理工大学 测控技术与通信工程学院，黑龙江 哈尔滨 150080） 摘 要：为了解决现阶段缺乏被口罩遮挡的人脸数据集的问题，本文提出了基于生成对抗网络与空间变换网络 相结合生成戴口罩的人脸图像的方法。本文的方法以生成对抗网络为基础，结合了多尺度卷积核对图像进行 不同尺度的特征提取，并引入了沃瑟斯坦散度作为度量真实样本和合成样本之间的距离，并以此来优化生成器 的性能。实验表明，所提方法能够在没有对原始图像进行任何标注的情况下有效地对人脸图像进行口罩佩戴， 且合成的图像具有较高的真实性。 关键词：深度学习；生成对抗网络；空间变换；卷积神经网络；图像融合；口罩；人脸数据集；人脸识别 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2021)06−1073−08 中文引用格式：姜义, 吕荣镇, 刘明珠, 等. 基于生成对抗网络的人脸口罩图像合成 [J]. 智能系统学报, 2021, 16(6): 1073–1080. 英文引用格式：JIANG Yi, LYU Rongzhen, LIU Mingzhu, et al. Masked face image synthesis based on a generative adversarial net￾work[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1073–1080. Masked face image synthesis based on a generative adversarial network JIANG Yi，LYU Rongzhen，LIU Mingzhu，HAN Chuang (School of Measurement-Control Technology and Communications Engineering, Harbin University of Science and Technology, Har￾bin 150080, China) Abstract: This paper proposes a method for generating masked face images using a generative adversarial network (GAN) and spatial transformer networks. The proposed method is used to solve the present problem of lacking face data￾sets of people wearing masks. Based on the GAN, the proposed method introduces a multiscale convolution kernel to extract image characteristics in various dimensions. This method introduces the Wasserstein divergence to measure the distance between an authentic specimen and a synthetic specimen so that generator’s performance can be optimized. Ex￾periments show that the proposed method can add a mask to a face image effectively without any annotations on the ori￾ginal image, and the synthesized image has high fidelity. Keywords: deep learning; generative adversarial networks; spatial transformation; convolution neural network; image fusion; face mask; human face dataset; face recognition Coronavirus disease 2019(COVID-19) 虽然在我 国已经得到了很好的控制，但仍然在全球一些地 区蔓延。COVID-19 是指 2019 年开始流行的新型 冠状病毒感染导致的肺炎，是一种急性呼吸道传 染病[1]。导致该肺炎的病毒可以通过呼吸道飞沫 在人群中进行大范围的传播。此外，病毒感染者 接触过的物体也可能残留病毒，人们可能通过接 触这些物体导致感染。所以戴口罩出行和在公共 场所保持社交距离成为了阻止疫情传播的重要方 法。同时由于该病毒具有接触传染的特性，在公 共场合使用指纹或掌纹等接触式的身份识别方式 同样存在安全风险。人脸识别系统由于能够避免 不必要的接触因而比其他识别方式安全得多。在 口罩成为生活必需品时，也对现有的人脸识别系 统提出了挑战。目前的基于深度学习的人脸识别 方法[2-3] ，在面对无遮挡物的人脸识别上取得了很 好的识别率，但是在大面积遮挡的人脸面前已经 不再能够准确识别身份了[4]。其主要原因在于训 收稿日期：2020−12−03. 网络出版日期：2021−08−30. 基金项目：国家自然科学基金项目 (61601149)；黑龙江省科学 基金项目 (QC2017074)；黑龙江省普通本科高等学校 青年创新人才培养计划项目 (UNPYSCT-2018199). 通信作者：姜义. E-mail：jasonj@hrbust.edu.cn. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021