第6期 姜义，等：基于生成对抗网络的人脸口罩图像合成 ·1077· 片中进行随机平移、旋转以及缩放后，获得总计 盖正确的位置。因此本文将对比组算法中的 158462张戴口罩的人脸图片作为数据集。将其中 GAN、DCGAN、WGAN的生成器和判别器之间增 142618张图片（约90%）作为训练集进行判别器 加了空变换网络(spatial transformer network, 的训练，其余则作为测试集。数据集中图片尺寸 STN)以更合理地进行对比。图6是不同算法对 统一缩放至144像素×144像素。并手工制作了 应不同口罩和人脸合成的效果对比图。在对比时 20张类型、各种花色的口罩图片，口罩图片的尺 选取了5种风格不同的口罩，有最常见的蓝色外 寸同样是144像素×144像素，且口罩基本位于图 科口罩、KN95口罩、粉色、方格以及斑，点花纹的 片的中心，如图4所示。本文采用的实验环境配 口罩。对比实验还选取了4种不同肤色的人脸及 置如表2所示。 背景，包括各种肤色与背景颜色。针对不同人 脸、不同口罩以及不同算法进行了对比，结果如 图6所示。从图6(a)、(b)可以看出，在人脸姿态 比较好的时候，各种算法都能较好地将口罩合成 到人脸图像中。其中，基于关键点匹配的算法 和本文的算法效果最好，但本文的算法产生的 图像更加自然和逼真。从图6中可以清楚地看 图4口罩图片 到，基于GAN和DCGAN的算法生成的图片效果 Fig.4 Masks used in experiments 相对比较差，口罩会遮住眼睛或者完全超过人脸 的轮廓；而WGAN的方法效果虽然比基于 表2实验环境配置 Table 2 Experiment configuration GAN和DCGAN的算法更好，但合成的口罩不能 很好地贴合人脸轮廓。 实验环境 参数 处理器 Xeon E3-1285L 关键点 内存 GAN DCGAN WGAN本文方法 32 GB 匹配算法 GPU GTX 1080Ti 操作系统 Ubuntu Linux 18.04 编程框架 Tensorflowl.14 3.2实验结果分析 实验使用基于Py-WGAN-div的生成对抗网 络对训练集进行训练，在训练时随机从训练集中 选取人脸图片和口罩图片。图5显示了使用本文 方法进行训练时，每5万次迭代并更新口罩的变 换参数后合成的图片。从图5中可以看出，口罩 位置随着训练的进行逐渐变得更加贴合面部，最 (a)样本1 终得到了较真实的人脸佩戴口罩图像。 关键点 匹配算法 GAN DCGAN WGAN本文方法 图5训练过程 Fig.5 Training process example 在进行算法对比时，本文选取了关键点匹配 算法、基于GAN、DCGAN、和WGAN的算法进 行对比。根据本文实验，原始的生成对抗网络算 法在人脸口罩合成上效果很差，口罩几乎无法覆 (b)样本2片中进行随机平移、旋转以及缩放后，获得总计 158 462 张戴口罩的人脸图片作为数据集。将其中 142 618 张图片 (约 90%) 作为训练集进行判别器 的训练，其余则作为测试集。数据集中图片尺寸 统一缩放至 144 像素×144 像素。并手工制作了 20 张类型、各种花色的口罩图片,口罩图片的尺 寸同样是 144 像素×144 像素，且口罩基本位于图 片的中心，如图 4 所示。本文采用的实验环境配 置如表 2 所示。 图 4 口罩图片 Fig. 4 Masks used in experiments 表 2 实验环境配置 Table 2 Experiment configuration 实验环境 参数 处理器 Xeon E3-1285L 内存 32 GB GPU GTX 1080Ti 操作系统 Ubuntu Linux 18.04 编程框架 Tensorflow1.14 3.2 实验结果分析 实验使用基于 Py-WGAN-div 的生成对抗网 络对训练集进行训练，在训练时随机从训练集中 选取人脸图片和口罩图片。图 5 显示了使用本文 方法进行训练时，每 5 万次迭代并更新口罩的变 换参数后合成的图片。从图 5 中可以看出，口罩 位置随着训练的进行逐渐变得更加贴合面部，最 终得到了较真实的人脸佩戴口罩图像。 图 5 训练过程 Fig. 5 Training process example 在进行算法对比时，本文选取了关键点匹配 算法[5] 、基于 GAN、DCGAN、和 WGAN 的算法进 行对比。根据本文实验，原始的生成对抗网络算 法在人脸口罩合成上效果很差，口罩几乎无法覆 盖正确的位置。因此本文将对比组算法中的 GAN、DCGAN、WGAN 的生成器和判别器之间增 加了空变换网络 (spatial transformer network, STN) 以更合理地进行对比。图 6 是不同算法对 应不同口罩和人脸合成的效果对比图。在对比时 选取了 5 种风格不同的口罩，有最常见的蓝色外 科口罩、KN95 口罩、粉色、方格以及斑点花纹的 口罩。对比实验还选取了 4种不同肤色的人脸及 背景，包括各种肤色与背景颜色。针对不同人 脸、不同口罩以及不同算法进行了对比，结果如 图 6 所示。从图 6(a)、(b) 可以看出，在人脸姿态 比较好的时候，各种算法都能较好地将口罩合成 到人脸图像中。其中，基于关键点匹配的算法 [5] 和本文的算法效果最好，但本文的算法产生的 图像更加自然和逼真。从图 6 中可以清楚地看 到，基于 GAN 和 DCGAN 的算法生成的图片效果 相对比较差，口罩会遮住眼睛或者完全超过人脸 的轮廓； 而 WGA N 的方法效果虽然比基 于 GAN 和 DCGAN 的算法更好，但合成的口罩不能 很好地贴合人脸轮廓。 (a) 样本 1 关键点 匹配算法 GAN DCGAN WGAN 本文方法 关键点 匹配算法 GAN DCGAN WGAN 本文方法 (b) 样本 2 第 6 期 姜义，等：基于生成对抗网络的人脸口罩图像合成 ·1077·