·1078· 智能系统学报 第16卷 关键点 性(structural similarity)和深度特征度量图像相似 匹配算法 GAN DCGAN WGAN本文方法 (learned perceptual image patch similarity)2425 3个指标来客观评价各种不同GAN模型在口罩 合成上的效果。 IS评价方法将生成的图片送入训练好的In- ception分类模型中。该Inception分类模型的输 出是一个1000维的标签，该标签的每一个维度表 示了输入图像属于某个分类的概率。如果训练结 果较好，结果会比较集中。结果如表3所示，虽 然GAN和DCGAN网络生成的戴口罩图片与希 望的结果相差甚远，但它们的IS分数却比本文算 法更高。出现这个现象是因为，虽然S能够作为 (c)样本3 图像合成质量的一个指标，但该指标无法真正反 映合成图像中的细节，例如：口罩是否正确地覆 关键点 匹配算法 GAN DCGAN WGAN本文方法 盖了人的嘴巴和鼻子，口罩覆盖的区域是否过大 而导致面部信息的丢失，脸部的其他部位是否有 被保留等。因此本文还对生成的图片进行了人工 评判。人工评判的方式为将100组不同的人脸图 像分别给20个人进行评分，每组图像包含了人脸 的原始图像、佩戴口罩的类型以及两种方法合成 后的图片，并对合成后的图像进行是否真实的判 别，判别结果如表3。由判别结果可知，本文方法 合成的图像更加真实。 表3性能对比1 Table 3 Performance comparison 1 (d)样本4 方法 IS 人工评价% 图6不同算法结果对比 GAN 2.567 0 Fig.6 Comparisons between various methods DCGAN 2.433 23 图6(c)中的人脸往右偏，除本文方法外的其 WGAN 2.272 71 本文方法 他方法的结果中，口罩只能比较好地贴合左半边 2.326 个 脸，右半边脸的口罩则会过大。此时本文的算法 此外，本文还采取了两种相对客观的评价方 虽然也不十分理想，但是能够基本贴合人脸轮 法，结构相似性(structural similarity,SSIM)和深度 廓，相对更好一些。而对于图6(d)中低头的人 特征度量图像相似度(learned perceptual image 脸，除了基于关键点的算法和本文的算法外，其 patch similarity,LPIPS)P,来对生成的图像进行评 他算法获得的人脸口罩图像都有较大失真，表现 价。SIM是一种参考的图像质量评估指标，通过 在不能覆盖下巴和口鼻，或者覆盖了不该覆盖的 对图像的亮度、对比度和结构3个方面对图像的 区域，相较之下，在图像中的人脸姿态不是正面 相似度进行比较度量。而深度特征度量图像相似 面向镜头时，本文算法获得的人脸口罩图像仍然 度则是使用由预训练的神经网络提取的特征图来 是更好的。综上得出，在图像中的人脸姿态没有 量化两幅图像之间的感知差异，两幅图越相似则 正面面向摄像头时，所有的算法得到的戴口罩人 距离越近。SSM和LPIPS指标的对比结果如表4 脸图像都有所欠缺，但是本文的算法在人脸口罩 所示。 合成的效果上明显优于其他算法，基本能够贴合 从表4中可以看出，本文算法相比与对比算 人脸的轮廓，没有遮挡不该遮挡的部位，并且在 法在结构相似度上更高。而深度特征度量图像相 细节上更加真实。 似度非常小，说明了合成的戴口罩图像与真实的 为了更客观地比较不同算法的合成效果，本 戴口罩的人脸距离很接近，充分证明了本文算法 文采用了IS Score(inception score)22-2、结构相似 的有效性。关键点 匹配算法 GAN DCGAN WGAN 本文方法 (c) 样本 3 关键点 匹配算法 GAN DCGAN WGAN 本文方法 (d) 样本 4 图 6 不同算法结果对比 Fig. 6 Comparisons between various methods 图 6(c) 中的人脸往右偏，除本文方法外的其 他方法的结果中，口罩只能比较好地贴合左半边 脸，右半边脸的口罩则会过大。此时本文的算法 虽然也不十分理想，但是能够基本贴合人脸轮 廓，相对更好一些。而对于图 6(d) 中低头的人 脸，除了基于关键点的算法和本文的算法外，其 他算法获得的人脸口罩图像都有较大失真，表现 在不能覆盖下巴和口鼻，或者覆盖了不该覆盖的 区域，相较之下，在图像中的人脸姿态不是正面 面向镜头时，本文算法获得的人脸口罩图像仍然 是更好的。综上得出，在图像中的人脸姿态没有 正面面向摄像头时，所有的算法得到的戴口罩人 脸图像都有所欠缺，但是本文的算法在人脸口罩 合成的效果上明显优于其他算法，基本能够贴合 人脸的轮廓，没有遮挡不该遮挡的部位，并且在 细节上更加真实。 为了更客观地比较不同算法的合成效果，本 文采用了 IS Score(inception score)[22-23] 、结构相似 性 (structural similarity) 和深度特征度量图像相似 度 (learned perceptual image patch similarity)[24-25] 3 个指标来客观评价各种不同 GAN 模型在口罩 合成上的效果。 IS 评价方法将生成的图片送入训练好的 In￾ception 分类模型中。该 Inception 分类模型的输 出是一个 1 000 维的标签，该标签的每一个维度表 示了输入图像属于某个分类的概率。如果训练结 果较好，结果会比较集中。结果如表 3 所示，虽 然 GAN 和 DCGAN 网络生成的戴口罩图片与希 望的结果相差甚远，但它们的 IS 分数却比本文算 法更高。出现这个现象是因为，虽然 IS 能够作为 图像合成质量的一个指标，但该指标无法真正反 映合成图像中的细节，例如：口罩是否正确地覆 盖了人的嘴巴和鼻子，口罩覆盖的区域是否过大 而导致面部信息的丢失，脸部的其他部位是否有 被保留等。因此本文还对生成的图片进行了人工 评判。人工评判的方式为将 100 组不同的人脸图 像分别给 20 个人进行评分，每组图像包含了人脸 的原始图像、佩戴口罩的类型以及两种方法合成 后的图片，并对合成后的图像进行是否真实的判 别，判别结果如表 3。由判别结果可知，本文方法 合成的图像更加真实。 表 3 性能对比 1 Table 3 Performance comparison 1 方法 IS 人工评价/% GAN 2.567 0 DCGAN 2.433 23 WGAN 2.272 71 本文方法 2.326 77 此外，本文还采取了两种相对客观的评价方 法，结构相似性 (structural similarity，SSIM) 和深度 特征度量图像相似度 (learned perceptual image patch similarity，LPIPS)[24] ，来对生成的图像进行评 价。SSIM 是一种参考的图像质量评估指标，通过 对图像的亮度、对比度和结构 3 个方面对图像的 相似度进行比较度量。而深度特征度量图像相似 度则是使用由预训练的神经网络提取的特征图来 量化两幅图像之间的感知差异，两幅图越相似则 距离越近。SSIM 和 LPIPS 指标的对比结果如表 4 所示。 从表 4 中可以看出，本文算法相比与对比算 法在结构相似度上更高。而深度特征度量图像相 似度非常小，说明了合成的戴口罩图像与真实的 戴口罩的人脸距离很接近，充分证明了本文算法 的有效性。 ·1078· 智 能 系 统 学 报 第 16 卷