第1期 吴涛，等：基于语义分割的简洁线条肖像画生成方法 ·137· 时，轮廓线条也可以一定程度展现人脸的特征， 式中：ETFoutine表示头发、面部和颈部区域边缘轮 如人脸的轮廓可以反映脸型、胖瘦等，头发的轮 廓的切向流场；ETFd表示五官细节线条的切向 廓能反映发型、长短等。因此，本文将人脸与头 流场；少，是ETFo与ETF之和；n代表衰减 发的轮廓线条也作为主要特征。而人脸的其他区 率，刀越大受邻域的影响越大，本文设置为1。 域，如发丝、颈部等则与人脸的特征相关性不高， 2.3.3图像调和 故本文将这些区域归为细节无关区域，尽可能做 本文以预处理后的人脸图像和提取的线条为 线条简化处理，以降低线条肖像画的复杂度，提 基础进行图像调和，如式（⑤）所示。 高机器人机械臂绘制的效率。 I(x,y)=1.(x,y)Ioumine (x,y)/255letaa(x,y)/255 (5) 鉴于此，本文针对上述不同区域的处理需求， 式中：Toutine表示头发、面部和颈部区域的边缘轮 采用DeepLabV3+语义分割技术，基于Cele- 廓；Iuau表示五官细节线条；outline、Iseail与预处理 bAMask-HQ人脸语义分割数据集，构建人脸语义 人脸图像的灰度图I。相乘后得到调和图像Im。 分割模型，实现对人脸不同区域的分割。为了降 2.3.4基于分区域参数的线条生成 低模型学习的复杂度并提高人脸分割的准确率， 采用调和图像1m代替式(2)中的1，沿着优化 本文对CelebAMask-HQ人脸语义分割数据集的 后的切向流进行卷积，生成简洁线条肖像画。如 人脸区域划分方式进行了优化，将左右眉毛、左 1.2节所述，P、e、o、~m是影响线条效果的4个 右眼睛、左右耳朵分别归为一类，确定了11种类 核心参数。本文通过大量实验分析，总结了上述 别，即：头发、面部、颈部、眉毛、眼睛、鼻子、上嘴 参数对线条肖像画生成效果的影响，如表1所示。 唇、下嘴唇、口腔、耳朵、背景。 表1FDoG核心参数对线条肖像画生成效果的影响 为了提高模型的鲁棒性与泛化能力，本文在 Table 1 The influence of FDoG's core parameters on the 人脸语义分割模型训练过程中，对人脸图像及其 effect of line portrait 语义标注图像做了数据增强处理，包括对比度调 参数取值范围 含义 影响说明 整、亮度调整、颜色变化、添加不同噪声、添加不 反映线条 值越小，细节越少，检出线条 同程度模糊、不同程度旋转、不同尺度缩放、替换 [0.90-11 的细节敏 变少：值越接近1，细节越 多样化背景等，以适应在实际应用过程中环境差 感程度 多，噪声也相应增加 异、姿态差异等情况。 反映线条 值越大，提取的线条越宽：值 [0.3-3] 2.3线条肖像画生成 的宽度 越小，提取的线条越细 2.31线条提取 值越小，线条连贯性越差，细 反映线条的 针对人脸语义分割得到的头发、面部、颈部 [1-] 小线条越多；值越大，线条连 连贯程度 五官等区域，基于FDoG方法，分别设置2组不同 贯性越好，细小线条越少 的参数，分别实现头发、面部和颈部区域的边缘 注：，与σ.同步变化，0，=1.60。 轮廓及五官细节线条的提取。 在此基础上，提出分区域参数设置策略，如 2.3.2ETF优化 表2所示。 在用FDoG进行线条提取时，常因不同区域 肤色相近、光照变化等情况导致出现线条提取不 表2分区域参数设置策略 Table 2 Regional parameter setting strategy 完整或五官细节不显著等问题，补充或加强边缘 设置策略 轮廓或细节线条的方向将对改善上述问题起到积 区域 p 极作用。为此，本文提出ET℉优化方法，引入单 Ce 调递增函数ω，(x,y)作为新的权重来加强切向流， 头发 [0.96,0.99] 1 6 当邻域y的切向流幅值大于x的切向流幅值时， 面部 0.90 0.75 该权重系数增大，可在一定程度上加强边缘方向 颈部 0.96 6 性。改进后的ETF计算为 眉眼 0.994 0.75 1.3 w)=∑xr"0)ω，(c,x 其他五官 0.99 3 (4) 具体说明如下： wm(x,y)wd(x,y)w(x,y) 1)头发区域：最大程度去除细节线条、保留 r(x.y)=(1+tanh() 主轮廓线条，且尽可能保持主轮廓线条的连贯 =ETFoutline+ETFdetail 性。考虑到性别、装饰等因素影响，头发区域可时，轮廓线条也可以一定程度展现人脸的特征， 如人脸的轮廓可以反映脸型、胖瘦等，头发的轮 廓能反映发型、长短等。因此，本文将人脸与头 发的轮廓线条也作为主要特征。而人脸的其他区 域，如发丝、颈部等则与人脸的特征相关性不高， 故本文将这些区域归为细节无关区域，尽可能做 线条简化处理，以降低线条肖像画的复杂度，提 高机器人机械臂绘制的效率。 鉴于此，本文针对上述不同区域的处理需求， 采用 DeepLabV3+语义分割技术，基于 Cele￾bAMask-HQ 人脸语义分割数据集，构建人脸语义 分割模型，实现对人脸不同区域的分割。为了降 低模型学习的复杂度并提高人脸分割的准确率， 本文对 CelebAMask-HQ 人脸语义分割数据集的 人脸区域划分方式进行了优化，将左右眉毛、左 右眼睛、左右耳朵分别归为一类，确定了 11 种类 别，即：头发、面部、颈部、眉毛、眼睛、鼻子、上嘴 唇、下嘴唇、口腔、耳朵、背景。 为了提高模型的鲁棒性与泛化能力，本文在 人脸语义分割模型训练过程中，对人脸图像及其 语义标注图像做了数据增强处理，包括对比度调 整、亮度调整、颜色变化、添加不同噪声、添加不 同程度模糊、不同程度旋转、不同尺度缩放、替换 多样化背景等，以适应在实际应用过程中环境差 异、姿态差异等情况。 2.3 线条肖像画生成 2.3.1 线条提取 针对人脸语义分割得到的头发、面部、颈部、 五官等区域，基于 FDoG 方法，分别设置 2 组不同 的参数，分别实现头发、面部和颈部区域的边缘 轮廓及五官细节线条的提取。 2.3.2 ETF 优化 ωl(x, y) y x 在用 FDoG 进行线条提取时，常因不同区域 肤色相近、光照变化等情况导致出现线条提取不 完整或五官细节不显著等问题，补充或加强边缘 轮廓或细节线条的方向将对改善上述问题起到积 极作用。为此，本文提出 ETF 优化方法，引入单 调递增函数 作为新的权重来加强切向流， 当邻域 的切向流幅值大于 的切向流幅值时， 该权重系数增大，可在一定程度上加强边缘方向 性。改进后的 ETF 计算为 t new (x) = 1 k ∑ y∈Ω(x) ϕ(x, y)t cur (y)ωs (x, y)× ωm (x, y)ωd (x, y)ωl(x, y) (4) ωl(x, y) = 1 2 ( 1+tanh[ η(ψl(y)−ψl(x))]) ψl = ETFoutline +ETFdetail ETFoutline ETFdetail ψl ETFoutline ETFdetail η η 式中： 表示头发、面部和颈部区域边缘轮 廓的切向流场； 表示五官细节线条的切向 流场； 是 与 之和； 代表衰减 率， 越大受邻域的影响越大，本文设置为 1。 2.3.3 图像调和 本文以预处理后的人脸图像和提取的线条为 基础进行图像调和，如式 (5) 所示。 Im (x, y) = Io (x, y)Ioutline (x, y) /255Idetail(x, y) /255 (5) Ioutline Idetail Ioutline Idetail Io Im 式中： 表示头发、面部和颈部区域的边缘轮 廓； 表示五官细节线条； 、 与预处理 人脸图像的灰度图 相乘后得到调和图像 。 2.3.4 基于分区域参数的线条生成 Im I ρ σc σs σm 采用调和图像 代替式 (2) 中的 ，沿着优化 后的切向流进行卷积，生成简洁线条肖像画。如 1.2 节所述， 、 、 、 是影响线条效果的 4 个 核心参数。本文通过大量实验分析，总结了上述 参数对线条肖像画生成效果的影响，如表 1 所示。 表 1 FDoG 核心参数对线条肖像画生成效果的影响 Table 1 The influence of FDoG’s core parameters on the effect of line portrait 参数 取值范围 含义 影响说明 ρ [0.90~1] 反映线条 的细节敏 感程度 值越小，细节越少，检出线条 变少；值越接近1，细节越 多，噪声也相应增加 σc [0.3~3] 反映线条 的宽度 值越大，提取的线条越宽；值 越小，提取的线条越细 σm [1~9] 反映线条的 连贯程度 值越小，线条连贯性越差，细 小线条越多；值越大，线条连 贯性越好，细小线条越少 注：σs 与 σc 同步变化，σs= 1.6σc。 在此基础上，提出分区域参数设置策略，如 表 2 所示。 表 2 分区域参数设置策略 Table 2 Regional parameter setting strategy 区域 设置策略 ρ σc σm 头发 [0.96, 0.99] 1 6 面部 0.90 0.75 4 颈部 0.96 1 6 眉眼 0.994 0.75 1.3 其他五官 0.99 1 3 具体说明如下： 1) 头发区域：最大程度去除细节线条、保留 主轮廓线条，且尽可能保持主轮廓线条的连贯 性。考虑到性别、装饰等因素影响，头发区域可 第 1 期 吴涛，等：基于语义分割的简洁线条肖像画生成方法 ·137·