第1期 吴涛，等：基于语义分割的简洁线条肖像画生成方法 ·135· 线条的形式真实、生动地体现人物特征，其创作 取却难以适用。与FDoG构建切向流场的方式不 需要很高的专业能力和艺术功底，是一项具有创 同，Kyprianidis等提出用结构张量构建图像的 意性、专业性且精细化程度高、极耗时、耗力的艺 切向流场，这种方法容易实现但是对噪声比较敏 术活动，如何使用计算机来代替人类绘画成为一 感。Winnemoller等提出的XDoG算法通过微 个热点问题。随着计算机视觉及人工智能技术 调可以形成多种不同风格的效果。此外，随着深 的蓬勃发展，各行各业都涌现出了多种多样的智 度学习技术的发展，基于神经网络的线条生成方法 能机器人以满足不同的需求，而艺术创作一直被 也应运而生6，但这些方法多为黑盒系统，难以 视为机器人智能的重要表现。因而，探索面向 有针对性地进行参数量化调整，因此无法实现对 机器艺术的线条肖像画艺术创作方法已成为人工 线条的调控，应用效果受限。 智能与艺术融合的研究热点，如何提取凸显人物 综合上述分析，目前主流的线条提取算法往 特征的线条并简洁展现成为创作的关键。 往生成复杂的线条以保持可辨识的人脸特征，且 当前，线条提取方法通常基于边缘检测算法， 对不同区域线条提取的精细程度采用统一调整的 通过设计各种边缘检测算子，检测灰度图像的一 方式，使得线条肖像画总体线条较复杂、机器人机 阶微分和二阶微分的响应来获取边缘，从而生成 械臂绘图时间较长。鉴于此，本文提出了一种基于 线条肖像画图像，如：一阶微分检测边缘的滤波 语义分割的简洁线条肖像画生成方法，利用语义 算子Sobel、交叉梯度Roberts算子，二阶微分拉普 分割技术，将人脸图像划分为不同区域，进而利用 拉斯算子(laplace operator)、Marr-Hildreth算子、 不同区域之间的边缘，得到人脸主轮廓线条和五 DoG算子(difference-.of-gaussians,DoG)等。 官区域线条，以优化边缘切向流场：进一步，采用 Canny!1检测算法由于计算简单、边缘定位准确， 不同的参数配置，分区域进行线条生成，实现对 在边缘检测领域广泛使用。Laplacian算子基于检 细节无关区域的线条简化和细节重点区域的线条 测二阶微分来检测边缘，Marr-Hildreth算子是一 加强，最终达到肖像线条总体简洁、个性化特征 种经过高斯平滑的拉普拉斯变换。Gooch等利 可辨识、有效缩短机器人机械臂绘制时间的目标。 用2个高斯滤波核的差(difference-of-gaussians, 1相关技术 DoG)来近似表示Marr-Hildreth算子，大大节省 了计算量，并取得了较好的线条提取效果。但由 1.1 人脸语义分割 于DoG滤波的核是各项同性的，不能很好地考虑 图像语义分割是图像处理领域的一个热点问 图像自身边缘的流向性，因而往往会出现一些杂 题，目的是理解图像的语义信息，按照图像中的 乱的短线条干扰线条特征的表达。针对这一问 语义分析进行分割，本文利用语义分割按照人脸 题，Kang等I6提出了基于流的高斯差分(flow- 图像中内容的不同，将人脸图像划分为不同区 based difference of gaussian,FDoG)算法，使用基于 域，为后续的分区域图像处理奠定基础。图像语 流的各向异性滤波器替代传统边缘检测算子，有 义分割的方法可以分为2种，一种是基于区域分 效减少了线条的断裂现象，提高了线条的连贯性 类的图像语义分割方法，另一种是基于深度学习 与平滑性，同时抑制了噪声。然而，这种方法仍 的像素级图像语义分割方法。在基于深度学习的 具有一定的局限性，如对颜色不同但亮度近似的 像素级图像语义分割方法中，DeepLab系列 2个灰度域的边界提取效果并不理想。为此，很 ADDIN EN.CITE.DATAU7-20取得了公认的效果， 多专家学者基于FDoG算法进行了大量优化改进 该系列的主要特点是采用空洞卷积来代替传统卷 的尝试。Wang等m在FDoG的基础上提出了一 积，在没有增加参数的情况下，增大了感受野。其 种梯度引导方法，实现了对亮度相近颜色不同区 中DeepLabV3+采用了编码解码的结构，在解码阶 域的边缘检测。王山东等s-1基于FDoG算法提 段使用了编码阶段的信息来优化目标的细节。 出了基于特征流的抽象线条画绘制方法，将高斯 本文采用DeepLabV3+来构建人脸语义分割模型， 一阶导滤波结果和高斯差分滤波结果进行混合作 对人脸图像的不同区域进行划分，从而实现针对 为边缘检测的微分响应，所生成的线条图像对线 性的图像处理操作，生成简洁线条肖像画。 条位置的检测更为准确，但其线条却十分复杂。 1.2FDoG方法 柳有权等提出了一种建筑线条生成方法，检测 FDoG是一种各项异性边缘检测滤波器，可 建筑物的直线并强化直线的切向流，以突出建筑 以根据图像自身的一些局部方向特征改变滤波的 物的线条特征，但这种面向具有规则几何结构的 过程，相比于各项同性滤波器能够检测到具有一 线条生成方法对于人脸这类不规则图像的线条提 致性的线条。FDoG算法主要包括2个过程：线条的形式真实、生动地体现人物特征，其创作 需要很高的专业能力和艺术功底，是一项具有创 意性、专业性且精细化程度高、极耗时、耗力的艺 术活动，如何使用计算机来代替人类绘画成为一 个热点问题[1]。随着计算机视觉及人工智能技术 的蓬勃发展，各行各业都涌现出了多种多样的智 能机器人以满足不同的需求，而艺术创作一直被 视为机器人智能的重要表现[2]。因而，探索面向 机器艺术的线条肖像画艺术创作方法已成为人工 智能与艺术融合的研究热点，如何提取凸显人物 特征的线条并简洁展现成为创作的关键。 当前，线条提取方法通常基于边缘检测算法， 通过设计各种边缘检测算子，检测灰度图像的一 阶微分和二阶微分的响应来获取边缘，从而生成 线条肖像画图像，如：一阶微分检测边缘的滤波 算子 Sobel、交叉梯度 Roberts 算子，二阶微分拉普 拉斯算子 (laplace operator)、Marr-Hildreth 算子、 DoG 算子（difference-of-gaussians, DoG）等。 Canny[3] 检测算法由于计算简单、边缘定位准确， 在边缘检测领域广泛使用。Laplacian 算子基于检 测二阶微分来检测边缘，Marr-Hildreth 算子是一 种经过高斯平滑的拉普拉斯变换。Gooch 等 [4] 利 用 2 个高斯滤波核的差 (difference-of-gaussians， DoG) 来近似表示 Marr-Hildreth 算子[5] ，大大节省 了计算量，并取得了较好的线条提取效果。但由 于 DoG 滤波的核是各项同性的，不能很好地考虑 图像自身边缘的流向性，因而往往会出现一些杂 乱的短线条干扰线条特征的表达。针对这一问 题 ，Kang 等 [6] 提出了基于流的高斯差分 (flow￾based difference of gaussian，FDoG) 算法，使用基于 流的各向异性滤波器替代传统边缘检测算子，有 效减少了线条的断裂现象，提高了线条的连贯性 与平滑性，同时抑制了噪声。然而，这种方法仍 具有一定的局限性，如对颜色不同但亮度近似的 2 个灰度域的边界提取效果并不理想。为此，很 多专家学者基于 FDoG 算法进行了大量优化改进 的尝试。Wang 等 [7] 在 FDoG 的基础上提出了一 种梯度引导方法，实现了对亮度相近颜色不同区 域的边缘检测。王山东等[8-9] 基于 FDoG 算法提 出了基于特征流的抽象线条画绘制方法，将高斯 一阶导滤波结果和高斯差分滤波结果进行混合作 为边缘检测的微分响应，所生成的线条图像对线 条位置的检测更为准确，但其线条却十分复杂。 柳有权等[10] 提出了一种建筑线条生成方法，检测 建筑物的直线并强化直线的切向流，以突出建筑 物的线条特征，但这种面向具有规则几何结构的 线条生成方法对于人脸这类不规则图像的线条提 取却难以适用。与 FDoG 构建切向流场的方式不 同，Kyprianidis 等 [11] 提出用结构张量构建图像的 切向流场，这种方法容易实现但是对噪声比较敏 感。Winnemöller 等 [12] 提出的 XDoG 算法通过微 调可以形成多种不同风格的效果。此外，随着深 度学习技术的发展，基于神经网络的线条生成方法 也应运而生[13-16] ，但这些方法多为黑盒系统，难以 有针对性地进行参数量化调整，因此无法实现对 线条的调控，应用效果受限。 综合上述分析，目前主流的线条提取算法往 往生成复杂的线条以保持可辨识的人脸特征，且 对不同区域线条提取的精细程度采用统一调整的 方式，使得线条肖像画总体线条较复杂、机器人机 械臂绘图时间较长。鉴于此，本文提出了一种基于 语义分割的简洁线条肖像画生成方法，利用语义 分割技术，将人脸图像划分为不同区域，进而利用 不同区域之间的边缘，得到人脸主轮廓线条和五 官区域线条，以优化边缘切向流场；进一步，采用 不同的参数配置，分区域进行线条生成，实现对 细节无关区域的线条简化和细节重点区域的线条 加强，最终达到肖像线条总体简洁、个性化特征 可辨识、有效缩短机器人机械臂绘制时间的目标。 1 相关技术 1.1 人脸语义分割 图像语义分割是图像处理领域的一个热点问 题，目的是理解图像的语义信息，按照图像中的 语义分析进行分割，本文利用语义分割按照人脸 图像中内容的不同，将人脸图像划分为不同区 域，为后续的分区域图像处理奠定基础。图像语 义分割的方法可以分为 2 种，一种是基于区域分 类的图像语义分割方法，另一种是基于深度学习 的像素级图像语义分割方法。在基于深度学习的 像素级图像语义分割方法中， DeepLa b 系 列 ADDIN EN.CITE.DATA[17-20] 取得了公认的效果， 该系列的主要特点是采用空洞卷积来代替传统卷 积，在没有增加参数的情况下，增大了感受野。其 中 DeepLabV3+采用了编码解码的结构，在解码阶 段使用了编码阶段的信息来优化目标的细节。 本文采用 DeepLabV3+来构建人脸语义分割模型， 对人脸图像的不同区域进行划分，从而实现针对 性的图像处理操作，生成简洁线条肖像画。 1.2 FDoG 方法 FDoG 是一种各项异性边缘检测滤波器，可 以根据图像自身的一些局部方向特征改变滤波的 过程，相比于各项同性滤波器能够检测到具有一 致性的线条。FDoG 算法主要包括 2 个过程： 第 1 期 吴涛，等：基于语义分割的简洁线条肖像画生成方法 ·135·