·136· 智能系统学报 第16卷 1)构造图像边缘切向流场。边缘切向流 数，是本文关注的重点。 (edge tangent flow,ETF)是垂直于梯度、表示局部 边缘流曲线的正切向量，用(x)来表示，其中x为 图像上的像素坐标点。为了得到图像的高质量线 条，利用与邻域y的空间位置权重、幅值权重和方 向权重信息，逐步迭代构建切向流，如式(1)所示： r产6国=2xr产oe,xa.cex)0 (a)切向流(b)滤波核 (©)滤波核放大图 YESGT) 式中：tw表示下一次切向流场；tr表示当前切向 图1基于ETF的高斯差分卷积 Fig.1 Flow-based DoG convolution 流场；k为邻域大小；表示x的邻域；ω、ωm、w 分别代表空间位置、幅值和方向的权重；中表示邻 2生成方法 域y与x的方向是否相近。 2)基于ET℉的高斯差分滤波线条提取。基 本文在人脸语义分割基础上，提出了简洁线 于切向流场进行滤波核卷积以提取线条，如图1 条肖像画生成方法(concise line portrait generation 所示。首先，设置高斯差分卷积核沿着曲线1，从 based on semantic segmentation,CLPG-SS),,总体框 -T~T检测边缘；然后，在检测到的边缘上利用另 架如图2所示。首先，在对人脸图像预处理后，对 一个高斯核沿着弧线c.从-S~S的方向进行积 其进行人脸语义分割，得到不同的人脸区域；然 分，聚集检测到的点以得到最终的连贯线条，如 后，针对分割得到的头发、面部、颈部、五官等区 式(2)、(3)所示： 域，利用FDoG方法提取得到区域边缘轮廓及五 F(s)=(G (t)-pG,(t))I (l,(t))dt (2) 官细节线条；在此基础上，进行ET℉优化，从而加 强轮廓线条和五官细节对应位置的方向；最后， 将预处理后的人脸图像与线条提取结果进行融 H(x)=G (s)F(s)ds (3) 合，并利用优化后的ET℉与语义分割结果，针对 式中：F表示检测到的边缘点；H表示线条；II,() 不同的分割区域调整FDoG参数，以实现对细节 表示输入图像1在1，()处的值；G。是方差为σ的 无关区域的线条过滤和细节重点区域的线条加 一维高斯函数；P、σe、σ、σm为影响线条效果的参 强，得到简洁线条肖像画。 4 两和图像 语义分割结果 线条提取结果 构建 ETF 基于分 ETF 区域参数的 FDoG 优化 线条生成 发、自面 区域轮廓线条 颈部区域 图像预处理 语义分割 人脸检测 11种类别 今 切向流 简洁线条 肖像可 特征点定位 人脸归一化预处理后的 绘图区域 人脸图像 面部子图 五官细节线条 原始图像 裁剪 脸语义区 图2基于语义分割的简洁线条肖像画生成方法(CLPG-S⑤总体架构 Fig.2 The overall architecture of Concise line portrait generation method based on semantic segmentation(CLPG-SS) 2.1人脸图像预处理 2.2人脸语义分割 本文人脸图像预处理主要包括人脸检测、特 五官反映了一个人有别于他人的主要特征， 征点定位、人脸归一化、绘图区域裁剪等。其中， 能表现容貌、表情、年龄等，是人脸特征中最为传 人脸归一化操作包括人脸图像的旋转、缩放，以 神、最具辨识性的特征。因此，本文的思路是尽 使不同人脸图像保持在同一尺度下。 可能提取并保留完整线条来展现五官特征。同t(x) x y 1 ) 构造图像边缘切向流场。边缘切向 流 (edge tangent flow, ETF) 是垂直于梯度、表示局部 边缘流曲线的正切向量，用 来表示，其中 为 图像上的像素坐标点。为了得到图像的高质量线 条，利用与邻域 的空间位置权重、幅值权重和方 向权重信息，逐步迭代构建切向流，如式 (1) 所示： t new (x) = 1 k ∑ y∈Ω(x) ϕ(x, y)t cur (y)ωs (x, y)ωm (x, y)ωd (x, y) (1) t new t cur k Ω x ωs ωm ωd ϕ y x 式中： 表示下一次切向流场； 表示当前切向 流场； 为邻域大小； 表示 的邻域； 、 、 分别代表空间位置、幅值和方向的权重； 表示邻 域 与 的方向是否相近。 ls −T T cx −S S 2) 基于 ETF 的高斯差分滤波线条提取。基 于切向流场进行滤波核卷积以提取线条，如图 1 所示。首先，设置高斯差分卷积核沿着曲线 从 ~ 检测边缘；然后，在检测到的边缘上利用另 一个高斯核沿着弧线 从 ~ 的方向进行积 分，聚集检测到的点以得到最终的连贯线条，如 式 (2)、(3) 所示： F (s) = wT −T ( Gσc (t)−ρGσs (t) ) I(ls (t))dt (2) H (x) = ws −s Gσm (s)F (s)ds (3) F H I(ls(t)) I ls(t) Gσ σ ρ σc σs σm 式中： 表示检测到的边缘点； 表示线条； 表示输入图像 在 处的值； 是方差为 的 一维高斯函数； 、 、 、 为影响线条效果的参 数，是本文关注的重点。 x x Cx t (x) −T −S −T −T S ls T Cx x T T (a) 切向流 (b) 滤波核 (c) 滤波核放大图 图 1 基于 ETF 的高斯差分卷积 Fig. 1 Flow-based DoG convolution 2 生成方法 本文在人脸语义分割基础上，提出了简洁线 条肖像画生成方法 (concise line portrait generation based on semantic segmentation, CLPG-SS)，总体框 架如图 2 所示。首先，在对人脸图像预处理后，对 其进行人脸语义分割，得到不同的人脸区域；然 后，针对分割得到的头发、面部、颈部、五官等区 域，利用 FDoG 方法提取得到区域边缘轮廓及五 官细节线条；在此基础上，进行 ETF 优化，从而加 强轮廓线条和五官细节对应位置的方向；最后， 将预处理后的人脸图像与线条提取结果进行融 合，并利用优化后的 ETF 与语义分割结果，针对 不同的分割区域调整 FDoG 参数，以实现对细节 无关区域的线条过滤和细节重点区域的线条加 强，得到简洁线条肖像画。 面部子图 人脸语义区域 区域轮廓线条 五官细节线条 切向流 简洁线条 肖像画 调和图像 语义分割结果 线条提取结果 构建 ETF 图像预处理 原始图像 语义分割 FDoG ETF 优化 人脸检测 特征点定位 人脸归一化 绘图区域 裁剪 …… 预处理后的 人脸图像 11 种类别 头发、面部、 颈部区域 基于分 区域参数的 线条生成 图 2 基于语义分割的简洁线条肖像画生成方法 (CLPG-SS) 总体架构 Fig. 2 The overall architecture of Concise line portrait generation method based on semantic segmentation ( CLPG-SS) 2.1 人脸图像预处理 本文人脸图像预处理主要包括人脸检测、特 征点定位、人脸归一化、绘图区域裁剪等。其中， 人脸归一化操作包括人脸图像的旋转、缩放，以 使不同人脸图像保持在同一尺度下。 2.2 人脸语义分割 五官反映了一个人有别于他人的主要特征， 能表现容貌、表情、年龄等，是人脸特征中最为传 神、最具辨识性的特征。因此，本文的思路是尽 可能提取并保留完整线条来展现五官特征。同 ·136· 智 能 系 统 学 报 第 16 卷