第5期 师亚亭，等：基于嘴巴状态约束的人脸特征点定位算法 ·579. 预测人脸形状中嘴巴区域的特征点位置更加接近真 嘴巴状态分类器获取嘴巴状态标签，并在ESR定位 实情况。 回归过程中对每次回归的结果进行强形状约束，达 1 相关算法 到人脸形状估计中嘴巴特征点的精确定位。 人脸特征点定位算法是一项很有挑战性并且值 2算法流程 得深入研究的工作。主动形状模型(active shape 2.1算法框架 model,ASM)[]和主动表观模型(active appearance 本文算法框架如图2所示。输入一副人脸图 model,AAM)[2是最经典并被广泛使用的人脸对齐 像，1)通过一个定位7个关键角点的ESR人脸对齐 算法，主要通过调整模型的参数来不断优化误差函 算法找出嘴角点，以嘴角点横向距离的1.3倍为宽， 数，进而进行形状估计。近年来，基于回归的算 截取1：2高宽比的嘴巴矩形区域送入嘴巴状态分类 法[取得了令人满意的定位效果。他们通过大批 器：2)嘴巴状态分类器将送入的嘴巴区域图像分为 量的训练数据来学习一个级联回归模型，将图像特 不同的状态。其中，基于H$V的嘴巴状态分类器将 征直接映射为最终的人脸形状。相比经典的ASM 嘴巴分为张开与非张开：基于卷积神经网络的分类 和AAM,基于回归的人脸特征点算法对初始化依赖 器将嘴巴分为张开、闭合与微张：3)根据获取的嘴 较小，并且具有定位速度快、定位准确度高的优点。 巴状态标签，结合输入的人脸图像，在训练好的定位 无论是ASM、AAM及其相关的改进算法[7)，还 68个点的E$R人脸对齐算法模型回归过程中，加入 是成为研究热点的回归算法，在人脸对齐过程中，特 与获取嘴巴状态标签对应的嘴巴特征点强形状约 征点的更新都依赖于特征点周围图像的灰度梯度特 束，得到最终的人脸形状。接下来介绍与本文方法 征。人脸特征点定位算法的目标是达到估计形状与 相关的ESR人脸对齐算法、嘴巴状态分类器以及强 人脸真实形状的误差最小，而并不保障每一个特征 形状约束策略的应用细节。 点的精确定位。对于灰度梯度特征不明显或者可能 输入图像 7关键角点 输出人脸形状 性较多的区域（如轮廓、嘴巴），局部区域的定位误 获取嘴巴区城 差相对较大（如图1）。 0.12 0.10 0.08 状态 006 基于CNN 嘴巴状态 标签 强形状约束 0.04 分类器 特征点定位 0.02 基于HSV 轮廓眉毛眼睛鼻子嘴巴 图2本文算法流程 人脸部位 Fig.2 Algorithm flow chart 图1不同部位人脸特征点误差 2.2ESR人脸对齐算法 Fig.1 Facial landmarks error in different region ESR人脸对齐算法是一个双层级联的booste-d 许多局部特征点的定位优化都是基于人脸形状 (增强)回归模型，由级联姿态回归算法(cascaded 的估计结果，进行进一步的修正以达到精确化的目 pose regression,CPR)[o发展而来。ESR模型的学 标。文献[10]在用人脸对齐算法得到人脸轮廓后， 习与人脸灰度图像、初始化形状以及真实人脸形状 又通过启发式的边界响应来移动组成轮廓的特征点 直接相关。ESR算法结构如图3所示，模型第一层 位置。文献「111通过融合AAM和在线肤色纹理特 以逐层添加的形式将T个回归器(R,R2,…,R)连 征实现低分辨率图像中眼睛区域的精确定位。文献 接，每一个回归器R,由K个弱回归器(r1,'2,…,「x) [12]在检测出特征区域后，用外包点集进行曲线拟 连接而成，组成模型的第2层。在每个第1层回归 合来调整边缘点。此外，文献[9]提出将局部ASM 器中，随机选择P个候选特征点，并将其位置用局 与全局ASM结合的多模板ASM方法以提高单一模 部坐标)表示，然后将候选特征点的灰度值两两相 型对局部区域特征点定位的准确度。然而，这些算法 减组成P2灰度差分特征送入第2层弱回归器。每 都没有针对性的解决嘴巴特征点定位错误的情况。 个第2层弱回归器根据选中的F个特征和阈值将 本文从消除嘴巴特征点定位错误的角度出发， 特征空间（所有训练样本）划分到2个容器中，由 基于计算简单、定位速度快、准确度高且无参的显示 每个容器输出更新形状8，计算方法如公式(1)、 形状回归算法(explicit shape regression,ESR),通过 (2)所示。预测人脸形状中嘴巴区域的特征点位置更加接近真 实情况。 １ 相关算法 人脸特征点定位算法是一项很有挑战性并且值 得深入研究的工作。 主动形状模型（ ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌ，ＡＳＭ） ［１］ 和主动表观模型（ ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ，ＡＡＭ） ［２］是最经典并被广泛使用的人脸对齐 算法，主要通过调整模型的参数来不断优化误差函 数，进而进行形状估计。 近年来， 基于回归的算 法［３⁃６］取得了令人满意的定位效果。 他们通过大批 量的训练数据来学习一个级联回归模型，将图像特 征直接映射为最终的人脸形状。 相比经典的 ＡＳＭ 和 ＡＡＭ，基于回归的人脸特征点算法对初始化依赖 较小，并且具有定位速度快、定位准确度高的优点。 无论是 ＡＳＭ、ＡＡＭ 及其相关的改进算法［７⁃９］ ，还 是成为研究热点的回归算法，在人脸对齐过程中，特 征点的更新都依赖于特征点周围图像的灰度梯度特 征。 人脸特征点定位算法的目标是达到估计形状与 人脸真实形状的误差最小，而并不保障每一个特征 点的精确定位。 对于灰度梯度特征不明显或者可能 性较多的区域（如轮廓、嘴巴），局部区域的定位误 差相对较大（如图 １）。 图 １ 不同部位人脸特征点误差 Ｆｉｇ．１ Ｆａｃｉａｌ ｌａｎｄｍａｒｋｓ ｅｒｒｏｒ ｉｎ ｄｉｆｆｅｒｅｎｔ ｒｅｇｉｏｎ 许多局部特征点的定位优化都是基于人脸形状 的估计结果，进行进一步的修正以达到精确化的目 标。 文献［１０］在用人脸对齐算法得到人脸轮廓后， 又通过启发式的边界响应来移动组成轮廓的特征点 位置。 文献［１１］通过融合 ＡＡＭ 和在线肤色纹理特 征实现低分辨率图像中眼睛区域的精确定位。 文献 ［１２］在检测出特征区域后，用外包点集进行曲线拟 合来调整边缘点。 此外，文献［９］提出将局部 ＡＳＭ 与全局 ＡＳＭ 结合的多模板 ＡＳＭ 方法以提高单一模 型对局部区域特征点定位的准确度。 然而，这些算法 都没有针对性的解决嘴巴特征点定位错误的情况。 本文从消除嘴巴特征点定位错误的角度出发， 基于计算简单、定位速度快、准确度高且无参的显示 形状回归算法（ｅｘｐｌｉｃｉｔ ｓｈａｐｅ ｒｅｇｒｅｓｓｉｏｎ， ＥＳＲ），通过 嘴巴状态分类器获取嘴巴状态标签，并在 ＥＳＲ 定位 回归过程中对每次回归的结果进行强形状约束，达 到人脸形状估计中嘴巴特征点的精确定位。 ２ 算法流程 ２．１ 算法框架 本文算法框架如图 ２ 所示。 输入一副人脸图 像，１）通过一个定位 ７ 个关键角点的 ＥＳＲ 人脸对齐 算法找出嘴角点，以嘴角点横向距离的 １．３ 倍为宽， 截取 １：２ 高宽比的嘴巴矩形区域送入嘴巴状态分类 器；２）嘴巴状态分类器将送入的嘴巴区域图像分为 不同的状态。 其中，基于 ＨＳＶ 的嘴巴状态分类器将 嘴巴分为张开与非张开；基于卷积神经网络的分类 器将嘴巴分为张开、闭合与微张；３） 根据获取的嘴 巴状态标签，结合输入的人脸图像，在训练好的定位 ６８ 个点的 ＥＳＲ 人脸对齐算法模型回归过程中，加入 与获取嘴巴状态标签对应的嘴巴特征点强形状约 束，得到最终的人脸形状。 接下来介绍与本文方法 相关的 ＥＳＲ 人脸对齐算法、嘴巴状态分类器以及强 形状约束策略的应用细节。 图 ２ 本文算法流程 Ｆｉｇ．２ Ａｌｇｏｒｉｔｈｍ ｆｌｏｗ ｃｈａｒｔ ２．２ ＥＳＲ 人脸对齐算法 ＥＳＲ 人脸对齐算法是一个双层级联的 ｂｏｏｓｔｅ⁃ｄ （增强）回归模型，由级联姿态回归算法（ ｃａｓｃａｄｅｄ ｐｏｓｅ ｒｅｇｒｅｓｓｉｏｎ，ＣＰＲ） ［６］ 发展而来。 ＥＳＲ 模型的学 习与人脸灰度图像、初始化形状以及真实人脸形状 直接相关。 ＥＳＲ 算法结构如图 ３ 所示，模型第一层 以逐层添加的形式将 Ｔ 个回归器（Ｒ１ ，Ｒ２ ，…，ＲＴ ）连 接，每一个回归器 Ｒｔ 由 Ｋ 个弱回归器（ｒ１ ，ｒ２ ，…，ｒＫ ） 连接而成，组成模型的第 ２ 层。 在每个第 １ 层回归 器中，随机选择 Ｐ 个候选特征点，并将其位置用局 部坐标［３］表示，然后将候选特征点的灰度值两两相 减组成 Ｐ ２ 灰度差分特征送入第 ２ 层弱回归器。 每 个第 ２ 层弱回归器根据选中的 Ｆ 个特征和阈值将 特征空间（所有训练样本） 划分到 ２ Ｆ 个容器中，由 每个容器输出更新形状 δＳ ，计算方法如公式（１）、 （２）所示。 第 ５ 期 师亚亭，等：基于嘴巴状态约束的人脸特征点定位算法 ·５７９·