第5期 师亚亭，等：基于嘴巴状态约束的人脸特征点定位算法 ·583. 测试数据（以下称本文测试集）由LFPW、Helen数 [3]分别计算这两个测试集中定位误差在5个像素 据库的测试集组成，大小为554。本文方法对每个 以内和20个像素以内的样本所占百分比作为各自 特征点定位误差E的评价指标为预测位置与真正 的准确度。表2为LFPW测试集和Helen测试集 位置的欧式距离和双眼中心真实欧式距离的比例， 中，不同人脸特征点定位算法得到的内边缘特征点 如式(8)所示 平均准确度。可以直观地看出，本文提出的方法可 E=∥p元川 以提高嘴巴特征点的定位精度，而且基于CNN的嘴 (8) ‖净-市，川 巴状态分类器比基于HSV颜色空间的嘴巴状态分 式中：P:表示第i个特征点的估计坐标，：表示该点 类器更有利于精度的提高。表3更加清晰地统计了 的真实坐标，序，市分别表示左右眼晴中心真实 每个内边缘特征点的定位误差，其中，AvgPixel表示 坐标。 平均像素误差，即Ip,-市：‖。实际上，基于CNN的 3.2实验结果 嘴巴状态分类器在测试集上的分类正确率为83%， 除了已经在算法流程部分交代过的，本文实验 而基于HSV颜色空间的嘴巴状态分类器为72%。 的一些其他的参数选取如下：在基于HSV颜色空间 这个分类正确率并不高，为了更直观地展现强形状 的嘴巴状态分类器中，选择阈值4为15：本文方法 约束的效果，在表4中，单独对得到正确状态标签的 共需训练2个ESR模型，即仅定位7个关键角点的 嘴巴内边缘特征点定位误差做了统计对比。对比表 (图2)用于嘴巴位置初选取的ESR模型和包含68 3、表4在ESR行的定位误差，发现表4中同一关键 个特征点（图9）用于人脸形状估计的ESR模型。 点使用同一算法(ESR)的定位误差远远小于表3， 前者的训练过程包含第1个回归器个数T=10,第2 也就是说，我们的嘴巴状态分类器给出正确分类结 层回归器个数K=100,候选特征点个数P=100,并 果的样本恰恰是嘴巴内边缘特征点定位精度相对较 仅将形状预测过程进行到T=3:后者的训练过程采 高的样本。观察表4，本文算法在ESR定位准确度 用文献[3]中给出的最佳参数，即第1个回归器个 相对较高时，依然可以降低嘴巴内边缘特征点的定 数T=10,第2层回归器个数K=500,候选特征点个 位误差。大多数的人脸特征点算法的效果都与训练 数P=400,测试过程则按照图8进行。 数据的构成有关。对于特定类型的测试数据而言， 图10为本文方法的部分实验结果。(a)表示 使用与测试数据相似的训练样本集进行模型训练在 直接用训练好的ESR模型获取的嘴巴特征点定位 结果。可以看出，嘴唇内边缘特征点的定位存在明 某种程度上可以提高模型的估计准确率。为了实验 显错误：(b)表示本文方法的定位结果：(c)表示手 的完备性，增加两组对比实验。在对比实验1中，用 工标定的嘴巴特征点位置。可以看出，经过强形状 训练好的包含68个特征点的E$R模型进行特征点 约束，本文方法得到的嘴唇内边缘特征定位几乎完 定位，不添加任何的后续处理，称之为OESR(oigi- 全符合真实情况，错误情况得到极大改善。 nal explicit shape regression)。对比实验2中，将本 文训练集按照2.3.3中的方式分为张开、闭合、微张 3个训练集，用这3个训练数据集分别训练3个相 应ESR特征点定位模型，在测试阶段根据嘴巴状态 (a)未加强形状约束的原始ES 分类器给出的标签选择相应的模型对测试图像进行 特征点定位，称之为SESR(special explicit shape re- gression)。相应地，由于本文方法使用到了强形状 (b)加强形状约束的ESR 约束，在对比实验中称为CESR(constraint explicit shape regression)。3组实验每个特征点的定位误差 比较如图11所示。 表2内边缘特征点定位准确度 (c)手工标定 Table 2 Locating accuracy of medial lip feature points 图10嘴巴特征点定位结果 Fig.10 Detecting result of mouth landmarks 算法 ESR HSV+ESR CNN+ESR 为了分析本文提出的两种嘴巴状态分类器的效 Helen(<20 pixels) 69.1 73.3 75.6 果，对使用两种策略后嘴唇内边缘特征点的定位精 度做了统计分析。由于LFPW、Helen测试图像的平 LFPW(<5 pixels) 68.7 73.3 75.5 均瞳距分别为77.772像素和285.54像素，参考文献测试数据（以下称本文测试集） 由 ＬＦＰＷ、Ｈｅｌｅｎ 数 据库的测试集组成，大小为 ５５４。 本文方法对每个 特征点定位误差 Ｅｉ 的评价指标为预测位置与真正 位置的欧式距离和双眼中心真实欧式距离的比例， 如式（８）所示 Ｅｉ ＝ ‖ ｐｉ － ｐ ? ｉ‖ ‖ ｐ ? ｌ － ｐ ? ｒ‖ （８） 式中：ｐｉ 表示第 ｉ 个特征点的估计坐标，ｐ ? ｉ 表示该点 的真实坐标， ｐ ? ｌ， ｐ ? ｒ 分别表示左右眼睛中心真实 坐标。 ３．２ 实验结果 除了已经在算法流程部分交代过的，本文实验 的一些其他的参数选取如下：在基于 ＨＳＶ 颜色空间 的嘴巴状态分类器中，选择阈值 μ 为 １５；本文方法 共需训练 ２ 个 ＥＳＲ 模型，即仅定位 ７ 个关键角点的 （图 ２）用于嘴巴位置初选取的 ＥＳＲ 模型和包含 ６８ 个特征点（图 ９） 用于人脸形状估计的 ＥＳＲ 模型。 前者的训练过程包含第 １ 个回归器个数 Ｔ ＝ １０，第 ２ 层回归器个数 Ｋ ＝ １００，候选特征点个数 Ｐ ＝ １００，并 仅将形状预测过程进行到 Ｔ ＝ ３；后者的训练过程采 用文献［３］中给出的最佳参数，即第 １ 个回归器个 数 Ｔ ＝ １０，第 ２ 层回归器个数 Ｋ ＝ ５００，候选特征点个 数 Ｐ ＝ ４００，测试过程则按照图 ８ 进行。 图 １０ 为本文方法的部分实验结果。 （ ａ） 表示 直接用训练好的 ＥＳＲ 模型获取的嘴巴特征点定位 结果。 可以看出，嘴唇内边缘特征点的定位存在明 显错误；（ｂ）表示本文方法的定位结果；（ｃ）表示手 工标定的嘴巴特征点位置。 可以看出，经过强形状 约束，本文方法得到的嘴唇内边缘特征定位几乎完 全符合真实情况，错误情况得到极大改善。 （ａ）未加强形状约束的原始 ＥＳＲ （ｂ）加强形状约束的 ＥＳＲ （ｃ）手工标定 图 １０ 嘴巴特征点定位结果 Ｆｉｇ．１０ Ｄｅｔｅｃｔｉｎｇ ｒｅｓｕｌｔ ｏｆ ｍｏｕｔｈ ｌａｎｄｍａｒｋｓ 为了分析本文提出的两种嘴巴状态分类器的效 果，对使用两种策略后嘴唇内边缘特征点的定位精 度做了统计分析。 由于 ＬＦＰＷ、Ｈｅｌｅｎ 测试图像的平 均瞳距分别为 ７７．７７２ 像素和 ２８５．５４ 像素，参考文献 ［３］分别计算这两个测试集中定位误差在 ５ 个像素 以内和 ２０ 个像素以内的样本所占百分比作为各自 的准确度。 表 ２ 为 ＬＦＰＷ 测试集和 Ｈｅｌｅｎ 测试集 中，不同人脸特征点定位算法得到的内边缘特征点 平均准确度。 可以直观地看出，本文提出的方法可 以提高嘴巴特征点的定位精度，而且基于 ＣＮＮ 的嘴 巴状态分类器比基于 ＨＳＶ 颜色空间的嘴巴状态分 类器更有利于精度的提高。 表 ３ 更加清晰地统计了 每个内边缘特征点的定位误差，其中，ＡｖｇＰｉｘｅｌ 表示 平均像素误差，即‖ｐｉ －ｐ ? ｉ‖。 实际上，基于 ＣＮＮ 的 嘴巴状态分类器在测试集上的分类正确率为 ８３％， 而基于 ＨＳＶ 颜色空间的嘴巴状态分类器为 ７２％。 这个分类正确率并不高，为了更直观地展现强形状 约束的效果，在表 ４ 中，单独对得到正确状态标签的 嘴巴内边缘特征点定位误差做了统计对比。 对比表 ３、表 ４ 在 ＥＳＲ 行的定位误差，发现表 ４ 中同一关键 点使用同一算法（ＥＳＲ）的定位误差远远小于表 ３， 也就是说，我们的嘴巴状态分类器给出正确分类结 果的样本恰恰是嘴巴内边缘特征点定位精度相对较 高的样本。 观察表 ４，本文算法在 ＥＳＲ 定位准确度 相对较高时，依然可以降低嘴巴内边缘特征点的定 位误差。 大多数的人脸特征点算法的效果都与训练 数据的构成有关。 对于特定类型的测试数据而言， 使用与测试数据相似的训练样本集进行模型训练在 某种程度上可以提高模型的估计准确率。 为了实验 的完备性，增加两组对比实验。 在对比实验 １ 中，用 训练好的包含 ６８ 个特征点的 ＥＳＲ 模型进行特征点 定位，不添加任何的后续处理，称之为 ＯＥＳＲ（ ｏｒｉｇｉ⁃ ｎａｌ ｅｘｐｌｉｃｉｔ ｓｈａｐｅ ｒｅｇｒｅｓｓｉｏｎ）。 对比实验 ２ 中，将本 文训练集按照 ２．３．３ 中的方式分为张开、闭合、微张 ３ 个训练集，用这 ３ 个训练数据集分别训练 ３ 个相 应 ＥＳＲ 特征点定位模型，在测试阶段根据嘴巴状态 分类器给出的标签选择相应的模型对测试图像进行 特征点定位，称之为 ＳＥＳＲ（ｓｐｅｃｉａｌ ｅｘｐｌｉｃｉｔ ｓｈａｐｅ ｒｅ⁃ ｇｒｅｓｓｉｏｎ）。 相应地，由于本文方法使用到了强形状 约束，在对比实验中称为 ＣＥＳＲ（ ｃｏｎｓｔｒａｉｎｔ ｅｘｐｌｉｃｉｔ ｓｈａｐｅ ｒｅｇｒｅｓｓｉｏｎ）。 ３ 组实验每个特征点的定位误差 比较如图 １１ 所示。 表 ２ 内边缘特征点定位准确度 Ｔａｂｌｅ ２ Ｌｏｃａｔｉｎｇ ａｃｃｕｒａｃｙ ｏｆ ｍｅｄｉａｌ ｌｉｐ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ％ 算法 ＥＳＲ ＨＳＶ＋ＥＳＲ ＣＮＮ＋ＥＳＲ Ｈｅｌｅｎ（＜２０ ｐｉｘｅｌｓ） ６９．１ ７３．３ ７５．６ ＬＦＰＷ（＜５ ｐｉｘｅｌｓ） ６８．７ ７３．３ ７５．５ 第 ５ 期 师亚亭，等：基于嘴巴状态约束的人脸特征点定位算法 ·５８３·