正在加载图片...
第5期 师亚亭,等:基于嘴巴状态约束的人脸特征点定位算法 ·583. 测试数据(以下称本文测试集)由LFPW、Helen数 [3]分别计算这两个测试集中定位误差在5个像素 据库的测试集组成,大小为554。本文方法对每个 以内和20个像素以内的样本所占百分比作为各自 特征点定位误差E的评价指标为预测位置与真正 的准确度。表2为LFPW测试集和Helen测试集 位置的欧式距离和双眼中心真实欧式距离的比例, 中,不同人脸特征点定位算法得到的内边缘特征点 如式(8)所示 平均准确度。可以直观地看出,本文提出的方法可 E=∥p元川 以提高嘴巴特征点的定位精度,而且基于CNN的嘴 (8) ‖净-市,川 巴状态分类器比基于HSV颜色空间的嘴巴状态分 式中:P:表示第i个特征点的估计坐标,:表示该点 类器更有利于精度的提高。表3更加清晰地统计了 的真实坐标,序,市分别表示左右眼晴中心真实 每个内边缘特征点的定位误差,其中,AvgPixel表示 坐标。 平均像素误差,即Ip,-市:‖。实际上,基于CNN的 3.2实验结果 嘴巴状态分类器在测试集上的分类正确率为83%, 除了已经在算法流程部分交代过的,本文实验 而基于HSV颜色空间的嘴巴状态分类器为72%。 的一些其他的参数选取如下:在基于HSV颜色空间 这个分类正确率并不高,为了更直观地展现强形状 的嘴巴状态分类器中,选择阈值4为15:本文方法 约束的效果,在表4中,单独对得到正确状态标签的 共需训练2个ESR模型,即仅定位7个关键角点的 嘴巴内边缘特征点定位误差做了统计对比。对比表 (图2)用于嘴巴位置初选取的ESR模型和包含68 3、表4在ESR行的定位误差,发现表4中同一关键 个特征点(图9)用于人脸形状估计的ESR模型。 点使用同一算法(ESR)的定位误差远远小于表3, 前者的训练过程包含第1个回归器个数T=10,第2 也就是说,我们的嘴巴状态分类器给出正确分类结 层回归器个数K=100,候选特征点个数P=100,并 果的样本恰恰是嘴巴内边缘特征点定位精度相对较 仅将形状预测过程进行到T=3:后者的训练过程采 高的样本。观察表4,本文算法在ESR定位准确度 用文献[3]中给出的最佳参数,即第1个回归器个 相对较高时,依然可以降低嘴巴内边缘特征点的定 数T=10,第2层回归器个数K=500,候选特征点个 位误差。大多数的人脸特征点算法的效果都与训练 数P=400,测试过程则按照图8进行。 数据的构成有关。对于特定类型的测试数据而言, 图10为本文方法的部分实验结果。(a)表示 使用与测试数据相似的训练样本集进行模型训练在 直接用训练好的ESR模型获取的嘴巴特征点定位 结果。可以看出,嘴唇内边缘特征点的定位存在明 某种程度上可以提高模型的估计准确率。为了实验 显错误:(b)表示本文方法的定位结果:(c)表示手 的完备性,增加两组对比实验。在对比实验1中,用 工标定的嘴巴特征点位置。可以看出,经过强形状 训练好的包含68个特征点的E$R模型进行特征点 约束,本文方法得到的嘴唇内边缘特征定位几乎完 定位,不添加任何的后续处理,称之为OESR(oigi- 全符合真实情况,错误情况得到极大改善。 nal explicit shape regression)。对比实验2中,将本 文训练集按照2.3.3中的方式分为张开、闭合、微张 3个训练集,用这3个训练数据集分别训练3个相 应ESR特征点定位模型,在测试阶段根据嘴巴状态 (a)未加强形状约束的原始ES 分类器给出的标签选择相应的模型对测试图像进行 特征点定位,称之为SESR(special explicit shape re- gression)。相应地,由于本文方法使用到了强形状 (b)加强形状约束的ESR 约束,在对比实验中称为CESR(constraint explicit shape regression)。3组实验每个特征点的定位误差 比较如图11所示。 表2内边缘特征点定位准确度 (c)手工标定 Table 2 Locating accuracy of medial lip feature points 图10嘴巴特征点定位结果 Fig.10 Detecting result of mouth landmarks 算法 ESR HSV+ESR CNN+ESR 为了分析本文提出的两种嘴巴状态分类器的效 Helen(<20 pixels) 69.1 73.3 75.6 果,对使用两种策略后嘴唇内边缘特征点的定位精 度做了统计分析。由于LFPW、Helen测试图像的平 LFPW(<5 pixels) 68.7 73.3 75.5 均瞳距分别为77.772像素和285.54像素,参考文献测试数据(以下称本文测试集) 由 LFPW、Helen 数 据库的测试集组成,大小为 554。 本文方法对每个 特征点定位误差 Ei 的评价指标为预测位置与真正 位置的欧式距离和双眼中心真实欧式距离的比例, 如式(8)所示 Ei = ‖ pi - p ? i‖ ‖ p ? l - p ? r‖ (8) 式中:pi 表示第 i 个特征点的估计坐标,p ? i 表示该点 的真实坐标, p ? l, p ? r 分别表示左右眼睛中心真实 坐标。 3.2 实验结果 除了已经在算法流程部分交代过的,本文实验 的一些其他的参数选取如下:在基于 HSV 颜色空间 的嘴巴状态分类器中,选择阈值 μ 为 15;本文方法 共需训练 2 个 ESR 模型,即仅定位 7 个关键角点的 (图 2)用于嘴巴位置初选取的 ESR 模型和包含 68 个特征点(图 9) 用于人脸形状估计的 ESR 模型。 前者的训练过程包含第 1 个回归器个数 T = 10,第 2 层回归器个数 K = 100,候选特征点个数 P = 100,并 仅将形状预测过程进行到 T = 3;后者的训练过程采 用文献[3]中给出的最佳参数,即第 1 个回归器个 数 T = 10,第 2 层回归器个数 K = 500,候选特征点个 数 P = 400,测试过程则按照图 8 进行。 图 10 为本文方法的部分实验结果。 ( a) 表示 直接用训练好的 ESR 模型获取的嘴巴特征点定位 结果。 可以看出,嘴唇内边缘特征点的定位存在明 显错误;(b)表示本文方法的定位结果;(c)表示手 工标定的嘴巴特征点位置。 可以看出,经过强形状 约束,本文方法得到的嘴唇内边缘特征定位几乎完 全符合真实情况,错误情况得到极大改善。 (a)未加强形状约束的原始 ESR (b)加强形状约束的 ESR (c)手工标定 图 10 嘴巴特征点定位结果 Fig.10 Detecting result of mouth landmarks 为了分析本文提出的两种嘴巴状态分类器的效 果,对使用两种策略后嘴唇内边缘特征点的定位精 度做了统计分析。 由于 LFPW、Helen 测试图像的平 均瞳距分别为 77.772 像素和 285.54 像素,参考文献 [3]分别计算这两个测试集中定位误差在 5 个像素 以内和 20 个像素以内的样本所占百分比作为各自 的准确度。 表 2 为 LFPW 测试集和 Helen 测试集 中,不同人脸特征点定位算法得到的内边缘特征点 平均准确度。 可以直观地看出,本文提出的方法可 以提高嘴巴特征点的定位精度,而且基于 CNN 的嘴 巴状态分类器比基于 HSV 颜色空间的嘴巴状态分 类器更有利于精度的提高。 表 3 更加清晰地统计了 每个内边缘特征点的定位误差,其中,AvgPixel 表示 平均像素误差,即‖pi -p ? i‖。 实际上,基于 CNN 的 嘴巴状态分类器在测试集上的分类正确率为 83%, 而基于 HSV 颜色空间的嘴巴状态分类器为 72%。 这个分类正确率并不高,为了更直观地展现强形状 约束的效果,在表 4 中,单独对得到正确状态标签的 嘴巴内边缘特征点定位误差做了统计对比。 对比表 3、表 4 在 ESR 行的定位误差,发现表 4 中同一关键 点使用同一算法(ESR)的定位误差远远小于表 3, 也就是说,我们的嘴巴状态分类器给出正确分类结 果的样本恰恰是嘴巴内边缘特征点定位精度相对较 高的样本。 观察表 4,本文算法在 ESR 定位准确度 相对较高时,依然可以降低嘴巴内边缘特征点的定 位误差。 大多数的人脸特征点算法的效果都与训练 数据的构成有关。 对于特定类型的测试数据而言, 使用与测试数据相似的训练样本集进行模型训练在 某种程度上可以提高模型的估计准确率。 为了实验 的完备性,增加两组对比实验。 在对比实验 1 中,用 训练好的包含 68 个特征点的 ESR 模型进行特征点 定位,不添加任何的后续处理,称之为 OESR( origi⁃ nal explicit shape regression)。 对比实验 2 中,将本 文训练集按照 2.3.3 中的方式分为张开、闭合、微张 3 个训练集,用这 3 个训练数据集分别训练 3 个相 应 ESR 特征点定位模型,在测试阶段根据嘴巴状态 分类器给出的标签选择相应的模型对测试图像进行 特征点定位,称之为 SESR(special explicit shape re⁃ gression)。 相应地,由于本文方法使用到了强形状 约束,在对比实验中称为 CESR( constraint explicit shape regression)。 3 组实验每个特征点的定位误差 比较如图 11 所示。 表 2 内边缘特征点定位准确度 Table 2 Locating accuracy of medial lip feature points % 算法 ESR HSV+ESR CNN+ESR Helen(<20 pixels) 69.1 73.3 75.6 LFPW(<5 pixels) 68.7 73.3 75.5 第 5 期 师亚亭,等:基于嘴巴状态约束的人脸特征点定位算法 ·583·
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有