·582. 智能系统学报 第11卷 如图9所示，点51和59、52和58、53和57为3组 实际上，当嘴巴状态为张开时，内边缘特征点对 外边缘特征点对，分别与点62和68、63和67、64和 的垂直距离D.应大于外边缘特征点对垂直距离 66这三组内边缘特征点对相对应，图7为图9嘴巴 D的入。倍，而当嘴巴闭合时，Dn应小于D的A 区域的放大图，更直观地表示了特征点对的对应关系。 倍。利用这一特征，在测试阶段的每个外层分类器 得到的预测结果中，判断其是否满足式(5)的形状 约束。如果满足，则继续进行下一层的估计：如果不 测试图像， 嘴巴状态标签 满足，则对当前预测形状进行如式(6)或(7)的形状 更新后再进行下一层的估计。式(6)表示嘴巴张开时 加载回归器，随机选择L个 的形状更新，式(7)表示嘴巴闭合时的形状更新。其 训练形状作为初始形 中，表示上嘴唇内边缘特征点未进行强形状约束时 状，0,0 的纵坐标，Y'表示其进行强形状约束后的纵坐标。 =1+1(第个初始形状) 表示下嘴唇内边缘特征点未进行强形状约束时的纵坐 标，'表示其进行强形状约束后的纵坐标。 t=+1(第个外层回归器) '=-2x(AD-Da） (6) '=+x(an-n.) 获取F个灰度差值特征，获取形状更新 量S,得到新的预测形状S Y'=g+2×(Dm-Da) S满足形状约束 (7) 1 N Y'=-2×(AD。-D） 根据约束条件更新S 与2.3.3中的嘴巴分类标准一致，在形状约束 更新时，选取嘴巴闭合时对应的入。为0.1，嘴巴张开 Y KT 时对应的入。为0.35。由于非张开和微张这两种嘴 N 巴状态很难进行基于距离的强形状约束，因此，本文 i<L 只是对嘴巴张开、闭合状态进行强形状约束，对于基 N 于HSV的嘴巴状态分类器预测的非张开状态和基 S=SUM(S_I)/L 于CNN的嘴巴状态分类器预测的微张状态，在人脸 特征点定位时则不进行强形状约束。 获得估计形状 3实验分析 图8形状预测流程图 3.1数据集 Fig.8 Flow diagram for shape prediction 在模型训练和测试过程中，我们共使用到3个 数据库，即LFPW数据集、Helen数据集以及w-3Oo 1g1920,22 2324.25,2627 中的标记自然人脸库(annotated faces in the wild, 38,39 37 424140 843.45 …29 48)6 AFW)。这些数据集中的人脸图像包含丰富的外貌 .17 ·30 特征和人脸形状（姿态、表情），具有一定的挑战性， 2 16 31 32.3335.36 在近些年的人脸识别等研究领域中经常使用。LF 15 3 PW数据库中的图像全部通过web获取，目前可获 14 得的数据包含811个训练样本以及224个测试样 *13 本；Helen数据库中的人脸图像为分辨率较高的网 6 *12 络图像，有利于精确的人脸特征点定位研究，该数据 11 8 10 库包含330个测试样本以及2000个训练样本： AFW数据库共包含337副图像。在本文的实验中， 图968特征点位置示意 训练数据（以下称本文训练集）由AFW数据库以及 Fig.9 Locations of the 68 facial landmarks Helen,LFPW数据库的训练集组成，大小为3148；如图 ９ 所示，点 ５１ 和 ５９、５２ 和 ５８、５３ 和 ５７ 为 ３ 组 外边缘特征点对，分别与点 ６２ 和 ６８、６３ 和 ６７、６４ 和 ６６ 这三组内边缘特征点对相对应，图 ７ 为图 ９ 嘴巴 区域的放大图，更直观地表示了特征点对的对应关系。 图 ８ 形状预测流程图 Ｆｉｇ．８ Ｆｌｏｗ ｄｉａｇｒａｍ ｆｏｒ ｓｈａｐｅ ｐｒｅｄｉｃｔｉｏｎ 图 ９ ６８ 特征点位置示意 Ｆｉｇ．９ Ｌｏｃａｔｉｏｎｓ ｏｆ ｔｈｅ ６８ ｆａｃｉａｌ ｌａｎｄｍａｒｋｓ 实际上，当嘴巴状态为张开时，内边缘特征点对 的垂直距离 Ｄｉｎ 应大于外边缘特征点对垂直距离 Ｄｏｕｔ的 λｏ 倍，而当嘴巴闭合时，Ｄｉｎ应小于 Ｄｏｕｔ的 λｃ 倍。 利用这一特征，在测试阶段的每个外层分类器 得到的预测结果中，判断其是否满足式（５） 的形状 约束。 如果满足，则继续进行下一层的估计；如果不 满足，则对当前预测形状进行如式（６）或（７）的形状 更新后再进行下一层的估计。 式（６）表示嘴巴张开时 的形状更新，式（７）表示嘴巴闭合时的形状更新。 其 中，Ｙ ｕ ｉｎ表示上嘴唇内边缘特征点未进行强形状约束时 的纵坐标，Ｙ ｕ ｉｎ ′表示其进行强形状约束后的纵坐标。 Ｙ ｄ ｉｎ 表示下嘴唇内边缘特征点未进行强形状约束时的纵坐 标，Ｙ ｄ ｉｎ ′表示其进行强形状约束后的纵坐标。 Ｙ ｕ ｉｎ ′ ＝ Ｙ ｕ ｉｎ － １ ２ × （λｏＤｏｕ － Ｄｉｎ ） Ｙ ｄ ｉｎ ′ ＝ Ｙ ｄ ｉｎ ＋ １ ２ × （λｏＤｏｕ － Ｄｉｎ ） ì î í ï ï ï ï （６） Ｙ ｕ ｉｎ ′ ＝ Ｙ ｕ ｉｎ ＋ １ ２ × （λｃＤｏｕ － Ｄｉｎ ） Ｙ ｄ ｉｎ ′ ＝ Ｙ ｄ ｉｎ － １ ２ × （λｃＤｏｕ － Ｄｉｎ ） ì î í ï ï ï ï （７） 与 ２．３．３ 中的嘴巴分类标准一致，在形状约束 更新时，选取嘴巴闭合时对应的 λｃ 为 ０．１，嘴巴张开 时对应的 λｏ 为 ０．３５。 由于非张开和微张这两种嘴 巴状态很难进行基于距离的强形状约束，因此，本文 只是对嘴巴张开、闭合状态进行强形状约束，对于基 于 ＨＳＶ 的嘴巴状态分类器预测的非张开状态和基 于 ＣＮＮ 的嘴巴状态分类器预测的微张状态，在人脸 特征点定位时则不进行强形状约束。 ３ 实验分析 ３．１ 数据集 在模型训练和测试过程中，我们共使用到 ３ 个 数据库，即 ＬＦＰＷ 数据集、Ｈｅｌｅｎ 数据集以及 ｗ⁃３００ 中的标记自然人脸库（ ａｎｎｏｔａｔｅｄ ｆａｃｅｓ ｉｎ ｔｈｅ ｗｉｌｄ， ＡＦＷ）。 这些数据集中的人脸图像包含丰富的外貌 特征和人脸形状（姿态、表情），具有一定的挑战性， 在近些年的人脸识别等研究领域中经常使用。 ＬＦ⁃ ＰＷ 数据库中的图像全部通过 ｗｅｂ 获取，目前可获 得的数据包含 ８１１ 个训练样本以及 ２２４ 个测试样 本；Ｈｅｌｅｎ 数据库中的人脸图像为分辨率较高的网 络图像，有利于精确的人脸特征点定位研究，该数据 库包含 ３３０ 个测试样本以及 ２ ０００ 个训练样本； ＡＦＷ 数据库共包含 ３３７ 副图像。 在本文的实验中， 训练数据（以下称本文训练集）由 ＡＦＷ 数据库以及 Ｈｅｌｅｎ、ＬＦＰＷ 数据库的训练集组成，大小为 ３ １４８； ·５８２· 智 能 系 统 学 报 第 １１ 卷