·580 智能系统学报 第11卷 d。=argmin∑I5.-(S,+6,)1 (1) ien &=2(③-S) 2 (2) 式中：2为落入某个容器中的训练样本个数，S、S 为第i个样本的真实形状和预测形状。式(3)为形 状更新公式，S表示更新后的形状，S-表示上一个 回归器的预测形状。 图5ESR回归过程特征点位置 S=S-1+6 (3) Fig.5 Landmarks locations during the ESR regression S-RR 2.3.2基于HSV颜色空间的嘴巴状态分类器 牙齿区域与周围像素的颜色有着明显的区别， 主要呈现为白色。在实际中，很大一部分嘴巴张开 的情况下是露出牙齿的，因此可以通过在颜色空间 SS+d=S+dS=S+d网 中区分白色区域确定一部分嘴巴张开的情况。在图 图3ESR算法结构示意图 像颜色空间中，HSV颜色空间]最能反应眼睛对颜 Fig.3 Structure of ESR algorithm 色的感知，相比红绿蓝(red green blue,RGB)这种不均 在测试过程中，ESR算法随机为测试样本选择 匀的颜色空间而言，更适用于基于颜色的图像分割，相 M个初始形状，并取M个预测结果的平均值作为最 比其他的图像分割算法也具有简单、快速的特点。 终的人脸预测形状S,如式(4)： HSV颜色空间模型如图6所示，可以看作是一 ∑R(I,s9) (4) 个倒置圆锥体，其中，H表示色调，S表示饱和度，V 2.3嘴巴状态分类器 表示亮度。根据Androutsos等4对HSV颜色空间 2.3.1嘴巴区域提取 的划分，亮度大于75%并且饱和度小于20%为白色 ESR的特征点位置预测时间主要与候选特征点 区域。在本文中将饱和度和亮度均转换到 个数以及回归层数有关[)，其定位精度由粗到细。 [0,255],并将饱和度范围在[0,35]、亮度区间为 图4为当第1层回归器个数T=10时，ESR算法在 [200,255]的像素点划定为白色点。在HSV颜色空 定位进行到不同阶数的第1层回归器时得到的误差 间中遍历嘴巴区域的色彩信息，计算白色像素点的 统计结果。可以看出，在第3层回归时特征点位置 已经基本确定，之后的回归误差下降已经不多，主要 累计值，当累计值大于阈值μ时，将嘴巴判定为张开 是特征点位置的微调（图5）。因此，本文在提取嘴 的状态：否则，嘴巴状态标签为非张开。 巴区域时仅将回归进行到T=3。由于划定区域并 不需要细节特征点，我们预先训练一个包含7个关 键角点（图2）的ESR定位模型找出嘴角位置，然后 绿(120》 1.0 黄 按照2.1中的方法获取嘴巴区域图像，送入嘴巴状 红(0) 态分类器中。 蓝(240) 品红 0.16 0.14 0.12 0.10 0.08 0.06 0 0.04 图6HSV颜色空间 0.02 Fig.6 HSV color space 12345678910 2.3.3基于CNN的嘴巴状态分类器 回归阶数 图4ESR定位过程误差 使用HSV颜色空间进行判别具有计算简单、直 Fig.4 Error in each stage during running ESR 接的特点，但因为拍照环境的影响，牙齿可能存在偏δＳ ＝ ａｒｇｍｉｎ δＳ ∑ｉ∈Ω ‖ Ｓ ＾ ｉ － Ｓｉ ＋ δＳ ( ) ‖ （１） δＳ ＝ Σｉ∈Ω（Ｓ ＾ ｉ － Ｓｉ） Ω （２） 式中：Ω 为落入某个容器中的训练样本个数，Ｓ ＾ ｉ、Ｓｉ 为第 ｉ 个样本的真实形状和预测形状。 式（３）为形 状更新公式，Ｓ ｔ 表示更新后的形状，Ｓ ｔ－１表示上一个 回归器的预测形状。 Ｓ ｔ ＝ Ｓ ｔ－１ ＋ δＳ （３） 图 ３ ＥＳＲ 算法结构示意图 Ｆｉｇ．３ Ｓｔｒｕｃｔｕｒｅ ｏｆ ＥＳＲ ａｌｇｏｒｉｔｈｍ 在测试过程中，ＥＳＲ 算法随机为测试样本选择 Ｍ 个初始形状，并取 Ｍ 个预测结果的平均值作为最 终的人脸预测形状 Ｓｐｒｅｄｉｃｔ，如式（４）： Ｓｐｒｅｄｉｃｔ ＝ １ Ｍ ∑ Ｍ ｍ ＝ １ Ｒ Ｉ，Ｓ ０ ｍ ( ) （４） ２．３ 嘴巴状态分类器 ２．３．１ 嘴巴区域提取 ＥＳＲ 的特征点位置预测时间主要与候选特征点 个数以及回归层数有关［３］ ，其定位精度由粗到细。 图 ４ 为当第 １ 层回归器个数 Ｔ ＝ １０ 时，ＥＳＲ 算法在 定位进行到不同阶数的第 １ 层回归器时得到的误差 统计结果。 可以看出，在第 ３ 层回归时特征点位置 已经基本确定，之后的回归误差下降已经不多，主要 是特征点位置的微调（图 ５）。 因此，本文在提取嘴 巴区域时仅将回归进行到 Ｔ ＝ ３。 由于划定区域并 不需要细节特征点，我们预先训练一个包含 ７ 个关 键角点（图 ２）的 ＥＳＲ 定位模型找出嘴角位置，然后 按照 ２．１ 中的方法获取嘴巴区域图像，送入嘴巴状 态分类器中。 图 ４ ＥＳＲ 定位过程误差 Ｆｉｇ．４ Ｅｒｒｏｒ ｉｎ ｅａｃｈ ｓｔａｇｅ ｄｕｒｉｎｇ ｒｕｎｎｉｎｇ ＥＳＲ 图 ５ ＥＳＲ 回归过程特征点位置 Ｆｉｇ．５ Ｌａｎｄｍａｒｋｓ ｌｏｃａｔｉｏｎｓ ｄｕｒｉｎｇ ｔｈｅ ＥＳＲ ｒｅｇｒｅｓｓｉｏｎ ２．３．２ 基于 ＨＳＶ 颜色空间的嘴巴状态分类器 牙齿区域与周围像素的颜色有着明显的区别， 主要呈现为白色。 在实际中，很大一部分嘴巴张开 的情况下是露出牙齿的，因此可以通过在颜色空间 中区分白色区域确定一部分嘴巴张开的情况。 在图 像颜色空间中，ＨＳＶ 颜色空间［１３］最能反应眼睛对颜 色的感知，相比红绿蓝（ｒｅｄ ｇｒｅｅｎ ｂｌｕｅ，ＲＧＢ）这种不均 匀的颜色空间而言，更适用于基于颜色的图像分割，相 比其他的图像分割算法也具有简单、快速的特点。 ＨＳＶ 颜色空间模型如图 ６ 所示，可以看作是一 个倒置圆锥体，其中，Ｈ 表示色调，Ｓ 表示饱和度，Ｖ 表示亮度。 根据 Ａｎｄｒｏｕｔｓｏｓ 等［１４］ 对 ＨＳＶ 颜色空间 的划分，亮度大于 ７５％并且饱和度小于 ２０％为白色 区域。 在 本 文 中 将 饱 和 度 和 亮 度 均 转 换 到 ［０，２５５］，并将饱和度范围在［ ０，３５］、亮度区间为 ［２００，２５５］的像素点划定为白色点。 在 ＨＳＶ 颜色空 间中遍历嘴巴区域的色彩信息，计算白色像素点的 累计值，当累计值大于阈值 μ 时，将嘴巴判定为张开 的状态；否则，嘴巴状态标签为非张开。 图 ６ ＨＳＶ 颜色空间 Ｆｉｇ．６ ＨＳＶ ｃｏｌｏｒ ｓｐａｃｅ ２．３．３ 基于 ＣＮＮ 的嘴巴状态分类器 使用 ＨＳＶ 颜色空间进行判别具有计算简单、直 接的特点，但因为拍照环境的影响，牙齿可能存在偏 ·５８０· 智 能 系 统 学 报 第 １１ 卷