第3期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 .427. DLBP算子，且都高于GDP算子，所以从不同方向 89 提取纹理灰度变化的特征算子其识别效果优于梯度 方向特征算子。但LDP算子的特征提取步骤复杂， 需要计算8个方向的Kirsch梯度幅值，然后进行阈 值比较和二值编码，而DLBP算子仅需比较对称8 个方向的灰度大小，所以特征提取时间远小于LDP 83 算子，综合分类识别率和运行时间的结果，DLBP算 子的性能最佳。 8161234567891010 4结束语 图I0椒盐噪声下JAFFE数据库的LBP和DLBP识别率 人脸表情识别是一个跨学科富挑战性的前沿课 Fig.10 LBP and DLBP recognition performance with 题，其中特征提取和分类识别是2个重要的步骤，但 pepper salt noise on JAFFE database 由于分类效果好坏很大程度上受限于特征提取是否 可以看出，随着噪声的增大，DLBP算子和LBP 准确，因此表情特征提取是一个非常关键的步骤，它 算子的识别率在逐渐下降，但DLBP算子的识别率 能为系统的实时处理提供可能，并为后续分类识别 始终高于LBP算子，且下降速度低于LBP算子，所 提供保证。 以本文提出的DLBP算子具有一定消除或降低噪声 目前多数传统局部二值模式及其改进算法都是 影响的能力。 比较中心像素与邻域像素的灰度大小，在人脸表情 3.4DLBP算子与GDP和LDP算子的性能比较 纹理描述与抗噪性能方面效果不佳，针对此不足，提 比较DLBP算子与文献[7]提出的GDP算子和 出了基于方向性的局部二值模式，改变传统编码方 文献[9]提出的LDP算子的仿真效果。这里，DLBP 式，从水平、垂直和对角3个方向对邻域像素进行灰 算子采用上述步骤获得，仍采用上文分析得到的最 佳参数：根据文献[7]描述步骤实现8位梯度角度 度比较和二值编码。实验结果表明，DLBP算子能 二值编码得到GDP算子，它的最佳梯度角度阈值为 更准确描述人脸基本表情，其编码图像中面部肌肉 2.16°（由实验分析得到）：根据文献[9]描述步骤得 形变以及眼晴、嘴巴等部位的变化趋势更清晰，且具 到LDP算子，参数与文中一致。分别在JAFFE数据 有一定的噪声鲁棒性，相比GDP算子和LDP算子， 库和CK数据库上进行仿真实验，识别率和特征提 DLBP算子的识别准确率基本不变，但特征提取时 取时间结果如表4和5所示。 间大大降低，因此是一种综合性能最佳的表情特征 描述子。 表4在JAFFE数据上3种算子的性能比较 在提出的算法中，仅使用3×3单尺度模板计算 Table 4 Recognition performance with three different methods on JAFFE database 特征向量，但人眼视觉系统是一个多尺度系统，如何 算子 平均识别率/%特征提取时间/s 设计多尺度DLBP算子并进行特征融合，使其更符 GDP 83.89 256.34 合人眼视觉特性，是接下来工作的重点及难点。 LDP 89.44 96.87 参考文献： DLBP 88.33 47.60 [1]HUANG Di.SHAN Caifeng,ARDABILIAN M,et al.Local 表5在CK数据上3种算子的性能比较 binary patterns and its application to facial image analysis:a Table 5 Recognition performance with three different survey[J].IEEE Transactions on Systems,Man,and Cy- methods on CK database bernetics,Part C:Applications and Reviews,2011,41 算子 平均识别率/% 特征提取时间/s (6):765-781. GDP 96.10 2689.6 [2]KYPEROUNTAS M,TEFAS A,PITAS I.Salient feature LDP 97.60 917.3 and reliable classifier selection for facial expression classifi- DLBP 97.18 444.6 cation[J].Pattern Recognition,2010,43(3):972-986. [3]OU Jun,BAI Xiaobo,PEI Yun,et al.Automatic facial ex- 从表中可以看出，LDP算子的识别率略高于 pression recognition using Gabor filter and expression analy-图 １０ 椒盐噪声下 ＪＡＦＦＥ 数据库的 ＬＢＰ 和 ＤＬＢＰ 识别率 Ｆｉｇ． １０ ＬＢＰ ａｎｄ ＤＬＢＰ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｐｅｐｐｅｒ ｓａｌｔ ｎｏｉｓｅ ｏｎ ＪＡＦＦＥ ｄａｔａｂａｓｅ 可以看出，随着噪声的增大，ＤＬＢＰ 算子和 ＬＢＰ 算子的识别率在逐渐下降，但 ＤＬＢＰ 算子的识别率 始终高于 ＬＢＰ 算子，且下降速度低于 ＬＢＰ 算子，所 以本文提出的 ＤＬＢＰ 算子具有一定消除或降低噪声 影响的能力。 ３．４ ＤＬＢＰ 算子与 ＧＤＰ 和 ＬＤＰ 算子的性能比较 比较 ＤＬＢＰ 算子与文献［７］提出的 ＧＤＰ 算子和 文献［９］提出的 ＬＤＰ 算子的仿真效果。 这里，ＤＬＢＰ 算子采用上述步骤获得，仍采用上文分析得到的最 佳参数；根据文献［７］描述步骤实现 ８ 位梯度角度 二值编码得到 ＧＤＰ 算子，它的最佳梯度角度阈值为 ２．１６°（由实验分析得到）；根据文献［９］描述步骤得 到 ＬＤＰ 算子，参数与文中一致。 分别在 ＪＡＦＦＥ 数据 库和 ＣＫ 数据库上进行仿真实验，识别率和特征提 取时间结果如表 ４ 和 ５ 所示。 表 ４ 在 ＪＡＦＦＥ 数据上 ３ 种算子的性能比较 Ｔａｂｌｅ ４ Ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｎ ＪＡＦＦＥ ｄａｔａｂａｓｅ 算子 平均识别率／ ％ 特征提取时间／ ｓ ＧＤＰ ８３．８９ ２５６．３４ ＬＤＰ ８９．４４ ９６．８７ ＤＬＢＰ ８８．３３ ４７．６０ 表 ５ 在 ＣＫ 数据上 ３ 种算子的性能比较 Ｔａｂｌｅ ５ Ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｎ ＣＫ ｄａｔａｂａｓｅ 算子 平均识别率／ ％ 特征提取时间／ ｓ ＧＤＰ ９６．１０ ２ ６８９．６ ＬＤＰ ９７．６０ ９１７．３ ＤＬＢＰ ９７．１８ ４４４．６ 从表中可以看出， ＬＤＰ 算子的识别率略高于 ＤＬＢＰ 算子，且都高于 ＧＤＰ 算子，所以从不同方向 提取纹理灰度变化的特征算子其识别效果优于梯度 方向特征算子。 但 ＬＤＰ 算子的特征提取步骤复杂， 需要计算 ８ 个方向的 Ｋｉｒｓｃｈ 梯度幅值，然后进行阈 值比较和二值编码，而 ＤＬＢＰ 算子仅需比较对称 ８ 个方向的灰度大小，所以特征提取时间远小于 ＬＤＰ 算子，综合分类识别率和运行时间的结果，ＤＬＢＰ 算 子的性能最佳。 ４ 结束语 人脸表情识别是一个跨学科富挑战性的前沿课 题，其中特征提取和分类识别是 ２ 个重要的步骤，但 由于分类效果好坏很大程度上受限于特征提取是否 准确，因此表情特征提取是一个非常关键的步骤，它 能为系统的实时处理提供可能，并为后续分类识别 提供保证。 目前多数传统局部二值模式及其改进算法都是 比较中心像素与邻域像素的灰度大小，在人脸表情 纹理描述与抗噪性能方面效果不佳，针对此不足，提 出了基于方向性的局部二值模式，改变传统编码方 式，从水平、垂直和对角 ３ 个方向对邻域像素进行灰 度比较和二值编码。 实验结果表明，ＤＬＢＰ 算子能 更准确描述人脸基本表情，其编码图像中面部肌肉 形变以及眼睛、嘴巴等部位的变化趋势更清晰，且具 有一定的噪声鲁棒性，相比 ＧＤＰ 算子和 ＬＤＰ 算子， ＤＬＢＰ 算子的识别准确率基本不变，但特征提取时 间大大降低，因此是一种综合性能最佳的表情特征 描述子。 在提出的算法中，仅使用 ３×３ 单尺度模板计算 特征向量，但人眼视觉系统是一个多尺度系统，如何 设计多尺度 ＤＬＢＰ 算子并进行特征融合，使其更符 合人眼视觉特性，是接下来工作的重点及难点。 参考文献： ［１］ＨＵＡＮＧ Ｄｉ， ＳＨＡＮ Ｃａｉｆｅｎｇ， ＡＲＤＡＢＩＬＩＡＮ Ｍ， ｅｔ ａｌ． Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｆａｃｉａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ： ａ ｓｕｒｖｅｙ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙ⁃ ｂｅｒｎｅｔｉｃｓ， Ｐａｒｔ Ｃ： Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｒｅｖｉｅｗｓ， ２０１１， ４１ （６）： ７６５⁃７８１． ［２］ ＫＹＰＥＲＯＵＮＴＡＳ Ｍ， ＴＥＦＡＳ Ａ， ＰＩＴＡＳ Ｉ． Ｓａｌｉｅｎｔ ｆｅａｔｕｒｅ ａｎｄ ｒｅｌｉａｂｌｅ ｃｌａｓｓｉｆｉｅｒ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｃｌａｓｓｉｆｉ⁃ ｃａｔｉｏｎ［Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３（３）： ９７２⁃９８６． ［３］ＯＵ Ｊｕｎ， ＢＡＩ Ｘｉａｏｂｏ， ＰＥＩ Ｙｕｎ， ｅｔ ａｌ． Ａｕｔｏｍａｔｉｃ ｆａｃｉａｌ ｅｘ⁃ ｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｇａｂｏｒ ｆｉｌｔｅｒ ａｎｄ ｅｘｐｒｅｓｓｉｏｎ ａｎａｌｙ⁃ 第 ３ 期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·４２７·