第10卷第3期 智能系统学报 Vol.10 No.3 2015年6月 CAAI Transactions on Intelligent Systems Jun.2015 D0:10.3969/j.issn.1673-4785.2201405016 网络出版地址：htp:/www.cnki.net/kcms/detail/23.1538.tp.20150601.0940.003.html 一种方向性的局部二值模式在人脸表情识别中的应用 童莹 (南京工程学院通信工程学院，江苏南京211167) 摘要：传统局部二值模式(LB即)算法应用在人脸表情识别中，不能准确描述眼睛、嘴巴、额头等表情特征区域在不 同方向上的灰度变化趋势，识别效果不理想。本文改进传统局部二值模式的灰度比较关系，分别从水平、垂直以及 对角3个方向对邻域像素的灰度变化进行二值编码，融合3个方向的特征，得到一种基于方向性的局部二值模式 (DL.BP)。在JAFFE数据库和Cohn-Kanade数据库上的实验结果均表明，DLBP算子相比LBP算子、Gabor算子能更 准确描述人脸基本表情，识别率平均分别提高了5%和1%：相比LB即算子对椒盐噪声和高斯白噪声具有更强的鲁棒 性：且与LDP算子相比，识别率基本不变，但特征提取时间缩减近50%。由此可见，DLBP算子是一种快速有效的人 脸表情描述子。 关键词：人脸表情识别；局部二值模式：中心最近邻分类：方向性局部二值模式：Gbor:LDP 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2015)03-0422-07 中文引用格式：童莹.一种方向性的局部二值模式在人脸表情识别中的应用[J].智能系统学报，2015,10(3)：422-428. 英文引用格式：TONG Ying.Local binary pattern based on the directions and its application in facial expression recognition[J]. CAAI Transactions on Intelligent Systems,2015,10(3):422-428. Local binary pattern based on the directions and its application in facial expression recognition TONG Ying Department of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China) Abstract:The traditional local binary pattern (LBP)algorithm for facial expression recognition could not describe the gray value change in different directions of somel expression regions,such as eyes,mouth,forehead,etc.The recognition result is not satisfied.This paper presents a simple and robust method,namely local binary pattern based on the directions(DLBP),which improves the coding pattern of LBP and encoded the difference from the horizontal,vertical and diagonal directions.Experimental results on JAFFE and Cohn-Kanade databases show that DLBP algorithm has achieved 5%and 1%higher recognition rates than other existing algorithms,such as LBP and Gabor.It has a strong robustness to Gaussian noise and salt and pepper noise compared with LBP,and Its feature extraction time is reduced by 50%compared to LDP.Therefore,the DLBP algorithm is a fast and effective feature descriptor. Keywords:facial expression recognition;local binary pattern (LBP);central nearest neighbor classification;di- rectional local binary pattern (DLBP);Gabor;local directional pattern (LDP) 面部是情感交流的器官，人们可以通过面部表 情变化准确而充分地表达自己的思想情感，也可以 通过表情辨认对方的情感状态，是一种有效的非语 收稿日期：2014-05-06.网络出版日期：2015-06-01. 言信息交流手段。因此，对表情识别进行研究具有 基金项目：江苏省自然科学基金资助项目(BK20131342). 通信作者：童莹.E-mail:tongying@jpt.edu.cn. 重要的学术价值和应用前景，是实现人机交互、机器
第 １０ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．３ ２０１５ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２２０１４０５０１６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０６０１．０９４０．００３．ｈｔｍｌ 一种方向性的局部二值模式在人脸表情识别中的应用 童莹 （南京工程学院 通信工程学院，江苏 南京 ２１１１６７） 摘 要：传统局部二值模式（ＬＢＰ）算法应用在人脸表情识别中，不能准确描述眼睛、嘴巴、额头等表情特征区域在不 同方向上的灰度变化趋势，识别效果不理想。 本文改进传统局部二值模式的灰度比较关系，分别从水平、垂直以及 对角 ３ 个方向对邻域像素的灰度变化进行二值编码，融合 ３ 个方向的特征，得到一种基于方向性的局部二值模式 （ＤＬＢＰ）。 在 ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库上的实验结果均表明，ＤＬＢＰ 算子相比 ＬＢＰ 算子、Ｇａｂｏｒ 算子能更 准确描述人脸基本表情，识别率平均分别提高了 ５％和 １％；相比 ＬＢＰ 算子对椒盐噪声和高斯白噪声具有更强的鲁棒 性；且与 ＬＤＰ 算子相比，识别率基本不变，但特征提取时间缩减近 ５０％。 由此可见，ＤＬＢＰ 算子是一种快速有效的人 脸表情描述子。 关键词：人脸表情识别；局部二值模式；中心最近邻分类；方向性局部二值模式；Ｇａｂｏｒ：ＬＤＰ 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０３⁃０４２２⁃０７ 中文引用格式：童莹．一种方向性的局部二值模式在人脸表情识别中的应用［Ｊ］． 智能系统学报， ２０１５， １０（３）： ４２２⁃４２８． 英文引用格式：ＴＯＮＧ Ｙｉｎｇ． Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｒｅｃｔｉｏｎｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（３）： ４２２⁃４２８． Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｒｅｃｔｉｏｎｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ＴＯＮＧ Ｙｉｎｇ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｎａｎｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｎａｎｊｉｎｇ ２１１１６７， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＬＢＰ） ａｌｇｏｒｉｔｈｍ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｃｏｕｌｄ ｎｏｔ ｄｅｓｃｒｉｂｅ ｔｈｅ ｇｒａｙ ｖａｌｕｅ ｃｈａｎｇｅ ｉｎ ｄｉｆｆｅｒｅｎｔ ｄｉｒｅｃｔｉｏｎｓ ｏｆ ｓｏｍｅｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｇｉｏｎｓ， ｓｕｃｈ ａｓ ｅｙｅｓ， ｍｏｕｔｈ， ｆｏｒｅｈｅａｄ， ｅｔｃ． Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔ ｉｓ ｎｏｔ ｓａｔｉｓｆｉｅｄ． Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ｓｉｍｐｌｅ ａｎｄ ｒｏｂｕｓｔ ｍｅｔｈｏｄ， ｎａｍｅｌｙ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｒｅｃｔｉｏｎｓ （ＤＬＢＰ）， ｗｈｉｃｈ ｉｍｐｒｏｖｅｓ ｔｈｅ ｃｏｄｉｎｇ ｐａｔｔｅｒｎ ｏｆ ＬＢＰ ａｎｄ ｅｎｃｏｄｅｄ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｆｒｏｍ ｔｈｅ ｈｏｒｉｚｏｎｔａｌ， ｖｅｒｔｉｃａｌ ａｎｄ ｄｉａｇｏｎａｌ ｄｉｒｅｃｔｉｏｎｓ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ＪＡＦＦＥ ａｎｄ Ｃｏｈｎ⁃Ｋａｎａｄｅ ｄａｔａｂａｓｅｓ ｓｈｏｗ ｔｈａｔ ＤＬＢＰ ａｌｇｏｒｉｔｈｍ ｈａｓ ａｃｈｉｅｖｅｄ ５％ ａｎｄ １％ ｈｉｇｈｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｔｈａｎ ｏｔｈｅｒ ｅｘｉｓｔｉｎｇ ａｌｇｏｒｉｔｈｍｓ， ｓｕｃｈ ａｓ ＬＢＰ ａｎｄ Ｇａｂｏｒ． Ｉｔ ｈａｓ ａ ｓｔｒｏｎｇ ｒｏｂｕｓｔｎｅｓｓ ｔｏ Ｇａｕｓｓｉａｎ ｎｏｉｓｅ ａｎｄ ｓａｌｔ ａｎｄ ｐｅｐｐｅｒ ｎｏｉｓｅ ｃｏｍｐａｒｅｄ ｗｉｔｈ ＬＢＰ， ａｎｄ Ｉｔｓ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｔｉｍｅ ｉｓ ｒｅｄｕｃｅｄ ｂｙ ５０％ ｃｏｍｐａｒｅｄ ｔｏ ＬＤＰ． Ｔｈｅｒｅｆｏｒｅ， ｔｈｅ ＤＬＢＰ ａｌｇｏｒｉｔｈｍ ｉｓ ａ ｆａｓｔ ａｎｄ ｅｆｆｅｃｔｉｖｅ ｆｅａｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ． Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ； ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＬＢＰ）； ｃｅｎｔｒａｌ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｄｉ⁃ ｒｅｃｔｉｏｎａｌ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＤＬＢＰ）； Ｇａｂｏｒ； ｌｏｃａｌ ｄｉｒｅｃｔｉｏｎａｌ ｐａｔｔｅｒｎ （ＬＤＰ） 收稿日期：２０１４⁃０５⁃０６． 网络出版日期：２０１５⁃０６⁃０１． 基金项目：江苏省自然科学基金资助项目（ＢＫ２０１３１３４２）． 通信作者：童莹． Ｅ⁃ｍａｉｌ： ｔｏｎｇｙｉｎｇ＠ ｎｊｐｔ．ｅｄｕ．ｃｎ． 面部是情感交流的器官，人们可以通过面部表 情变化准确而充分地表达自己的思想情感，也可以 通过表情辨认对方的情感状态，是一种有效的非语 言信息交流手段。 因此，对表情识别进行研究具有 重要的学术价值和应用前景，是实现人机交互、机器
第3期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·423. 视觉、行为科学等应用的基础，近年来逐渐成为学者 们的研究热点。 189外58130 0 人脸表情识别(facial expression recognition, 13015065 01501 >(00011011)=27 FER)系统包含表情图像预处理、人脸检测与人脸区 3080198 001 域分割、表情特征提取和表情分类4个组成部分。 图1LBP编码示例 表情特征提取是人脸表情识别系统的一个重要环 Fig.1 Illustration of the LBP descriptor 节，是提高表情分类准确性的关键步骤。在众多表 情特征提取方法中，局部特征法对光照、姿态等变化 2 基于方向性的LBP算子理论 具有较强的鲁棒性，其中局部二值模式(LBP)]和 2.1DLBP算子的定义 Gabor小波变换[2-6是2种代表性方法。Gabor小波 原始的LBP提出后，T.Ojala又对其进行改进， 变换能够检测多尺度、多方向的表情纹理信息，但其 将3×3邻域扩展到任意邻域，并用圆形邻域代替方 耗时多，产生特征维数巨大，降维方法的选择会影响 形邻域，改进后的LBP算子允许在半径为R的圆形 识别准确性。相比于Gabor小波变换，LBP算法可 邻域内有任意多个像素点。同时，他还提出了均匀 以快速提取表情特征，具有强大的纹理判别能力和 模式，将LBP模式由256种减少为59种，降低了特 计算简单等特点，因此被广泛地应用于分类、图像检 征向量的维数但并不丢失主要信息。在T.Ojala研 索和模式识别中7-]。然而传统LBP算子也有其 究的基础上，又有很多研究人员提出自己的改进方 局限性，它是通过比较中心像素与邻域像素的灰度 法，例如Tan提出了局部三值模式[)，通过计算中 值大小获取特征，受噪声影响较大，对灰度变化敏 心像素与邻域像素的灰度差值与给定经验阈值的正 感，识别效果不理想。因此本文对传统LBP算子进 负关系进行三值编码，可以有效去除噪声和光照的 行改进，提出一种基于方向性的局部二值模式(di- 影响：Yang等提出了汉明LBP,当非均匀模式与 某均匀模式的汉明距离最小时，将其归入均匀模式， rectional LBP,DLBP),分别从水平、垂直和对角3 可进一步降低LBP特征向量的维数；Huang等提出 个方向对邻域像素进行灰度值比较和二值编码，既 了扩展LBP[5),对邻域像素与中心像素的灰度差值 符合人脸表情变化趋势，又降低像素相关性，减少噪 进行四位二值编码，首位是符号位，后面3位是数值 声干扰。在JAFFE数据库和Cohn-Kanade数据库 位，该方法以增加向量维数来换取鲁棒性。可以看 上的实验结果均表明，DLBP算子是一种实用有 出，改进方法多数集中在邻域选择、特征向量降维或 效的人脸表情描述算子，且比LBP算子具体较强 者编码方式构建上，他们的基本思想仍是比较中心 的噪声鲁棒性。 像素和邻域像素的灰度大小，并没有考虑邻域像素 1 LBP算子理论 间的灰度变化，这种传统比较关系并不有利于表情 特征的提取[16-20] 传统局部二值模式(local binary pattern,LBP) 针对这一不足，本文提出一种基于方向性的局 是由T.0jala等在1996年提出的，是一种用来描述 部二值模式(DLBP),分别从水平、垂直和对角3个 图像局部纹理特征的算子，它具有旋转不变性和灰 方向比较邻域像素间的灰度值大小，并对其进行二 度不变性等显著优点。传统LBP算子定义在3×3 值编码，得到DLBP编码图像。这是一种简单有效 窗口内，以窗口中心像素灰度值为阈值，将相邻8个 的表情特征提取方法，可以准确描述人脸中各个表 像素的灰度值与其进行比较，若邻域像素值大于中 情区域的纹理变化，同时也不增加算法的复杂性。 心像素值，则编码为1，否则编码为0。从左上角开 考虑到3个方向的选择顺序以及编码权重对识别效 始顺时针读取数值，先读出的二进制数放在低位，后 果无影响，本文定义DLBP算式如式(1)所示。 读出的二进制数放在高位，依次得到8位二进制数， DLBPR=s(g:-g3)27 +s(ga-gs)2+ 即LBP编码。将LBP编码值转换为十进制数，则得 s(g6-88)23+s(g1-86)2+s(g2-g7)23+ 到该编码对应的LBP值。图1描述了一个编码示 s(g-g8)22+s(g1-g8)2+s(g1-g6)2° 例，中心像素灰度值为150，依次与八邻域像素比 (s(x)=1,x≥0 (1)》 较，顺序得到LBP编码为(00011011)2，将其转化为 s(x)=0,x<0 十进制数得到LBP值为27。 式中：81~gs为图2中3×3模板对应像素点的灰度 值，其编码运算示例如图3所示。图3中像素灰度
视觉、行为科学等应用的基础，近年来逐渐成为学者 们的研究热点。 人脸 表 情 识 别 （ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ， ＦＥＲ）系统包含表情图像预处理、人脸检测与人脸区 域分割、表情特征提取和表情分类 ４ 个组成部分。 表情特征提取是人脸表情识别系统的一个重要环 节，是提高表情分类准确性的关键步骤。 在众多表 情特征提取方法中，局部特征法对光照、姿态等变化 具有较强的鲁棒性，其中局部二值模式（ＬＢＰ） ［１］ 和 Ｇａｂｏｒ 小波变换［２－６］是 ２ 种代表性方法。 Ｇａｂｏｒ 小波 变换能够检测多尺度、多方向的表情纹理信息，但其 耗时多，产生特征维数巨大，降维方法的选择会影响 识别准确性。 相比于 Ｇａｂｏｒ 小波变换，ＬＢＰ 算法可 以快速提取表情特征，具有强大的纹理判别能力和 计算简单等特点，因此被广泛地应用于分类、图像检 索和模式识别中［７－１２］ 。 然而传统 ＬＢＰ 算子也有其 局限性，它是通过比较中心像素与邻域像素的灰度 值大小获取特征，受噪声影响较大，对灰度变化敏 感，识别效果不理想。 因此本文对传统 ＬＢＰ 算子进 行改进，提出一种基于方向性的局部二值模式（ ｄｉ⁃ ｒｅｃｔｉｏｎａｌ ＬＢＰ， ＤＬＢＰ），分别从水平、垂直和对角 ３ 个方向对邻域像素进行灰度值比较和二值编码，既 符合人脸表情变化趋势，又降低像素相关性，减少噪 声干扰。 在 ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库 上的实验结果均表明，ＤＬＢＰ 算子是一种实用有 效的人脸表情描述算子，且比 ＬＢＰ 算子具体较强 的噪声鲁棒性。 １ ＬＢＰ 算子理论 传统局部二值模式（ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ， ＬＢＰ） 是由 Ｔ． Ｏｊａｌａ 等在 １９９６ 年提出的，是一种用来描述 图像局部纹理特征的算子，它具有旋转不变性和灰 度不变性等显著优点。 传统 ＬＢＰ 算子定义在 ３×３ 窗口内，以窗口中心像素灰度值为阈值，将相邻 ８ 个 像素的灰度值与其进行比较，若邻域像素值大于中 心像素值，则编码为 １，否则编码为 ０。 从左上角开 始顺时针读取数值，先读出的二进制数放在低位，后 读出的二进制数放在高位，依次得到 ８ 位二进制数， 即 ＬＢＰ 编码。 将 ＬＢＰ 编码值转换为十进制数，则得 到该编码对应的 ＬＢＰ 值。 图 １ 描述了一个编码示 例，中心像素灰度值为 １５０，依次与八邻域像素比 较，顺序得到 ＬＢＰ 编码为（０００１１０１１）２ ，将其转化为 十进制数得到 ＬＢＰ 值为 ２７。 图 １ ＬＢＰ 编码示例 Ｆｉｇ． １ Ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｔｈｅ ＬＢＰ ｄｅｓｃｒｉｐｔｏｒ ２ 基于方向性的 ＬＢＰ 算子理论 ２．１ ＤＬＢＰ 算子的定义 原始的 ＬＢＰ 提出后，Ｔ． Ｏｊａｌａ 又对其进行改进， 将 ３×３ 邻域扩展到任意邻域，并用圆形邻域代替方 形邻域，改进后的 ＬＢＰ 算子允许在半径为 Ｒ 的圆形 邻域内有任意多个像素点。 同时，他还提出了均匀 模式，将 ＬＢＰ 模式由 ２５６ 种减少为 ５９ 种，降低了特 征向量的维数但并不丢失主要信息。 在 Ｔ． Ｏｊａｌａ 研 究的基础上，又有很多研究人员提出自己的改进方 法，例如 Ｔａｎ 提出了局部三值模式［１３］ ，通过计算中 心像素与邻域像素的灰度差值与给定经验阈值的正 负关系进行三值编码，可以有效去除噪声和光照的 影响；Ｙａｎｇ 等提出了汉明 ＬＢＰ ［１４］ ，当非均匀模式与 某均匀模式的汉明距离最小时，将其归入均匀模式， 可进一步降低 ＬＢＰ 特征向量的维数；Ｈｕａｎｇ 等提出 了扩展 ＬＢＰ ［１５］ ，对邻域像素与中心像素的灰度差值 进行四位二值编码，首位是符号位，后面 ３ 位是数值 位，该方法以增加向量维数来换取鲁棒性。 可以看 出，改进方法多数集中在邻域选择、特征向量降维或 者编码方式构建上，他们的基本思想仍是比较中心 像素和邻域像素的灰度大小，并没有考虑邻域像素 间的灰度变化，这种传统比较关系并不有利于表情 特征的提取［１６－２０］ 。 针对这一不足，本文提出一种基于方向性的局 部二值模式（ＤＬＢＰ），分别从水平、垂直和对角 ３ 个 方向比较邻域像素间的灰度值大小，并对其进行二 值编码，得到 ＤＬＢＰ 编码图像。 这是一种简单有效 的表情特征提取方法，可以准确描述人脸中各个表 情区域的纹理变化，同时也不增加算法的复杂性。 考虑到 ３ 个方向的选择顺序以及编码权重对识别效 果无影响，本文定义 ＤＬＢＰ 算式如式（１）所示。 ＤＬＢＰ Ｒ Ｐ ＝ ｓ（ｇ１ － ｇ３ ）２ ７ ＋ ｓ（ｇ４ － ｇ５ ）２ ６ ＋ ｓ（ｇ６ － ｇ８ ）２ ５ ＋ ｓ（ｇ１ － ｇ６ ）２ ４ ＋ ｓ（ｇ２ － ｇ７ ）２ ３ ＋ ｓ（ｇ３ － ｇ８ ）２ ２ ＋ ｓ（ｇ１ － ｇ８ ）２ １ ＋ ｓ（ｇ３ － ｇ６ ）２ ０ ｓ（ｘ） ＝ １， ｘ ≥ ０ ｓ（ｘ） ＝ ０， ｘ ＜ ０ { （１） 式中： ｇ１ ～ ｇ８ 为图 ２ 中 ３×３ 模板对应像素点的灰度 值，其编码运算示例如图 ３ 所示。 图 ３ 中像素灰度 第 ３ 期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·４２３·
.424 智能系统学报 第10卷 分布与图1一致，虚线表示进行灰度比较的2个邻 来的00011100变为00010100，第5位编码发生了错 域像素，根据式(1)得到DLBP编码为 误。这是由于噪声的影响导致图中圆圈标识的邻域 (10011001)2。可以看出，针对相同的灰度分布，由 像素灰度值与中心像素灰度值的关系发生逆转，尽 于LBP算子与DLBP算子进行灰度比较的像素不 管剩余邻域像素与中心像素灰度值的关系并没有发 同，所以编码结果也不同。 生改变，但这仍然导致LBP编码值由原来的28变 为20，改变直方图分布，从而影响识别率。而DLBP g 算子则是考虑邻域像素间的灰度关系，它们之间的 g 灰度值相关性小于中心像素与邻域像素之间的相关 g 性，并且邻域越大相关程度越小，因此DLBP算子受 图2DLBP算子的3×3模板 噪声影响小。如图5(c)所示，圆圈标识的灰度值为 Fig.2 3x3 mask of DLBP descriptor 53,其对应水平方向的方形标识像素灰度值为10。 考虑受噪声影响的最坏情况，即圆圈标识的灰度值 降低，而方形标识的灰度值升高。若不改变灰度关 系，此时所能承受的最大噪声容限为两者差值43。 1858130 图5(d)为受高斯白噪声影响后的灰度分布，图中圆 30h50l65」DLBP=(I00I100I),=I53 圈标识的灰度值下降5，方形标识的灰度值上升5， 3080198 灰度值变化总和为10，小于最大噪声容限值43，所 以灰度关系不发生改变，DLBP编码也不变。由此 图3DLBP编码示例 可见，DLBP算子的噪声容限大于LBP算子，对噪声 Fig.3 Illustration of DLBP descriptor 有较强的鲁棒性。 为了直观比较LBP算子与DLBP算子提取表 853226 812932 情特征的优劣，以JAF℉E数据库中某一表情图像为 35010LBP=00011100385815LBP=00010100 例，分别对其进行LBP编码和DLBP编码，显示结 603845 654347 果如图4所示。从图中可以看出，由于DLBP算子 独特的灰度比较方式，它能够准确描述出邻域像素 (a)无噪声LBP编码 (b)有噪声LBP编码 间不同方向的灰度变化，DLBP编码图像中面部肌 85 3226 812932 肉的皱褶形变以及眼睛、嘴巴等部位的变化趋势更 )B邵=9918983858DtBp-1m8o10 LBP=00011100 LBP=00010100 150 明显，相比LBP编码图像，DLBP编码图像的表情特 603845 654347 征更清晰，噪声干扰更少。 (C)无噪声DLBP编码 d有噪声DLBP编码 图5LBP与DLBP对噪声的鲁棒性分析 Fig.5 Stability of LBP vs DLBP 2.3DLBP特征向量描述子 采用DLBP算子对图像中每一个像素进行编 (a)原始图像(b)LBP编码图像(c)DLBP编码图像 码，得到DLBP编码图像。在进行表情分类时，一般 图4原始图像与LBP和DLBP编码图像 不将编码图像作为特征向量进行识别，这是因为编 Fig.4 Sample of original image,LBP coding image and 码图像中DLBP值与位置是紧密相关的，对2幅编 DLBP coding image 码图像进行判别分析，会因为“位置不准确”而产生 很大误差。因此仍采用DLBP统计直方图作为特征 2.2DLBP算子的鲁棒性 向量来消除位置的影响。具体实现步骤如下： 由于LBP算子是对中心像素点与邻域像素点 1)将人脸表情图像平均分成N个子图像，每一 的灰度大小进行编码，因此任意一个邻域像素点的 块子图像大小为mxn。 灰度值发生改变，都会导致LBP编码变化。如图5 2)采用式(1)计算每个子图像所有像素的 所示，图5(a)是原始灰度模板，加上高斯白噪声后 DLBP值。 得到灰度分布如图5(b)所示，此时LBP编码由原 3)利用式(2)统计每个子图像的DLBP直方图
分布与图 １ 一致，虚线表示进行灰度比较的 ２ 个邻 域 像 素， 根 据 式 （ １ ） 得 到 ＤＬＢＰ 编 码 为 （１００１１００１）２ 。 可以看出，针对相同的灰度分布，由 于 ＬＢＰ 算子与 ＤＬＢＰ 算子进行灰度比较的像素不 同，所以编码结果也不同。 图 ２ ＤＬＢＰ 算子的 ３×３ 模板 Ｆｉｇ． ２ ３×３ ｍａｓｋ ｏｆ ＤＬＢＰ ｄｅｓｃｒｉｐｔｏｒ 图 ３ ＤＬＢＰ 编码示例 Ｆｉｇ． ３ Ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ＤＬＢＰ ｄｅｓｃｒｉｐｔｏｒ 为了直观比较 ＬＢＰ 算子与 ＤＬＢＰ 算子提取表 情特征的优劣，以 ＪＡＦＦＥ 数据库中某一表情图像为 例，分别对其进行 ＬＢＰ 编码和 ＤＬＢＰ 编码，显示结 果如图 ４ 所示。 从图中可以看出，由于 ＤＬＢＰ 算子 独特的灰度比较方式，它能够准确描述出邻域像素 间不同方向的灰度变化，ＤＬＢＰ 编码图像中面部肌 肉的皱褶形变以及眼睛、嘴巴等部位的变化趋势更 明显，相比 ＬＢＰ 编码图像，ＤＬＢＰ 编码图像的表情特 征更清晰，噪声干扰更少。 图 ４ 原始图像与 ＬＢＰ 和 ＤＬＢＰ 编码图像 Ｆｉｇ． ４ Ｓａｍｐｌｅ ｏｆ ｏｒｉｇｉｎａｌ ｉｍａｇｅ， ＬＢＰ ｃｏｄｉｎｇ ｉｍａｇｅ ａｎｄ ＤＬＢＰ ｃｏｄｉｎｇ ｉｍａｇｅ ２．２ ＤＬＢＰ 算子的鲁棒性 由于 ＬＢＰ 算子是对中心像素点与邻域像素点 的灰度大小进行编码，因此任意一个邻域像素点的 灰度值发生改变，都会导致 ＬＢＰ 编码变化。 如图 ５ 所示，图 ５（ａ）是原始灰度模板，加上高斯白噪声后 得到灰度分布如图 ５（ ｂ）所示，此时 ＬＢＰ 编码由原 来的 ０００１１１００ 变为 ０００１０１００，第 ５ 位编码发生了错 误。 这是由于噪声的影响导致图中圆圈标识的邻域 像素灰度值与中心像素灰度值的关系发生逆转，尽 管剩余邻域像素与中心像素灰度值的关系并没有发 生改变，但这仍然导致 ＬＢＰ 编码值由原来的 ２８ 变 为 ２０，改变直方图分布，从而影响识别率。 而 ＤＬＢＰ 算子则是考虑邻域像素间的灰度关系，它们之间的 灰度值相关性小于中心像素与邻域像素之间的相关 性，并且邻域越大相关程度越小，因此 ＤＬＢＰ 算子受 噪声影响小。 如图 ５（ｃ）所示，圆圈标识的灰度值为 ５３，其对应水平方向的方形标识像素灰度值为 １０。 考虑受噪声影响的最坏情况，即圆圈标识的灰度值 降低，而方形标识的灰度值升高。 若不改变灰度关 系，此时所能承受的最大噪声容限为两者差值 ４３。 图 ５（ｄ）为受高斯白噪声影响后的灰度分布，图中圆 圈标识的灰度值下降 ５，方形标识的灰度值上升 ５， 灰度值变化总和为 １０，小于最大噪声容限值 ４３，所 以灰度关系不发生改变，ＤＬＢＰ 编码也不变。 由此 可见，ＤＬＢＰ 算子的噪声容限大于 ＬＢＰ 算子，对噪声 有较强的鲁棒性。 图 ５ ＬＢＰ 与 ＤＬＢＰ 对噪声的鲁棒性分析 Ｆｉｇ． ５ Ｓｔａｂｉｌｉｔｙ ｏｆ ＬＢＰ ｖｓ ＤＬＢＰ ２．３ ＤＬＢＰ 特征向量描述子 采用 ＤＬＢＰ 算子对图像中每一个像素进行编 码，得到 ＤＬＢＰ 编码图像。 在进行表情分类时，一般 不将编码图像作为特征向量进行识别，这是因为编 码图像中 ＤＬＢＰ 值与位置是紧密相关的，对 ２ 幅编 码图像进行判别分析，会因为“位置不准确”而产生 很大误差。 因此仍采用 ＤＬＢＰ 统计直方图作为特征 向量来消除位置的影响。 具体实现步骤如下： １）将人脸表情图像平均分成 Ｎ 个子图像，每一 块子图像大小为 ｍ×ｎ。 ２） 采用式 （ １） 计算每个子图像所有像素的 ＤＬＢＰ 值。 ３）利用式（２）统计每个子图像的 ＤＬＢＰ 直方图。 ·４２４· 智 能 系 统 学 报 第 １０ 卷
第3期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 425· H(i)= fDLBP(rc)i).i=0.1..... 情区域划分，使人脸表情区域同背景分离开来，尽量 减少与表情无关的因素对表情识别的影响。设双眼 (2) 之间的水平距离为D,以两眼连线的中点为基准，向 式中0=6，LB0为像素 上距离0.5D处为上边界，向下距离1.5D处为下边 界，向左距离D处为左边界，向右距离D为右边界， 的DLBP值，顺序扫描子图像中所有像素的DLBP 将人脸主要表情区域从图像中分割出来，模板如图 值，当DLBP值等于灰度值i(i=0,1,.,2-1)时， 7所示。同时，由于分割出的表情区域大小不同，还 直方图H(i)累加1。式中直方图的长度由DLBP 需要将图像归一化为标准大小，本文归一化图像尺 算子的编码位数k决定。考虑3个方向邻域像素的 寸为128×128，JAFFE数据库和Cohn-Kanade数据 灰度变化，编码8位，所以直方图长度为256。 库中部分经过预处理的样本表情图像如图8所示。 4)将所有子图像的统计直方图顺序链接起来， 得到最终可用于分类识别的DLBP特征向量，如图 6所示，特征向量的长度为256×N。 0.5D .5D 图6DLBP特性向量提取过程 DD Fig.6 The process of DLBP feature extraction 图7人脸表情区域分割模板 Fig.7 Cropped templet of facial expression images 可以看出，DLBP特征向量描述子采用直方图 分布可以消除像素位置的影响，同时分别统计各个 子图像的DLBP直方图，又可以增加局部特征之间 的空间排列信息，有利于提高识别率。 3 实验结果与分析 本文采用JAFFE数据库和Cohn-Kanade数据库 进行实验仿真。JAFFE数据库是日本ATR媒体信 息科学实验室的Lyons博士提供的，包括10位日本 女性在愤怒、厌恶、恐惧、高兴、悲伤、惊讶6种情况 下自发产生的表情图像，共213幅图像，图像大小为 (a)JAFFE数据库中不同表情的部分样本图像 256×256。选取其中每人每种表情3幅图像，共180 幅图像进行实验仿真。Cohn-Kanade数据库是CMU 机器人研究所和心理系于2000年共同建立的人脸 表情数据库，包含了200个由18~30岁的210个成 年人近2000张不同表情图像序列，每张图像大小 为640×490或640×480。本文选取每个表情序列中 最具有代表性的5幅图像，共1665幅图像进行实 验仿真。这2个数据库完全开放，且表情标定标准， 现为多数研究人员仿真使用。 在进行实验仿真前，还要对数据库中图像进行 (b)Cohn-Kanade数据库中不同表情的部分样本图像 表情区域划分和归一化预处理。在精确定位人眼 图8 JAFFE数据库和Cohn-Kanade数据库的样本表情图像 后，计算双眼与水平线的夹角，并将双眼位置旋转到 Fig.8 Sample expression images of each prototypic expression 同一水平高度。根据人眼的坐标位置对图像进行表 from (a)JAFFE database and (b)CK database
Ｈ（ｉ） ＝ ∑ ｍ ｒ ＝ １∑ ｎ ｃ ＝ １ ｆ（ＤＬＢＰｋ（ｒ，ｃ），ｉ）， ｉ ＝ ０，１，．．．，２ ｋ－１ （２） 式中： ｆ（ｘ，ｉ） ＝ １，ｘ ＝ ｉ ０，ｘ ≠ ｉ { ， ＤＬＢＰｋ（ｒ，ｃ） 为像素 （ｒ，ｃ） 的 ＤＬＢＰ 值，顺序扫描子图像中所有像素的 ＤＬＢＰ 值，当 ＤＬＢＰ 值等于灰度值 ｉ （ ｉ ＝ ０，１，．．．，２ ｋ－１ ）时， 直方图 Ｈ（ｉ） 累加 １。 式中直方图的长度由 ＤＬＢＰ 算子的编码位数 ｋ 决定。 考虑 ３ 个方向邻域像素的 灰度变化，编码 ８ 位，所以直方图长度为 ２５６。 ４）将所有子图像的统计直方图顺序链接起来， 得到最终可用于分类识别的 ＤＬＢＰ 特征向量，如图 ６ 所示，特征向量的长度为 ２５６×Ｎ。 图 ６ ＤＬＢＰ 特性向量提取过程 Ｆｉｇ． ６ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ＤＬＢＰ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ 可以看出，ＤＬＢＰ 特征向量描述子采用直方图 分布可以消除像素位置的影响，同时分别统计各个 子图像的 ＤＬＢＰ 直方图，又可以增加局部特征之间 的空间排列信息，有利于提高识别率。 ３ 实验结果与分析 本文采用 ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库 进行实验仿真。 ＪＡＦＦＥ 数据库是日本 ＡＴＲ 媒体信 息科学实验室的 Ｌｙｏｎｓ 博士提供的，包括 １０ 位日本 女性在愤怒、厌恶、恐惧、高兴、悲伤、惊讶 ６ 种情况 下自发产生的表情图像，共 ２１３ 幅图像，图像大小为 ２５６×２５６。 选取其中每人每种表情 ３ 幅图像，共 １８０ 幅图像进行实验仿真。 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库是 ＣＭＵ 机器人研究所和心理系于 ２０００ 年共同建立的人脸 表情数据库，包含了 ２００ 个由 １８ ～ ３０ 岁的 ２１０ 个成 年人近 ２ ０００ 张不同表情图像序列，每张图像大小 为 ６４０×４９０ 或 ６４０×４８０。 本文选取每个表情序列中 最具有代表性的 ５ 幅图像，共 １ ６６５ 幅图像进行实 验仿真。 这 ２ 个数据库完全开放，且表情标定标准， 现为多数研究人员仿真使用。 在进行实验仿真前，还要对数据库中图像进行 表情区域划分和归一化预处理。 在精确定位人眼 后，计算双眼与水平线的夹角，并将双眼位置旋转到 同一水平高度。 根据人眼的坐标位置对图像进行表 情区域划分，使人脸表情区域同背景分离开来，尽量 减少与表情无关的因素对表情识别的影响。 设双眼 之间的水平距离为 Ｄ，以两眼连线的中点为基准，向 上距离 ０．５Ｄ 处为上边界，向下距离 １．５Ｄ 处为下边 界，向左距离 Ｄ 处为左边界，向右距离 Ｄ 为右边界， 将人脸主要表情区域从图像中分割出来，模板如图 ７ 所示。 同时，由于分割出的表情区域大小不同，还 需要将图像归一化为标准大小，本文归一化图像尺 寸为 １２８ × １２８，ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据 库中部分经过预处理的样本表情图像如图 ８ 所示。 图 ７ 人脸表情区域分割模板 Ｆｉｇ． ７ Ｃｒｏｐｐｅｄ ｔｅｍｐｌｅｔ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｉｍａｇｅｓ （ａ）ＪＡＦＦＥ 数据库中不同表情的部分样本图像 （ｂ）Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库中不同表情的部分样本图像 图 ８ ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库的样本表情图像 Ｆｉｇ． ８ Ｓａｍｐｌｅ ｅｘｐｒｅｓｓｉｏｎ ｉｍａｇｅｓ ｏｆ ｅａｃｈ ｐｒｏｔｏｔｙｐｉｃ ｅｘｐｒｅｓｓｉｏｎ ｆｒｏｍ （ａ） ＪＡＦＦＥ ｄａｔａｂａｓｅ ａｎｄ （ｂ） ＣＫ ｄａｔａｂａｓｅ 第 ３ 期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·４２５·
·426 智能系统学报 第10卷 本文采用中心最近邻分类器进行表情识别，具体 多个方向多个尺度提取表情特征，但运行时间长，特 实现步骤参考文献[18]，文中不再详述。采用熟悉人 征维数巨大，选择的特征降维方法能否最大程度去除 脸样本选择方式进行实验仿真，任选1幅图像作为测 冗余保留有效信息对识别率有重要影响。 试样本，剩余图像作为训练样本，交叉验证N次 表2在JAFFE数据库上不同算子的识别率 (JAFFE数据库中N=180,CK数据库中N=1665)。 采用这种样本选择方式可以最大程度选择所有数据 Table 2 Expression recognition performance with different methods on JAFFE database 作为测试样本，以确保每幅图像的表情特征都被考虑 到，实验结果更具有真实性。 表情 LBP算子Gabor算子 DLBP算子 3.1子图像尺寸大小对算法的影响 愤怒 96.67 73.33 90.00 首先分析子图像尺寸大小对分类准确性的影 厌恶 83.33 80.00 86.67 响。将人脸表情图像平均分割成1×1、2×2、4×4、8× 恐惧 80.00 86.67 93.33 8、16×16个子图像，划分的子图像个数越多，尺寸越 高兴 93.33 90.00 96.67 小。考虑CK数据库样本多，程序运行时间长，因此 悲伤 73.33 80.00 73.33 采用JAFFE数据库使用DLBP算子分别对每种分 惊讶 76.67 90.00 90.00 割情况进行仿真实验，结果如表1所示。 平均识别率 83.89 83.33 88.33 表1不同子图像个数下DLBP算子的识别率 表3在CK数据库上不同算子的识别率 Table 1 Recognition performance for different number of regions Table 3 Expression recognition performance with 分块数 识别率/% different methods on CK database % 1×1 48.33 表情 LBP算子 Gabor算子 DLBP算子 2×2 75.00 愤怒 96.74 91.16 96.28 4×4 84.44 厌恶 94.44 96.67 95.56 8x8 88.33 恐惧 97.62 91.43 98.10 16×16 87.78 高兴 97.00 98.00 98.00 悲伤 95.00 98.00 95.00 从表中可以看出，将128×128大小的图像平均 惊讶 98.33 96.67 98.61 分为8×8=64个子图像效果最佳，子图像的个数过 平均识别率 96.70 95.86 97.12 多或过少都会对识别率造成影响。子图像个数过 少，每个子图像尺寸则较大，DLBP算子无法准确提 3.3DLBP算子对噪声的鲁棒性能分析 取局部细节特征：子图像个数过多，每个子图像尺寸 以JAFFE数据库为例，在图像中加人高斯白噪 则较小，各个子图像间的DLBP特征有冗余，影响分 声和椒盐噪声，噪声的方差由小到大逐渐增加，分析 类效果。 其对LBP算子和DLBP算子的影响。识别率的变 3.2DLBP算子与LBP、Gabor算子的性能比较 化情况如图9和10所示。 本小节进一步比较DLBP算子与LBP算子 Gabor算子[6]在人脸表情识别中的性能优劣，采用 90r 文献[16]中的降维方法得到Gabor特征。LBP算子 85 bEBP 和DLBP算子编码邻域大小为3×3，采用表1中最 80 佳分块参数，分别在JAFFE数据库和CK数据库上 进行实验仿真，实验结果如表2和3所示。 15 从表2和3可以看出，无论对JAFFE数据库还是 汤 CK数据库，DLBP算子均有较强的表情特征提取能 65 力，识别率均高于LBP算子和Gabor算子。这是由于 DLBP算子通过编码邻域像素间的灰度差异快速捕 606广234567890x10 捉到丰富的纹理信息，相比传统LBP算子仅比较邻 图9高斯白噪声下JAFFE数据库的LBP和DLBP识别率 域点与中心像素点之间的灰度差异，可以更好地提高 Fig.9 LBP and DLBP recognition performance with 人脸表情的鉴别能力。同时，Gabor算子虽然可以从 Gaussian white noise on JAFFE database
本文采用中心最近邻分类器进行表情识别，具体 实现步骤参考文献［１８］，文中不再详述。 采用熟悉人 脸样本选择方式进行实验仿真，任选 １ 幅图像作为测 试样本，剩余图像作为训练样本，交叉验证 Ｎ 次 （ＪＡＦＦＥ 数据库中 Ｎ ＝ １８０，ＣＫ 数据库中 Ｎ ＝ １ ６６５）。 采用这种样本选择方式可以最大程度选择所有数据 作为测试样本，以确保每幅图像的表情特征都被考虑 到，实验结果更具有真实性。 ３．１ 子图像尺寸大小对算法的影响 首先分析子图像尺寸大小对分类准确性的影 响。 将人脸表情图像平均分割成 １×１、２×２、４×４、８× ８、１６×１６ 个子图像，划分的子图像个数越多，尺寸越 小。 考虑 ＣＫ 数据库样本多，程序运行时间长，因此 采用 ＪＡＦＦＥ 数据库使用 ＤＬＢＰ 算子分别对每种分 割情况进行仿真实验，结果如表 １ 所示。 表 １ 不同子图像个数下 ＤＬＢＰ 算子的识别率 Ｔａｂｌｅ １ Ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｎｕｍｂｅｒ ｏｆ ｒｅｇｉｏｎｓ 分块数 识别率／ ％ １×１ ４８．３３ ２×２ ７５．００ ４×４ ８４．４４ ８×８ ８８．３３ １６×１６ ８７．７８ 从表中可以看出，将 １２８×１２８ 大小的图像平均 分为 ８×８ ＝ ６４ 个子图像效果最佳，子图像的个数过 多或过少都会对识别率造成影响。 子图像个数过 少，每个子图像尺寸则较大，ＤＬＢＰ 算子无法准确提 取局部细节特征；子图像个数过多，每个子图像尺寸 则较小，各个子图像间的 ＤＬＢＰ 特征有冗余，影响分 类效果。 ３．２ ＤＬＢＰ 算子与 ＬＢＰ、Ｇａｂｏｒ 算子的性能比较 本小节进一步比较 ＤＬＢＰ 算子与 ＬＢＰ 算子、 Ｇａｂｏｒ 算子［１６］在人脸表情识别中的性能优劣，采用 文献［１６］中的降维方法得到 Ｇａｂｏｒ 特征。 ＬＢＰ 算子 和 ＤＬＢＰ 算子编码邻域大小为 ３×３，采用表 １ 中最 佳分块参数，分别在 ＪＡＦＦＥ 数据库和 ＣＫ 数据库上 进行实验仿真，实验结果如表 ２ 和 ３ 所示。 从表２ 和３ 可以看出，无论对 ＪＡＦＦＥ 数据库还是 ＣＫ 数据库，ＤＬＢＰ 算子均有较强的表情特征提取能 力，识别率均高于 ＬＢＰ 算子和 Ｇａｂｏｒ 算子。 这是由于 ＤＬＢＰ 算子通过编码邻域像素间的灰度差异快速捕 捉到丰富的纹理信息，相比传统 ＬＢＰ 算子仅比较邻 域点与中心像素点之间的灰度差异，可以更好地提高 人脸表情的鉴别能力。 同时，Ｇａｂｏｒ 算子虽然可以从 多个方向多个尺度提取表情特征，但运行时间长，特 征维数巨大，选择的特征降维方法能否最大程度去除 冗余保留有效信息对识别率有重要影响。 表 ２ 在 ＪＡＦＦＥ 数据库上不同算子的识别率 Ｔａｂｌｅ ２ Ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｎ ＪＡＦＦＥ ｄａｔａｂａｓｅ ％ 表情 ＬＢＰ 算子 Ｇａｂｏｒ 算子 ＤＬＢＰ 算子 愤怒 ９６．６７ ７３．３３ ９０．００ 厌恶 ８３．３３ ８０．００ ８６．６７ 恐惧 ８０．００ ８６．６７ ９３．３３ 高兴 ９３．３３ ９０．００ ９６．６７ 悲伤 ７３．３３ ８０．００ ７３．３３ 惊讶 ７６．６７ ９０．００ ９０．００ 平均识别率 ８３．８９ ８３．３３ ８８．３３ 表 ３ 在 ＣＫ 数据库上不同算子的识别率 Ｔａｂｌｅ ３ Ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｎ ＣＫ ｄａｔａｂａｓｅ ％ 表情 ＬＢＰ 算子 Ｇａｂｏｒ 算子 ＤＬＢＰ 算子 愤怒 ９６．７４ ９１．１６ ９６．２８ 厌恶 ９４．４４ ９６．６７ ９５．５６ 恐惧 ９７．６２ ９１．４３ ９８．１０ 高兴 ９７．００ ９８．００ ９８．００ 悲伤 ９５．００ ９８．００ ９５．００ 惊讶 ９８．３３ ９６．６７ ９８．６１ 平均识别率 ９６．７０ ９５．８６ ９７．１２ ３．３ ＤＬＢＰ 算子对噪声的鲁棒性能分析 以 ＪＡＦＦＥ 数据库为例，在图像中加入高斯白噪 声和椒盐噪声，噪声的方差由小到大逐渐增加，分析 其对 ＬＢＰ 算子和 ＤＬＢＰ 算子的影响。 识别率的变 化情况如图 ９ 和 １０ 所示。 图 ９ 高斯白噪声下 ＪＡＦＦＥ 数据库的 ＬＢＰ 和 ＤＬＢＰ 识别率 Ｆｉｇ． ９ ＬＢＰ ａｎｄ ＤＬＢＰ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ Ｇａｕｓｓｉａｎ ｗｈｉｔｅ ｎｏｉｓｅ ｏｎ ＪＡＦＦＥ ｄａｔａｂａｓｅ ·４２６· 智 能 系 统 学 报 第 １０ 卷
第3期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 .427. DLBP算子，且都高于GDP算子，所以从不同方向 89 提取纹理灰度变化的特征算子其识别效果优于梯度 方向特征算子。但LDP算子的特征提取步骤复杂， 需要计算8个方向的Kirsch梯度幅值，然后进行阈 值比较和二值编码，而DLBP算子仅需比较对称8 个方向的灰度大小，所以特征提取时间远小于LDP 83 算子，综合分类识别率和运行时间的结果，DLBP算 子的性能最佳。 8161234567891010 4结束语 图I0椒盐噪声下JAFFE数据库的LBP和DLBP识别率 人脸表情识别是一个跨学科富挑战性的前沿课 Fig.10 LBP and DLBP recognition performance with 题，其中特征提取和分类识别是2个重要的步骤，但 pepper salt noise on JAFFE database 由于分类效果好坏很大程度上受限于特征提取是否 可以看出，随着噪声的增大，DLBP算子和LBP 准确，因此表情特征提取是一个非常关键的步骤，它 算子的识别率在逐渐下降，但DLBP算子的识别率 能为系统的实时处理提供可能，并为后续分类识别 始终高于LBP算子，且下降速度低于LBP算子，所 提供保证。 以本文提出的DLBP算子具有一定消除或降低噪声 目前多数传统局部二值模式及其改进算法都是 影响的能力。 比较中心像素与邻域像素的灰度大小，在人脸表情 3.4DLBP算子与GDP和LDP算子的性能比较 纹理描述与抗噪性能方面效果不佳，针对此不足，提 比较DLBP算子与文献[7]提出的GDP算子和 出了基于方向性的局部二值模式，改变传统编码方 文献[9]提出的LDP算子的仿真效果。这里，DLBP 式，从水平、垂直和对角3个方向对邻域像素进行灰 算子采用上述步骤获得，仍采用上文分析得到的最 佳参数：根据文献[7]描述步骤实现8位梯度角度 度比较和二值编码。实验结果表明，DLBP算子能 二值编码得到GDP算子，它的最佳梯度角度阈值为 更准确描述人脸基本表情，其编码图像中面部肌肉 2.16°（由实验分析得到）：根据文献[9]描述步骤得 形变以及眼晴、嘴巴等部位的变化趋势更清晰，且具 到LDP算子，参数与文中一致。分别在JAFFE数据 有一定的噪声鲁棒性，相比GDP算子和LDP算子， 库和CK数据库上进行仿真实验，识别率和特征提 DLBP算子的识别准确率基本不变，但特征提取时 取时间结果如表4和5所示。 间大大降低，因此是一种综合性能最佳的表情特征 描述子。 表4在JAFFE数据上3种算子的性能比较 在提出的算法中，仅使用3×3单尺度模板计算 Table 4 Recognition performance with three different methods on JAFFE database 特征向量，但人眼视觉系统是一个多尺度系统，如何 算子 平均识别率/%特征提取时间/s 设计多尺度DLBP算子并进行特征融合，使其更符 GDP 83.89 256.34 合人眼视觉特性，是接下来工作的重点及难点。 LDP 89.44 96.87 参考文献： DLBP 88.33 47.60 [1]HUANG Di.SHAN Caifeng,ARDABILIAN M,et al.Local 表5在CK数据上3种算子的性能比较 binary patterns and its application to facial image analysis:a Table 5 Recognition performance with three different survey[J].IEEE Transactions on Systems,Man,and Cy- methods on CK database bernetics,Part C:Applications and Reviews,2011,41 算子 平均识别率/% 特征提取时间/s (6):765-781. GDP 96.10 2689.6 [2]KYPEROUNTAS M,TEFAS A,PITAS I.Salient feature LDP 97.60 917.3 and reliable classifier selection for facial expression classifi- DLBP 97.18 444.6 cation[J].Pattern Recognition,2010,43(3):972-986. [3]OU Jun,BAI Xiaobo,PEI Yun,et al.Automatic facial ex- 从表中可以看出，LDP算子的识别率略高于 pression recognition using Gabor filter and expression analy-
图 １０ 椒盐噪声下 ＪＡＦＦＥ 数据库的 ＬＢＰ 和 ＤＬＢＰ 识别率 Ｆｉｇ． １０ ＬＢＰ ａｎｄ ＤＬＢＰ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｐｅｐｐｅｒ ｓａｌｔ ｎｏｉｓｅ ｏｎ ＪＡＦＦＥ ｄａｔａｂａｓｅ 可以看出，随着噪声的增大，ＤＬＢＰ 算子和 ＬＢＰ 算子的识别率在逐渐下降，但 ＤＬＢＰ 算子的识别率 始终高于 ＬＢＰ 算子，且下降速度低于 ＬＢＰ 算子，所 以本文提出的 ＤＬＢＰ 算子具有一定消除或降低噪声 影响的能力。 ３．４ ＤＬＢＰ 算子与 ＧＤＰ 和 ＬＤＰ 算子的性能比较 比较 ＤＬＢＰ 算子与文献［７］提出的 ＧＤＰ 算子和 文献［９］提出的 ＬＤＰ 算子的仿真效果。 这里，ＤＬＢＰ 算子采用上述步骤获得，仍采用上文分析得到的最 佳参数；根据文献［７］描述步骤实现 ８ 位梯度角度 二值编码得到 ＧＤＰ 算子，它的最佳梯度角度阈值为 ２．１６°（由实验分析得到）；根据文献［９］描述步骤得 到 ＬＤＰ 算子，参数与文中一致。 分别在 ＪＡＦＦＥ 数据 库和 ＣＫ 数据库上进行仿真实验，识别率和特征提 取时间结果如表 ４ 和 ５ 所示。 表 ４ 在 ＪＡＦＦＥ 数据上 ３ 种算子的性能比较 Ｔａｂｌｅ ４ Ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｎ ＪＡＦＦＥ ｄａｔａｂａｓｅ 算子 平均识别率／ ％ 特征提取时间／ ｓ ＧＤＰ ８３．８９ ２５６．３４ ＬＤＰ ８９．４４ ９６．８７ ＤＬＢＰ ８８．３３ ４７．６０ 表 ５ 在 ＣＫ 数据上 ３ 种算子的性能比较 Ｔａｂｌｅ ５ Ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｎ ＣＫ ｄａｔａｂａｓｅ 算子 平均识别率／ ％ 特征提取时间／ ｓ ＧＤＰ ９６．１０ ２ ６８９．６ ＬＤＰ ９７．６０ ９１７．３ ＤＬＢＰ ９７．１８ ４４４．６ 从表中可以看出， ＬＤＰ 算子的识别率略高于 ＤＬＢＰ 算子，且都高于 ＧＤＰ 算子，所以从不同方向 提取纹理灰度变化的特征算子其识别效果优于梯度 方向特征算子。 但 ＬＤＰ 算子的特征提取步骤复杂， 需要计算 ８ 个方向的 Ｋｉｒｓｃｈ 梯度幅值，然后进行阈 值比较和二值编码，而 ＤＬＢＰ 算子仅需比较对称 ８ 个方向的灰度大小，所以特征提取时间远小于 ＬＤＰ 算子，综合分类识别率和运行时间的结果，ＤＬＢＰ 算 子的性能最佳。 ４ 结束语 人脸表情识别是一个跨学科富挑战性的前沿课 题，其中特征提取和分类识别是 ２ 个重要的步骤，但 由于分类效果好坏很大程度上受限于特征提取是否 准确，因此表情特征提取是一个非常关键的步骤，它 能为系统的实时处理提供可能，并为后续分类识别 提供保证。 目前多数传统局部二值模式及其改进算法都是 比较中心像素与邻域像素的灰度大小，在人脸表情 纹理描述与抗噪性能方面效果不佳，针对此不足，提 出了基于方向性的局部二值模式，改变传统编码方 式，从水平、垂直和对角 ３ 个方向对邻域像素进行灰 度比较和二值编码。 实验结果表明，ＤＬＢＰ 算子能 更准确描述人脸基本表情，其编码图像中面部肌肉 形变以及眼睛、嘴巴等部位的变化趋势更清晰，且具 有一定的噪声鲁棒性，相比 ＧＤＰ 算子和 ＬＤＰ 算子， ＤＬＢＰ 算子的识别准确率基本不变，但特征提取时 间大大降低，因此是一种综合性能最佳的表情特征 描述子。 在提出的算法中，仅使用 ３×３ 单尺度模板计算 特征向量，但人眼视觉系统是一个多尺度系统，如何 设计多尺度 ＤＬＢＰ 算子并进行特征融合，使其更符 合人眼视觉特性，是接下来工作的重点及难点。 参考文献： ［１］ＨＵＡＮＧ Ｄｉ， ＳＨＡＮ Ｃａｉｆｅｎｇ， ＡＲＤＡＢＩＬＩＡＮ Ｍ， ｅｔ ａｌ． Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｆａｃｉａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ： ａ ｓｕｒｖｅｙ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙ⁃ ｂｅｒｎｅｔｉｃｓ， Ｐａｒｔ Ｃ： Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｒｅｖｉｅｗｓ， ２０１１， ４１ （６）： ７６５⁃７８１． ［２］ ＫＹＰＥＲＯＵＮＴＡＳ Ｍ， ＴＥＦＡＳ Ａ， ＰＩＴＡＳ Ｉ． Ｓａｌｉｅｎｔ ｆｅａｔｕｒｅ ａｎｄ ｒｅｌｉａｂｌｅ ｃｌａｓｓｉｆｉｅｒ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｃｌａｓｓｉｆｉ⁃ ｃａｔｉｏｎ［Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３（３）： ９７２⁃９８６． ［３］ＯＵ Ｊｕｎ， ＢＡＩ Ｘｉａｏｂｏ， ＰＥＩ Ｙｕｎ， ｅｔ ａｌ． Ａｕｔｏｍａｔｉｃ ｆａｃｉａｌ ｅｘ⁃ ｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｇａｂｏｒ ｆｉｌｔｅｒ ａｎｄ ｅｘｐｒｅｓｓｉｏｎ ａｎａｌｙ⁃ 第 ３ 期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·４２７·
.428 智能系统学报 第10卷 sis C]//Second International Conference on Computer WANG Wei,HUANG Feifei,LI Jianwei,et al.Face de- Modeling and Simulation (ICCMS).Sanya,China,2010: scription and recognition by LBP pyramid[J].Journal of 215-218. Computer Aided Design Computer Graphics,2009,21 [4]LI P,PHUNG S L,BOUZERDOUM A,et al.Improved fa- (1):94-100,106. cial expression recognition with trainable 2-D filters and sup- [13]TAN Xiaoyang,TRIGGS B.Enhanced local texture feature port vector machines[C]//20th International Conference on sets for face recognition under difficult lighting conditions Pattern Recognition (ICPR).Istanbul,Turkey,2010: [J].IEEE Transactions on Image Processing,2010,19 3732-3735. (6):1635-1650. [5]张文超，山世光，张洪明，等.基于局部Gbor变化直方 [14]YANG Hong,WANG Yiding.A LBP-based face recogni- 图序列的人脸描述与识别[J].软件学报，2006,17 tion method with Hamming distance constraint [C]// (12):2508-2517. Fourth International Conference on Image and Graphics. ZHANG Wenchao,SHAN Shiguang,ZHANG Hongming,et Beijing,China,2007:645-649. al.Histogram sequence of local Gabor binary pattern for face [15]HUANG Di,WANG Yunhong,WANG Yiding.A robust description and identification [J].Journal of Software, method for near infrared face recognition based on extended 2006,17(12):2508-2517. local binary pattern[M]//BEBIS G,BOYLE R,PARVIN [6]徐洁，章毓晋.基于多种采样方式和Gabor特征的表情 B,et al.Advances in Visual Computing.Berlin/Heidel- 识别[J].计算机工程，2011,37(18)：195-197. berg:Springer,2007:437-446. XU Jie,ZHANG Yujin.Expression recognition based on va- [16]阮锦新.多姿态人脸检测与表情识别关键技术研究 riant sampling method and Gabor features[J].Computer [D].广州：华南理工大学，2010：64-83. Engineering,2011,37(18):195-197. RUAN Jinxin.Study on key technology for multi-pose face [7]AHMED F.Gradient directional pattern:a robust feature detection and facial expression recognition D].Guang- descriptor for facial expression recognition[].Electronics zhou,China:South China University of Technology, Letters,2012,48(19):1203-1204. 2010:64-83. [8]HUANG Xiaohua,ZHAO Guoying,ZHENG Wenming,et [17]PRIYA G N,BANU R S D W.Person independent facial al.Spatiotemporal local monogenic binary pattems for facial expression detection using MBWM and multiclass SVM expression recognition[J].IEEE Signal Processing Letters, [J].International Journal of Computer Applications, 2012,19(5):243-246. 2012,55(17):52-58. [9]JABID T,KABIR M H,CHAE O.Robust facial expression [18]付晓峰.基于二元模式的人脸识别与表情识别研究 recognition based on local directional pattern[J].ETRI [D].杭州：浙江大学，2008：54-65. Journal,2010,32(5):784-794. FU Xiaofeng.Research on binary pattern-based face recog- [10]ZHANG Baochang,GAO Yongsheng,ZHAO Sanqing,et nition and expression recognition D.Hangzhou,China: al.Local derivative pattern versus local binary pattern:face Zhejiang University,2008:54-65. recognition with high-order local pattemn descriptor [J]. [19]LAJEVARDI S M,HUSSAIN Z M.Higher order orthogonal IEEE Transactions on Image Processing,2010,19(2): moments for invariant facial expression recognition [J]. 533-544. Digital Signal Processing,2010,20(6):1771-1779. [11]王玮，黄非非，李见为，等.使用多尺度LBP特征描述 [20]RAHULAMATHAVAN Y,PHAN R C W,CHAMBERS J 与识别人脸[J].光学精密工程，2008,16(4)：696 A,et al.Facial expression recognition in the encrypted do- 705 main based on local fisher discriminant analysis[J].IEEE WANG Wei,HUANG Feifei,LI Jianwei,et al.Face de- Transactions on Affective Computing,2013,4(1):83-92. scription and recognition using multi-scale LBP feature[J]. 作者简介： Optics and Precision Engineering,2008,16(4):696- 童莹，女，1979年生，讲师，主要研 705. 究方向为图像处理与模式识别。发表 [12]王玮，黄非非，李见为，等.采用LBP金字塔的人脸描 学术论文10余篇，其中被SCI检索2 述与识别[J].计算机辅助设计与图形学学报，2009. 篇、EI检索3篇。主编教材1部，参编 21(1):94-100,106. 了新教材2部
ｓｉｓ ［ Ｃ ］ ／ ／ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｓｉｍｕｌａｔｉｏｎ （ ＩＣＣＭＳ）． Ｓａｎｙａ， Ｃｈｉｎａ， ２０１０： ２１５⁃２１８． ［４］ＬＩ Ｐ， ＰＨＵＮＧ Ｓ Ｌ， ＢＯＵＺＥＲＤＯＵＭ Ａ， ｅｔ ａｌ． Ｉｍｐｒｏｖｅｄ ｆａ⁃ ｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｔｒａｉｎａｂｌｅ ２⁃Ｄ ｆｉｌｔｅｒｓ ａｎｄ ｓｕｐ⁃ ｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ［Ｃ］ ／ ／ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ ＩＣＰＲ ）． Ｉｓｔａｎｂｕｌ， Ｔｕｒｋｅｙ， ２０１０： ３７３２⁃３７３５． ［５］张文超， 山世光， 张洪明， 等． 基于局部 Ｇａｂｏｒ 变化直方 图序列的人脸描述与识别［ Ｊ］． 软件学报， ２００６， １７ （１２）： ２５０８⁃２５１７． ＺＨＡＮＧ Ｗｅｎｃｈａｏ， ＳＨＡＮ Ｓｈｉｇｕａｎｇ， ＺＨＡＮＧ Ｈｏｎｇｍｉｎｇ， ｅｔ ａｌ． Ｈｉｓｔｏｇｒａｍ ｓｅｑｕｅｎｃｅ ｏｆ ｌｏｃａｌ Ｇａｂｏｒ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｆｏｒ ｆａｃｅ ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｓｏｆｔｗａｒｅ， ２００６， １７（１２）： ２５０８⁃２５１７． ［６］徐洁， 章毓晋． 基于多种采样方式和 Ｇａｂｏｒ 特征的表情 识别［Ｊ］． 计算机工程， ２０１１， ３７（１８）： １９５⁃１９７． ＸＵ Ｊｉｅ， ＺＨＡＮＧ Ｙｕｊｉｎ． Ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｖａ⁃ ｒｉａｎｔ ｓａｍｐｌｉｎｇ ｍｅｔｈｏｄ ａｎｄ Ｇａｂｏｒ ｆｅａｔｕｒｅｓ ［ Ｊ］． Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ， ２０１１， ３７（１８）： １９５⁃１９７． ［７］ ＡＨＭＥＤ Ｆ． Ｇｒａｄｉｅｎｔ ｄｉｒｅｃｔｉｏｎａｌ ｐａｔｔｅｒｎ： ａ ｒｏｂｕｓｔ ｆｅａｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［ Ｊ］． Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｅｔｔｅｒｓ， ２０１２， ４８（１９）： １２０３⁃１２０４． ［８］ ＨＵＡＮＧ Ｘｉａｏｈｕａ， ＺＨＡＯ Ｇｕｏｙｉｎｇ， ＺＨＥＮＧ Ｗｅｎｍｉｎｇ， ｅｔ ａｌ． Ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｌｏｃａｌ ｍｏｎｏｇｅｎｉｃ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ， ２０１２， １９（５）： ２４３⁃２４６． ［９］ＪＡＢＩＤ Ｔ， ＫＡＢＩＲ Ｍ Ｈ， ＣＨＡＥ Ｏ． Ｒｏｂｕｓｔ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｌｏｃａｌ ｄｉｒｅｃｔｉｏｎａｌ ｐａｔｔｅｒｎ ［ Ｊ ］． ＥＴＲＩ Ｊｏｕｒｎａｌ， ２０１０， ３２（５）： ７８４⁃７９４． ［１０］ＺＨＡＮＧ Ｂａｏｃｈａｎｇ， ＧＡＯ Ｙｏｎｇｓｈｅｎｇ， ＺＨＡＯ Ｓａｎｑｉｎｇ， ｅｔ ａｌ． Ｌｏｃａｌ ｄｅｒｉｖａｔｉｖｅ ｐａｔｔｅｒｎ ｖｅｒｓｕｓ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ： ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｈｉｇｈ⁃ｏｒｄｅｒ ｌｏｃａｌ ｐａｔｔｅｒｎ ｄｅｓｃｒｉｐｔｏｒ ［ Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２０１０， １９ （ ２）： ５３３⁃５４４． ［１１］王玮， 黄非非， 李见为， 等． 使用多尺度 ＬＢＰ 特征描述 与识别人脸［ Ｊ］． 光学精密工程， ２００８， １６ （ ４）： ６９６⁃ ７０５． ＷＡＮＧ Ｗｅｉ， ＨＵＡＮＧ Ｆｅｉｆｅｉ， ＬＩ Ｊｉａｎｗｅｉ， ｅｔ ａｌ． Ｆａｃｅ ｄｅ⁃ ｓｃｒｉｐｔｉｏｎ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉ⁃ｓｃａｌｅ ＬＢＰ ｆｅａｔｕｒｅ［Ｊ］． Ｏｐｔｉｃｓ ａｎｄ Ｐｒｅｃｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， ２００８， １６ （ ４）： ６９６⁃ ７０５． ［１２］王玮， 黄非非， 李见为， 等． 采用 ＬＢＰ 金字塔的人脸描 述与识别［ Ｊ］． 计算机辅助设计与图形学学报， ２００９， ２１（１）： ９４⁃１００， １０６． ＷＡＮＧ Ｗｅｉ， ＨＵＡＮＧ Ｆｅｉｆｅｉ， ＬＩ Ｊｉａｎｗｅｉ， ｅｔ ａｌ． Ｆａｃｅ ｄｅ⁃ ｓｃｒｉｐｔｉｏｎ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ＬＢＰ ｐｙｒａｍｉｄ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ２００９， ２１ （１）： ９４⁃１００， １０６． ［１３］ＴＡＮ Ｘｉａｏｙａｎｇ， ＴＲＩＧＧＳ Ｂ． Ｅｎｈａｎｃｅｄ ｌｏｃａｌ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅ ｓｅｔｓ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｄｉｆｆｉｃｕｌｔ ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２０１０， １９ （６）： １６３５⁃１６５０． ［１４］ＹＡＮＧ Ｈｏｎｇ， ＷＡＮＧ Ｙｉｄｉｎｇ． Ａ ＬＢＰ⁃ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉ⁃ ｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ Ｈａｍｍｉｎｇ ｄｉｓｔａｎｃｅ ｃｏｎｓｔｒａｉｎｔ ［ Ｃ ］ ／ ／ Ｆｏｕｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｇｒａｐｈｉｃｓ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２００７： ６４５⁃６４９． ［１５］ ＨＵＡＮＧ Ｄｉ， ＷＡＮＧ Ｙｕｎｈｏｎｇ， ＷＡＮＧ Ｙｉｄｉｎｇ． Ａ ｒｏｂｕｓｔ ｍｅｔｈｏｄ ｆｏｒ ｎｅａｒ ｉｎｆｒａｒｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｅｘｔｅｎｄｅｄ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ［Ｍ］ ／ ／ ＢＥＢＩＳ Ｇ， ＢＯＹＬＥ Ｒ， ＰＡＲＶＩＮ Ｂ， ｅｔ ａｌ． Ａｄｖａｎｃｅｓ ｉｎ Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ． Ｂｅｒｌｉｎ ／ Ｈｅｉｄｅｌ⁃ ｂｅｒｇ： Ｓｐｒｉｎｇｅｒ， ２００７： ４３７⁃４４６． ［１６］阮锦新． 多姿态人脸检测与表情识别关键技术研究 ［Ｄ］． 广州： 华南理工大学， ２０１０： ６４⁃８３． ＲＵＡＮ Ｊｉｎｘｉｎ． Ｓｔｕｄｙ ｏｎ ｋｅｙ ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ ｍｕｌｔｉ⁃ｐｏｓｅ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｄ］． Ｇｕａｎｇ⁃ ｚｈｏｕ， Ｃｈｉｎａ： Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１０： ６４⁃８３． ［１７］ＰＲＩＹＡ Ｇ Ｎ， ＢＡＮＵ Ｒ Ｓ Ｄ Ｗ． Ｐｅｒｓｏｎ ｉｎｄｅｐｅｎｄｅｎｔ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ＭＢＷＭ ａｎｄ ｍｕｌｔｉｃｌａｓｓ ＳＶＭ ［ Ｊ ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ， ２０１２， ５５（１７）： ５２⁃５８． ［１８］付晓峰． 基于二元模式的人脸识别与表情识别研究 ［Ｄ］． 杭州： 浙江大学， ２００８： ５４⁃６５． ＦＵ Ｘｉａｏｆｅｎｇ． Ｒｅｓｅａｒｃｈ ｏｎ ｂｉｎａｒｙ ｐａｔｔｅｒｎ⁃ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇ⁃ ｎｉｔｉｏｎ ａｎｄ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］． Ｈａｎｇｚｈｏｕ， Ｃｈｉｎａ： Ｚｈｅｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２００８： ５４⁃６５． ［１９］ＬＡＪＥＶＡＲＤＩ Ｓ Ｍ， ＨＵＳＳＡＩＮ Ｚ Ｍ． Ｈｉｇｈｅｒ ｏｒｄｅｒ ｏｒｔｈｏｇｏｎａｌ ｍｏｍｅｎｔｓ ｆｏｒ ｉｎｖａｒｉａｎｔ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｊ ］． Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ２０１０， ２０（６）： １７７１⁃１７７９． ［２０］ＲＡＨＵＬＡＭＡＴＨＡＶＡＮ Ｙ， ＰＨＡＮ Ｒ Ｃ Ｗ， ＣＨＡＭＢＥＲＳ Ｊ Ａ， ｅｔ ａｌ． Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｔｈｅ ｅｎｃｒｙｐｔｅｄ ｄｏ⁃ ｍａｉｎ ｂａｓｅｄ ｏｎ ｌｏｃａｌ ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｆｆｅｃｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ， ２０１３， ４（１）： ８３⁃９２． 作者简介： 童莹，女，１９７９ 年生，讲师，主要研 究方向为图像处理与模式识别。 发表 学术论文 １０ 余篇，其中被 ＳＣＩ 检索 ２ 篇、ＥＩ 检索 ３ 篇。 主编教材 １ 部，参编 了新教材 ２ 部。 ·４２８· 智 能 系 统 学 报 第 １０ 卷