第3期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·423. 视觉、行为科学等应用的基础，近年来逐渐成为学者 们的研究热点。 189外58130 0 人脸表情识别(facial expression recognition, 13015065 01501 >(00011011)=27 FER)系统包含表情图像预处理、人脸检测与人脸区 3080198 001 域分割、表情特征提取和表情分类4个组成部分。 图1LBP编码示例 表情特征提取是人脸表情识别系统的一个重要环 Fig.1 Illustration of the LBP descriptor 节，是提高表情分类准确性的关键步骤。在众多表 情特征提取方法中，局部特征法对光照、姿态等变化 2 基于方向性的LBP算子理论 具有较强的鲁棒性，其中局部二值模式(LBP)]和 2.1DLBP算子的定义 Gabor小波变换[2-6是2种代表性方法。Gabor小波 原始的LBP提出后，T.Ojala又对其进行改进， 变换能够检测多尺度、多方向的表情纹理信息，但其 将3×3邻域扩展到任意邻域，并用圆形邻域代替方 耗时多，产生特征维数巨大，降维方法的选择会影响 形邻域，改进后的LBP算子允许在半径为R的圆形 识别准确性。相比于Gabor小波变换，LBP算法可 邻域内有任意多个像素点。同时，他还提出了均匀 以快速提取表情特征，具有强大的纹理判别能力和 模式，将LBP模式由256种减少为59种，降低了特 计算简单等特点，因此被广泛地应用于分类、图像检 征向量的维数但并不丢失主要信息。在T.Ojala研 索和模式识别中7-]。然而传统LBP算子也有其 究的基础上，又有很多研究人员提出自己的改进方 局限性，它是通过比较中心像素与邻域像素的灰度 法，例如Tan提出了局部三值模式[)，通过计算中 值大小获取特征，受噪声影响较大，对灰度变化敏 心像素与邻域像素的灰度差值与给定经验阈值的正 感，识别效果不理想。因此本文对传统LBP算子进 负关系进行三值编码，可以有效去除噪声和光照的 行改进，提出一种基于方向性的局部二值模式(di- 影响：Yang等提出了汉明LBP,当非均匀模式与 某均匀模式的汉明距离最小时，将其归入均匀模式， rectional LBP,DLBP),分别从水平、垂直和对角3 可进一步降低LBP特征向量的维数；Huang等提出 个方向对邻域像素进行灰度值比较和二值编码，既 了扩展LBP[5),对邻域像素与中心像素的灰度差值 符合人脸表情变化趋势，又降低像素相关性，减少噪 进行四位二值编码，首位是符号位，后面3位是数值 声干扰。在JAFFE数据库和Cohn-Kanade数据库 位，该方法以增加向量维数来换取鲁棒性。可以看 上的实验结果均表明，DLBP算子是一种实用有 出，改进方法多数集中在邻域选择、特征向量降维或 效的人脸表情描述算子，且比LBP算子具体较强 者编码方式构建上，他们的基本思想仍是比较中心 的噪声鲁棒性。 像素和邻域像素的灰度大小，并没有考虑邻域像素 1 LBP算子理论 间的灰度变化，这种传统比较关系并不有利于表情 特征的提取[16-20] 传统局部二值模式(local binary pattern,LBP) 针对这一不足，本文提出一种基于方向性的局 是由T.0jala等在1996年提出的，是一种用来描述 部二值模式(DLBP),分别从水平、垂直和对角3个 图像局部纹理特征的算子，它具有旋转不变性和灰 方向比较邻域像素间的灰度值大小，并对其进行二 度不变性等显著优点。传统LBP算子定义在3×3 值编码，得到DLBP编码图像。这是一种简单有效 窗口内，以窗口中心像素灰度值为阈值，将相邻8个 的表情特征提取方法，可以准确描述人脸中各个表 像素的灰度值与其进行比较，若邻域像素值大于中 情区域的纹理变化，同时也不增加算法的复杂性。 心像素值，则编码为1，否则编码为0。从左上角开 考虑到3个方向的选择顺序以及编码权重对识别效 始顺时针读取数值，先读出的二进制数放在低位，后 果无影响，本文定义DLBP算式如式(1)所示。 读出的二进制数放在高位，依次得到8位二进制数， DLBPR=s(g:-g3)27 +s(ga-gs)2+ 即LBP编码。将LBP编码值转换为十进制数，则得 s(g6-88)23+s(g1-86)2+s(g2-g7)23+ 到该编码对应的LBP值。图1描述了一个编码示 s(g-g8)22+s(g1-g8)2+s(g1-g6)2° 例，中心像素灰度值为150，依次与八邻域像素比 (s(x)=1,x≥0 (1)》 较，顺序得到LBP编码为(00011011)2，将其转化为 s(x)=0,x<0 十进制数得到LBP值为27。 式中：81~gs为图2中3×3模板对应像素点的灰度 值，其编码运算示例如图3所示。图3中像素灰度视觉、行为科学等应用的基础，近年来逐渐成为学者 们的研究热点。 人脸 表 情 识 别 （ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ， ＦＥＲ）系统包含表情图像预处理、人脸检测与人脸区 域分割、表情特征提取和表情分类 ４ 个组成部分。 表情特征提取是人脸表情识别系统的一个重要环 节，是提高表情分类准确性的关键步骤。 在众多表 情特征提取方法中，局部特征法对光照、姿态等变化 具有较强的鲁棒性，其中局部二值模式（ＬＢＰ） ［１］ 和 Ｇａｂｏｒ 小波变换［２－６］是 ２ 种代表性方法。 Ｇａｂｏｒ 小波 变换能够检测多尺度、多方向的表情纹理信息，但其 耗时多，产生特征维数巨大，降维方法的选择会影响 识别准确性。 相比于 Ｇａｂｏｒ 小波变换，ＬＢＰ 算法可 以快速提取表情特征，具有强大的纹理判别能力和 计算简单等特点，因此被广泛地应用于分类、图像检 索和模式识别中［７－１２］ 。 然而传统 ＬＢＰ 算子也有其 局限性，它是通过比较中心像素与邻域像素的灰度 值大小获取特征，受噪声影响较大，对灰度变化敏 感，识别效果不理想。 因此本文对传统 ＬＢＰ 算子进 行改进，提出一种基于方向性的局部二值模式（ ｄｉ⁃ ｒｅｃｔｉｏｎａｌ ＬＢＰ， ＤＬＢＰ），分别从水平、垂直和对角 ３ 个方向对邻域像素进行灰度值比较和二值编码，既 符合人脸表情变化趋势，又降低像素相关性，减少噪 声干扰。 在 ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库 上的实验结果均表明，ＤＬＢＰ 算子是一种实用有 效的人脸表情描述算子，且比 ＬＢＰ 算子具体较强 的噪声鲁棒性。 １ ＬＢＰ 算子理论 传统局部二值模式（ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ， ＬＢＰ） 是由 Ｔ． Ｏｊａｌａ 等在 １９９６ 年提出的，是一种用来描述 图像局部纹理特征的算子，它具有旋转不变性和灰 度不变性等显著优点。 传统 ＬＢＰ 算子定义在 ３×３ 窗口内，以窗口中心像素灰度值为阈值，将相邻 ８ 个 像素的灰度值与其进行比较，若邻域像素值大于中 心像素值，则编码为 １，否则编码为 ０。 从左上角开 始顺时针读取数值，先读出的二进制数放在低位，后 读出的二进制数放在高位，依次得到 ８ 位二进制数， 即 ＬＢＰ 编码。 将 ＬＢＰ 编码值转换为十进制数，则得 到该编码对应的 ＬＢＰ 值。 图 １ 描述了一个编码示 例，中心像素灰度值为 １５０，依次与八邻域像素比 较，顺序得到 ＬＢＰ 编码为（０００１１０１１）２ ，将其转化为 十进制数得到 ＬＢＰ 值为 ２７。 图 １ ＬＢＰ 编码示例 Ｆｉｇ． １ Ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｔｈｅ ＬＢＰ ｄｅｓｃｒｉｐｔｏｒ ２ 基于方向性的 ＬＢＰ 算子理论 ２．１ ＤＬＢＰ 算子的定义 原始的 ＬＢＰ 提出后，Ｔ． Ｏｊａｌａ 又对其进行改进， 将 ３×３ 邻域扩展到任意邻域，并用圆形邻域代替方 形邻域，改进后的 ＬＢＰ 算子允许在半径为 Ｒ 的圆形 邻域内有任意多个像素点。 同时，他还提出了均匀 模式，将 ＬＢＰ 模式由 ２５６ 种减少为 ５９ 种，降低了特 征向量的维数但并不丢失主要信息。 在 Ｔ． Ｏｊａｌａ 研 究的基础上，又有很多研究人员提出自己的改进方 法，例如 Ｔａｎ 提出了局部三值模式［１３］ ，通过计算中 心像素与邻域像素的灰度差值与给定经验阈值的正 负关系进行三值编码，可以有效去除噪声和光照的 影响；Ｙａｎｇ 等提出了汉明 ＬＢＰ ［１４］ ，当非均匀模式与 某均匀模式的汉明距离最小时，将其归入均匀模式， 可进一步降低 ＬＢＰ 特征向量的维数；Ｈｕａｎｇ 等提出 了扩展 ＬＢＰ ［１５］ ，对邻域像素与中心像素的灰度差值 进行四位二值编码，首位是符号位，后面 ３ 位是数值 位，该方法以增加向量维数来换取鲁棒性。 可以看 出，改进方法多数集中在邻域选择、特征向量降维或 者编码方式构建上，他们的基本思想仍是比较中心 像素和邻域像素的灰度大小，并没有考虑邻域像素 间的灰度变化，这种传统比较关系并不有利于表情 特征的提取［１６－２０］ 。 针对这一不足，本文提出一种基于方向性的局 部二值模式（ＤＬＢＰ），分别从水平、垂直和对角 ３ 个 方向比较邻域像素间的灰度值大小，并对其进行二 值编码，得到 ＤＬＢＰ 编码图像。 这是一种简单有效 的表情特征提取方法，可以准确描述人脸中各个表 情区域的纹理变化，同时也不增加算法的复杂性。 考虑到 ３ 个方向的选择顺序以及编码权重对识别效 果无影响，本文定义 ＤＬＢＰ 算式如式（１）所示。 ＤＬＢＰ Ｒ Ｐ ＝ ｓ（ｇ１ － ｇ３ ）２ ７ ＋ ｓ（ｇ４ － ｇ５ ）２ ６ ＋ ｓ（ｇ６ － ｇ８ ）２ ５ ＋ ｓ（ｇ１ － ｇ６ ）２ ４ ＋ ｓ（ｇ２ － ｇ７ ）２ ３ ＋ ｓ（ｇ３ － ｇ８ ）２ ２ ＋ ｓ（ｇ１ － ｇ８ ）２ １ ＋ ｓ（ｇ３ － ｇ６ ）２ ０ ｓ（ｘ） ＝ １， ｘ ≥ ０ ｓ（ｘ） ＝ ０， ｘ ＜ ０ { （１） 式中： ｇ１ ～ ｇ８ 为图 ２ 中 ３×３ 模板对应像素点的灰度 值，其编码运算示例如图 ３ 所示。 图 ３ 中像素灰度 第 ３ 期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·４２３·