第3期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 425· H(i)= fDLBP(rc)i).i=0.1..... 情区域划分，使人脸表情区域同背景分离开来，尽量 减少与表情无关的因素对表情识别的影响。设双眼 (2) 之间的水平距离为D,以两眼连线的中点为基准，向 式中0=6，LB0为像素 上距离0.5D处为上边界，向下距离1.5D处为下边 界，向左距离D处为左边界，向右距离D为右边界， 的DLBP值，顺序扫描子图像中所有像素的DLBP 将人脸主要表情区域从图像中分割出来，模板如图 值，当DLBP值等于灰度值i(i=0,1,.,2-1)时， 7所示。同时，由于分割出的表情区域大小不同，还 直方图H(i)累加1。式中直方图的长度由DLBP 需要将图像归一化为标准大小，本文归一化图像尺 算子的编码位数k决定。考虑3个方向邻域像素的 寸为128×128，JAFFE数据库和Cohn-Kanade数据 灰度变化，编码8位，所以直方图长度为256。 库中部分经过预处理的样本表情图像如图8所示。 4)将所有子图像的统计直方图顺序链接起来， 得到最终可用于分类识别的DLBP特征向量，如图 6所示，特征向量的长度为256×N。 0.5D .5D 图6DLBP特性向量提取过程 DD Fig.6 The process of DLBP feature extraction 图7人脸表情区域分割模板 Fig.7 Cropped templet of facial expression images 可以看出，DLBP特征向量描述子采用直方图 分布可以消除像素位置的影响，同时分别统计各个 子图像的DLBP直方图，又可以增加局部特征之间 的空间排列信息，有利于提高识别率。 3 实验结果与分析 本文采用JAFFE数据库和Cohn-Kanade数据库 进行实验仿真。JAFFE数据库是日本ATR媒体信 息科学实验室的Lyons博士提供的，包括10位日本 女性在愤怒、厌恶、恐惧、高兴、悲伤、惊讶6种情况 下自发产生的表情图像，共213幅图像，图像大小为 (a)JAFFE数据库中不同表情的部分样本图像 256×256。选取其中每人每种表情3幅图像，共180 幅图像进行实验仿真。Cohn-Kanade数据库是CMU 机器人研究所和心理系于2000年共同建立的人脸 表情数据库，包含了200个由18~30岁的210个成 年人近2000张不同表情图像序列，每张图像大小 为640×490或640×480。本文选取每个表情序列中 最具有代表性的5幅图像，共1665幅图像进行实 验仿真。这2个数据库完全开放，且表情标定标准， 现为多数研究人员仿真使用。 在进行实验仿真前，还要对数据库中图像进行 (b)Cohn-Kanade数据库中不同表情的部分样本图像 表情区域划分和归一化预处理。在精确定位人眼 图8 JAFFE数据库和Cohn-Kanade数据库的样本表情图像 后，计算双眼与水平线的夹角，并将双眼位置旋转到 Fig.8 Sample expression images of each prototypic expression 同一水平高度。根据人眼的坐标位置对图像进行表 from (a)JAFFE database and (b)CK databaseＨ（ｉ） ＝ ∑ ｍ ｒ ＝ １∑ ｎ ｃ ＝ １ ｆ（ＤＬＢＰｋ（ｒ，ｃ），ｉ）， ｉ ＝ ０，１，．．．，２ ｋ－１ （２） 式中： ｆ（ｘ，ｉ） ＝ １，ｘ ＝ ｉ ０，ｘ ≠ ｉ { ， ＤＬＢＰｋ（ｒ，ｃ） 为像素 （ｒ，ｃ） 的 ＤＬＢＰ 值，顺序扫描子图像中所有像素的 ＤＬＢＰ 值，当 ＤＬＢＰ 值等于灰度值 ｉ （ ｉ ＝ ０，１，．．．，２ ｋ－１ ）时， 直方图 Ｈ（ｉ） 累加 １。 式中直方图的长度由 ＤＬＢＰ 算子的编码位数 ｋ 决定。 考虑 ３ 个方向邻域像素的 灰度变化，编码 ８ 位，所以直方图长度为 ２５６。 ４）将所有子图像的统计直方图顺序链接起来， 得到最终可用于分类识别的 ＤＬＢＰ 特征向量，如图 ６ 所示，特征向量的长度为 ２５６×Ｎ。 图 ６ ＤＬＢＰ 特性向量提取过程 Ｆｉｇ． ６ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ＤＬＢＰ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ 可以看出，ＤＬＢＰ 特征向量描述子采用直方图 分布可以消除像素位置的影响，同时分别统计各个 子图像的 ＤＬＢＰ 直方图，又可以增加局部特征之间 的空间排列信息，有利于提高识别率。 ３ 实验结果与分析 本文采用 ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库 进行实验仿真。 ＪＡＦＦＥ 数据库是日本 ＡＴＲ 媒体信 息科学实验室的 Ｌｙｏｎｓ 博士提供的，包括 １０ 位日本 女性在愤怒、厌恶、恐惧、高兴、悲伤、惊讶 ６ 种情况 下自发产生的表情图像，共 ２１３ 幅图像，图像大小为 ２５６×２５６。 选取其中每人每种表情 ３ 幅图像，共 １８０ 幅图像进行实验仿真。 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库是 ＣＭＵ 机器人研究所和心理系于 ２０００ 年共同建立的人脸 表情数据库，包含了 ２００ 个由 １８ ～ ３０ 岁的 ２１０ 个成 年人近 ２ ０００ 张不同表情图像序列，每张图像大小 为 ６４０×４９０ 或 ６４０×４８０。 本文选取每个表情序列中 最具有代表性的 ５ 幅图像，共 １ ６６５ 幅图像进行实 验仿真。 这 ２ 个数据库完全开放，且表情标定标准， 现为多数研究人员仿真使用。 在进行实验仿真前，还要对数据库中图像进行 表情区域划分和归一化预处理。 在精确定位人眼 后，计算双眼与水平线的夹角，并将双眼位置旋转到 同一水平高度。 根据人眼的坐标位置对图像进行表 情区域划分，使人脸表情区域同背景分离开来，尽量 减少与表情无关的因素对表情识别的影响。 设双眼 之间的水平距离为 Ｄ，以两眼连线的中点为基准，向 上距离 ０．５Ｄ 处为上边界，向下距离 １．５Ｄ 处为下边 界，向左距离 Ｄ 处为左边界，向右距离 Ｄ 为右边界， 将人脸主要表情区域从图像中分割出来，模板如图 ７ 所示。 同时，由于分割出的表情区域大小不同，还 需要将图像归一化为标准大小，本文归一化图像尺 寸为 １２８ × １２８，ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据 库中部分经过预处理的样本表情图像如图 ８ 所示。 图 ７ 人脸表情区域分割模板 Ｆｉｇ． ７ Ｃｒｏｐｐｅｄ ｔｅｍｐｌｅｔ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｉｍａｇｅｓ （ａ）ＪＡＦＦＥ 数据库中不同表情的部分样本图像 （ｂ）Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库中不同表情的部分样本图像 图 ８ ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库的样本表情图像 Ｆｉｇ． ８ Ｓａｍｐｌｅ ｅｘｐｒｅｓｓｉｏｎ ｉｍａｇｅｓ ｏｆ ｅａｃｈ ｐｒｏｔｏｔｙｐｉｃ ｅｘｐｒｅｓｓｉｏｎ ｆｒｏｍ （ａ） ＪＡＦＦＥ ｄａｔａｂａｓｅ ａｎｄ （ｂ） ＣＫ ｄａｔａｂａｓｅ 第 ３ 期 童莹：一种方向性的局部二值模式在人脸表情识别中的应用 ·４２５·