第10卷第3期 智能系统学报 Vol.10 No.3 2015年6月 CAAI Transactions on Intelligent Systems Jun.2015 D0:10.3969/j.issn.1673-4785.2201405016 网络出版地址：htp:/www.cnki.net/kcms/detail/23.1538.tp.20150601.0940.003.html 一种方向性的局部二值模式在人脸表情识别中的应用 童莹 (南京工程学院通信工程学院，江苏南京211167) 摘要：传统局部二值模式(LB即)算法应用在人脸表情识别中，不能准确描述眼睛、嘴巴、额头等表情特征区域在不 同方向上的灰度变化趋势，识别效果不理想。本文改进传统局部二值模式的灰度比较关系，分别从水平、垂直以及 对角3个方向对邻域像素的灰度变化进行二值编码，融合3个方向的特征，得到一种基于方向性的局部二值模式 (DL.BP)。在JAFFE数据库和Cohn-Kanade数据库上的实验结果均表明，DLBP算子相比LBP算子、Gabor算子能更 准确描述人脸基本表情，识别率平均分别提高了5%和1%：相比LB即算子对椒盐噪声和高斯白噪声具有更强的鲁棒 性：且与LDP算子相比，识别率基本不变，但特征提取时间缩减近50%。由此可见，DLBP算子是一种快速有效的人 脸表情描述子。 关键词：人脸表情识别；局部二值模式：中心最近邻分类：方向性局部二值模式：Gbor:LDP 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2015)03-0422-07 中文引用格式：童莹.一种方向性的局部二值模式在人脸表情识别中的应用[J].智能系统学报，2015,10(3)：422-428. 英文引用格式：TONG Ying.Local binary pattern based on the directions and its application in facial expression recognition[J]. CAAI Transactions on Intelligent Systems,2015,10(3):422-428. Local binary pattern based on the directions and its application in facial expression recognition TONG Ying Department of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China) Abstract:The traditional local binary pattern (LBP)algorithm for facial expression recognition could not describe the gray value change in different directions of somel expression regions,such as eyes,mouth,forehead,etc.The recognition result is not satisfied.This paper presents a simple and robust method,namely local binary pattern based on the directions(DLBP),which improves the coding pattern of LBP and encoded the difference from the horizontal,vertical and diagonal directions.Experimental results on JAFFE and Cohn-Kanade databases show that DLBP algorithm has achieved 5%and 1%higher recognition rates than other existing algorithms,such as LBP and Gabor.It has a strong robustness to Gaussian noise and salt and pepper noise compared with LBP,and Its feature extraction time is reduced by 50%compared to LDP.Therefore,the DLBP algorithm is a fast and effective feature descriptor. Keywords:facial expression recognition;local binary pattern (LBP);central nearest neighbor classification;di- rectional local binary pattern (DLBP);Gabor;local directional pattern (LDP) 面部是情感交流的器官，人们可以通过面部表 情变化准确而充分地表达自己的思想情感，也可以 通过表情辨认对方的情感状态，是一种有效的非语 收稿日期：2014-05-06.网络出版日期：2015-06-01. 言信息交流手段。因此，对表情识别进行研究具有 基金项目：江苏省自然科学基金资助项目(BK20131342). 通信作者：童莹.E-mail:tongying@jpt.edu.cn. 重要的学术价值和应用前景，是实现人机交互、机器第 １０ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．３ ２０１５ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２２０１４０５０１６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０６０１．０９４０．００３．ｈｔｍｌ 一种方向性的局部二值模式在人脸表情识别中的应用 童莹 （南京工程学院 通信工程学院，江苏 南京 ２１１１６７） 摘 要：传统局部二值模式（ＬＢＰ）算法应用在人脸表情识别中，不能准确描述眼睛、嘴巴、额头等表情特征区域在不 同方向上的灰度变化趋势，识别效果不理想。 本文改进传统局部二值模式的灰度比较关系，分别从水平、垂直以及 对角 ３ 个方向对邻域像素的灰度变化进行二值编码，融合 ３ 个方向的特征，得到一种基于方向性的局部二值模式 （ＤＬＢＰ）。 在 ＪＡＦＦＥ 数据库和 Ｃｏｈｎ⁃Ｋａｎａｄｅ 数据库上的实验结果均表明，ＤＬＢＰ 算子相比 ＬＢＰ 算子、Ｇａｂｏｒ 算子能更 准确描述人脸基本表情，识别率平均分别提高了 ５％和 １％；相比 ＬＢＰ 算子对椒盐噪声和高斯白噪声具有更强的鲁棒 性；且与 ＬＤＰ 算子相比，识别率基本不变，但特征提取时间缩减近 ５０％。 由此可见，ＤＬＢＰ 算子是一种快速有效的人 脸表情描述子。 关键词：人脸表情识别；局部二值模式；中心最近邻分类；方向性局部二值模式；Ｇａｂｏｒ：ＬＤＰ 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０３⁃０４２２⁃０７ 中文引用格式：童莹．一种方向性的局部二值模式在人脸表情识别中的应用［Ｊ］． 智能系统学报， ２０１５， １０（３）： ４２２⁃４２８． 英文引用格式：ＴＯＮＧ Ｙｉｎｇ． Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｒｅｃｔｉｏｎｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（３）： ４２２⁃４２８． Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｒｅｃｔｉｏｎｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ＴＯＮＧ Ｙｉｎｇ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｎａｎｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｎａｎｊｉｎｇ ２１１１６７， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＬＢＰ） ａｌｇｏｒｉｔｈｍ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｃｏｕｌｄ ｎｏｔ ｄｅｓｃｒｉｂｅ ｔｈｅ ｇｒａｙ ｖａｌｕｅ ｃｈａｎｇｅ ｉｎ ｄｉｆｆｅｒｅｎｔ ｄｉｒｅｃｔｉｏｎｓ ｏｆ ｓｏｍｅｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｇｉｏｎｓ， ｓｕｃｈ ａｓ ｅｙｅｓ， ｍｏｕｔｈ， ｆｏｒｅｈｅａｄ， ｅｔｃ． Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔ ｉｓ ｎｏｔ ｓａｔｉｓｆｉｅｄ． Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ｓｉｍｐｌｅ ａｎｄ ｒｏｂｕｓｔ ｍｅｔｈｏｄ， ｎａｍｅｌｙ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｒｅｃｔｉｏｎｓ （ＤＬＢＰ）， ｗｈｉｃｈ ｉｍｐｒｏｖｅｓ ｔｈｅ ｃｏｄｉｎｇ ｐａｔｔｅｒｎ ｏｆ ＬＢＰ ａｎｄ ｅｎｃｏｄｅｄ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｆｒｏｍ ｔｈｅ ｈｏｒｉｚｏｎｔａｌ， ｖｅｒｔｉｃａｌ ａｎｄ ｄｉａｇｏｎａｌ ｄｉｒｅｃｔｉｏｎｓ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ＪＡＦＦＥ ａｎｄ Ｃｏｈｎ⁃Ｋａｎａｄｅ ｄａｔａｂａｓｅｓ ｓｈｏｗ ｔｈａｔ ＤＬＢＰ ａｌｇｏｒｉｔｈｍ ｈａｓ ａｃｈｉｅｖｅｄ ５％ ａｎｄ １％ ｈｉｇｈｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｔｈａｎ ｏｔｈｅｒ ｅｘｉｓｔｉｎｇ ａｌｇｏｒｉｔｈｍｓ， ｓｕｃｈ ａｓ ＬＢＰ ａｎｄ Ｇａｂｏｒ． Ｉｔ ｈａｓ ａ ｓｔｒｏｎｇ ｒｏｂｕｓｔｎｅｓｓ ｔｏ Ｇａｕｓｓｉａｎ ｎｏｉｓｅ ａｎｄ ｓａｌｔ ａｎｄ ｐｅｐｐｅｒ ｎｏｉｓｅ ｃｏｍｐａｒｅｄ ｗｉｔｈ ＬＢＰ， ａｎｄ Ｉｔｓ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｔｉｍｅ ｉｓ ｒｅｄｕｃｅｄ ｂｙ ５０％ ｃｏｍｐａｒｅｄ ｔｏ ＬＤＰ． Ｔｈｅｒｅｆｏｒｅ， ｔｈｅ ＤＬＢＰ ａｌｇｏｒｉｔｈｍ ｉｓ ａ ｆａｓｔ ａｎｄ ｅｆｆｅｃｔｉｖｅ ｆｅａｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ． Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ； ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＬＢＰ）； ｃｅｎｔｒａｌ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｄｉ⁃ ｒｅｃｔｉｏｎａｌ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＤＬＢＰ）； Ｇａｂｏｒ； ｌｏｃａｌ ｄｉｒｅｃｔｉｏｎａｌ ｐａｔｔｅｒｎ （ＬＤＰ） 收稿日期：２０１４⁃０５⁃０６． 网络出版日期：２０１５⁃０６⁃０１． 基金项目：江苏省自然科学基金资助项目（ＢＫ２０１３１３４２）． 通信作者：童莹． Ｅ⁃ｍａｉｌ： ｔｏｎｇｙｉｎｇ＠ ｎｊｐｔ．ｅｄｕ．ｃｎ． 面部是情感交流的器官，人们可以通过面部表 情变化准确而充分地表达自己的思想情感，也可以 通过表情辨认对方的情感状态，是一种有效的非语 言信息交流手段。 因此，对表情识别进行研究具有 重要的学术价值和应用前景，是实现人机交互、机器