第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201602006 网络出版地址：htp:/nww.cnki.net/kcms/detail/23.1538.TP.20160718.1522.010.html 基于嘴巴状态约束的人脸特征点定位算法 师亚亭，李卫军，宁欣，董肖莉，张丽萍 (中国科学院半导体研究所高速电路与神经网络实验室，北京100083) 摘要：嘴巴区域特征点的精确定位对于特征匹配、表情分析、唇形识别、驾驶行为分析等应用具有极其关键的作 用。然而，用现有的人脸特征点定位算法进行人脸形状估计时，嘴巴区域特征点的定位误差相对较大。针对这一问 题，提出了基于H$V颜色空间和基于卷积神经网络的两种嘴巴状态分类器以及一种基于局部特征点位置关系的强 形状约束策略，并在此基础上提出了基于嘴巴状态约束的人脸特征点定位算法，根据嘴巴状态标签对显式形状回归 ESR算法的估计结果进行约束以获得更加准确的特征的位置。相比传统的ESR算法，该方法在保障人脸形状定位 鲁棒性的同时，在Helen数据库和LFPW数据库上的嘴巴特征点定位准确度均明显提高。 关键词：人脸特征点定位；ESR;嘴巴状态分类器：强形状约束；HSV颜色空间；卷积神经网络 中图分类号：TP183文献标志码：A文章编号：1673-4785(2016)05-0578-08 中文引用格式：师亚亭，李卫军，宁欣，等.基于嘴巴状态约束的人脸特征点定位算法[J].智能系统学报，2016,11(5)：578-585. 英文引用格式：SHI Yating,LI Weijun,NING Xin,etal.A facial feature point locating algorithm based on mouth--state constraints [J].CAAI transactions on intelligent systems,2016,11(5):578-585. A facial feature point locating algorithm based on mouth-state constraints SHI Yating,LI Weijun,NING Xin,DONG Xiaoli,ZHANG Liping Institute of Semiconductors,Chinese Academy of Sciences,Beijing 100083,China) Abstract:The precise locations of the feature points of the mouth critically influence applications which use feature matching,expression analysis,lip recognition and driving behavior analysis,etc.However,when estimating facial shapes using current facial landmarks detecting methods,the locating error of feature points around the mouth re- gion is relatively large.In order to solve this problem,two kinds of 'mouth-state'classifiers were proposed,one was based on HSV color space and the other on a convolutional neural network,with a strong shape constraint strat- egy focusing on the spatial relationship between local facial landmarks.Furthermore a facial feature point locating method was presented based on the mouth-state constraint,which constrains the predicted explicit shape regression (ESR)result and is more accurate as regards locating facial landmarks.Compared with the original ESR algorithm, this method significantly improves the accuracy of locating landmarks for the mouth for both the Helen and LFPW datasets,and has no impact on the robustness of facial shape prediction. Keywords:facial feature points location;ESR;mouth-state classifier;strong shape constraint;HSV color space; convolutional neural network 随着个人照片在移动设备和互联网上的方便呈精确定位十分重要。在实际生活中，嘴巴形状的预 现及传播，人脸对齐算法的应用也越来越广泛。对 测会受到光照、遮挡、噪声以及个人唇色（肤色以及 于特征匹配、表情分析及变换、唇形识别以及疲劳驾 妆容)的影响。此外，同一个人的嘴巴形状也因为 驶检测等人脸对齐算法的应用，嘴巴区域特征点的 讲话、表情的变化以及姿态的不同而不同。这些因 素都可能引起在人脸形状向量估计过程中嘴巴特征 收稿日期：2016-02-06.网络出版日期：2016-07-18. 点的定位错误。为了解决这一问题，本文提出了一 基金项目：国家自然科学基金项目(61572458). 通信作者：李卫军.E-mail:wji@scmi.ac.cn. 种基于嘴巴状态约束的人脸特征点定位算法，使得第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０２００６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０７１８．１５２２．０１０．ｈｔｍｌ 基于嘴巴状态约束的人脸特征点定位算法 师亚亭，李卫军，宁欣，董肖莉，张丽萍 （中国科学院半导体研究所 高速电路与神经网络实验室，北京 １０００８３） 摘 要：嘴巴区域特征点的精确定位对于特征匹配、表情分析、唇形识别、驾驶行为分析等应用具有极其关键的作 用。 然而，用现有的人脸特征点定位算法进行人脸形状估计时，嘴巴区域特征点的定位误差相对较大。 针对这一问 题，提出了基于 ＨＳＶ 颜色空间和基于卷积神经网络的两种嘴巴状态分类器以及一种基于局部特征点位置关系的强 形状约束策略，并在此基础上提出了基于嘴巴状态约束的人脸特征点定位算法，根据嘴巴状态标签对显式形状回归 ＥＳＲ 算法的估计结果进行约束以获得更加准确的特征的位置。 相比传统的 ＥＳＲ 算法，该方法在保障人脸形状定位 鲁棒性的同时，在 Ｈｅｌｅｎ 数据库和 ＬＦＰＷ 数据库上的嘴巴特征点定位准确度均明显提高。 关键词：人脸特征点定位；ＥＳＲ；嘴巴状态分类器；强形状约束；ＨＳＶ 颜色空间；卷积神经网络 中图分类号：ＴＰ１８３ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０５７８⁃０８ 中文引用格式：师亚亭，李卫军，宁欣，等．基于嘴巴状态约束的人脸特征点定位算法［Ｊ］． 智能系统学报， ２０１６， １１（５）： ５７８⁃５８５． 英文引用格式：ＳＨＩ Ｙａｔｉｎｇ，ＬＩ Ｗｅｉｊｕｎ， ＮＩＮＧ Ｘｉｎ，ｅｔ ａｌ． Ａ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔ ｌｏｃａｔｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｍｏｕｔｈ⁃ｓｔａｔｅ ｃｏｎｓｔｒａｉｎｔｓ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）：５７８⁃５８５． Ａ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔ ｌｏｃａｔｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｍｏｕｔｈ⁃ｓｔａｔｅ ｃｏｎｓｔｒａｉｎｔｓ ＳＨＩ Ｙａｔｉｎｇ， ＬＩ Ｗｅｉｊｕｎ， ＮＩＮＧ Ｘｉｎ， ＤＯＮＧ Ｘｉａｏｌｉ， ＺＨＡＮＧ Ｌｉｐｉｎｇ （Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｂｅｉｊｉｎｇ １０００８３， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｐｒｅｃｉｓｅ ｌｏｃａｔｉｏｎｓ ｏｆ ｔｈｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｏｆ ｔｈｅ ｍｏｕｔｈ ｃｒｉｔｉｃａｌｌｙ ｉｎｆｌｕｅｎｃｅ ａｐｐｌｉｃａｔｉｏｎｓ ｗｈｉｃｈ ｕｓｅ ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ， ｅｘｐｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ， ｌｉｐ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｄｒｉｖｉｎｇ ｂｅｈａｖｉｏｒ ａｎａｌｙｓｉｓ， ｅｔｃ． Ｈｏｗｅｖｅｒ， ｗｈｅｎ ｅｓｔｉｍａｔｉｎｇ ｆａｃｉａｌ ｓｈａｐｅｓ ｕｓｉｎｇ ｃｕｒｒｅｎｔ ｆａｃｉａｌ ｌａｎｄｍａｒｋｓ ｄｅｔｅｃｔｉｎｇ ｍｅｔｈｏｄｓ， ｔｈｅ ｌｏｃａｔｉｎｇ ｅｒｒｏｒ ｏｆ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ａｒｏｕｎｄ ｔｈｅ ｍｏｕｔｈ ｒｅ⁃ ｇｉｏｎ ｉｓ ｒｅｌａｔｉｖｅｌｙ ｌａｒｇｅ． Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ， ｔｗｏ ｋｉｎｄｓ ｏｆ ‘ｍｏｕｔｈ⁃ｓｔａｔｅ’ ｃｌａｓｓｉｆｉｅｒｓ ｗｅｒｅ ｐｒｏｐｏｓｅｄ， ｏｎｅ ｗａｓ ｂａｓｅｄ ｏｎ ＨＳＶ ｃｏｌｏｒ ｓｐａｃｅ ａｎｄ ｔｈｅ ｏｔｈｅｒ ｏｎ ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ｗｉｔｈ ａ ｓｔｒｏｎｇ ｓｈａｐｅ ｃｏｎｓｔｒａｉｎｔ ｓｔｒａｔ⁃ ｅｇｙ ｆｏｃｕｓｉｎｇ ｏｎ ｔｈｅ ｓｐａｔｉａｌ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｌｏｃａｌ ｆａｃｉａｌ ｌａｎｄｍａｒｋｓ． Ｆｕｒｔｈｅｒｍｏｒｅ ａ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔ ｌｏｃａｔｉｎｇ ｍｅｔｈｏｄ ｗａｓ ｐｒｅｓｅｎｔｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｍｏｕｔｈ⁃ｓｔａｔｅ ｃｏｎｓｔｒａｉｎｔ， ｗｈｉｃｈ ｃｏｎｓｔｒａｉｎｓ ｔｈｅ ｐｒｅｄｉｃｔｅｄ ｅｘｐｌｉｃｉｔ ｓｈａｐｅ ｒｅｇｒｅｓｓｉｏｎ （ＥＳＲ） ｒｅｓｕｌｔ ａｎｄ ｉｓ ｍｏｒｅ ａｃｃｕｒａｔｅ ａｓ ｒｅｇａｒｄｓ ｌｏｃａｔｉｎｇ ｆａｃｉａｌ ｌａｎｄｍａｒｋｓ． Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｏｒｉｇｉｎａｌ ＥＳＲ ａｌｇｏｒｉｔｈｍ， ｔｈｉｓ ｍｅｔｈｏｄ ｓｉｇｎｉｆｉｃａｎｔｌｙ ｉｍｐｒｏｖｅｓ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｌｏｃａｔｉｎｇ ｌａｎｄｍａｒｋｓ ｆｏｒ ｔｈｅ ｍｏｕｔｈ ｆｏｒ ｂｏｔｈ ｔｈｅ Ｈｅｌｅｎ ａｎｄ ＬＦＰＷ ｄａｔａｓｅｔｓ， ａｎｄ ｈａｓ ｎｏ ｉｍｐａｃｔ ｏｎ ｔｈｅ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｆａｃｉａｌ ｓｈａｐｅ ｐｒｅｄｉｃｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｌｏｃａｔｉｏｎ； ＥＳＲ； ｍｏｕｔｈ⁃ｓｔａｔｅ ｃｌａｓｓｉｆｉｅｒ； ｓｔｒｏｎｇ ｓｈａｐｅ ｃｏｎｓｔｒａｉｎｔ； ＨＳＶ ｃｏｌｏｒ ｓｐａｃｅ； ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ 收稿日期：２０１６⁃０２⁃０６． 网络出版日期：２０１６⁃０７⁃１８． 基金项目：国家自然科学基金项目（６１５７２４５８）． 通信作者：李卫军．Ｅ⁃ｍａｉｌ：ｗｊｌｉ＠ ｓｅｍｉ．ａｃ．ｃｎ． 随着个人照片在移动设备和互联网上的方便呈 现及传播，人脸对齐算法的应用也越来越广泛。 对 于特征匹配、表情分析及变换、唇形识别以及疲劳驾 驶检测等人脸对齐算法的应用，嘴巴区域特征点的 精确定位十分重要。 在实际生活中，嘴巴形状的预 测会受到光照、遮挡、噪声以及个人唇色（肤色以及 妆容）的影响。 此外，同一个人的嘴巴形状也因为 讲话、表情的变化以及姿态的不同而不同。 这些因 素都可能引起在人脸形状向量估计过程中嘴巴特征 点的定位错误。 为了解决这一问题，本文提出了一 种基于嘴巴状态约束的人脸特征点定位算法，使得