第11卷第3期 智能系统学报 Vol.11 No.3 2016年6月 CAAI Transactions on Intelligent Systems Jun.2016 D0I:10.11992/is.2016030 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160513.0919.012.html 基于深度学习特征的稀疏表示的人脸识别方法 马晓12，张番栋12，封举富2 (1.北京大学信息科学技术学院，北京100871：2.北京大学机器感知与智能教育部重点实验室，北京100871) 摘要：本文针对传统的基于稀疏表示的人脸识别方法在小样本情况下对类内变化鲁棒性不强的问题，从特征的层 面入手，提出了基于深度学习特征的稀疏表示的人脸识别方法。本方法首先利用深度卷积神经网络提取对类内变 化不敏感的人脸特征，然后通过稀疏表示对所得人脸特征进行表达分类。本文通过实验，说明了深度学习得到的特 征也具有一定的子空间特性，符合基于稀疏表示的人脸识别方法对于子空间的假设条件。实验证明，基于深度学习 特征的稀疏表示的人脸识别方法具有较好的识别准确度，对类内变化具有很好的鲁棒性，特别在小样本问题中具有 尤为突出的优势。 关键词：机器学习：生物特征识别：深度学习：特征学习；子空间：小样本；稀疏表示；人脸识别 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2016)03-0279-08 中文引用格式：马晓，张番栋，封举富.基于深度学习特征的稀疏表示的人脸识别方法[J].智能系统学报，2016,11(3)：279-286. 英文引用格式：MA xiao,ZHANG fandong,FENGJufu.Sparse representation via deep learning features based face recognition method[J].CAAI transactions on intelligent systems,2016,11(3):279-286. Sparse representation via deep learning features based face recognition method MA Xiao',ZHANG Fandong'2,FENG Jufu'2 (1.School of Electronics Engineering and Computer Science,Peking University,Beijing 100871,China;2.Key Laboratory of Machine Perception Ministry of Education)Department of Machine Intelligence,Peking University,Beijing 100871,China) Abstract:Focusing on the problems that the traditional sparse representation based face recognition methods are not quite robust to intra-class variations,a novel Sparse Representation via Deep Learning Features based Classification (SRDLFC)method is proposed in this paper,employing a deep convolutional neural network to extract facial fea- tures and a sparse representation based framework to make classification.Experimental results in this paper also ver- ifies the features extracted from deep convolutional network do satisfy the linear subspace assumption.The proposed SRDLFC proves to be quite effective and be robust to intra-class variations especially for under-sampled face recog- nition problems. Keywords:machine learning;biometric recognition;deep learning;feature learning;subspace;under-sampled recognition;sparse representation;face recognition 人脸识别是作为一项重要的生物识别技术，在 是在不可控的自然环境下进行的，人脸样本常常含 公安刑侦、企业管理、自助服务及互联网金融方面都 有诸如光照、姿态、遮挡、表情、噪声等类内变化。如 取得了广泛的应用。实际的人脸识别系统多遇到的 何在含有较大干扰的小样本人脸识别问题中取得鲁 是小样本的人脸识别问题，即在识别中可以采集到 棒的识别结果，便成了当前许多人脸识别方面的研 的每个人的人脸样本相对较少，而且采集环境通常 究工作所关心的问题。受稀疏编码]和子空间方 法[2-别的启发，John Wright等[提出了基于稀疏表 收稿日期：2016-03-16.网络出版日期：2016-05-13. 示的分类方法，在含遮挡、噪声、光照的复杂环境下 基金项目：国家自然科学基金项目(61333015)：国家重点基础研究发 展计划(2011CB302400). 的人脸识别问题中取得了较好的效果。在John 通信作者：马晓.E-mail:maxiao2012@pku.cdu.cn Wright工作的基础上，一系列基于稀疏表示的分类第 １１ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．３ ２０１６ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０３０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０５１３．０９１９．０１２．ｈｔｍｌ 基于深度学习特征的稀疏表示的人脸识别方法 马晓１，２ ，张番栋１，２ ，封举富１，２ （１．北京大学 信息科学技术学院，北京 １００８７１； ２．北京大学 机器感知与智能教育部重点实验室，北京 １００８７１） 摘 要：本文针对传统的基于稀疏表示的人脸识别方法在小样本情况下对类内变化鲁棒性不强的问题，从特征的层 面入手，提出了基于深度学习特征的稀疏表示的人脸识别方法。 本方法首先利用深度卷积神经网络提取对类内变 化不敏感的人脸特征，然后通过稀疏表示对所得人脸特征进行表达分类。 本文通过实验，说明了深度学习得到的特 征也具有一定的子空间特性，符合基于稀疏表示的人脸识别方法对于子空间的假设条件。 实验证明，基于深度学习 特征的稀疏表示的人脸识别方法具有较好的识别准确度，对类内变化具有很好的鲁棒性，特别在小样本问题中具有 尤为突出的优势。 关键词：机器学习；生物特征识别；深度学习；特征学习；子空间；小样本；稀疏表示；人脸识别 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０３⁃０２７９⁃０８ 中文引用格式：马晓，张番栋，封举富．基于深度学习特征的稀疏表示的人脸识别方法［Ｊ］． 智能系统学报， ２０１６， １１（３）： ２７９⁃２８６． 英文引用格式：ＭＡ ｘｉａｏ， ＺＨＡＮＧ ｆａｎｄｏｎｇ， ＦＥＮＧ Ｊｕｆｕ． Ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｖｉａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｅａｔｕｒｅｓ ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（３）： ２７９⁃２８６． Ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｖｉａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｅａｔｕｒｅｓ ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ＭＡ Ｘｉａｏ １，２ ， ＺＨＡＮＧ Ｆａｎｄｏｎｇ １，２ ， ＦＥＮＧ Ｊｕｆｕ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｐｅｋｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １００８７１， Ｃｈｉｎａ； ２．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ （Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ） Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｐｅｋｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １００８７１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｃｕｓｉｎｇ ｏｎ ｔｈｅ ｐｒｏｂｌｅｍｓ ｔｈａｔ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄｓ ａｒｅ ｎｏｔ ｑｕｉｔｅ ｒｏｂｕｓｔ ｔｏ ｉｎｔｒａ⁃ｃｌａｓｓ ｖａｒｉａｔｉｏｎｓ， ａ ｎｏｖｅｌ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｖｉａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｆｅａｔｕｒｅｓ ｂａｓｅｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ （ＳＲＤＬＦＣ） ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｅｍｐｌｏｙｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｔｏ ｅｘｔｒａｃｔ ｆａｃｉａｌ ｆｅａ⁃ ｔｕｒｅｓ ａｎｄ ａ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂａｓｅｄ ｆｒａｍｅｗｏｒｋ ｔｏ ｍａｋｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｉｎ ｔｈｉｓ ｐａｐｅｒ ａｌｓｏ ｖｅｒ⁃ ｉｆｉｅｓ ｔｈｅ ｆｅａｔｕｒｅｓ ｅｘｔｒａｃｔｅｄ ｆｒｏｍ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｄｏ ｓａｔｉｓｆｙ ｔｈｅ ｌｉｎｅａｒ ｓｕｂｓｐａｃｅ ａｓｓｕｍｐｔｉｏｎ． Ｔｈｅ ｐｒｏｐｏｓｅｄ ＳＲＤＬＦＣ ｐｒｏｖｅｓ ｔｏ ｂｅ ｑｕｉｔｅ ｅｆｆｅｃｔｉｖｅ ａｎｄ ｂｅ ｒｏｂｕｓｔ ｔｏ ｉｎｔｒａ⁃ｃｌａｓｓ ｖａｒｉａｔｉｏｎｓ ｅｓｐｅｃｉａｌｌｙ ｆｏｒ ｕｎｄｅｒ⁃ｓａｍｐｌｅｄ ｆａｃｅ ｒｅｃｏｇ⁃ ｎｉｔｉｏｎ ｐｒｏｂｌｅｍｓ． Ｋｅｙｗｏｒｄｓ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ； ｂｉｏｍｅｔｒｉｃ ｒｅｃｏｇｎｉｔｉｏｎ； ｄｅｅｐ ｌｅａｒｎｉｎｇ； ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ； ｓｕｂｓｐａｃｅ； ｕｎｄｅｒ⁃ｓａｍｐｌｅｄ ｒｅｃｏｇｎｉｔｉｏｎ； ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ； ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ 收稿日期：２０１６⁃０３⁃１６． 网络出版日期：２０１６⁃０５⁃１３． 基金项目：国家自然科学基金项目（６１３３３０１５）； 国家重点基础研究发 展计划（２０１１ＣＢ３０２４００）． 通信作者：马晓． Ｅ⁃ｍａｉｌ： ｍａｘｉａｏ２０１２＠ ｐｋｕ．ｅｄｕ．ｃｎ． 人脸识别是作为一项重要的生物识别技术，在 公安刑侦、企业管理、自助服务及互联网金融方面都 取得了广泛的应用。 实际的人脸识别系统多遇到的 是小样本的人脸识别问题，即在识别中可以采集到 的每个人的人脸样本相对较少，而且采集环境通常 是在不可控的自然环境下进行的，人脸样本常常含 有诸如光照、姿态、遮挡、表情、噪声等类内变化。 如 何在含有较大干扰的小样本人脸识别问题中取得鲁 棒的识别结果，便成了当前许多人脸识别方面的研 究工作所关心的问题。 受稀疏编码［１］ 和子空间方 法［２－３］的启发，Ｊｏｈｎ Ｗｒｉｇｈｔ 等［４］ 提出了基于稀疏表 示的分类方法，在含遮挡、噪声、光照的复杂环境下 的人脸识别问题中取得了较好的效果。 在 Ｊｏｈｎ Ｗｒｉｇｈｔ 工作的基础上，一系列基于稀疏表示的分类