第3期 马晓，等：基于深度学习特征的稀疏表示的人脸识别方法 ·281· 噪声成分。在人脸识别中需要尽可能地将与分类无 法相结合。使用深度学习得到的特征被诸多实验证 关的成分μ和ε与分类相关的成分μ分离开来。但 明具有较好的可分性和迁移性，并对类内变化具有 通常，4、v和ε3个成分之间具有较强的相关性，很 较好的鲁棒性。但其是否具有子空间特性这一问题 难通过线性表示（即便是稀疏线性表示）将其有效 却很少被人关注。本文利用实验的方式，在一定程 地分离开来，或者将v和ε有效地去除掉。以人脸 度上证明了深度学习所得的人脸特征具有较好的子 的姿态变化为例，同类人脸在不同姿态下的类内差 空间特性，而且具有可迁移性和对类内变化的不 与不同人脸在统一姿态下的类内差十分接近（均在 变性。 外貌轮廓处有较大的响应)，很难通过有限的样本 2基于深度学习特征的稀疏表示的 和稀疏线性表示去除姿态对人脸图像的影响。且这 一问题，在小样本的人脸图像识别的问题中，变得更 人脸识别方法 加棘手。 本文结合基于深度学习的特征提取方法和基于 本文将人脸样本从灰度空间投影到特征空间， 稀疏表示的人脸识别方法，提出了兼顾二者所长的 然后在特征空间使用基于稀疏表示的分类方法进行 基于深度学习特征的稀疏表示的人脸识别方法 识别。对于投影后的特征，需要满足如下2个条件： sparse representation via deep learning features based 1)投影后的特征需要满足线性子空间特性，这样才 classification,SRDLFC)。SRDLFC对于含较大类内 能符合基于稀疏表示的分类方法的基本前提：2)投 变化的小样本人脸识别问题具有较大的优势。 影后的特征对类内变化不敏感，或者消除了类内变 2.1 SRDLFC整体流程 化。为了有效解决小样本问题，我们同时期望特征 SRDLFC方法包括网络学习和样本识别两个过 的学习可以通过外部数据来完成，然后迁移到小样 程，样本识别过程包括特征提取和稀疏分类两个环 本的数据集上来。换句话说，也就要求所学得的特 节，其中特征提取所用的CNN网络需要通过外部数 征具有一定的可迁移性。 据进行有监督的学习和训练。整体流程如图2。 传统的特征如HOG、SIFT、LBP等不能很好地 保证人脸图像中的类内变化可以被有效地去除，特 外部数据 特征提取 网络训练 别对于诸如姿态、遮挡、表情等这类比较复杂的类内 特征提取网 变化，同时变化后的特征一般不具有子空间特性，很 特征空间 稀疏 利用残差 测试数据 特征提取 测试样本 表示 分类 难适用于基于稀疏表示的分类方法，使之发挥更大 别结果 的效能。 训练数据 特征提取 特征空间的训练集字典 1.3深度卷积神经网络 深度卷积神经网络(deep convolutional neural 图2 SRDLFC方法流程图 network,DCNN)是一种有监督的深度学习模型，已 Fig.2 The process of SRDLFC method 成为当前语音分析和图像识别领域的研究热点。 基于深度学习特征的稀疏表示的人脸识别方法 Lecun等早在I998年就提出了经典的LeNet网 (SRDLFC)如下。 络[2o],Hinton等使用的大规模深度CNN[2]在Ima- 1)网络学习过程： genet这样10O0类的分类问题上取得了非常好的 ①利用外部数据学习特征提取的CNN网络 结果。文献[22-25]利用CNN网络在人脸识别领域 f(y). 取得了较大的突破，成为目前工业界和学术界的主 ②对于训练集样本X={X,X2,…,X,…,Xc}, 流算法。卷积网络的核心思想是局部感受野、权值 经映射X'=代X,),得到特征空间的训练集字典X'= 共享（或者权值复制）以及时间或空间亚采样。 {X',X2',…,X',…,Xe'}。 CNN通常使用最后一层全连接隐层的值作为对输 2)样本识别过程： 入样本所提取的特征，通过外部数据进行的有监督 ①对于测试样本y,通过特征提取网络提取深 学习，CNN可以保证所得的特征具有较好的对类内 度学习特征y=f八y)。 变化的不变性。 ②对y用特征空间的训练集字典X'进行稀疏 为了更有效地解决复杂类内变化条件下的小样 表示，得表示系数a': 本人脸识别问题，本文结合近年来被深入研究和广 a'=argmin lly'-X'a'l+入‖a'l 泛应用到各类视觉问题的深度卷积网络，使用深度 学习的方法来提取特征，然后与基于稀疏表示的方 ③通过训练集字典对测试样本的表示残差进行噪声成分。 在人脸识别中需要尽可能地将与分类无 关的成分 μ 和 ε 与分类相关的成分 μ 分离开来。 但 通常，μ、ν 和 ε ３ 个成分之间具有较强的相关性，很 难通过线性表示（即便是稀疏线性表示）将其有效 地分离开来，或者将 ｖ 和 ε 有效地去除掉。 以人脸 的姿态变化为例，同类人脸在不同姿态下的类内差 与不同人脸在统一姿态下的类内差十分接近（均在 外貌轮廓处有较大的响应），很难通过有限的样本 和稀疏线性表示去除姿态对人脸图像的影响。 且这 一问题，在小样本的人脸图像识别的问题中，变得更 加棘手。 本文将人脸样本从灰度空间投影到特征空间， 然后在特征空间使用基于稀疏表示的分类方法进行 识别。 对于投影后的特征，需要满足如下 ２ 个条件： １）投影后的特征需要满足线性子空间特性，这样才 能符合基于稀疏表示的分类方法的基本前提；２）投 影后的特征对类内变化不敏感，或者消除了类内变 化。 为了有效解决小样本问题，我们同时期望特征 的学习可以通过外部数据来完成，然后迁移到小样 本的数据集上来。 换句话说，也就要求所学得的特 征具有一定的可迁移性。 传统的特征如 ＨＯＧ、ＳＩＦＴ、ＬＢＰ 等不能很好地 保证人脸图像中的类内变化可以被有效地去除，特 别对于诸如姿态、遮挡、表情等这类比较复杂的类内 变化，同时变化后的特征一般不具有子空间特性，很 难适用于基于稀疏表示的分类方法，使之发挥更大 的效能。 １．３ 深度卷积神经网络 深度卷积神经网络 （ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＤＣＮＮ）是一种有监督的深度学习模型，已 成为当前语音分析和图像识别领域的研究热点。 Ｌｅｃｕｎ 等早在 １９９８ 年就提出了经典的 ＬｅＮｅｔ 网 络［２０］ ， Ｈｉｎｔｏｎ 等使用的大规模深度 ＣＮＮ ［２１］ 在 Ｉｍａ⁃ ｇｅｎｅｔ 这样 １ ０００ 类的分类问题上取得了非常好的 结果。 文献［２２⁃２５］利用 ＣＮＮ 网络在人脸识别领域 取得了较大的突破，成为目前工业界和学术界的主 流算法。 卷积网络的核心思想是局部感受野、权值 共享 （ 或者权值复制） 以及时间或空间亚采样。 ＣＮＮ 通常使用最后一层全连接隐层的值作为对输 入样本所提取的特征，通过外部数据进行的有监督 学习，ＣＮＮ 可以保证所得的特征具有较好的对类内 变化的不变性。 为了更有效地解决复杂类内变化条件下的小样 本人脸识别问题，本文结合近年来被深入研究和广 泛应用到各类视觉问题的深度卷积网络，使用深度 学习的方法来提取特征，然后与基于稀疏表示的方 法相结合。 使用深度学习得到的特征被诸多实验证 明具有较好的可分性和迁移性，并对类内变化具有 较好的鲁棒性。 但其是否具有子空间特性这一问题 却很少被人关注。 本文利用实验的方式，在一定程 度上证明了深度学习所得的人脸特征具有较好的子 空间特性，而且具有可迁移性和对类内变化的不 变性。 ２ 基于深度学习特征的稀疏表示的 人脸识别方法 本文结合基于深度学习的特征提取方法和基于 稀疏表示的人脸识别方法，提出了兼顾二者所长的 基于深度学习特征的稀疏表示的人脸识别方法 （ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｖｉａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｅａｔｕｒｅｓ ｂａｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ＳＲＤＬＦＣ） 。 ＳＲＤＬＦＣ 对于含较大类内 变化的小样本人脸识别问题具有较大的优势。 ２．１ ＳＲＤＬＦＣ 整体流程 ＳＲＤＬＦＣ 方法包括网络学习和样本识别两个过 程，样本识别过程包括特征提取和稀疏分类两个环 节，其中特征提取所用的 ＣＮＮ 网络需要通过外部数 据进行有监督的学习和训练。 整体流程如图 ２。 图 ２ ＳＲＤＬＦＣ 方法流程图 Ｆｉｇ．２ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ＳＲＤＬＦＣ ｍｅｔｈｏｄ 基于深度学习特征的稀疏表示的人脸识别方法 （ＳＲＤＬＦＣ）如下。 １）网络学习过程： ①利用外部数据学习特征提取的 ＣＮＮ 网络 ｆ（ｙ）． ②对于训练集样本 Ｘ ＝ Ｘ１ ，Ｘ２ ，…，ＸＩ，…，ＸＣ { } ， 经映射 Ｘｉ ′＝ ｆ（Ｘｉ），得到特征空间的训练集字典Ｘ′＝ Ｘ１ ′，Ｘ２ ′，…，Ｘｉ ′，…，ＸＣ { ′} 。 ２）样本识别过程： ①对于测试样本 ｙ，通过特征提取网络提取深 度学习特征 ｙ′＝ ｆ（ｙ）。 ②对 ｙ′用特征空间的训练集字典 Ｘ′进行稀疏 表示，得表示系数 α′： α＾ ′ ＝ ａｒｇｍｉｎ α′ ｙ′ － Ｘ′α′ ２ ２ ＋ λ α′ １ ③通过训练集字典对测试样本的表示残差进行 第 ３ 期 马晓，等：基于深度学习特征的稀疏表示的人脸识别方法 ·２８１·