第9卷第3期 智能系统学报 Vol.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201309065 一种基于非残差估计线性表示模型的人脸识别 刘训利，龚勋，王国胤2 (1.西南交通大学信息科学与技术学院，四川成都610031：2.重庆邮电大学计算机科学与技术研究所，重庆400065) 摘要：Dantzig selector利用样本与残差之间的相关向量的L,范数来约束线性表示模型，为了克服传统的线性表示 在处理表示残差时依赖于一个对残差特定的似然估计这一缺陷将这样一种处理残差的思路用于人脸识别，提出了 一种基于Dantzig selector模型的人脸识别算法，并对Dantzig selector的一种有效的求解方法进行研究。在常用人脸 库上实验表明，基于Dantzig selector人脸识别算法在不需要对残差进行估计的情况下也能取得了很好的识别效果。 关键词：线性表示；残差；似然估计；Dantzig selector模型；人脸识别 中图分类号：TP391文献标志码：A文章编号：1673-4785(2014)03-0285-07 中文引用格式：刘训利，龚勋，王国胤.一种基于非残差估计线性表示模型的人脸识别[J].智能系统学报，2014,9(3)：285-291. 英文引用格式：LIUXunli,GONG Xun,WANG Guoyin.Face recognition based on linear representation model without residual es- timation[J].CAAI Transactions on Intelligent Systems,2014,9(3):285-291. Face recognition based on the linear representation model without residual estimation LIU Xunli',GONG Xun',WANG Guoyin'.2 (.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China;2.Institute of Computer Sci- ence and Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China) Abstract:The Dantzig selector constrains the representation model with L norm of the related vector between the samples and residuals,so as a result it is more convenient and more adaptive.Traditional linear representation dealing with residuals depends on specific residual likelihood estimation of residual.In order to overcome this de- fect,A new face recognition algorithm based on the Dantzig selector is proposed,applying the concept of dealing with the residual and a high-efficiency solution to the Dantzig selector is also studied.Experiments conducted with commonly used face databases show that the Dantzig selector achieves good results with face recognition without re- sidual estimation. Keywords:linear representation;residual estimation;likelihood estimation;Dantzig selector model;face recogni- tion 人脸识别是模式识别中的一个经典问题，多年 知2]技术作为一个强有力的理论工具，已经被成功 来一直是研究的热点。涌现出了许多经典的人脸识 应用于图像处理领域)。Wright等4首次将压缩 别算法，详见文献[1]，这些方法在一般情况下能够 感知理论用到人脸识别中来，并提出了一种基于稀 实现取得较好的识别效果，但在光照、遮挡、面部伪 疏表示的分类器方法(sparse representation based 装等情况下，识别性能急剧下降。最近，压缩感 classification,SRC),取得了非常好的人脸识别效 果，特别在光照、遮挡、伪装的情况下，SRC具有很好 收稿日期：2013-09-22. 的鲁棒性。基于稀疏表示的人脸识别是用已知的人 基金项目：国家自然科学基金资助项目(61202191)：中高校基本科研业 脸图像构造训练字典，再将待识别的图片表示成字 务费专项资金资助项目(SWJTU12CX095). 通信作者：刘训利.542140771@qg.com. 典原子的线性组合，然后根据线性组合系数来对测
第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０９０６５ 一种基于非残差估计线性表示模型的人脸识别 刘训利１ ，龚勋１ ，王国胤１， ２ （１．西南交通大学 信息科学与技术学院，四川 成都 ６１００３１； ２．重庆邮电大学 计算机科学与技术研究所，重庆 ４０００６５） 摘 要：Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ 利用样本与残差之间的相关向量的 Ｌ¥ 范数来约束线性表示模型，为了克服传统的线性表示 在处理表示残差时依赖于一个对残差特定的似然估计这一缺陷将这样一种处理残差的思路用于人脸识别，提出了 一种基于 Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ 模型的人脸识别算法，并对 Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ 的一种有效的求解方法进行研究。 在常用人脸 库上实验表明，基于 Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ 人脸识别算法在不需要对残差进行估计的情况下也能取得了很好的识别效果。 关键词：线性表示；残差；似然估计； Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ 模型；人脸识别 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０２８５⁃０７ 中文引用格式：刘训利，龚勋，王国胤． 一种基于非残差估计线性表示模型的人脸识别［Ｊ］． 智能系统学报， ２０１４， ９（３）： ２８５⁃２９１． 英文引用格式：ＬＩＵ Ｘｕｎｌｉ， ＧＯＮＧ Ｘｕｎ， ＷＡＮＧ Ｇｕｏｙｉｎ． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｌｉｎｅａｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｏｄｅｌ ｗｉｔｈｏｕｔ ｒｅｓｉｄｕａｌ ｅｓ⁃ ｔｉｍａｔｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ２８５⁃２９１． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｌｉｎｅａｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｏｄｅｌ ｗｉｔｈｏｕｔ ｒｅｓｉｄｕａｌ ｅｓｔｉｍａｔｉｏｎ ＬＩＵ Ｘｕｎｌｉ １ ， ＧＯＮＧ Ｘｕｎ １ ， ＷＡＮＧ Ｇｕｏｙｉｎ １， ２ （．Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｓｏｕｔｈｗｅｓｔ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｃｈｅｎｇｄｕ ６１００３１，Ｃｈｉｎａ；２． Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉ⁃ ｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｃｈｏｎｇｑｉｎｇ ４０００６５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ ｃｏｎｓｔｒａｉｎｓ ｔｈｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｏｄｅｌ ｗｉｔｈ Ｌ ∞ ｎｏｒｍ ｏｆ ｔｈｅ ｒｅｌａｔｅｄ ｖｅｃｔｏｒ ｂｅｔｗｅｅｎ ｔｈｅ ｓａｍｐｌｅｓ ａｎｄ ｒｅｓｉｄｕａｌｓ， ｓｏ ａｓ ａ ｒｅｓｕｌｔ ｉｔ ｉｓ ｍｏｒｅ ｃｏｎｖｅｎｉｅｎｔ ａｎｄ ｍｏｒｅ ａｄａｐｔｉｖｅ ． Ｔｒａｄｉｔｉｏｎａｌ ｌｉｎｅａｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｄｅａｌｉｎｇ ｗｉｔｈ ｒｅｓｉｄｕａｌｓ ｄｅｐｅｎｄｓ ｏｎ ｓｐｅｃｉｆｉｃ ｒｅｓｉｄｕａｌ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｒｅｓｉｄｕａｌ． Ｉｎ ｏｒｄｅｒ ｔｏ ｏｖｅｒｃｏｍｅ ｔｈｉｓ ｄｅ⁃ ｆｅｃｔ， Ａ ｎｅｗ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ ｉｓ ｐｒｏｐｏｓｅｄ， ａｐｐｌｙｉｎｇ ｔｈｅ ｃｏｎｃｅｐｔ ｏｆ ｄｅａｌｉｎｇ ｗｉｔｈ ｔｈｅ ｒｅｓｉｄｕａｌ ａｎｄ ａ ｈｉｇｈ⁃ｅｆｆｉｃｉｅｎｃｙ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ ｉｓ ａｌｓｏ ｓｔｕｄｉｅｄ． Ｅｘｐｅｒｉｍｅｎｔｓ ｃｏｎｄｕｃｔｅｄ ｗｉｔｈ ｃｏｍｍｏｎｌｙ ｕｓｅｄ ｆａｃｅ ｄａｔａｂａｓｅｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ ａｃｈｉｅｖｅｓ ｇｏｏｄ ｒｅｓｕｌｔｓ ｗｉｔｈ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈｏｕｔ ｒｅ⁃ ｓｉｄｕａｌ ｅｓｔｉｍａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｌｉｎｅａｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ； ｒｅｓｉｄｕａｌ ｅｓｔｉｍａｔｉｏｎ； ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｉｏｎ； Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ ｍｏｄｅｌ； ｆａｃｅ ｒｅｃｏｇｎｉ⁃ ｔｉｏｎ 收稿日期：２０１３⁃０９⁃２２． 基金项目：国家自然科学基金资助项目（６１２０２１９１）；中高校基本科研业 务费专项资金资助项目（ＳＷＪＴＵ１２ＣＸ０９５）． 通信作者：刘训利．５４２１４０７７１＠ ｑｑ．ｃｏｍ． 人脸识别是模式识别中的一个经典问题，多年 来一直是研究的热点。 涌现出了许多经典的人脸识 别算法，详见文献［１］，这些方法在一般情况下能够 实现取得较好的识别效果，但在光照、遮挡、面部伪 装等情况下， 识别性能急剧下降。 最近， 压缩感 知［２ ］技术作为一个强有力的理论工具，已经被成功 应用于图像处理领域［ ３ ］ 。 Ｗｒｉｇｈｔ 等［４］ 首次将压缩 感知理论用到人脸识别中来，并提出了一种基于稀 疏表示的分类器方法 （ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｂａｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ， ＳＲＣ），取得了非常好的人脸识别效 果，特别在光照、遮挡、伪装的情况下，ＳＲＣ 具有很好 的鲁棒性。 基于稀疏表示的人脸识别是用已知的人 脸图像构造训练字典，再将待识别的图片表示成字 典原子的线性组合，然后根据线性组合系数来对测
·286· 智能系统学报 第9卷 试样本进行重构，根据重构误差进行分类识别。基 素在训练样本集中的对应的向量来表示测试样本， 于稀疏表示的人脸识别方法的关键是对稀疏表示系 从而根据表示误差来确定测试样本类别归属，识别 数向量的求解，用稀疏向量中非零或权值较大的元 原理如图1所示。 B 图1稀疏表示人脸识别示意图（误差未知）】 Fig.1 Schematic diagram of face recognition with sparse representation unknown residual 这种在大量样本中选择一部分符合要求的少量 在此基础上，研究者采用“残差函数+似然估计”的 样本是统计学里的变量选择过程。在大量的数据 思路，提出了2种新的约束模型：岭回归和LASS0 中，可能只需要少量的数据，如何从大量的数据中选 模型。 择出少量有用的数据是变量选择的基本任务。基于 1.1岭回归模型 线性表示的变量选择模型的误差是不可知的如图1 岭回归(ridge regression)方法思想可以看成是 所示，SRC采用的是对一个线性回归模型及其残差 在最小二乘法的基础上对回归系数加以控制，定义 用“残差函数+似然估计”的稀疏约束方式，首先假 式为 设残差服从一种特定的分布，然后再对其进行极大 Bie=arg minglly-X邓l子+allB 似然估计，但这种对残差似然估计不能准确地反映 a是一个大于零的调节参数，基于该模型，Zhang 残差的真实情况，特别是在残差模型不可预知的情 等8]提出一种基于最小二乘约束协同表达分类方法 况下，根本无法进行似然估计。Candes和Tao于 (collaborative representation classification based on reg- 2007年提出了一种新的变量选择模型(Dantzig se- ularized least square,CRC-RLS)。作者深入分析了 lector,.DS)Is],DS模型不依赖于一个对残差特定的 协同表达在分类中的作用原理，指出SRC是协同表 似然估计，通过矩阵相关性和L。范数代替残差函数 达的一种特殊形式，并将其用于人脸识别，他们把测 特定分布的似然估计，并结合L,范数进行稀疏约 试样本看作是所有训练样本的协同表达结果，通过 束，使回归模型处理残差时更方便，适用性更强。本 协同表达系数进行分类。 文将Dantzig selector模型的变量选择方法用于人脸 1.2LASS0模型 识别。 Tibshiran!9]提出了最小绝对值收缩和选择算子 1 线性表示模型 least absolute shrinkage and selection operator,LAS- S0),可以看作是L,惩罚函数下的最小二乘估计， 首先介绍一个标准经典线性回归模型： LASSO的定义式为 Y=X邓+E 式中：Y=[y1为2…y.]'是一个n×1维的响 B=arg ming(Yl) 应向量，X=[x,x2…,]是一个n×p维的设 式中：.‖，表示L范数，a是一个大于零的调节参 计矩阵，x:,i=1,2,…,p是一个n×1维的列向量， 数。文献[4]中的SRC算法的核心在于利用了LASSO B=[B:B2·B。)T是一个p维的未知回归系 模型在训练样本字典中选择少量的样本来表示测样 数向量，￡是一个n维的误差向量，称之为残差，传 本。LASS0的模型没有解析解，它利用了L1范数约 统的线性回归方法可见文献6]。最简单的回归模 束方程，将回归模型的复杂求解转换成凸优化问题的 型是最小二乘(least square,LS),它的基本思想是求 线性规划来来求解。此外，研究者们提出了许多算 B,使得残差平方和达到最小，即 法，Yang等在文献[10]中对LASS0的几种快速有效 Bs=arg min,IY-Xg‖ 的求解方法进行了综述，该文献还指出对于鲁棒人脸 式中：‖.Iz表示矩阵的L2范数。Boyd在《Convex 识别，同伦算法[山相对于其他的方法在获得很好计 optimization》)]一书中指出，这种基于L,范数依赖于 算精度的同时所需的时间复杂度低，因此本文实验部 依赖于残差服从于Gauss分布一个极大似然估计。 分采用同伦算法来求解LASS0模型
试样本进行重构，根据重构误差进行分类识别。 基 于稀疏表示的人脸识别方法的关键是对稀疏表示系 数向量的求解，用稀疏向量中非零或权值较大的元 素在训练样本集中的对应的向量来表示测试样本， 从而根据表示误差来确定测试样本类别归属，识别 原理如图 １ 所示。 图 １ 稀疏表示人脸识别示意图（误差未知） Ｆｉｇ．１ Ｓｃｈｅｍａｔｉｃ ｄｉａｇｒａｍ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ （ ｕｎｋｎｏｗｎ ｒｅｓｉｄｕａｌ ） 这种在大量样本中选择一部分符合要求的少量 样本是统计学里的变量选择过程。 在大量的数据 中，可能只需要少量的数据，如何从大量的数据中选 择出少量有用的数据是变量选择的基本任务。 基于 线性表示的变量选择模型的误差是不可知的如图 １ 所示，ＳＲＣ 采用的是对一个线性回归模型及其残差 用 “残差函数＋似然估计”的稀疏约束方式，首先假 设残差服从一种特定的分布，然后再对其进行极大 似然估计，但这种对残差似然估计不能准确地反映 残差的真实情况，特别是在残差模型不可预知的情 况下，根本无法进行似然估计。 Ｃａｎｄｅｓ 和 Ｔａｏ 于 ２００７ 年提出了一种新的变量选择模型（Ｄａｎｔｚｉｇ ｓｅ⁃ ｌｅｃｔｏｒ，ＤＳ） ［ ５ ］ ，ＤＳ 模型不依赖于一个对残差特定的 似然估计，通过矩阵相关性和 Ｌ¥ 范数代替残差函数 特定分布的似然估计，并结合 Ｌ１ 范数进行稀疏约 束，使回归模型处理残差时更方便，适用性更强。 本 文将 Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ 模型的变量选择方法用于人脸 识别。 １ 线性表示模型 首先介绍一个标准经典线性回归模型： Ｙ ＝ Ｘβ ＋ ε 式中： Ｙ ＝ ［ｙ１ ｙ２ … ｙｎ ］ Ｔ 是一个 ｎ × １ 维的响 应向量， Ｘ ＝ ［ｘ１ ｘ２ … ｘｐ］ 是一个 ｎ × ｐ 维的设 计矩阵， ｘｉ，ｉ ＝ １，２，…，ｐ 是一个 ｎ × １ 维的列向量， β ＝ ［β１ β２ … βｐ） Ｔ 是一个 ｐ 维的未知回归系 数向量， ε 是一个 ｎ 维的误差向量，称之为残差，传 统的线性回归方法可见文献［ ６ ］ 。 最简单的回归模 型是最小二乘（ｌｅａｓｔ ｓｑｕａｒｅ，ＬＳ），它的基本思想是求 β ，使得残差平方和达到最小，即 β ＬＳ ＝ ａｒｇ ｍｉｎｂ‖Ｙ － Ｘβ‖２ ２ 式中： ‖．‖２ 表示矩阵的 Ｌ２范数。 Ｂｏｙｄ 在《Ｃｏｎｖｅｘ ｏｐｔｉｍｉｚａｔｉｏｎ》 ［７］一书中指出，这种基于 Ｌ２范数依赖于 依赖于残差服从于 Ｇａｕｓｓ 分布一个极大似然估计。 在此基础上，研究者采用“残差函数＋似然估计”的 思路，提出了 ２ 种新的约束模型：岭回归和 ＬＡＳＳＯ 模型。 １．１ 岭回归模型 岭回归（ ｒｉｄｇｅ ｒｅｇｒｅｓｓｉｏｎ）方法思想可以看成是 在最小二乘法的基础上对回归系数加以控制，定义 式为 β Ｒｉｄｇｅ ＝ ａｒｇ ｍｉｎβ‖Ｙ － Ｘβ‖２ ２ ＋ ａ‖β‖２ ２ ａ 是一个大于零的调节参数，基于该模型， Ｚｈａｎｇ 等[ 8 ]提出一种基于最小二乘约束协同表达分类方法 (ｃｏｌｌａｂｏｒａｔｉｖｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｒｅｇ⁃ ｕｌａｒｉｚｅｄ ｌｅａｓｔ ｓｑｕａｒｅ， ＣＲＣ－ＲＬＳ）。 作者深入分析了 协同表达在分类中的作用原理，指出 ＳＲＣ 是协同表 达的一种特殊形式，并将其用于人脸识别，他们把测 试样本看作是所有训练样本的协同表达结果，通过 协同表达系数进行分类。 １．２ ＬＡＳＳＯ 模型 Ｔｉｂｓｈｉｒａｎ ［ ９ ］提出了最小绝对值收缩和选择算子 （ｌｅａｓｔ ａｂｓｏｌｕｔｅ ｓｈｒｉｎｋａｇｅ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｏｐｅｒａｔｏｒ，ＬＡＳ⁃ ＳＯ），可以看作是 Ｌ１惩罚函数下的最小二乘估计， ＬＡＳＳＯ 的定义式为 β Ｌａｓｓｏ ＝ ａｒｇ ｍｉｎβ（ １ ２ ‖Ｙ － Ｘβ‖２ ２ ＋ ａ‖β‖１ ） 式中： ‖．‖１ 表示 Ｌ１范数， ａ 是一个大于零的调节参 数。 文献［ ４ ］中的 ＳＲＣ 算法的核心在于利用了 ＬＡＳＳＯ 模型在训练样本字典中选择少量的样本来表示测样 本。 ＬＡＳＳＯ 的模型没有解析解，它利用了 Ｌ１范数约 束方程，将回归模型的复杂求解转换成凸优化问题的 线性规划来来求解。 此外，研究者们提出了许多算 法，Ｙａｎｇ 等在文献［１０］中对 ＬＡＳＳＯ 的几种快速有效 的求解方法进行了综述，该文献还指出对于鲁棒人脸 识别，同伦算法［ １１ ］ 相对于其他的方法在获得很好计 算精度的同时所需的时间复杂度低，因此本文实验部 分采用同伦算法来求解 ＬＡＳＳＯ 模型。 ·２８６· 智 能 系 统 学 报 第 ９ 卷
第3期 刘训利，等：一种基于非残差估计线性表示模型的人脸识别 ·287. 1.3DS(Dantzig selector)模型 ‖X(B-Y)‖≤T (4) 以上对L,范数约束模型都依赖于残差服从于 ‖XX入I≤1 (5) Gauss分布一个极大似然估计，不同于以上基于最 对于任意一个给定的？可以得到原始-对偶解 小二乘的正则化约束的变量选择方法，Dantzig se- (B·,入·)必须要满足的4个优化条件： lector不依赖于一个特定的似然函数，定义如下： 1)X,(X邓·-Y)=T2u BDs =min IlBll 2)X,X”=-# subject to‖X'(Y-xXp)‖o≤T(I) 3)x(邓·-Y)|0是一个调节参数。 4)lxXλ·|0,PD-Pursuit算法 可以描述成如下等式： 利用DS模型原始和对偶目标函数的强对偶性，首 B:=T (Xr xr)+(xh Xr)xr Y(6) 先给出DS模型的对偶形式，对于任意一个经定的 入s=-(K。X)B (7) ?,推导出其原始解和对偶形式的解必须要满足的 在PD-pursuit中，在T减少至一个给定的值之 优化条件。最终通过改变r的值，可以建立起DS模 前，利用条件(K,-K)不断地同时更新原始和对偶 型的解。式(1)的对偶形式定义为 向量，沿着这个同伦路径，有一些引起原始、对偶向 max-（Tl入I,+〈入，XY)) 量的支撑集发生改变的？的临界值。因此，该算法 subject to ll X'Xλ‖e≤I (2) 的本质上是沿着这些临界值改变原始、对偶向量不 式中：入∈是一个对偶向量，对应于式(1)的原始 断更新的同伦路径变化的过程。PD-pursuit主要可 向量B,〈·〉表示向量内积，利用原始目标函数和 以分为2个部分：原始更新和对偶更新。在原始更 对偶目标函数的强对偶性，假设在任意次优化过程 新阶段，利用式(6)的原始可行性条件更新原始向 中，存在一对原始对偶解(B·,入·)，可以得到如下 量，在对偶更新阶段选用式(7)的对偶可行性条件 等式： 更新对偶向量，下面分别讨论2种更新。 IB°I1=-rI入°‖，-〈入°，XY) 1.4.2原始向量更新 又可以等价为 同伦算法的更新包括了方向和该方向上的路径 IB°，+T‖入°I,= 的更新，对于原始向量可以表示为：Bk+1=B:+ -(B°，XXλ)+（入°，X(x邓-Y)〉(3） δ邮，8>0。从0开始不断地增加δ的值，原始的约 由互补松弛条件可知：对于任意一对原始-对偶解， 束也会发生改变，这种变化可以分为2种情况：新的 对偶向量非零，相应的原始向量对应于式(1)同伦 元素进入集合「，所有的活动约束也会随着8的大 路径的支撑集。因此，式(1)、(2)的可行性条件为 小改变而收缩。根据式(6)所求得的B:,联合定义
１．３ ＤＳ（Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ）模型 以上对 Ｌ２范数约束模型都依赖于残差服从于 Ｇａｕｓｓ 分布一个极大似然估计，不同于以上基于最 小二乘的正则化约束的变量选择方法，Ｄａｎｔｚｉｇ ｓｅ⁃ ｌｅｃｔｏｒ 不依赖于一个特定的似然函数，定义如下： β ＤＳ ＝ ｍｉｎ‖β‖１ ｓｕｂｊｅｃｔ ｔｏ‖ Ｘ Ｔ （Ｙ － Ｘβ）‖¥ ≤ τ （１） 式中： ‖．‖¥ 表示 Ｌ¥ 范数， τ ＞ ０ 是一个调节参数。 约束的变量是残差相关向量 Ｘ Ｔ （Ｙ － Ｘβ） 而不是残 差向量 Ｙ － Ｘβ ，主要是基于以下方面考虑：相关残 差具有正交变换不变性，而残差没有这种性质，假设 Ｕ 是一个正交矩阵，则有 (ＵＸ) Ｔ （ＵＹ － ＵＸβ） ＝ Ｘ Ｔ （Ｙ － Ｘβ） 。 另一方面相关残差有助于选取与响 应向量 Ｙ 高度相关性的变量。 它的一个主要的优 点是不依赖于一个特定似然函数，使它的应用范围 更广阔些，更适应于样本量很大的情况。 式（１） 可 以转化成一个凸优化过程，并通过线性规划（Ｌｉｎｅａｒ ｐｒｏｇｒａｍｍｉｎｇ， ＬＰ ） ［１ ２ ］ 有 效 地 求 解， 但 是 对 一 个 ｎ × ｐ 线性系统，线性规划求解式（１）时间复杂度是 Ｏ（ｐ ３ ）。Ａｓｉｆ ［１ ３ ］ 提出一种了原始 － 对偶追踪算法 （Ｐｒｉｍａｌ Ｄｕａｌ Ｐｕｒｓｕｉｔ ， ＰＤ⁃Ｐｕｒｓｕｉｔ），其基本思路与 同伦算法相同，本文运用 ＰＤ⁃ Ｐｕｒｓｕｉｔ 算法求解 ＤＳ 模型。 １．４ ＤＳ 模型 １．４．１ ＤＳ 模型的对偶形式 ＤＳ 模型对一些给定的 τ ＞ ０，ＰＤ－Ｐｕｒｓｕｉｔ 算法 利用 ＤＳ 模型原始和对偶目标函数的强对偶性，首 先给出 ＤＳ 模型的对偶形式，对于任意一个经定的 τ ，推导出其原始解和对偶形式的解必须要满足的 优化条件。 最终通过改变 τ 的值，可以建立起 ＤＳ 模 型的解。 式（１）的对偶形式定义为 ｍａｘ － （τ‖λ‖１ ＋ 〈λ，Ｘ ＴＹ〉） ｓｕｂｊｅｃｔ ｔｏ‖ Ｘ ＴＸλ‖¥ ≤ １ （２） 式中： λ ∈ Ｒ ｐ 是一个对偶向量，对应于式（１）的原始 向量 β ， 〈·〉 表示向量内积，利用原始目标函数和 对偶目标函数的强对偶性，假设在任意次优化过程 中，存在一对原始对偶解 （β ∗ ，λ ∗ ） ，可以得到如下 等式： ‖β ∗‖１ ＝ － τ‖λ ∗‖１ － 〈λ ∗ ，Ｘ ＴＹ〉 又可以等价为 ‖β ∗‖１ ＋ τ‖λ ∗‖１ ＝ － 〈β ∗ ，Ｘ ＴＸλ ∗ 〉 ＋ 〈λ ∗ ，Ｘ Ｔ （Ｘβ ∗ － Ｙ）〉 （３） 由互补松弛条件可知：对于任意一对原始－对偶解， 对偶向量非零，相应的原始向量对应于式（１） 同伦 路径的支撑集。 因此，式（１）、（２）的可行性条件为 ‖ Ｘ Ｔ （Ｘβ － Ｙ）‖¥ ≤ τ （４） ‖ Ｘ ＴＸλ‖¥ ≤ １ （５） 对于任意一个给定的 τ 可以得到原始－对偶解 （β ∗ ，λ ∗ ） 必须要满足的 ４ 个优化条件： １） Ｘ Ｔ Γ λ （Ｘβ ∗ － Ｙ） ＝ τｚλ ２） Ｘ Ｔ Γ λ Ｘλ ∗ ＝ － ｚβ ３） ｘ Ｔ γ（Ｘβ ∗ － Ｙ） ＜ τγ ∈ Γλ ４） ｘ Ｔ γＸλ ∗ ＜ １γ ∈ Γβ Γβ 、Γλ 分别是 β ∗ 、λ ∗ 的支撑集， ｚβ 、ｚλ 分别是 β ∗ 、λ ∗ 在各自支撑集下的符号，其值为 ± １ 或 ０， ｘ 表示活动集下对应的 Ｘ 子集，在任意给定 τ 值，一 对原始－对偶解 （β ∗ ，λ ∗ ） 在它的支撑集和符号序 列下，１） ～４）是该解惟一的充分必要条件。 因此求 式（１）可以转化为求满足 １） ～４）一对原始－对偶解。 同伦算法是沿着一些变化了的同伦参数不断优 化解的路径的过程，首先假设一个初始化的解，通过 改变同伦参数实现迭代来达到所期望的解。 在 ＰＤ⁃ Ｐｕｒｓｕｉｔ 中，把 τ 看作是一个同伦参数，假设 ｋ ∈ ｛１， ２，…｝ 表示同伦迭代过程的索引号，第 ｋ 次迭代时 τ 的值为 τｋ ，对应于一对原始对偶解 （βｋ，λｋ） ， ＰＤ⁃ Ｐｕｒｓｕｉｔ 可以看作是随着参数 τ 的变化，不断减少 τ 到第 ｋ 次迭代时减少到一个初始给定的值，沿着第 ｋ 次迭代的一组解 （βｋ，λｋ） 到最终解 （β ∗ ，λ ∗ ） 所 经过的路径。 从条件（Ｋ１ ～ Ｋ４）不难得出，对于第 ｋ 次迭代， （Γλ ，Γβ ，ｚλ ，ｚβ ） 共同确定式（１）模型的解， 可以描述成如下等式： βｋ ＝ τｋ （Ｘ Ｔ Γλ ＸΓ β ） －１ ｚλ ＋ （Ｘ Ｔ Γλ ＸΓ β ） －１ Ｘ Ｔ Γλ Ｙ（６） λｋ ＝ － （Ｘ Ｔ Γ β ＸΓλ ） －１ ｚβ （７） 在 ＰＤ⁃ｐｕｒｓｕｉｔ 中，在 τ 减少至一个给定的值之 前，利用条件（Ｋ１ －Ｋ４ ）不断地同时更新原始和对偶 向量，沿着这个同伦路径，有一些引起原始、对偶向 量的支撑集发生改变的 τ 的临界值。 因此，该算法 的本质上是沿着这些临界值改变原始、对偶向量不 断更新的同伦路径变化的过程。 ＰＤ⁃ｐｕｒｓｕｉｔ 主要可 以分为 ２ 个部分：原始更新和对偶更新。 在原始更 新阶段，利用式（６）的原始可行性条件更新原始向 量，在对偶更新阶段选用式（７）的对偶可行性条件 更新对偶向量，下面分别讨论 ２ 种更新。 １．４．２ 原始向量更新 同伦算法的更新包括了方向和该方向上的路径 的更新，对于原始向量可以表示为： βｋ＋１ ＝ βｋ ＋ δ∂β，δ ＞ ０。 从 ０ 开始不断地增加d的值，原始的约 束也会发生改变，这种变化可以分为 ２ 种情况：新的 元素进入集合 Γλ 所有的活动约束也会随着 δ 的大 小改变而收缩。 根据式（６）所求得的 βｋ ，联合定义 第 ３ 期 刘训利，等：一种基于非残差估计线性表示模型的人脸识别 ·２８７·
·288· 智能系统学报 第9卷 式(8)求解6。 活动约束的符号。 |x(x邓41-Y)|≤Ts1HyeT 综上所述，可以得到PD-Pursuit算法的伪代码 x(Xβ-Y)+8xXaB|≤Tk-δHy∈T 如下： PL(y) d() 原始-对偶算法： δ*=min Te -Pi(i)T+p(i') 给定一个迭代停止条件？，当k=1时，初始化： *er（1+d4(i)’1-d(i) Bg=0,入k=0,Tg=[],Ta=[],g=[],aa= []:T=xYIL; -B(i) -=min ,δ=min(8*,6) repeat: rera（B(i) k←k+1原始更新： (8) 根据式(8)、(10)计算P4、d、δ、p 式中：min(.),表示只接收正数并取最小的一个。其 B+1=Bg+δ那，Tk+1=Tk-8; 中i,分别表示88所对应的索引号。如果 Ifδ=8then δ*0,根据式(7)求得的入联合定义式(9)可以求0。 Else |xTX入+1l≤1Hv∈TB T,=T.U{*}把存入T但不更新T,; |xTXA:+BxTX8A≤1Hv∈TB a=sign[X,(X邓+1-Y)]; a(w） (p) y=i'; 1-a()1+a() (9) 之y=2(Y）; 0*=min °er（b(j产) '1-b() End if 对偶更新： -B.) 0=min ,0=min(0,8-) .rβ(U)J 根据式(9)、(11)计算a入、ak、b: If 6=5-&sign [a(i)]=sign [b(i)then 式中广广分别表示*、0所对应的索引号。如果 a入←--a入； 0*<0,新的索引号进入索引集T。,否则j留 bg←-bk; 在T相应的符号z更新。 End if 1.4.4方向更新 根据式(9)计算0 假设在一个参数τ：下可以得到一对原始对偶 入k+1=入k+60入； 解(B,入)，其支撑集和符号用(T,Tg,之，g) If =0 then 来表示。根据(K,~K,)的优化条件可以推导出原始 T←Ty将索引广从T中移去更新Ta: 向量和对偶向量的方向更新。对原始向量β：，在 更新2； B方向上使得r减少最大。利用(K)可以得到B Else 的更新方向邮： TB←TgU}把j存入Tg并更新IB; ∫-(xX)a,在集合TB上 那= (10) g=sign[XX入41]： 0,其他 End if 对于对偶向量的更新方向入，首先假设在原 直到Tk+1≤T停止迭代。 始更新阶段一个新的索引入进入集合T,利用原 上述算法的主要的时间复杂度来自于更新方向 始更新的附加条件和条件(K2),可以得到入：的更 Ta、TB以及入、邱和沿该方向的更新路径长度δ、 新aA: 日。每一步计算中都要计算一个方阵。X和它 -,(XX)-1X。,在集合上 的逆矩阵。因为该算法是每一次在原集合添加或移 a入= ,y更新 去一个元素，因此每一次计算的时候都不需要整个 0,其他 线性系统都计算。对于一个维数为n×p的矩阵 (11) X,假设第k步支撑集的长度是S,S:≤p,每一次 式中：x,表示集合X的第y列，，表示第y个原始 计算复杂度为O(S+Sn),对于X。Xr的求逆
式（８）求解 δ 。 ｘ Ｔ γ（Ｘβｋ＋１ － Ｙ） ≤ τｋ＋１∀γ ∈ Γλ ｘ Ｔ γ（Ｘβｋ － Ｙ） þ ï ï ý ï ï ü ｐｋ （γ） ＋ δ ｘ Ｔ}γＸ∂β ｄｋ （γ） ≤ τｋ － δ∀γ ∈ Γλ δ ＋ ＝ ｍｉｎ ｉ ＋∈Γλ τｋ － ｐｋ（ｉ ＋ ） １ ＋ ｄｋ（ｉ ＋ ） ， τｋ ＋ ｐｋ（ｉ ＋ ） １ － ｄｋ（ｉ ＋ ） æ è ç ö ø ÷ ＋ δ － ＝ ｍｉｎ ｉ －∈Γλ － βｋ（ｉ － ） ∂β（ｉ － ） æ è ç ö ø ÷ ＋ ，δ ＝ ｍｉｎ（δ ＋ ，δ － ） （８） 式中： ｍｉｎ（．） ＋ 表示只接收正数并取最小的一个。 其 中 ｉ ＋ 、ｉ － 分别表示 δ ＋ 、δ － 所对应的索引号。 如果 δ ＋ ＜ δ － ，新的索引号 ｉ ＋ 进入索引集 Γλ ，否则 ｉ － 留在 Γβ 相应的符号 ｚβ 更新，同伦参数变成 τｋ＋１ ＝ τｋ － δ 。 １．４．３ 对偶向量更新 同理对于对偶向量，可以假设 λｋ＋１ ＝ λｋ ＋ θ∂λ， θ ＞ ０， 根据式（７）求得的 λｋ 联合定义式（９）可以求 θ 。 ｘ Ｔ νＸλｋ＋１ ≤ １∀ν ∈ Γβ ｘ Ｔ}νＸλｋ ａｋ （ν） ＋ θ ｘ Ｔ}νＸ∂λ ｂｋ （ν） ≤ １∀ν ∈ Γβ θ ＋ ＝ ｍｉｎ ｊ ＋∈Γλ １ － ａｋ（ｊ ＋ ） ｂｋ（ｊ ＋ ） ， １ ＋ ａｋ（ｊ ＋ ） １ － ｂｋ（ｊ ＋ ） æ è ç ö ø ÷ ＋ θ － ＝ ｍｉｎ ｊ －∈Γλ － βｋ（ｊ － ） ∂β（ｊ － ） æ è ç ö ø ÷ ＋ ，θ ＝ ｍｉｎ（θ ＋ ，θ － ） （９） 式中 ｊ ＋ 、ｊ － 分别表示 θ ＋ 、θ － 所对应的索引号。 如果 θ ＋ ＜ θ － ，新的索引号 ｊ ＋ 进入索引集 Γβ ，否则 ｊ － 留 在 Γλ 相应的符号 ｚλ 更新。 １．４．４ 方向更新 假设在一个参数 τｋ 下可以得到一对原始对偶 解 （βｋ，λｋ） ， 其支撑集和符号用 （Γλ ，Γβ ，ｚλ ，ｚβ ） 来表示。 根据（Ｋ１ ～ Ｋ４ ）的优化条件可以推导出原始 向量和对偶向量的方向更新。 对原始向量 βｋ ，在 ∂β 方向上使得 τｋ 减少最大。 利用（Ｋ１ ）可以得到 βｋ 的更新方向 ∂β ： ∂β ＝ － （Ｘ Ｔ Γλ ＸΓβ ） －１ ｚλ ，在集合 Γβ 上 ０，其他 { （１０） 对于对偶向量的更新方向 ∂λ ，首先假设在原 始更新阶段一个新的索引 λ 进入集合 Γλ ，利用原 始更新的附加条件和条件（Ｋ２ ），可以得到 λｋ 的更 新 ∂λ ： ∂λ ＝ － ｚγ（Ｘ Ｔ Γβ ＸΓλ ） － １ Ｘ Ｔ Γ β ｘγ ，在集合 Γλ 上 ｚγ ，γ 更新 ０，其他 ì î í ï ï ï ï （１１） 式中： ｘγ 表示集合 Ｘ 的第 γ 列， ｚγ 表示第 γ 个原始 活动约束的符号。 综上所述，可以得到 ＰＤ⁃Ｐｕｒｓｕｉｔ 算法的伪代码 如下： 原始－对偶算法： 给定一个迭代停止条件 τ ，当 ｋ ＝ １ 时，初始化： βｋ ＝ ０，λｋ ＝ ０，Γβ ＝ ［］，Γλ ＝ ［］，ｚβ ＝ ［］，ｚλ ＝ ［］； τｋ ＝ Ｘ ＴＹ ¥ ； ｒｅｐｅａｔ： ｋ ← ｋ ＋ １ 原始更新： 根据式 （８）、（１０） 计算 ｐｋ、ｄｋ、δ、∂β βｋ＋１ ＝ βｋ ＋ δ∂β，τｋ＋１ ＝ τｋ － δ ； Ｉｆ δ ＝ δ － ｔｈｅｎ Γβ ← Γβ ＼ｉ － 将 ｉ － 从 Γβ 中移去并更新 Γβ ； Γλ ← Γλ ＼γ 选择一个索引号 γ 并从 Γλ 移出； ｚγ ＝ｚλ（γ） ； 更新 ｚλ 、ｚβ ； Ｅｌｓｅ Γλ ＝ Γλ ∪ ｛ｉ ＋ ｝ 把 ｉ ＋ 存入 Γλ 但不更新 Γλ ； ｚλ ＝ ｓｉｇｎ［Ｘ Ｔ Γλ （Ｘβｋ＋１ － Ｙ）］ ； γ ＝ ｉ ＋ ； ｚγ ＝ ｚλ（γ） ； Ｅｎｄ ｉｆ 对偶更新： 根据式（９）、（１１） 计算 ∂λ、ａｋ、ｂｋ Ｉｆ δ ＝ δ － ＆ ｓｉｇｎ ａｋ（ｉ － [ ） ] ＝ ｓｉｇｎ ｂｋ（ｉ － [ ） ] ｔｈｅｎ ∂λ ←－ ∂λ ； ｂｋ ←－ ｂｋ ； Ｅｎｄ ｉｆ 根据式 （９）计算 θ λｋ＋１ ＝ λｋ ＋ δ∂λ ； Ｉｆ θ ＝ θ － ｔｈｅｎ Γλ ← Γλ ＼ｊ － 将索引 ｊ － 从 Γλ 中移去更新 Γλ ； 更新 ｚλ ； Ｅｌｓｅ Γβ ← Γβ ∪ ｛ｊ ＋ ｝ 把 ｊ ＋ 存入 Γβ 并更新 Γβ ； ｚβ ＝ ｓｉｇｎ［Ｘ Ｔ Γ β Ｘλｋ＋１ ］ ； Ｅｎｄ ｉｆ 直到 τｋ＋１ ≤ τ 停止迭代。 上述算法的主要的时间复杂度来自于更新方向 Γλ 、Γβ 以及 ∂λ、∂β 和沿该方向的更新路径长度 δ、 θ 。 每一步计算中都要计算一个方阵 Ｘ Ｔ Γ β ＸΓλ 和它 的逆矩阵。 因为该算法是每一次在原集合添加或移 去一个元素，因此每一次计算的时候都不需要整个 线性系统都计算。 对于一个维数为 ｎ × ｐ 的矩阵 Ｘ ，假设第 ｋ 步支撑集的长度是 Ｓｋ，Ｓｋ ≪ ｐ ，每一次 计算复杂度为 Ｏ（Ｓ ３ ｋ ＋ Ｓ ３ ｋｎ） ，对于 Ｘ Ｔ Γ β ＸΓλ 的求逆， ·２８８· 智 能 系 统 学 报 第 ９ 卷
第3期 刘训利，等：一种基于非残差估计线性表示模型的人脸识别 ·289· 由矩阵求逆的原理可知每一次计算的复杂度为 CRC-RLS采用作者公布代码(http://www4.comp. O(S,m)。对于路径更新长度来说每一次的计算时 polyu.edu.hk/~cslzhang/code/)。实验中，SRC算法 间复杂度为O(p)。综上分析，每一步的计算只是 中Lasso模型参数选取a=1E-3,PD-Pursuit算法 一些矩阵和向量的乘法运算，通常对一个线性系统 迭代停止条件选取？=E-5。 而言，每一个矩阵和向量的长度是一样的，因此，每 一步的时间复杂度都是一样的，假设共进行了d次 同伦迭代，上述算法的总的时间复杂度为O(dp), 远小于LP的时间复杂度O(p3)。 图2 Extended Yale B人脸库图像 2基于模型的人脸识别算法 Fig.2 Face image of Extended Yale B face database 假设x∈mx1表示一个训练样本，第i类共p: 实验结果如表1所示，从表中可以得到如下结 个训练样本X,=[x1名2…x]∈R,有k类 论：在各种给定的特征维数下，DS-SRC的识别率均 高于SRC;基于稀疏表示框架的识别方法相对于最 共有P样本，X=[X,X2…X,]∈R9称为训 练字典，测试样本Y∈Rx1。采用文献[5]相同的稀 近邻分类的方法优势明显。该库的人脸图像包含的 光照变化较多，因此，本文采用的人脸识别模型对光 疏分类策略，可以得到基于DS模型人脸识别分类 照具有很好的鲁棒性。 Dantzig selector based sparse representation 表1人脸库的实验结果 classification,DS-SRC)的实现步骤如下： Table 1 Extended Yale B face database 1)归一化X的每一列和Y: 维数 NN SRC CRC-RLS DS-SRC 2)利用PD-Pursuit算法求解式(5)的稀疏解B; 3)计算每一类训练样本上的重构误差： 30 0.6454 0.8815 0.7337 0.8832 e:(Y)=‖Y-XB,‖2 54 0.8034 0.9299 0.8723 0.9316 4)根据重构误差判断测试样本的类别： 120 0.8636 0.9641 0.9541 0.9674 Class(Y)=argmin,s(Y) 300 0.9030 0.9683 0.9641 0.9774 3 实验结果及分析 504 0.9092 0.9666 0.9775 0.9866 为了验证本文中基于DS模型的人脸识别算法 3.2AR人脸库上的实验 的性能，本文在常用的Extend Yale B人脸库[14]和 AR人脸库包含了126个不同个体，每个不同个 AR人脸库1s]进行实验。所有实验均在主频 体采集了26张正面人脸图像分辨率为165×120，人 2.10GHz,内存为4GB的Acer笔记本上完成，用 脸图像在不同的光照条件，表情变化，以及脸部遮 MATLAB实现。 挡，墨镜等面部伪装的情况下采集，部分样本如图3 3.1 Extend Yale B人脸库的实验 所示。实验中每张图像经过归一化处理为60×43 Extended Yale B人脸库由38个不同的个体共 的统一分辨率。 2414张正面人脸图像组成。这些图像是在不同的 光照条件下采集的，图2是该库的人脸图像。样本 的原始大小为192×168，实验中，所有的图像进行剪 裁和归一化到64×56的统一分辨率。与文献[4]的 实验方案一样，本文实验中也对每个不同的个体随 图3AR人脸库图像 机选取一半的人脸作为训练样本，剩下的样本作为 Fig.3 Face image of AR face database 测试样本。所有样本按列连接成一个列向量大小为 AR人脸库较之于Extend Yale B人脸库难度增 3584维，构成了一个3584×1207维的训练字典， 加了，除了光照变化外，还有表情的变化，此外，每一 对于这样一个高维度的矩阵而言，计算量非常大，因 类的训练样本量减少的同时类别数却增加。实验中 此，实验采用文献[16]将样本的维数（每一列的维 选取它达到一个子集，子集中包含了100个个体，其 数)分别降至30维、54维、120维、300维和504维 中男女各个50人共1400张人脸图像，随机选取其 的情况下，与目前传统的最近邻分类器(nearest 中7张作为训练集，其他作为测试样本。所有样本 neighbor,.NN)u]基于Lasso模型稀疏表示的人脸 按列连接成一个列向量大小为2580维，构成的训 识别算法SRC41以及CRC-RLS[8]进行对比，其中 练字典大小为2580×700维，与上一个实验一样，同 样进行PCA降维至30维、54维、120维、300维和
由矩阵求逆的原理可知每一次计算的复杂度为 Ｏ（Ｓｋｍ） 。 对于路径更新长度来说每一次的计算时 间复杂度为 Ｏ（ｎｐ） 。 综上分析，每一步的计算只是 一些矩阵和向量的乘法运算，通常对一个线性系统 而言，每一个矩阵和向量的长度是一样的，因此，每 一步的时间复杂度都是一样的，假设共进行了 ｄ 次 同伦迭代，上述算法的总的时间复杂度为 Ｏ（ｄｎｐ） ， 远小于 ＬＰ 的时间复杂度 Ｏ（ｐ３） 。 ２ 基于模型的人脸识别算法 假设 ｘ ∈ Ｒ ｎ×１ 表示一个训练样本，第 ｉ 类共 ｐｉ 个训练样本 Ｘｉ ＝ ［ｘ１ ｘ２ … ｘｐｉ ］ ∈Ｒ ｎ×ｐｉ ，有 ｋ 类 共有 ｐ 样本， Ｘ ＝ ［Ｘ１ Ｘ２ … Ｘｐ］ ∈ Ｒ ｎ×ｐ 称为训 练字典，测试样本 Ｙ ∈ Ｒ ｎ×１ 。 采用文献［５］ 相同的稀 疏分类策略，可以得到基于 ＤＳ 模型人脸识别分类 算法 （ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ ｂａｓｅｄ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ， ＤＳ⁃ＳＲＣ）的实现步骤如下： １）归一化 Ｘ 的每一列和 Ｙ ； ２）利用 ＰＤ⁃Ｐｕｒｓｕｉｔ 算法求解式（５）的稀疏解 β ； ３）计算每一类训练样本上的重构误差： εｉ (Ｙ) ＝ ‖Ｙ － Ｘｉβｉ‖２ ４）根据重构误差判断测试样本的类别： Ｃｌａｓｓ（Ｙ） ＝ ａｒｇｍｉｎｉεｉ（Ｙ） ３ 实验结果及分析 为了验证本文中基于 ＤＳ 模型的人脸识别算法 的性能，本文在常用的 Ｅｘｔｅｎｄ Ｙａｌｅ Ｂ 人脸库［１ ４ ］ 和 ＡＲ 人 脸 库［１ ５ ］ 进 行 实 验。 所 有 实 验 均 在 主 频 ２．１０ ＧＨｚ，内存为 ４ ＧＢ 的 Ａｃｅｒ 笔记本上完成，用 ＭＡＴＬＡＢ 实现。 ３．１ Ｅｘｔｅｎｄ Ｙａｌｅ Ｂ 人脸库的实验 Ｅｘｔｅｎｄｅｄ Ｙａｌｅ Ｂ 人脸库由 ３８ 个不同的个体共 ２ ４１４张正面人脸图像组成。 这些图像是在不同的 光照条件下采集的，图 ２ 是该库的人脸图像。 样本 的原始大小为 １９２×１６８，实验中，所有的图像进行剪 裁和归一化到 ６４×５６ 的统一分辨率。 与文献［４］的 实验方案一样，本文实验中也对每个不同的个体随 机选取一半的人脸作为训练样本，剩下的样本作为 测试样本。 所有样本按列连接成一个列向量大小为 ３ ５８４ 维，构成了一个 ３ ５８４ ´１ ２０７ 维的训练字典， 对于这样一个高维度的矩阵而言，计算量非常大，因 此，实验采用文献［１６］将样本的维数（每一列的维 数）分别降至 ３０ 维、５４ 维、１２０ 维、３００ 维和 ５０４ 维 的情况下， 与目前传统的最近邻分类器 （ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ， ＮＮ） ［１ ７ ］基于 Ｌａｓｓｏ 模型稀疏表示的人脸 识别算法 ＳＲＣ ［ ４ ］ 以及 ＣＲＣ⁃ＲＬＳ ［ ８ ］ 进行对比，其中 ＣＲＣ⁃ＲＬＳ 采用作者公布代码 （ ｈｔｔｐ： ／ ／ ｗｗｗ４． ｃｏｍｐ． ｐｏｌｙｕ．ｅｄｕ．ｈｋ ／ ～ ｃｓｌｚｈａｎｇ ／ ｃｏｄｅ ／ ）。 实验中，ＳＲＣ 算法 中 Ｌａｓｓｏ 模型参数选取 α ＝ １Ｅ－３， ＰＤ⁃Ｐｕｒｓｕｉｔ 算法 迭代停止条件选取 τ ＝ ｌＥ－５。 图 ２ Ｅｘｔｅｎｄｅｄ Ｙａｌｅ Ｂ 人脸库图像 Ｆｉｇ．２ Ｆａｃｅ ｉｍａｇｅ ｏｆ Ｅｘｔｅｎｄｅｄ Ｙａｌｅ Ｂ ｆａｃｅ ｄａｔａｂａｓｅ 实验结果如表 １ 所示，从表中可以得到如下结 论：在各种给定的特征维数下，ＤＳ⁃ＳＲＣ 的识别率均 高于 ＳＲＣ；基于稀疏表示框架的识别方法相对于最 近邻分类的方法优势明显。 该库的人脸图像包含的 光照变化较多，因此，本文采用的人脸识别模型对光 照具有很好的鲁棒性。 表 １ 人脸库的实验结果 Ｔａｂｌｅ １ Ｅｘｔｅｎｄｅｄ Ｙａｌｅ Ｂ ｆａｃｅ ｄａｔａｂａｓｅ 维数 ＮＮ ＳＲＣ ＣＲＣ⁃ＲＬＳ ＤＳ⁃ＳＲＣ ３０ ０．６４５ ４ ０．８８１ ５ ０．７３３ ７ ０．８８３ ２ ５４ ０．８０３ ４ ０．９２９ ９ ０．８７２ ３ ０．９３１ ６ １２０ ０．８６３ ６ ０．９６４ １ ０．９５４ １ ０．９６７ ４ ３００ ０．９０３ ０ ０．９６８ ３ ０．９６４ １ ０．９７７ ４ ５０４ ０．９０９ ２ ０．９６６ ６ ０．９７７ ５ ０．９８６ ６ ３．２ ＡＲ 人脸库上的实验 ＡＲ 人脸库包含了 １２６ 个不同个体，每个不同个 体采集了 ２６ 张正面人脸图像分辨率为 １６５×１２０，人 脸图像在不同的光照条件，表情变化，以及脸部遮 挡，墨镜等面部伪装的情况下采集，部分样本如图 ３ 所示。 实验中每张图像经过归一化处理为 ６０ × ４３ 的统一分辨率。 图 ３ ＡＲ 人脸库图像 Ｆｉｇ．３ Ｆａｃｅ ｉｍａｇｅ ｏｆ ＡＲ ｆａｃｅ ｄａｔａｂａｓｅ ＡＲ 人脸库较之于 Ｅｘｔｅｎｄ Ｙａｌｅ Ｂ 人脸库难度增 加了，除了光照变化外，还有表情的变化，此外，每一 类的训练样本量减少的同时类别数却增加。 实验中 选取它达到一个子集，子集中包含了 １００ 个个体，其 中男女各个 ５０ 人共 １ ４００ 张人脸图像，随机选取其 中 ７ 张作为训练集，其他作为测试样本。 所有样本 按列连接成一个列向量大小为 ２ ５８０ 维，构成的训 练字典大小为 ２ ５８０×７００ 维，与上一个实验一样，同 样进行 ＰＣＡ 降维至 ３０ 维、５４ 维、１２０ 维、３００ 维和 第 ３ 期 刘训利，等：一种基于非残差估计线性表示模型的人脸识别 ·２８９·
.290， 智能系统学报 第9卷 504维，参数和上一个实验设定一样，进行几种方法 的识别率比较。实验结果如表2。可以看出，本文 方法在各种维数下比SRC识别效果要好，本文模型 对表情变化也具有很好的鲁棒性。 表2人脸库的实验结果 Table 2 Extended Yale B face database 维数 NN SRC CRC-RLS DS-SRC 图7噪声污染图像，依次为10%-90%噪声比例 30 0.6205 0.7282 0.6438 0.7382 Fig.7 Noise image,successively noised 10%~90% 54 0.6777 0.8169 0.8026 0.8212 所有的样本都归一化到分辨率为64×56，所有 120 0.7034 0.8913 0.9041 0.9070 的样本按列连接成一个列向量大小为3582维，构 300 0.7131 0.9056 0.9255 0.9285 成的训练字典大小为3582×719。在这2个实验中， 504 0.7230 0.9099 0.9216 0.9227 本文提出的方法只与文献[4]的方法进行对比，这 3.3图像遮挡和噪声的鲁棒性实验 是因为文献[4]的实验结果表明NN和CRC-RLS对 基于稀疏表示的人脸识别方法重要的特点是对噪 噪声和遮挡的鲁棒性明显不强。相关参数设置与上 声和遮挡鲁棒性，遮挡和噪声的线性表示模型如图4、5 2个实验一样，不同的是，为了不改变所加遮挡和噪 所示。图4和5中，子图(a)表示受到噪声千扰或遮挡 声的真实特性，这里不对图像进行降维处理，直接对 影响的图像，子图(b)表示假设理想线性表示图像，子 大小为3582×719维的训练字典运用DS-SRC算法 图(c)表示未知分布的表示残差。在文献4中，作者在 求解，SRC算法采用文献[4]的实验方法。从图8、 原来训练字典中引入一个单位矩阵来实现对噪声的编 9可以看出，本文方法在对噪声和遮挡具有较强鲁 码，而本文则直接采用DS模型，不进行特殊编码。选 棒性。 取Extended Yale B人脸库的子集1和子集2共719张 DS模型利用了测试样本矩阵和线性表示残差 正面人脸图像作为训练样本集，子集3的455张正面人 的内积来表示同一个个体的训练样本之间的相关性 脸图像作为测试集。对于遮挡实验，用一张不相关的 进行约束。这种变量选择机制避免了基于最小二乘 图像去遮挡对每一个训练样本，遮挡位置不确定，遮挡 估计的特定的似然函数的假设。只关心测试样本和 图像占整个图像的比例从10%~50%，如图6所示。在 训练样本库中的相关性，而通常不管是在实验中还 噪声鲁棒性实验中，对每一个训练样本分别添加10%~ 在实际应用中，训练样本都是经过严格预处理，因此 90%的分布未知随机噪声，如图7所示。 不需要对残差进行类似于添加一个抗遮挡的噪声编 码，本文的方法在取得了比SRC加入噪声编码后更 好的实验结果，说明本文所采用模型适应性更强。 1.0 0.9 (a (b) (c) 郎08 XB 虽0.71 图4遮挡线性表示示意图（误差未知） Fig.4 Schematic diagram of linear representation for 0.5 ★-SRC ◆-DS-SRC Occlusion unknown residual 0.4 10 203040 50 遮挡比例/% 图8遮挡鲁棒性实验结果 Fig.8 Experiment Results of robust for occlusion (a) (b) (c)】 XB 0.8 图5噪声线性表示示意图（误差未知） 0.6 Fig.5 Schematic diagram of linear representation for g0.4★SRC corruption unknown residual ---DS-SRC 0.2 0102030405060708090 遮挡比例/% 图9噪声鲁棒性实验结果 图6遮挡图像，依次为10%~50%遮挡比例 Fig.9 Experiment results of robust for noise Fig.6 Occlusion image,successively occluded 10%~50%
５０４ 维，参数和上一个实验设定一样，进行几种方法 的识别率比较。 实验结果如表 ２。 可以看出，本文 方法在各种维数下比 ＳＲＣ 识别效果要好，本文模型 对表情变化也具有很好的鲁棒性。 表 ２ 人脸库的实验结果 Ｔａｂｌｅ ２ Ｅｘｔｅｎｄｅｄ Ｙａｌｅ Ｂ ｆａｃｅ ｄａｔａｂａｓｅ 维数 ＮＮ ＳＲＣ ＣＲＣ⁃ＲＬＳ ＤＳ⁃ＳＲＣ ３０ ０．６２０５ ０．７２８２ ０．６４３８ ０．７３８２ ５４ ０．６７７７ ０．８１６９ ０．８０２６ ０．８２１２ １２０ ０．７０３４ ０．８９１３ ０．９０４１ ０．９０７０ ３００ ０．７１３１ ０．９０５６ ０．９２５５ ０．９２８５ ５０４ ０．７２３０ ０．９０９９ ０．９２１６ ０．９２２７ ３．３ 图像遮挡和噪声的鲁棒性实验 基于稀疏表示的人脸识别方法重要的特点是对噪 声和遮挡鲁棒性，遮挡和噪声的线性表示模型如图 ４、５ 所示。 图 ４ 和 ５ 中，子图（ａ）表示受到噪声干扰或遮挡 影响的图像，子图（ｂ）表示假设理想线性表示图像，子 图（ｃ）表示未知分布的表示残差。 在文献 ４ 中，作者在 原来训练字典中引入一个单位矩阵来实现对噪声的编 码，而本文则直接采用 ＤＳ 模型，不进行特殊编码。 选 取 Ｅｘｔｅｎｄｅｄ Ｙａｌｅ Ｂ 人脸库的子集 １ 和子集 ２ 共 ７１９ 张 正面人脸图像作为训练样本集，子集３ 的４５５ 张正面人 脸图像作为测试集。 对于遮挡实验，用一张不相关的 图像去遮挡对每一个训练样本，遮挡位置不确定，遮挡 图像占整个图像的比例从 １０％～５０％，如图 ６ 所示。 在 噪声鲁棒性实验中，对每一个训练样本分别添加 １０％～ ９０％的分布未知随机噪声，如图 ７ 所示。 图 ４ 遮挡线性表示示意图（误差未知） Ｆｉｇ．４ Ｓｃｈｅｍａｔｉｃ ｄｉａｇｒａｍ ｏｆ ｌｉｎｅａｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｏｃｃｌｕｓｉｏｎ （ ｕｎｋｎｏｗｎ ｒｅｓｉｄｕａｌ ） 图 ５ 噪声线性表示示意图（误差未知） Ｆｉｇ．５ Ｓｃｈｅｍａｔｉｃ ｄｉａｇｒａｍ ｏｆ ｌｉｎｅａｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｃｏｒｒｕｐｔｉｏｎ （ ｕｎｋｎｏｗｎ ｒｅｓｉｄｕａｌ ） 图 ６ 遮挡图像，依次为 １０％ ～ ５０％遮挡比例 Ｆｉｇ．６ Ｏｃｃｌｕｓｉｏｎ ｉｍａｇｅ， ｓｕｃｃｅｓｓｉｖｅｌｙ ｏｃｃｌｕｄｅｄ １０％～ ５０％ 图 ７ 噪声污染图像，依次为 １０％ ～ ９０％噪声比例 Ｆｉｇ．７ Ｎｏｉｓｅ ｉｍａｇｅ， ｓｕｃｃｅｓｓｉｖｅｌｙ ｎｏｉｓｅｄ １０％～ ９０％ 所有的样本都归一化到分辨率为 ６４×５６，所有 的样本按列连接成一个列向量大小为 ３ ５８２ 维，构 成的训练字典大小为 ３ ５８２×７１９。 在这 ２ 个实验中， 本文提出的方法只与文献［ ４］的方法进行对比，这 是因为文献［４］的实验结果表明 ＮＮ 和 ＣＲＣ⁃ＲＬＳ 对 噪声和遮挡的鲁棒性明显不强。 相关参数设置与上 ２ 个实验一样，不同的是，为了不改变所加遮挡和噪 声的真实特性，这里不对图像进行降维处理，直接对 大小为 ３ ５８２×７１９ 维的训练字典运用 ＤＳ⁃ＳＲＣ 算法 求解， ＳＲＣ 算法采用文献［４］的实验方法。 从图 ８、 ９ 可以看出，本文方法在对噪声和遮挡具有较强鲁 棒性。 ＤＳ 模型利用了测试样本矩阵和线性表示残差 的内积来表示同一个个体的训练样本之间的相关性 进行约束。 这种变量选择机制避免了基于最小二乘 估计的特定的似然函数的假设。 只关心测试样本和 训练样本库中的相关性，而通常不管是在实验中还 在实际应用中，训练样本都是经过严格预处理，因此 不需要对残差进行类似于添加一个抗遮挡的噪声编 码，本文的方法在取得了比 ＳＲＣ 加入噪声编码后更 好的实验结果，说明本文所采用模型适应性更强。 图 ８ 遮挡鲁棒性实验结果 Ｆｉｇ．８ Ｅｘｐｅｒｉｍｅｎｔ Ｒｅｓｕｌｔｓ ｏｆ ｒｏｂｕｓｔ ｆｏｒ ｏｃｃｌｕｓｉｏｎ 图 ９ 噪声鲁棒性实验结果 Ｆｉｇ．９ Ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｏｆ ｒｏｂｕｓｔ ｆｏｒ ｎｏｉｓｅ ·２９０· 智 能 系 统 学 报 第 ９ 卷
第3期 刘训利，等：一种基于非残差估计线性表示模型的人脸识别 ·291· on Image Processing,Hong Kong,China,2010:1849- 4 结束语 1852. DS模型利用了测试样本矩阵和线性表示残差 [11]MALIOUTOV D M,CETIN M,WILLSKY A S.Homotopy 的内积来表示同一个个体的不同训练样本之间的相 continuation for sparse signal representation [C]//IEEE 关度，再利用L这种具有选择功能的矩阵的范数， International Conference on Acoustics,Speech,and Signal Processing.New York,USA,2005:733-736. 选择出最大的相关度的训练样本出来，对其进行约 [12]CANDES E,TERENCE TAO.Decoding by linear program- 束。这样一个相关性选择的思路即克服了传统线性 ming[J].IEEE Transactions on Information Theory,2005, 模型对残差的特定似然估计的要求，使得线性模型 51(12)：4203-4215. 更具有适用性，处理噪声更方便，同时通过L,范数 [13]ASIF M S.Primal dual pursuit:A homotopy based algo- 约束保证了解的稀疏性，便于分类。因此，在人脸识 rithm for the Dantzig selector[D].Atlanta:Georgia Insti- 别中，即便是训练样本存在相似度较高的个体，也能 tute of Technology,2008. 通过相关度最大进行区分。测试图像有噪声污染等 [14]GEORGHIADES A S,BELHUMEUR P N,KRIEGMAN D 高难度的情况下，不需要特殊噪声编码，也能有效地 J.From few to many:illumination cone models for face 进行识别，实验证明了本文提出的DS-SRC算法取 recognition under variable lighting and pose[J].IEEE 得了良好的识别效果。 Transactions on Pattern Analysis and Machine Intelligence, 2001,23(6):643-660. 参考文献： [15]MARTINEZ A,BENAVENTE R.The AR face database [R].Barcelona,Spain.1998. [1]ZHAO W,CHELLAPPA R,PHILLIPS P J,et al.Face [16]TURK M,PENTLAND A.Face recognition using eigenfac- recognition:a literature surveyJ.ACM Computing Sur- es[C]//IEEE Computer Society Conference on Proceed- vey8,2003,35(4):399-458. ings in Computer Vision and Pattern Recognition.Hawaii, [2]DONOHO D L.Compressed sensing [J].IEEE Transactions USA.1991:586-591 on Information Theory,2006,52(4):1289-1306. 作者简介： [3]MAIRAL J,ELAD M,SAPIRO G.Sparse representation for 刘训利，男，1988年生，硕士研究 color image restoration[J].IEEE Transactions on Image 生，主要研究方向为人脸识别、计算机 Processing,2008,17(1):53-69. 视觉。 4]WRIGHT J.YANG A Y,GANESH A,et al.Robust face recognition via sparse representation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31 (2):210-227. 龚勋，男，1980年生，副教授，博士， [5]CANDES E,TAO T.The Dantzig selector:statistical esti- 中国计算机学会会员，中国人工智能学 mation when p is much larger than n[J].The Annals of Sta- 会粗糙集与软计算专业委员会委员，主 tistic8,2007,35(6):2313-2351. 要研究方向为智能图像处理及模式识 [6]王大荣，张忠占线性回归模型中变量选择方法综述[J] 别。近年来获重庆市自然科学一等奖1 数理统计与管理.2010,29(4)：615-627. 项：主持国家自然科学基金项目1项、 WANG Darong,ZHANG Zhongzhan.Variable selection for 中央高校基本科研业务费科技创新项 linear regression models:a survey[J].Journal of Applied 目1项，参与国家自然科学基金1项、“十一五”国家科技支 Statistics and Management.2010,29(4):615-627. 撑计划子项目1项。获国家发明专利1项，发表学术论文30 [7]BOYD S,VANDENBERGHE L.Convex optimization M]. 余篇，出版专著1部。 Cambridge:Cambridge University Press,2004. 王国胤，男，1970年生，教授，博士 [8]ZHANG L,YANG M,FENG X C.Sparse representation or 生导师，博士，国际粗糙集学会常务理 collaborative representation:which helps face recognition 事兼指导委员会主席，EEE高级会员， [C]//IEEE International Conference on Computer Vision. 中国人工智能学会常务理事兼粗糙集 Barcelona,Spain,2011:471-478. 与软计算专业委员会主任委员，中国计 [9]TIBSHIRANI R.Regression shrinkage and selection via the 算机学会理事，主要研究方向为智能信 lasso[J].Journal of the Royal Statistical Society,1996:58 息处理与人工智能，粗糙集理论等。主持国家自然科学基 (1):267-288. 金、国家“863”计划等40多项国家级、省部级科研项目。组 [10]YANG A Y,SASTRY SS,GANESH A,et al.Fast E1- 织召开了11届中国Rough集与软计算学术研讨会系列会 minimization algorithms and an application in robust face 议，并担任会议主席或共同主席。获重庆市自然科学一等 recognition:a review[C]//IEEE International Conference 奖、二等奖各1次。发表学术论文200余篇，出版著作7部， 主编国际会议论文集13部
４ 结束语 ＤＳ 模型利用了测试样本矩阵和线性表示残差 的内积来表示同一个个体的不同训练样本之间的相 关度，再利用 Ｌ¥ 这种具有选择功能的矩阵的范数， 选择出最大的相关度的训练样本出来，对其进行约 束。 这样一个相关性选择的思路即克服了传统线性 模型对残差的特定似然估计的要求，使得线性模型 更具有适用性，处理噪声更方便，同时通过 Ｌ１范数 约束保证了解的稀疏性，便于分类。 因此，在人脸识 别中，即便是训练样本存在相似度较高的个体，也能 通过相关度最大进行区分。 测试图像有噪声污染等 高难度的情况下，不需要特殊噪声编码，也能有效地 进行识别，实验证明了本文提出的 ＤＳ⁃ＳＲＣ 算法取 得了良好的识别效果。 参考文献： ［１］ ＺＨＡＯ Ｗ， ＣＨＥＬＬＡＰＰＡ Ｒ， ＰＨＩＬＬＩＰＳ Ｐ Ｊ， ｅｔ ａｌ． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ： ａ ｌｉｔｅｒａｔｕｒｅ ｓｕｒｖｅｙ ［ Ｊ］． ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒ⁃ ｖｅｙｓ， ２００３， ３５（４）： ３９９⁃４５８． ［２］ＤＯＮＯＨＯ Ｄ Ｌ． Ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ， ２００６， ５２（４）： １２８９⁃１３０６． ［３］ＭＡＩＲＡＬ Ｊ， ＥＬＡＤ Ｍ， ＳＡＰＩＲＯ Ｇ． Ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｃｏｌｏｒ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ ［ Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００８， １７（１）： ５３⁃６９． ［４］ＷＲＩＧＨＴ Ｊ， ＹＡＮＧ Ａ Ｙ， ＧＡＮＥＳＨ Ａ， ｅｔ ａｌ． Ｒｏｂｕｓｔ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００９， ３１ （２）： ２１０⁃２２７． ［５］ＣＡＮＤＥＳ Ｅ， ＴＡＯ Ｔ． Ｔｈｅ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ： ｓｔａｔｉｓｔｉｃａｌ ｅｓｔｉ⁃ ｍａｔｉｏｎ ｗｈｅｎ ｐ ｉｓ ｍｕｃｈ ｌａｒｇｅｒ ｔｈａｎ ｎ［Ｊ］． Ｔｈｅ Ａｎｎａｌｓ ｏｆ Ｓｔａ⁃ ｔｉｓｔｉｃｓ， ２００７， ３５（６）： ２３１３⁃２３５１． ［６］王大荣，张忠占．线性回归模型中变量选择方法综述［ Ｊ］． 数理统计与管理． ２０１０， ２９（４）： ６１５⁃６２７． ＷＡＮＧ Ｄａｒｏｎｇ， ＺＨＡＮＧ Ｚｈｏｎｇｚｈａｎ． Ｖａｒｉａｂｌｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌｓ： ａ ｓｕｒｖｅｙ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｍａｎａｇｅｍｅｎｔ． ２０１０， ２９（４）： ６１５⁃６２７． ［７］ＢＯＹＤ Ｓ， ＶＡＮＤＥＮＢＥＲＧＨＥ Ｌ． Ｃｏｎｖｅｘ ｏｐｔｉｍｉｚａｔｉｏｎ［Ｍ］． Ｃａｍｂｒｉｄｇｅ： Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ２００４． ［８］ＺＨＡＮＧ Ｌ， ＹＡＮＧ Ｍ， ＦＥＮＧ Ｘ Ｃ． Ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｒ ｃｏｌｌａｂｏｒａｔｉｖｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ： ｗｈｉｃｈ ｈｅｌｐｓ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｃ］ ／ ／ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ， ２０１１： ４７１⁃４７８． ［９］ＴＩＢＳＨＩＲＡＮＩ Ｒ． Ｒｅｇｒｅｓｓｉｏｎ ｓｈｒｉｎｋａｇｅ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｖｉａ ｔｈｅ ｌａｓｓｏ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ， １９９６： ５８ （１）： ２６７⁃２８８． ［１０］ＹＡＮＧ Ａ Ｙ， ＳＡＳＴＲＹ Ｓ Ｓ， ＧＡＮＥＳＨ Ａ， ｅｔ ａｌ． Ｆａｓｔ ℓ１⁃ ｍｉｎｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ａｎｄ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｒｏｂｕｓｔ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ： ａ ｒｅｖｉｅｗ［Ｃ］ ／ ／ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｈｏｎｇ Ｋｏｎｇ， Ｃｈｉｎａ， ２０１０： １８４９⁃ １８５２． ［１１］ＭＡＬＩＯＵＴＯＶ Ｄ Ｍ， ＣＥＴＩＮ Ｍ， ＷＩＬＬＳＫＹ Ａ Ｓ． Ｈｏｍｏｔｏｐｙ ｃｏｎｔｉｎｕａｔｉｏｎ ｆｏｒ ｓｐａｒｓｅ ｓｉｇｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ［ Ｃ］ ／ ／ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． ＮｅｗＹｏｒｋ， ＵＳＡ， ２００５： ７３３⁃７３６． ［１２］ＣＡＮＤＥＳ Ｅ， ＴＥＲＥＮＣＥ ＴＡＯ． Ｄｅｃｏｄｉｎｇ ｂｙ ｌｉｎｅａｒ ｐｒｏｇｒａｍ⁃ ｍｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ， ２００５， ５１ （１２）： ４２０３⁃４２１５． ［１３］ ＡＳＩＦ Ｍ Ｓ． Ｐｒｉｍａｌ ｄｕａｌ ｐｕｒｓｕｉｔ： Ａ ｈｏｍｏｔｏｐｙ ｂａｓｅｄ ａｌｇｏ⁃ ｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｄａｎｔｚｉｇ ｓｅｌｅｃｔｏｒ［Ｄ］． Ａｔｌａｎｔａ： Ｇｅｏｒｇｉａ Ｉｎｓｔｉ⁃ ｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，２００８． ［１４］ＧＥＯＲＧＨＩＡＤＥＳ Ａ Ｓ， ＢＥＬＨＵＭＥＵＲ Ｐ Ｎ， ＫＲＩＥＧＭＡＮ Ｄ Ｊ． Ｆｒｏｍ ｆｅｗ ｔｏ ｍａｎｙ： ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｅ ｍｏｄｅｌｓ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｖａｒｉａｂｌｅ ｌｉｇｈｔｉｎｇ ａｎｄ ｐｏｓｅ ［ Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００１， ２３（６）： ６４３⁃６６０． ［１５］ ＭＡＲＴＩＮＥＺ Ａ， ＢＥＮＡＶＥＮＴＥ Ｒ． Ｔｈｅ ＡＲ ｆａｃｅ ｄａｔａｂａｓｅ ［Ｒ］． Ｂａｒｃｅｌｏｎａ， Ｓｐａｉｎ． １９９８． ［１６］ＴＵＲＫ Ｍ， ＰＥＮＴＬＡＮＤ Ａ． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｅｉｇｅｎｆａｃ⁃ ｅｓ［Ｃ］ ／ ／ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｒｏｃｅｅｄ⁃ ｉｎｇｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｈａｗａｉｉ， ＵＳＡ，１９９１： ５８６⁃５９１． 作者简介： 刘训利，男，１９８８ 年生，硕士研究 生，主要研究方向为人脸识别、计算机 视觉。 龚勋，男，１９８０ 年生，副教授，博士， 中国计算机学会会员，中国人工智能学 会粗糙集与软计算专业委员会委员，主 要研究方向为智能图像处理及模式识 别。 近年来获重庆市自然科学一等奖 １ 项；主持国家自然科学基金项目 １ 项、 中央高校基本科研业务费科技创新项 目 １ 项，参与国家自然科学基金 １ 项、“十一五”国家科技支 撑计划子项目 １ 项。 获国家发明专利 １ 项，发表学术论文 ３０ 余篇，出版专著 １ 部。 王国胤，男，１９７０ 年生，教授，博士 生导师，博士，国际粗糙集学会常务理 事兼指导委员会主席，ＩＥＥＥ 高级会员， 中国人工智能学会常务理事兼粗糙集 与软计算专业委员会主任委员，中国计 算机学会理事，主要研究方向为智能信 息处理与人工智能，粗糙集理论等。 主持国家自然科学基 金、国家“８６３”计划等 ４０ 多项国家级、省部级科研项目。 组 织召开了 １１ 届中国 Ｒｏｕｇｈ 集与软计算学术研讨会系列会 议，并担任会议主席或共同主席。 获重庆市自然科学一等 奖、二等奖各 １ 次。 发表学术论文 ２００ 余篇，出版著作 ７ 部， 主编国际会议论文集 １３ 部。 第 ３ 期 刘训利，等：一种基于非残差估计线性表示模型的人脸识别 ·２９１·
