第2卷第6期 智能系统学报 Vol.2 N26 2007年12月 CAAI Transactions on Intelligent Systems Dec.2007 基于QR分解的鉴别维数压缩及其在 人脸识别中的应用 杨静宇，郑宇杰 (南京理工大学计算机科学系，江苏南京210094) 摘要：维数压缩是当前模式识别研究领域中的一个重要研究方向.但是当前部分维数压缩方法缺乏有效的鉴别信 息保留机制，并且在利用Fisher鉴别准则的时候经常会遇到小样本问题.简单介绍了维数压缩中的鉴别信息保留， 并且提出了一种新的直接线性鉴别分析方法—DLDA/QR算法，该方法首先利用矩阵的QR分解算法实现目标函 数的优化，再在一个较小的空间内实现有效鉴别信息的提取.在OL人脸数据库上的实验结果验证了算法的有效性. 关键词：鉴别维数压缩，模式识别，QR分解；直接线性鉴别分析 中图分类号：TP391.4文献标识码：A文章编号：16734785(2007)060048-06 Discriminant dimensionality reduction based on QR decomposition and its a pplication in face recognition YANGJing-yu,ZHEN G Yujie (Department of Computer Science,Nanjing University of Science Technology,Nanjing 210094,China) Abstract Dimensionality reduction is an important research topic in pattern recognition.At present,partial dimensionality reduction methods lack an effective discriminant information preservation mechanism.And the small sample size problem often occurs when the Fisher discriminant criterion is used.In this paper, discriminant information preservation is briefly presented and a new direct Inear discriminant analysis(DL- DA)method,the DLDA/QR algorithm,is suggested.With this algorithm,the objective function is opti- mized through QR decomposition,and then the effective discriminant information is extracted from a smal- ler space.Experimental results from the ORL face database demonstrate the effectiveness of the proposed method. Key words discriminant dimensionality reduction;pattern recognition;QR decomposition;direct linear dis- criminant analysis (DLDA) 随着信息技术和互联技术的发展，使人们能够 征很快分辨出他是谁.这个捕捉典型特征的过程实 足不出户而接触到海量的高维信息，如何从这些高 质上就是维数压缩的过程 维信息中抽取得到有效的信息己成为人们日常生活 总体而言，当前的维数压缩方法可以分为2类： 中的一个必要环节.因此，维数压缩已经成为一个普 线性维数压缩和非线性维数压缩.对于线性维数压 遍存在的问题维数压缩的问题可以定义为：在高维 缩，常用的准则有Bayes.最小错误率准则、相互信息 的观察样本空间中寻找其隐藏的有意义的低维数据 准则、Fisher鉴别准则等，其中Fisher准则l,近年 结构，并分析和探索事物的内在规律.例如，当一个 来受到普遍的重视和广泛的研究.目前，基于线性维 人在面前出现时，大脑和视觉系统便能够迅速地捕 数压缩算法的研究侧重点在于小样本问题，该问题 捉到他的典型特征，并利用这些为数不多的典型特 和样本数据的高维性是紧密相关的，因此在维数压 缩研究中是不可避免的.线性维数压缩的方法除了 收稿日期：2007-0417. 基金项目：因家自然科学基金重点资助项目(60632050)；国家自然科 经典的主成分分析和Fisher鉴别分析之外1，还有 学基金资助项目(60472060). 最近兴起的独立成分分析方法4.刀，该方法已经受 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
第 2 卷第 6 期 智 能 系 统 学 报 Vol. 2 №. 6 2007 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2007 基于 QR 分解的鉴别维数压缩及其在 人脸识别中的应用 杨静宇 ,郑宇杰 (南京理工大学 计算机科学系 ,江苏 南京 210094) 摘 要 :维数压缩是当前模式识别研究领域中的一个重要研究方向. 但是当前部分维数压缩方法缺乏有效的鉴别信 息保留机制 ,并且在利用 Fisher 鉴别准则的时候经常会遇到小样本问题. 简单介绍了维数压缩中的鉴别信息保留 , 并且提出了一种新的直接线性鉴别分析方法 ———DLDA/ QR 算法. 该方法首先利用矩阵的 QR 分解算法实现目标函 数的优化 ,再在一个较小的空间内实现有效鉴别信息的提取.在 ORL 人脸数据库上的实验结果验证了算法的有效性. 关键词 :鉴别维数压缩 ;模式识别 ;QR 分解 ;直接线性鉴别分析 中图分类号 : TP391. 4 文献标识码 :A 文章编号 :167324785 (2007) 0620048206 Discriminant dimensionality reduction based on QR decomposition and its application in face recognition YAN G Jing2yu ,ZH EN G Yu2jie (Department of Computer Science , Nanjing University of Science & Technology , Nanjing 210094 ,China) Abstract :Dimensionality reduction is an important research topic in pattern recognition. At present , partial dimensionality reduction met hods lack an effective discriminant information preservation mechanism. And t he small sample size problem often occurs when the Fisher discriminant criterion is used. In t his paper , discriminant information preservation is briefly presented and a new direct lnear discriminant analysis (DL2 DA) method , the DLDA/ QR algorit hm , is suggested. Wit h t his algorit hm , t he objective f unction is opti2 mized t hrough QR decompo sition , and t hen t he effective discriminant information is extracted from a smal2 ler space. Experimental results from t he ORL face database demonstrate t he effectiveness of t he proposed met hod. Keywords :discriminant dimensionality reduction ; pattern recognition ; QR decomposition ; direct linear dis2 criminant analysis (DLDA) 收稿日期 :2007204217. 基金项目 :国家自然科学基金重点资助项目(60632050) ;国家自然科 学基金资助项目(60472060) . 随着信息技术和互联技术的发展 ,使人们能够 足不出户而接触到海量的高维信息 ,如何从这些高 维信息中抽取得到有效的信息已成为人们日常生活 中的一个必要环节. 因此 ,维数压缩已经成为一个普 遍存在的问题. 维数压缩的问题可以定义为 :在高维 的观察样本空间中寻找其隐藏的有意义的低维数据 结构 ,并分析和探索事物的内在规律. 例如 ,当一个 人在面前出现时 ,大脑和视觉系统便能够迅速地捕 捉到他的典型特征 ,并利用这些为数不多的典型特 征很快分辨出他是谁. 这个捕捉典型特征的过程实 质上就是维数压缩的过程. 总体而言 ,当前的维数压缩方法可以分为 2 类 : 线性维数压缩和非线性维数压缩. 对于线性维数压 缩 ,常用的准则有 Bayes 最小错误率准则、相互信息 准则、Fisher 鉴别准则等 ,其中 Fisher 准则[1 - 2 ]近年 来受到普遍的重视和广泛的研究. 目前 ,基于线性维 数压缩算法的研究侧重点在于小样本问题 ,该问题 和样本数据的高维性是紧密相关的 ,因此在维数压 缩研究中是不可避免的. 线性维数压缩的方法除了 经典的主成分分析和 Fisher 鉴别分析之外[3 ] ,还有 最近兴起的独立成分分析方法[4 - 7 ] ,该方法已经受
第6期 杨静宇，等：基于QR分解的鉴别维数压缩及其在人脸识别中的应用 49· 到了普遍的关注.对于非线性维数压缩，近年来无论 留部分正交基，以生成低维人脸空间，而低维空间的 理论研究还是应用开发都取得了长足的发展其中 基是通过分析人脸训练样本集的统计特性来获得 它的2个较大的分支值得注意.其一是基于kernel 在新的正交空间中，原始人脸样本X就可以表示为 的特征提取技术s.),以支持向量机、kernel主分量 =严(X,四 (5) 分析和kernel鉴别分析为代表；其二是以流形学习 如将子空间的这些正交向量按照图像阵列排列，则 为主导的维数压缩理论和技术).目前典型的方法 可以看出这些正交向量呈现人脸的形状，因此这些 有主曲线（曲面）分析ul、等距特征映射(isometric 正交向量也被称作特征脸.这种人脸识别方法也叫 feature mapping)2、局部线性嵌入法(local linear 做特征脸(eigenface)方法.关于正交向量的选择有 embedding)))、拉普拉斯特征图(Laplacian eigen- 不同的选择依据，即与较大特征值对应的正交向量 map)a等 (主分量)可用来表达人脸的大体形状，而具体细节 本文针对维数压缩中的鉴别信息提取，对一种 需通过与小特征值相对应的特征向量（次分量）来加 己有的解决小样本问题的直接线性鉴别分析方法 以描述.通过选择前m个最大特征值所对应的特征 (direct linear discriminant analysis,DLDA)s.161 向量，可以实现原始人脸样本数据向这个低维子空 提出了新的解决方案，利用矩阵的QR分解实现数 间的投影 据的预处理，并且在低维的空间内实现了特征提取， 和变换在20世纪90年代初受到了很大的重 有望实现算法的实时处理.最后，在OL人脸数据 视，实际用于人脸识别也取得了很好的效果.从压缩 库上的实验结果验证了提出方法的有效性 的角度来看，(L变换是最优的，它不仅使得从n维 1鉴别维数压缩的基本概念和方法 空间降到m维空间前后的均方误差最小，而且变换 后的低维空间有很好的人脸表达能力.基于L变 设4,4，为C个模式类，模式X为n维 换的主成分分析方法虽然实现了高维人脸的低维表 实向量.那么由该训练样本集构成的类间散布矩阵 示，但是从鉴别的角度而言并不是最优的.传统的主 S6类内散布矩阵S和总体散布矩阵S,分别定义 成分分析方法对图像的重构而言是最佳的，但是对 为 于图像的分类却缺少有效的鉴别信息.选择训练样 C 本的散布矩阵作为L变换的生成矩阵，是由于其 S=∑P(@W(4-四(4-四T, 1) 最大特征向量抓住了该样本几何的主要分布，但这 s.-p(E(x.(( 是图像统计的方法，而不是人脸统计方法，它虽然考 虑图像之间所有的差别，但由于它不管这样的差异 S,=S6+Sm=E4(X-9(X-9}.(3) 是由照明、发型变更或背景所致，还是属于人脸的内 式中：P(4)为第i类训练样本的先验概率，4= 在差异，因此特征脸的识别方法用于人脸识别还存 E{W4}为第i类训练样本的均值，μ=E{X}= 在理论的缺陷，研究表明，特征脸的方法随着光线、 P()4为全体训练样本的均值.由式)~)的 角度及人脸的尺寸等因素的引入，识别率急剧下降 定义可知，S。、Sb、S:均为非负定矩阵.当S。可逆 因此，主成分分析方法根本局限性在于对于分类而 时，S与S,均为正定矩阵，且满足S,=S。+S. 言不是最优的 1.1主成分分析 1.2线性鉴别分析 主成分分析的思想来源于L变换】，其目 鉴别分析的思想最早是由Fisher提出的)，其 的是通过线性变换找到一组最优的单位正交向量基 目的是选择使得Fisher准则函数达到极值的向量 (也称主成分，主元)，用这组向量基的线性组合来重 作为最佳投影方向，从而使得样本在该方向上投影 建原样本，并使得重建后的样本和原样本的误差最 后，达到最大的类间离散度和最小的类内离散度.在 小.在数学上，主成分分析就是通过求解特征值问题 Fisher思想的基础上，Wilks和Duda分别提出了鉴 来对角化协方差矩阵S.其对应的广义特征方程为 别矢量集的概念8)，即寻找一组鉴别矢量构成子 Ar=S,I. 4) 空间，以原始样本在该空间内的投影矢量作为鉴别 人们将它用于统计特征提取，从而形成了子空 特征用于识别.该方法被称为经典的Fisher线性鉴 间法模式识别的基础.若将（变换用于人脸识别， 别分析方法.近来，Fisher线性鉴别分析无论在理论 则需假设不同人脸具有可分性.由于高维图像空间 上还是在应用上都取得了长足的发展，成为一种广 L变换后可得到一组新的正交基，因此可通过保 泛使用的，十分有效的特征抽取方法 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
到了普遍的关注. 对于非线性维数压缩 ,近年来无论 理论研究还是应用开发都取得了长足的发展. 其中 , 它的 2 个较大的分支值得注意. 其一是基于 kernel 的特征提取技术[ 8 - 9 ] ,以支持向量机、kernel 主分量 分析和 kernel 鉴别分析为代表 ;其二是以流形学习 为主导的维数压缩理论和技术[10 ] . 目前典型的方法 有主曲线 (曲面) 分析[11 ] 、等距特征映射 (isometric feat ure mapping) [12 ] 、局部线性嵌入法 (local linear embedding) [13 ] 、拉普拉斯特征图 (Laplacian eigen2 map) [14 ]等. 本文针对维数压缩中的鉴别信息提取 ,对一种 已有的解决小样本问题的直接线性鉴别分析方法 ( direct linear discriminant analysis , DLDA) [15 - 16 ] 提出了新的解决方案 ,利用矩阵的 QR 分解实现数 据的预处理 ,并且在低维的空间内实现了特征提取 , 有望实现算法的实时处理. 最后 ,在 ORL 人脸数据 库上的实验结果验证了提出方法的有效性. 1 鉴别维数压缩的基本概念和方法 设ω1 ,ω2 , …,ωC 为 C 个模式类 ,模式 X 为 n 维 实向量. 那么由该训练样本集构成的类间散布矩阵 Sb 、类内散布矩阵 Sw 和总体散布矩阵 St 分别定义 为 Sb = ∑ C i = 1 P(ωi) (μi - μ) (μi - μ) T , (1) Sw = ∑ C i = 1 P(ωi) E{ ( X - μi) ( X - μi) T /ωi} , (2) St = Sb + Sw = E{ ( X - μ) ( X - μ) T } . (3) 式中 : P (ωi ) 为第 i 类训练样本的先验概率 ,μi = E{ X/ωi}为第 i 类训练样本的均值 ,μ= E{ X} = ∑ C i = 1 P(ωi)μi为全体训练样本的均值. 由式(1) ～(3) 的 定义可知 , Sw 、Sb 、St 均为非负定矩阵. 当 Sw 可逆 时 , Sw 与 St 均为正定矩阵 ,且满足 St = Sb + Sw . 1. 1 主成分分析 主成分分析的思想来源于 KL 变换[1 - 2 ] ,其目 的是通过线性变换找到一组最优的单位正交向量基 (也称主成分 ,主元) ,用这组向量基的线性组合来重 建原样本 ,并使得重建后的样本和原样本的误差最 小. 在数学上 ,主成分分析就是通过求解特征值问题 来对角化协方差矩阵 St . 其对应的广义特征方程为 λΓ = StΓ. (4) 人们将它用于统计特征提取 ,从而形成了子空 间法模式识别的基础. 若将 KL 变换用于人脸识别 , 则需假设不同人脸具有可分性. 由于高维图像空间 KL 变换后可得到一组新的正交基 ,因此可通过保 留部分正交基 ,以生成低维人脸空间 ,而低维空间的 基是通过分析人脸训练样本集的统计特性来获得. 在新的正交空间中 ,原始人脸样本 X就可以表示为 X = ΓT ( X - μ) . (5) 如将子空间的这些正交向量按照图像阵列排列 ,则 可以看出这些正交向量呈现人脸的形状 ,因此这些 正交向量也被称作特征脸. 这种人脸识别方法也叫 做特征脸(eigenface) 方法. 关于正交向量的选择有 不同的选择依据 ,即与较大特征值对应的正交向量 (主分量) 可用来表达人脸的大体形状 ,而具体细节 需通过与小特征值相对应的特征向量(次分量) 来加 以描述. 通过选择前 m 个最大特征值所对应的特征 向量 ,可以实现原始人脸样本数据向这个低维子空 间的投影. KL 变换在 20 世纪 90 年代初受到了很大的重 视 ,实际用于人脸识别也取得了很好的效果. 从压缩 的角度来看 , KL 变换是最优的 ,它不仅使得从 n 维 空间降到 m 维空间前后的均方误差最小 ,而且变换 后的低维空间有很好的人脸表达能力. 基于 KL 变 换的主成分分析方法虽然实现了高维人脸的低维表 示 ,但是从鉴别的角度而言并不是最优的. 传统的主 成分分析方法对图像的重构而言是最佳的 ,但是对 于图像的分类却缺少有效的鉴别信息. 选择训练样 本的散布矩阵作为 KL 变换的生成矩阵 ,是由于其 最大特征向量抓住了该样本几何的主要分布 ,但这 是图像统计的方法 ,而不是人脸统计方法 ,它虽然考 虑图像之间所有的差别 ,但由于它不管这样的差异 是由照明、发型变更或背景所致 ,还是属于人脸的内 在差异 ,因此特征脸的识别方法用于人脸识别还存 在理论的缺陷 ,研究表明 ,特征脸的方法随着光线、 角度及人脸的尺寸等因素的引入 ,识别率急剧下降. 因此 ,主成分分析方法根本局限性在于对于分类而 言不是最优的. 1. 2 线性鉴别分析 鉴别分析的思想最早是由 Fisher 提出的[ 17 ] ,其 目的是选择使得 Fisher 准则函数达到极值的向量 作为最佳投影方向 ,从而使得样本在该方向上投影 后 ,达到最大的类间离散度和最小的类内离散度. 在 Fisher 思想的基础上 ,Wilks 和 Duda 分别提出了鉴 别矢量集的概念[18 - 19 ] ,即寻找一组鉴别矢量构成子 空间 ,以原始样本在该空间内的投影矢量作为鉴别 特征用于识别. 该方法被称为经典的 Fisher 线性鉴 别分析方法. 近来 ,Fisher 线性鉴别分析无论在理论 上还是在应用上都取得了长足的发展 ,成为一种广 泛使用的 ,十分有效的特征抽取方法. 第 6 期 杨静宇 ,等 :基于 QR 分解的鉴别维数压缩及其在人脸识别中的应用 ·49 ·
·50· 智能系统学报 第2卷 Fisher准则函数可定义为 Se Ho HB 11) rSΨ J(x)=ws.(W) 6) 由此，可以得到关于矩阵H的QR分解2o.2 仑 推广的Fisher准则函数定义为 H6=(Q,Q2) 12) SΨ J(X=SΨ (7) 式中：Q1∈X,Q2∈Xxm-9,R∈XC 此时，很容易得到H=QR为H6的满秩分解 当类内散布矩阵S。非奇异时，式6)、7)两准 因此对于任意的正交矩阵w∈R 则完全等价：当S奇异时，准则7)是准则6)的合 G=QW. 13) 理推广.在类内散布矩阵非奇异的情况下，由Fisher 这样就可以解决式(9)的优化问题.特别要注意的 准则函数就可以得到原始样本的最优鉴别矢量集， 是，其中t的是矩阵H。的秩，并且1的上限是C- 其求解过程也就是对下列广义特征方程求取相应的 1.在实际使用之中，C类数据通常是线性独立的，在 特征值和特征矢量的过程： 这种情况下，QR分解之后的维数通常为1=C-1= S6Ψ=S.Ψ 8) rank(S).因此，通过QR分解也可以实现类似PCA 式中：平=（四，玛，平）是广义特征方程8)的前 的降维过程 d个最大的非零特征值人>人>>a所对应的特 DLDA/QR算法的第2步将关注类内散布矩阵 征向量.因此，上述的特征矢量集乎同时也是矩阵 的信息.在这一步骤中，此时的特征提取过程类似经 S:'S。所对应的特征向量集.但是，当小样本问题存 典的DLDA方法，要注意的一点是此时在一个低维 在的时候，就会导致相应的类内散布矩阵是奇异的， 的空间内进行矩阵操作，因此使得DLDA/QR方法 此时就不能直接得到S:'的值，因此如何在小样本 变得稳定和有效.当得到矩阵Q:之后，那么可以得 问题下利用Fisher鉴别准则得到最佳鉴别矢量集 到在新的降维空间之中的相应散布矩阵为 是有效抽取特征的一个关键 S,=QS:Q (14) 2直接线性鉴别分析的新算法 和 S:=Q SQ 15) 2.1直接线性鉴别分析方法 很容易验证S,和S。是tXt的矩阵，并且其中的Sa 直接线性鉴别分析方法是解决当利用Fisher 是非奇异的 鉴别准则进行特征提取时由于类内散布矩阵的奇异 在这一步骤中，目的是要找到一个同时对角化 而带来的小样本问题.其基本思想是当类间散布矩 S和S。的矩阵： 阵不为零时，此时的类内散布矩阵零空间中就包含 VTS,V A,VTSV I. 16) 了所有的有效鉴别信息.令N。和N分别表示样本 式中：A是一个对角矩阵，它的对角元素按照从小到 的类间散布矩阵S。和类内散布矩阵S。的零空间， 大的次序排列：1是一个单位化矩阵. 那么他们所对应的非零空间分别为N6=R”-N 首先对角化对称矩阵S。.由于S。是一个tX1 和N·=R-N.直接线性鉴别分析方法的目的就 的矩阵，并且在通常情况下t《n,因此很容易实现 是从空间N6∩N,抽取得到相应的鉴别信息. 这一矩阵的对角化 2.2一种新的直接线性鉴别分析算法及理论框架 现假定存在一个矩阵U满足 在直接线性鉴别分析的基础上，提出了一种新 UTSU A. (17) 的DLDA算法：DLDA/QR算法.该算法的目的是 式中UU,A。是对角矩阵并且其对角元素按照降 在保留DLDA算法思想的基础上，降低算法的复杂 序排列 度，同时提高算法的有效性和稳定性 令 该算法首先是解决如下的优化问题： I UAjv2 (18) G=arg maxtrace(G'SG). 9) GG-I 那么，可以得到 从式(9)中，可以得到新算法的第1步中只是关 UM:2)TS6UAg2=1→ZS6Z=L.19列 注类间散布矩阵的最大.在文中的算法中，首先定义 此时就实现了新的类间散布矩阵S。的对角化.由 矩阵： 此，令 H=[JN(4.四…N(4c·91,I0 S.ZSZ 20) 并且满足 利用相似的方法，可以实现总体散布矩阵$，的 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
Fisher 准则函数可定义为 J f ( X) = ΨT SbΨ ΨT Sw (Ψ) . (6) 推广的 Fisher 准则函数定义为 J ( X) = ΨT SbΨ ΨT StΨ . (7) 当类内散布矩阵 Sw 非奇异时 ,式(6) 、(7) 两准 则完全等价;当 Sw 奇异时 ,准则(7) 是准则 (6) 的合 理推广. 在类内散布矩阵非奇异的情况下 ,由 Fisher 准则函数就可以得到原始样本的最优鉴别矢量集. 其求解过程也就是对下列广义特征方程求取相应的 特征值和特征矢量的过程 : SbΨ =λS wΨ. (8) 式中 :Ψ= (Ψi ,Ψ2 , …,Ψd ) 是广义特征方程(8) 的前 d 个最大的非零特征值λ1 >λ2 > …>λd 所对应的特 征向量. 因此 ,上述的特征矢量集 Ψ同时也是矩阵 S - 1 w Sb 所对应的特征向量集. 但是 ,当小样本问题存 在的时候 ,就会导致相应的类内散布矩阵是奇异的 , 此时就不能直接得到 S - 1 w 的值 ,因此如何在小样本 问题下利用 Fisher 鉴别准则得到最佳鉴别矢量集 是有效抽取特征的一个关键. 2 直接线性鉴别分析的新算法 2. 1 直接线性鉴别分析方法 直接线性鉴别分析方法是解决当利用 Fisher 鉴别准则进行特征提取时由于类内散布矩阵的奇异 而带来的小样本问题. 其基本思想是当类间散布矩 阵不为零时 ,此时的类内散布矩阵零空间中就包含 了所有的有效鉴别信息. 令 Nb 和 N w 分别表示样本 的类间散布矩阵 Sb 和类内散布矩阵 S w 的零空间 , 那么他们所对应的非零空间分别为 N′b = R n - Nb 和 N′w = R n - Nw . 直接线性鉴别分析方法的目的就 是从空间 N′b ∩N w 抽取得到相应的鉴别信息. 2. 2 一种新的直接线性鉴别分析算法及理论框架 在直接线性鉴别分析的基础上 ,提出了一种新 的 DLDA 算法 :DLDA/ QR 算法. 该算法的目的是 在保留 DLDA 算法思想的基础上 ,降低算法的复杂 度 ,同时提高算法的有效性和稳定性. 该算法首先是解决如下的优化问题 : G = arg max G T G= I trace ( G T SbG) . (9) 从式(9) 中 ,可以得到新算法的第 1 步中只是关 注类间散布矩阵的最大. 在文中的算法中 ,首先定义 矩阵 : Hb = [ N (μ1 - μ) … N (μC - μ) ] , (10) 并且满足 Sb = Hb H T b . (11) 由此 ,可以得到关于矩阵 Hb 的 QR 分解[20 - 21 ] Hb = (Q1 , Q2 ) R 0 . (12) 式中 :Q1 ∈X n ×t , Q2 ∈X n×( n - t) , R ∈X t ×C . 此时 ,很容易得到 Hb = Q1 R 为 Hb 的满秩分解. 因此对于任意的正交矩阵 W ∈R t ×t , G = Q1W. (13) 这样就可以解决式 (9) 的优化问题. 特别要注意的 是 ,其中 t 的是矩阵 Hb 的秩 ,并且 t 的上限是 C - 1. 在实际使用之中 , C 类数据通常是线性独立的 ,在 这种情况下 ,QR 分解之后的维数通常为 t = C - 1 = rank ( Sb) . 因此 ,通过 QR 分解也可以实现类似 PCA 的降维过程. DLDA/ QR 算法的第 2 步将关注类内散布矩阵 的信息. 在这一步骤中 ,此时的特征提取过程类似经 典的 DLDA 方法 ,要注意的一点是此时在一个低维 的空间内进行矩阵操作 ,因此使得 DLDA/ QR 方法 变得稳定和有效. 当得到矩阵 Q1 之后 ,那么可以得 到在新的降维空间之中的相应散布矩阵为 St = Q1 StQ1 (14) 和 St = Q1 SbQ1 . (15) 很容易验证 St 和 Sb 是 t ×t 的矩阵 ,并且其中的 Sb 是非奇异的. 在这一步骤中 ,目的是要找到一个同时对角化 St 和 Sb 的矩阵 : V T StV = Λ,V T SbV = I. (16) 式中 :Λ是一个对角矩阵 ,它的对角元素按照从小到 大的次序排列; I 是一个单位化矩阵. 首先对角化对称矩阵 Sb . 由于 Sb 是一个 t ×t 的矩阵 ,并且在通常情况下 t ν n ,因此很容易实现 这一矩阵的对角化. 现假定存在一个矩阵 U 满足 U T SbU = Λb . (17) 式中 :U TU ,Λb 是对角矩阵并且其对角元素按照降 序排列. 令 I = UΛ- 1/ 2 b . (18) 那么 ,可以得到 (UΛ- 1/ 2 b ) T SbUΛ- 1/ 2 b = I ] Z T SbZ = I. (19) 此时就实现了新的类间散布矩阵 Sb 的对角化. 由 此 ,令 S^ t = Z T St Z. (20) 利用相似的方法 ,可以实现总体散布矩阵 S^ t 的 ·50 · 智 能 系 统 学 报 第 2 卷
第6期 杨静宇，等：基于QR分解的鉴别维数压缩及其在人脸识别中的应用 ·51· 对角化.假定存在一个矩阵Y满足 YS,Y =A.. 3 21) 实验结果 式中：YY=1,A,是一个对角矩阵，并且其对角元素 采用ORL人脸数据库作为实验数据.ORL人 按照升序排列， 脸数据库由40个人的脸部图像组成，每人由不同的 通常，选择前s(s≤个最小特征值对应的特征 10幅图像构成，人脸图像原始维数为92112，其中 向量.假定由这s个特征向量构成了矩阵P=(, 有些图像拍摄于不同的时期：人脸脸部表情与脸部 …,y,y),其中的是矩阵Y的第i列.因此， 细节均有变化，如笑或不笑、眼晴睁着或闭着、戴或 可以得到 不戴眼镜，人脸姿态有变化，深度旋转与平面旋转可 PTS,P A,, (22 达到20°，人脸尺度也有10%的变化.该人脸数据库 令 V;ZP. (23) 中的部分人脸图像如图1所示。 因此，可以得到 VIS,V PT ZTS,ZP PTS,P A, 24) 和 VISAV PT ZTSAZP PT IP I. 25) 综上所述，得到了矩阵V=ZP能同时对角化 S6和S, 因此，可以得到如下的最终转换矩阵 E Q ZPA;12 26) 那么，对于一个检测样本xt而言，其在低维空 间上的投影数据可以通过 Dest E xtest 27) 得到. 上述的同时对角化矩阵过程可以通过这样的定 理来说明 图1OL人脸数据库中的部分人脸图像 定理1可以同时对角化2个对称矩阵S,和 Fig.1 Some face images from ORL face database S。,VTSV=A,VSV=1,其中的V和A是矩阵 在实验中，所有的训练样本集和测试样本集均 S:S,的特征向量和特征值，并且满足S'S,V= 随机产生.每一次的实验中，均从样本库的所有人脸 Av. 数据中随机地从每类中抽取0={4,5,6}个人脸组 假定对角矩阵A的对角元素按照升序排列.相 成训练样本集，余下的人脸数据构成测试样本集，不 应地，最后的转换矩阵是E=QV,A2,其中的V, 同的训练样本数日下均做10次随机的数据选择.在 是由V的前s列向量所构成的1X的矩阵，A,是由 经过特征提取之后，最后的分类器采用最近邻分类 矩阵A所构成的一个sX的矩阵 器来分类，在实验中，分别以欧氏距离和余弦距离作 基于以上讨论，得到完整的DLDA/QR算法为 为距离的度量值. 1)在原始样本的基础上得到H,S。和S.利用 表1和表2分别显示了当采用不同距离度量标 QR分解得到Q,此时，通过Q可以得到新的散布 准的时候、DLDA/QR算法、DLDA算法和Fisher- 矩阵S,=QS,Q1和S6=QSQ1. face在不同情形下的识别率比较.从表中的结果可 2)通过计算得到矩阵S)·S,的特征值和特征 以看到，在不同的距离度量下，DLDA/QR算法总 向量，分别用A和V表示.假定矩阵V的前s(s≤ 是优于传统的DLDA算法和Fisherface算法.尤其 个特征向量对应着矩阵A的前s个最小特征值，由 是在经过QR分解之后，DLDA/QR算法的第2步 这s个特征值和对应的特征向量所构成的矩阵分别 是在一个低维空间内实现.此时相应的散布矩阵由于 为A,和V,.那么可以得到最终的转换矩阵E= 受原始类间散布矩阵秩的限制，因此最大的可能值为 QV,1;12 C-1,有效地避免了处理高维矩阵，并且提高了算法 3)利用公式27)将样本投影到低维空间并进行 的稳定性.实验结果也验证了理论分析的正确性， 分类 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
对角化. 假定存在一个矩阵 Y满足 Y T S^t Y = Λt . (21) 式中 :Y T Y= I ,Λt 是一个对角矩阵 ,并且其对角元素 按照升序排列. 通常 ,选择前 s(s ≤t) 个最小特征值对应的特征 向量. 假定由这 s 个特征向量构成了矩阵 P = ( y1 , …, yi , …, ys) ,其中的 yi 是矩阵 Y的第 i 列. 因此 , 可以得到 P T S^t P = Λs , (22) 令 Vs = ZP , (23) 因此 ,可以得到 V T s StV = P T Z T St ZP = P T S^t P = Λs (24) 和 V T s SbV = P T Z T SbZP = P T IP = I. (25) 综上所述 ,得到了矩阵 Vs = ZP 能同时对角化 Sb 和 St . 因此 ,可以得到如下的最终转换矩阵 E = Q1 ZPΛ- 1/ 2 s , (26) 那么 ,对于一个检测样本 xtest而言 ,其在低维空 间上的投影数据可以通过 Ωtest = E T xtest (27) 得到. 上述的同时对角化矩阵过程可以通过这样的定 理来说明. 定理 1 可以同时对角化 2 个对称矩阵 St 和 Sb , V T StV = Λ, V T SbV = I , 其中的 V 和 Λ 是矩阵 S - 1 b St 的特征向量和特征值 , 并且满足 S - 1 b StV = ΛV. 假定对角矩阵Λ的对角元素按照升序排列. 相 应地 ,最后的转换矩阵是 E = Q1VsΛ- 1/ 2 s ,其中的 Vs 是由 V 的前 s 列向量所构成的 t ×s 的矩阵 ,Λs 是由 矩阵Λ所构成的一个 s ×s 的矩阵. 基于以上讨论 ,得到完整的 DLDA/ QR 算法为 1) 在原始样本的基础上得到 Hb , Sb 和 St . 利用 QR 分解得到 Q1 ,此时 ,通过 Q1 可以得到新的散布 矩阵 St = Q1 StQ1 和 Sb = Q1 SbQ1 . 2) 通过计算得到矩阵(Sb) - 1 St 的特征值和特征 向量 ,分别用Λ和 V 表示. 假定矩阵 V 的前 s (s ≤t) 个特征向量对应着矩阵Λ的前 s 个最小特征值 ,由 这 s 个特征值和对应的特征向量所构成的矩阵分别 为Λs 和 Vs . 那么可以得到最终的转换矩阵 E = Q1VsΛ- 1/ 2 s . 3) 利用公式(27) 将样本投影到低维空间并进行 分类. 3 实验结果 采用 ORL 人脸数据库作为实验数据. ORL 人 脸数据库由 40 个人的脸部图像组成 ,每人由不同的 10 幅图像构成 ,人脸图像原始维数为 92 ×112 ,其中 有些图像拍摄于不同的时期 ;人脸脸部表情与脸部 细节均有变化 ,如笑或不笑、眼睛睁着或闭着、戴或 不戴眼镜 ;人脸姿态有变化 ,深度旋转与平面旋转可 达到 20°,人脸尺度也有 10 %的变化. 该人脸数据库 中的部分人脸图像如图 1 所示. 图 1 ORL 人脸数据库中的部分人脸图像 Fig. 1 Some face images from ORL face database 在实验中 ,所有的训练样本集和测试样本集均 随机产生. 每一次的实验中 ,均从样本库的所有人脸 数据中随机地从每类中抽取θ= {4 ,5 ,6}个人脸组 成训练样本集 ,余下的人脸数据构成测试样本集 ,不 同的训练样本数目下均做 10 次随机的数据选择. 在 经过特征提取之后 ,最后的分类器采用最近邻分类 器来分类 ,在实验中 ,分别以欧氏距离和余弦距离作 为距离的度量值. 表 1 和表 2 分别显示了当采用不同距离度量标 准的时候、DLDA/ QR 算法、DLDA 算法和 Fisher2 face 在不同情形下的识别率比较. 从表中的结果可 以看到 ,在不同的距离度量下 ,DLDA/ QR 算法总 是优于传统的 DLDA 算法和 Fisherface 算法. 尤其 是在经过 QR 分解之后 ,DLDA/ QR 算法的第 2 步 是在一个低维空间内实现.此时相应的散布矩阵由于 受原始类间散布矩阵秩的限制 ,因此最大的可能值为 C- 1 ,有效地避免了处理高维矩阵 ,并且提高了算法 的稳定性. 实验结果也验证了理论分析的正确性. 第 6 期 杨静宇 ,等 :基于 QR 分解的鉴别维数压缩及其在人脸识别中的应用 ·51 ·
·52 智能系统学报 第2卷 表1利用欧氏距离度量在OL人脸数据库上的识别率 图2显示了当固定类别数(40)、最终特征维数 Table 1 Recognition rates on the ORL face database (39)和从每类中抽取的训练样本个数(5)的情况下， with Euclidean distance 在10次不同的训练集下的识别率比较.从相应的结 不同训练样本数的均值和方差 果中可以看出，DLDA/QR算法有相对的稳定性 识别方法 4 5 6 图3描述了当固定类别数(40)和从每类中抽取的训 89.85 92.90 93.13 练样本个数(5)的情况下，最终抽取得到的特征维数 Fisherface .88 ±1.37 ±1.02 从20变化到39，在不同特征维数下的识别率比较， 92.58 95.00 95.10 DLDA 从以上的实验结果可以得出新算法用矩阵的Q分 山.33 0.75 0.78 解方法取代了传统的降维预处理过程，但是这一过 92.71 96.00 96.56 DLDA/OR 程并没有降低算法的识别性能，并且在不同的实验 ±山1.26 0.47 山.11 环境下均表现出良好的性能 表2利用余弦距离度量在O风人脸数据库上的识别率 100 0-0 Table 1 Recognition rates on the ORL face database 95 with cosine distance % 90 不同训练样本数的均值和方差 识别方法 85 6 80 。Fisherface 91.62 93.25 93.31 DLDA Fisherface 75 --DLDA/OR 0.64 ±1.55 ±1.56 92.6 94.10 94.75 DLDA 702022426283032343638 21.02 ±1.58 ±1.54 特征维数 93.05 95.50 96.31 DLDA/QR (a)欧氏距离下识别率 0.83 ±白1.29 ±0.62 100 100 9500。 95 90个4 90 85 85 80 Fisherface 0”●A --Fisherface 75 +-DLDA/QR 0 DLDA +-DLDA/QR 7020222426283032343638 60 特征维数 3 45678910 实验次数 (b)余弦距离下识别率 (a)欧氏距离下识别率 图3不同特征数目下的识别率比较， 100 95 Fig.3 Comparison of recognition rates with different features numbers 90 是 4结束语 维数压缩很重要的一个目的是为了实现样本分 70 DLDA/QR 类，利用Fisher鉴别准则能在维数压缩过程之中融 入样本的鉴别信息，但是小样本问题是在利用Fish 456 78910 er鉴别准则时经常会遇到的问题，直接线性鉴别分 实验次数 析方法是解决此类问题的一个有效鉴别维数压缩方 (b)余弦距离下识别率 法.本文在直接线性鉴别分析方法中引入了矩阵 图2不同训练样本集下的识别率比较 QR分解的思想，为高维、小样本的有效鉴别信息提 Fig.2 Comparison of recognition rates with different 取提供了新的思路和新的理论框架.QR分解的引 sample set 入，使得无需处理一个高维的原始样本矩阵.通过分 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
表 1 利用欧氏距离度量在 ORL 人脸数据库上的识别率 Table 1 Recognition rates on the ORL face database with Euclidean distance % 识别方法 不同训练样本数的均值和方差 4 5 6 Fisherface 89. 85 ±1. 88 92. 90 ±1. 37 93. 13 ±1. 02 DLDA 92. 58 ±1. 33 95. 00 ±0. 75 95. 10 ±0. 78 DLDA/ QR 92. 71 ±1. 26 96. 00 ±0. 47 96. 56 ±1. 11 表 2 利用余弦距离度量在 ORL 人脸数据库上的识别率 Table 1 Recognition rates on the ORL face database with cosine distance % 识别方法 不同训练样本数的均值和方差 4 5 6 Fisherface 91. 62 ±0. 64 93. 25 ±1. 55 93. 31 ±1. 56 DLDA 92. 6 ±21. 02 94. 10 ±1. 58 94. 75 ±1. 54 DLDA/ QR 93. 05 ±0. 83 95. 50 ±1. 29 96. 31 ±0. 62 图 2 不同训练样本集下的识别率比较 Fig. 2 Comparison of recognition rates with different sample set 图 2 显示了当固定类别数 (40) 、最终特征维数 (39) 和从每类中抽取的训练样本个数(5) 的情况下 , 在 10 次不同的训练集下的识别率比较. 从相应的结 果中可以看出 ,DLDA/ QR 算法有相对的稳定性. 图 3 描述了当固定类别数(40) 和从每类中抽取的训 练样本个数(5) 的情况下 ,最终抽取得到的特征维数 从 20 变化到 39 ,在不同特征维数下的识别率比较. 从以上的实验结果可以得出新算法用矩阵的 QR 分 解方法取代了传统的降维预处理过程 ,但是这一过 程并没有降低算法的识别性能 ,并且在不同的实验 环境下均表现出良好的性能. 图 3 不同特征数目下的识别率比较. Fig. 3 Comparison of recognition rates with different features numbers 4 结束语 维数压缩很重要的一个目的是为了实现样本分 类 ,利用 Fisher 鉴别准则能在维数压缩过程之中融 入样本的鉴别信息 ,但是小样本问题是在利用 Fish2 er 鉴别准则时经常会遇到的问题 ,直接线性鉴别分 析方法是解决此类问题的一个有效鉴别维数压缩方 法. 本文在直接线性鉴别分析方法中引入了矩阵 QR 分解的思想 ,为高维、小样本的有效鉴别信息提 取提供了新的思路和新的理论框架. QR 分解的引 入 ,使得无需处理一个高维的原始样本矩阵. 通过分 ·52 · 智 能 系 统 学 报 第 2 卷
第6期 杨静宇，等：基于QR分解的鉴别维数压缩及其在人脸识别中的应用 ·53 析矩阵的QR分解过程，可以在一个相对低维的空 [13]ROWEIS S T,SAUL L K.Nonlinear dimensionality re- 间中实现目标函数的优化.在第一步实现矩阵的目 duction by locally linear embedding[J].Science,2000, 标函数优化之后，可以在一个较小的空间中实现特 290:2323-2326. 征提取过程.此时在新的空间之中，最佳鉴别矢量的 [14]HE X,YAN S,HU Y,et al.Face recognition using Laplacian faces [J ]IEEE Trans Pattern and Machine 计算只需在一个最大为C-1(C为样本类别数)维 ntell,2005,27(3):328.340. 空间中计算，有效降低了计算复杂度和对硬件存储 [15]YANGJ,YU H,KUNZ W.An Efficient LDA algo- 性能的要求 rithm for face recognition[A].International Conference 参考文献： on Automation,Robotics,and Computer Vision (ICARCV2000)[C].Singapore,2000. [1]FU KUNA GA K.Introduction to statistical pattern rec- [16]CHEN L F,LIAO Y M,LIN J C,et al.A new LDA- ognition[M].New York:Academic Press,1990. based face recognition system which can solve the small [2]DUDA R O,HART P E,STORK D G.Pattern classifi- sample size problem[J].Pattern Recognition,2000,33 cation[M].2nd ed.New York:John Wiley Sons, (10):1713.1726. 2001. [17]FISHER R A.The use of multiple measurements in [3]BEL HUMEUR P N,HESPANHA J P,KRIEGMAN D taxonomic problems[J].Annals of Eugenics,1936(7): J.Eigenfaces vs fisherfaces:recognition using class spe- 178-188. cific linear projection[J].IEEE Trans Pattern Analysis [18 ]WIL KS SS.Mathematical statistics M].New York: and Machine Intelligence,1997,19(7):711-720 Wiley,1962. [4]COMON P.Independent component analysis-a new [19]DUDA R,HART P.Pattern classification and scene a- concept[J ]Signal Processing,1994,36(3):287-314. nalysis[M].New York:Wiley,1973. [5]BARTLETT M S,MOVELLANJ R,SEINOWSKI T [20]YEJ P,LI Q.A two-stage linear discriminant analysis J.Face recognition by independent component analysis via QR-decomposition [J].IEEE Trans Pattern Anal [J ]IEEE Transaction on Neural Network,2002,13 Machine Intell,2005,2(6):929-941. (6):1450-1464. [21 GOLUB G H,VAN LOAN C F.Matrix computations [6]H YVARIN EN A.Fast and robust fixed-point algorithm [M].3rd ed.Baltimore:The Johns Hopkins Univ for independent component analysis[J].IEEE Transac- Press,1996. tion on Neural Network,1999,10(3):626-634. 作者简介： [7]YANGJian,ZHANGDavid,YANGJingyu.Is ICA sig 杨静宇，男，1941年生，教授，博士生 nificantly better than PCA for face recognition[A].IC- 导师，主要研究方向为模式识别理论与应 CV2005[C].[S.1.],2005. 用、智能机器人、图像分析等.1982~1984 [8]SCHOL KOPF B,SMOLA A,MULLER K R,et al. 在美国伊理诺斯大学(UIUC)CSL实验室 Nonlinear component analysis as a kernel eigenvalue 进行合作研究，1993~1994在美国密苏 problem[J].Neural Computation.1998,10(5):1299- 里大学(UMKC)计算机系担任访问教授， 1319 1998年在加拿大康科迪亚大学Concordia [9]SCHOL KOPF B,MIKA S ,BURGES C.Input space vs University)模式分析与机器智能中心担 feature space in kernel-based methods[J].IEEE Trans 任访问教授.发表论文300余篇，论（译）著7部. on Neural Networks,1999,10(5):1000-1017. Email:yangjy @mail.njust.edu.cn. [10]SMOLA A J,MIKA S,SCHOL KOPF B,et al.Regu larized principal manifolds [J ]Journal of Machine Learning Research,2001,1(3):179-209. 郑宇杰，男，1977年生，博士，主要 [11]STANFORD D C,RA GTERY A E.Fingding curviline- 研究方向为模式识别、人工智能机器学 ar features in spatial point patterns:principal curve 习等，被SC1、EI检素论文多篇. clustering with noise[J].IEEE Trans on Pattern Anal- Email yizhengl3 @yahoo.com.cn. ysis and Machine Intelligence,2000,22(6):601-609. [12]BEN GIO Y,PAIEMENT J F,VINCENT P.Out of sample extensions for LLE,isomap,MDS,eigenmaps, and spectral clustering [A ]Neural Information Pro- cessing Systems 16 (NIPS'2003)[C].[S.1.],2003. 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
析矩阵的 QR 分解过程 ,可以在一个相对低维的空 间中实现目标函数的优化. 在第一步实现矩阵的目 标函数优化之后 ,可以在一个较小的空间中实现特 征提取过程. 此时在新的空间之中 ,最佳鉴别矢量的 计算只需在一个最大为 C - 1 ( C 为样本类别数) 维 空间中计算 ,有效降低了计算复杂度和对硬件存储 性能的要求. 参考文献 : [1 ] FU KUNA GA K. Introduction to statistical pattern rec2 ognition[ M]. New York : Academic Press , 1990. [2 ]DUDA R O , HART P E ,STOR K D G. Pattern classifi2 cation[ M ]. 2nd ed. New York :John Wiley & Sons , 2001. [3 ]BEL HUMEUR P N , HESPAN HA J P , KRIEGMAN D J. Eigenfaces vs fisherfaces: recognition using class spe2 cific linear projection [J ]. IEEE Trans Pattern Analysis and Machine Intelligence , 1997 , 19 (7) :711 - 720. [ 4 ] COMON P. Independent component analysis —a new concept[J ]. Signal Processing , 1994 , 36 (3) :287 - 314. [5 ]BARTL ETT M S , MOV ELLAN J R , SEJ NOWSKI T J. Face recognition by independent component analysis [J ]. IEEE Transaction on Neural Network , 2002 , 13 (6) :1450 - 1464. [6 ] H YVARIN EN A. Fast and robust fixed2point algorithm for independent component analysis[J ]. IEEE Transac2 tion on Neural Network , 1999 , 10 (3) :626 - 634. [ 7 ] YAN GJian , ZHAN G David , YAN GJingyu. Is ICA sig2 nificantly better than PCA for face recognition [ A ]. IC2 CV 2005[C]. [ S. l. ] ,2005. [ 8 ] SCHOL KOPF B , SMOLA A , MULL ER K R , et al. Nonlinear component analysis as a kernel eigenvalue problem[J ]. Neural Computation. 1998 , 10 (5) :1299 - 1319. [9 ]SCHOL KOPF B ,MIKA S ,BURGES C. Input space vs feature space in kernel2based methods[J ]. IEEE Trans on Neural Networks , 1999 , 10 (5) :1000 - 1017. [10 ]SMOLA A J , MIKA S ,SCHOL KOPF B , et al. Regu2 larized principal manifolds [ J ]. Journal of Machine Learning Research , 2001 , 1 (3) :179 - 209. [11 ]STANFORD D C ,RA GTER Y A E. Fingding curviline2 ar features in spatial point patterns: principal curve clustering with noise[J ]. IEEE Trans on Pattern Anal2 ysis and Machine Intelligence , 2000 , 22 (6) :601 - 609. [12 ] BEN GIO Y, PAIEMEN T J F , VINCEN T P. Out of sample extensions for LL E , isomap , MDS , eigenmap s , and spectral clustering [ A ]. Neural Information Pro2 cessing Systems 16 (NIPS’2003) [C]. [ S. l. ] ,2003. [ 13 ]ROWEIS S T ,SAUL L K. Nonlinear dimensionality re2 duction by locally linear embedding[J ]. Science , 2000 , 290 :2323 - 2326. [14 ] HE X , YAN S , HU Y , et al. Face recognition using Laplacian faces[J ]. IEEE Trans Pattern and Machine Intell , 2005 , 27 (3) :328 - 340. [15 ] YAN G J , YU H , KUNZ W. An Efficient LDA algo2 rithm for face recognition[ A ]. International Conference on Automation , Robotics , and Computer Vision (ICARCV’2000) [C]. Singapore , 2000. [16 ]CHEN L F ,L IAO Y M ,L IN J C , et al. A new LDA2 based face recognition system which can solve the small sample size problem[J ]. Pattern Recognition , 2000 , 33 (10) :1713 - 1726. [17 ] FISHER R A. The use of multiple measurements in taxonomic problems[J ]. Annals of Eugenics , 1936 (7) : 178 - 188. [18 ] WIL KS S S. Mathematical statistics[ M ]. New York : Wiley ,1962. [19 ]DUDA R , HART P. Pattern classification and scene a2 nalysis[ M ]. New York : Wiley ,1973. [20 ] YE J P ,L I Q. A two2stage linear discriminant analysis via QR2decomposition [J ]. IEEE Trans Pattern Anal Machine Intell , 2005 , 2 (6) :929 - 941. [ 21 ] GOLUB G H ,VAN LOAN C F. Matrix computations [ M ]. 3rd ed. Baltimore : The Johns Hopkins Univ Press , 1996. 作者简介 : 杨静宇 ,男 ,1941 年生 ,教授 ,博士生 导师 ,主要研究方向为模式识别理论与应 用、智能机器人、图像分析等. 1982～1984 在美国伊理诺斯大学(UIUC) CSL 实验室 进行合作研究 ,1993～1994 在美国密苏 里大学(UM KC) 计算机系担任访问教授 , 1998 年在加拿大康科迪亚大学 Concordia University) 模式分析与机器智能中心担 任访问教授. 发表论文 300 余篇 ,论(译)著 7 部. E2mail : yangjy @mail. njust. edu. cn. 郑宇杰 ,男 ,1977 年生 ,博士 ,主要 研究方向为模式识别、人工智能、机器学 习等 ,被 SCI、EI 检索论文多篇. E2mail :yjzheng13 @yahoo. com. cn. 第 6 期 杨静宇 ,等 :基于 QR 分解的鉴别维数压缩及其在人脸识别中的应用 ·53 ·