第6期 杨静宇，等：基于QR分解的鉴别维数压缩及其在人脸识别中的应用 49· 到了普遍的关注.对于非线性维数压缩，近年来无论 留部分正交基，以生成低维人脸空间，而低维空间的 理论研究还是应用开发都取得了长足的发展其中 基是通过分析人脸训练样本集的统计特性来获得 它的2个较大的分支值得注意.其一是基于kernel 在新的正交空间中，原始人脸样本X就可以表示为 的特征提取技术s.),以支持向量机、kernel主分量 =严(X,四 (5) 分析和kernel鉴别分析为代表；其二是以流形学习 如将子空间的这些正交向量按照图像阵列排列，则 为主导的维数压缩理论和技术).目前典型的方法 可以看出这些正交向量呈现人脸的形状，因此这些 有主曲线（曲面）分析ul、等距特征映射(isometric 正交向量也被称作特征脸.这种人脸识别方法也叫 feature mapping)2、局部线性嵌入法(local linear 做特征脸(eigenface)方法.关于正交向量的选择有 embedding)))、拉普拉斯特征图(Laplacian eigen- 不同的选择依据，即与较大特征值对应的正交向量 map)a等 (主分量)可用来表达人脸的大体形状，而具体细节 本文针对维数压缩中的鉴别信息提取，对一种 需通过与小特征值相对应的特征向量（次分量）来加 己有的解决小样本问题的直接线性鉴别分析方法 以描述.通过选择前m个最大特征值所对应的特征 (direct linear discriminant analysis,DLDA)s.161 向量，可以实现原始人脸样本数据向这个低维子空 提出了新的解决方案，利用矩阵的QR分解实现数 间的投影 据的预处理，并且在低维的空间内实现了特征提取， 和变换在20世纪90年代初受到了很大的重 有望实现算法的实时处理.最后，在OL人脸数据 视，实际用于人脸识别也取得了很好的效果.从压缩 库上的实验结果验证了提出方法的有效性 的角度来看，(L变换是最优的，它不仅使得从n维 1鉴别维数压缩的基本概念和方法 空间降到m维空间前后的均方误差最小，而且变换 后的低维空间有很好的人脸表达能力.基于L变 设4,4，为C个模式类，模式X为n维 换的主成分分析方法虽然实现了高维人脸的低维表 实向量.那么由该训练样本集构成的类间散布矩阵 示，但是从鉴别的角度而言并不是最优的.传统的主 S6类内散布矩阵S和总体散布矩阵S,分别定义 成分分析方法对图像的重构而言是最佳的，但是对 为 于图像的分类却缺少有效的鉴别信息.选择训练样 C 本的散布矩阵作为L变换的生成矩阵，是由于其 S=∑P(@W(4-四(4-四T, 1) 最大特征向量抓住了该样本几何的主要分布，但这 s.-p(E(x.(( 是图像统计的方法，而不是人脸统计方法，它虽然考 虑图像之间所有的差别，但由于它不管这样的差异 S,=S6+Sm=E4(X-9(X-9}.(3) 是由照明、发型变更或背景所致，还是属于人脸的内 式中：P(4)为第i类训练样本的先验概率，4= 在差异，因此特征脸的识别方法用于人脸识别还存 E{W4}为第i类训练样本的均值，μ=E{X}= 在理论的缺陷，研究表明，特征脸的方法随着光线、 P()4为全体训练样本的均值.由式)~)的 角度及人脸的尺寸等因素的引入，识别率急剧下降 定义可知，S。、Sb、S:均为非负定矩阵.当S。可逆 因此，主成分分析方法根本局限性在于对于分类而 时，S与S,均为正定矩阵，且满足S,=S。+S. 言不是最优的 1.1主成分分析 1.2线性鉴别分析 主成分分析的思想来源于L变换】，其目 鉴别分析的思想最早是由Fisher提出的)，其 的是通过线性变换找到一组最优的单位正交向量基 目的是选择使得Fisher准则函数达到极值的向量 (也称主成分，主元)，用这组向量基的线性组合来重 作为最佳投影方向，从而使得样本在该方向上投影 建原样本，并使得重建后的样本和原样本的误差最 后，达到最大的类间离散度和最小的类内离散度.在 小.在数学上，主成分分析就是通过求解特征值问题 Fisher思想的基础上，Wilks和Duda分别提出了鉴 来对角化协方差矩阵S.其对应的广义特征方程为 别矢量集的概念8)，即寻找一组鉴别矢量构成子 Ar=S,I. 4) 空间，以原始样本在该空间内的投影矢量作为鉴别 人们将它用于统计特征提取，从而形成了子空 特征用于识别.该方法被称为经典的Fisher线性鉴 间法模式识别的基础.若将（变换用于人脸识别， 别分析方法.近来，Fisher线性鉴别分析无论在理论 则需假设不同人脸具有可分性.由于高维图像空间 上还是在应用上都取得了长足的发展，成为一种广 L变换后可得到一组新的正交基，因此可通过保 泛使用的，十分有效的特征抽取方法 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net到了普遍的关注. 对于非线性维数压缩 ,近年来无论 理论研究还是应用开发都取得了长足的发展. 其中 , 它的 2 个较大的分支值得注意. 其一是基于 kernel 的特征提取技术[ 8 - 9 ] ,以支持向量机、kernel 主分量 分析和 kernel 鉴别分析为代表 ;其二是以流形学习 为主导的维数压缩理论和技术[10 ] . 目前典型的方法 有主曲线 (曲面) 分析[11 ] 、等距特征映射 (isometric feat ure mapping) [12 ] 、局部线性嵌入法 (local linear embedding) [13 ] 、拉普拉斯特征图 (Laplacian eigen2 map) [14 ]等. 本文针对维数压缩中的鉴别信息提取 ,对一种 已有的解决小样本问题的直接线性鉴别分析方法 ( direct linear discriminant analysis , DLDA) [15 - 16 ] 提出了新的解决方案 ,利用矩阵的 QR 分解实现数 据的预处理 ,并且在低维的空间内实现了特征提取 , 有望实现算法的实时处理. 最后 ,在 ORL 人脸数据 库上的实验结果验证了提出方法的有效性. 1 鉴别维数压缩的基本概念和方法 设ω1 ,ω2 , …,ωC 为 C 个模式类 ,模式 X 为 n 维 实向量. 那么由该训练样本集构成的类间散布矩阵 Sb 、类内散布矩阵 Sw 和总体散布矩阵 St 分别定义 为 Sb = ∑ C i = 1 P(ωi) (μi - μ) (μi - μ) T , (1) Sw = ∑ C i = 1 P(ωi) E{ ( X - μi) ( X - μi) T /ωi} , (2) St = Sb + Sw = E{ ( X - μ) ( X - μ) T } . (3) 式中 : P (ωi ) 为第 i 类训练样本的先验概率 ,μi = E{ X/ωi}为第 i 类训练样本的均值 ,μ= E{ X} = ∑ C i = 1 P(ωi)μi为全体训练样本的均值. 由式(1) ～(3) 的 定义可知 , Sw 、Sb 、St 均为非负定矩阵. 当 Sw 可逆 时 , Sw 与 St 均为正定矩阵 ,且满足 St = Sb + Sw . 1. 1 主成分分析 主成分分析的思想来源于 KL 变换[1 - 2 ] ,其目 的是通过线性变换找到一组最优的单位正交向量基 (也称主成分 ,主元) ,用这组向量基的线性组合来重 建原样本 ,并使得重建后的样本和原样本的误差最 小. 在数学上 ,主成分分析就是通过求解特征值问题 来对角化协方差矩阵 St . 其对应的广义特征方程为 λΓ = StΓ. (4) 人们将它用于统计特征提取 ,从而形成了子空 间法模式识别的基础. 若将 KL 变换用于人脸识别 , 则需假设不同人脸具有可分性. 由于高维图像空间 KL 变换后可得到一组新的正交基 ,因此可通过保 留部分正交基 ,以生成低维人脸空间 ,而低维空间的 基是通过分析人脸训练样本集的统计特性来获得. 在新的正交空间中 ,原始人脸样本 X就可以表示为 XŽ = ΓT ( X - μ) . (5) 如将子空间的这些正交向量按照图像阵列排列 ,则 可以看出这些正交向量呈现人脸的形状 ,因此这些 正交向量也被称作特征脸. 这种人脸识别方法也叫 做特征脸(eigenface) 方法. 关于正交向量的选择有 不同的选择依据 ,即与较大特征值对应的正交向量 (主分量) 可用来表达人脸的大体形状 ,而具体细节 需通过与小特征值相对应的特征向量(次分量) 来加 以描述. 通过选择前 m 个最大特征值所对应的特征 向量 ,可以实现原始人脸样本数据向这个低维子空 间的投影. KL 变换在 20 世纪 90 年代初受到了很大的重 视 ,实际用于人脸识别也取得了很好的效果. 从压缩 的角度来看 , KL 变换是最优的 ,它不仅使得从 n 维 空间降到 m 维空间前后的均方误差最小 ,而且变换 后的低维空间有很好的人脸表达能力. 基于 KL 变 换的主成分分析方法虽然实现了高维人脸的低维表 示 ,但是从鉴别的角度而言并不是最优的. 传统的主 成分分析方法对图像的重构而言是最佳的 ,但是对 于图像的分类却缺少有效的鉴别信息. 选择训练样 本的散布矩阵作为 KL 变换的生成矩阵 ,是由于其 最大特征向量抓住了该样本几何的主要分布 ,但这 是图像统计的方法 ,而不是人脸统计方法 ,它虽然考 虑图像之间所有的差别 ,但由于它不管这样的差异 是由照明、发型变更或背景所致 ,还是属于人脸的内 在差异 ,因此特征脸的识别方法用于人脸识别还存 在理论的缺陷 ,研究表明 ,特征脸的方法随着光线、 角度及人脸的尺寸等因素的引入 ,识别率急剧下降. 因此 ,主成分分析方法根本局限性在于对于分类而 言不是最优的. 1. 2 线性鉴别分析 鉴别分析的思想最早是由 Fisher 提出的[ 17 ] ,其 目的是选择使得 Fisher 准则函数达到极值的向量 作为最佳投影方向 ,从而使得样本在该方向上投影 后 ,达到最大的类间离散度和最小的类内离散度. 在 Fisher 思想的基础上 ,Wilks 和 Duda 分别提出了鉴 别矢量集的概念[18 - 19 ] ,即寻找一组鉴别矢量构成子 空间 ,以原始样本在该空间内的投影矢量作为鉴别 特征用于识别. 该方法被称为经典的 Fisher 线性鉴 别分析方法. 近来 ,Fisher 线性鉴别分析无论在理论 上还是在应用上都取得了长足的发展 ,成为一种广 泛使用的 ,十分有效的特征抽取方法. 第 6 期 杨静宇 ,等 :基于 QR 分解的鉴别维数压缩及其在人脸识别中的应用 ·49 ·