·50· 智能系统学报 第2卷 Fisher准则函数可定义为 Se Ho HB 11) rSΨ J(x)=ws.(W) 6) 由此，可以得到关于矩阵H的QR分解2o.2 仑 推广的Fisher准则函数定义为 H6=(Q,Q2) 12) SΨ J(X=SΨ (7) 式中：Q1∈X,Q2∈Xxm-9,R∈XC 此时，很容易得到H=QR为H6的满秩分解 当类内散布矩阵S。非奇异时，式6)、7)两准 因此对于任意的正交矩阵w∈R 则完全等价：当S奇异时，准则7)是准则6)的合 G=QW. 13) 理推广.在类内散布矩阵非奇异的情况下，由Fisher 这样就可以解决式(9)的优化问题.特别要注意的 准则函数就可以得到原始样本的最优鉴别矢量集， 是，其中t的是矩阵H。的秩，并且1的上限是C- 其求解过程也就是对下列广义特征方程求取相应的 1.在实际使用之中，C类数据通常是线性独立的，在 特征值和特征矢量的过程： 这种情况下，QR分解之后的维数通常为1=C-1= S6Ψ=S.Ψ 8) rank(S).因此，通过QR分解也可以实现类似PCA 式中：平=（四，玛，平）是广义特征方程8)的前 的降维过程 d个最大的非零特征值人>人>>a所对应的特 DLDA/QR算法的第2步将关注类内散布矩阵 征向量.因此，上述的特征矢量集乎同时也是矩阵 的信息.在这一步骤中，此时的特征提取过程类似经 S:'S。所对应的特征向量集.但是，当小样本问题存 典的DLDA方法，要注意的一点是此时在一个低维 在的时候，就会导致相应的类内散布矩阵是奇异的， 的空间内进行矩阵操作，因此使得DLDA/QR方法 此时就不能直接得到S:'的值，因此如何在小样本 变得稳定和有效.当得到矩阵Q:之后，那么可以得 问题下利用Fisher鉴别准则得到最佳鉴别矢量集 到在新的降维空间之中的相应散布矩阵为 是有效抽取特征的一个关键 S,=QS:Q (14) 2直接线性鉴别分析的新算法 和 S:=Q SQ 15) 2.1直接线性鉴别分析方法 很容易验证S,和S。是tXt的矩阵，并且其中的Sa 直接线性鉴别分析方法是解决当利用Fisher 是非奇异的 鉴别准则进行特征提取时由于类内散布矩阵的奇异 在这一步骤中，目的是要找到一个同时对角化 而带来的小样本问题.其基本思想是当类间散布矩 S和S。的矩阵： 阵不为零时，此时的类内散布矩阵零空间中就包含 VTS,V A,VTSV I. 16) 了所有的有效鉴别信息.令N。和N分别表示样本 式中：A是一个对角矩阵，它的对角元素按照从小到 的类间散布矩阵S。和类内散布矩阵S。的零空间， 大的次序排列：1是一个单位化矩阵. 那么他们所对应的非零空间分别为N6=R”-N 首先对角化对称矩阵S。.由于S。是一个tX1 和N·=R-N.直接线性鉴别分析方法的目的就 的矩阵，并且在通常情况下t《n,因此很容易实现 是从空间N6∩N,抽取得到相应的鉴别信息. 这一矩阵的对角化 2.2一种新的直接线性鉴别分析算法及理论框架 现假定存在一个矩阵U满足 在直接线性鉴别分析的基础上，提出了一种新 UTSU A. (17) 的DLDA算法：DLDA/QR算法.该算法的目的是 式中UU,A。是对角矩阵并且其对角元素按照降 在保留DLDA算法思想的基础上，降低算法的复杂 序排列 度，同时提高算法的有效性和稳定性 令 该算法首先是解决如下的优化问题： I UAjv2 (18) G=arg maxtrace(G'SG). 9) GG-I 那么，可以得到 从式(9)中，可以得到新算法的第1步中只是关 UM:2)TS6UAg2=1→ZS6Z=L.19列 注类间散布矩阵的最大.在文中的算法中，首先定义 此时就实现了新的类间散布矩阵S。的对角化.由 矩阵： 此，令 H=[JN(4.四…N(4c·91,I0 S.ZSZ 20) 并且满足 利用相似的方法，可以实现总体散布矩阵$，的 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.netFisher 准则函数可定义为 J f ( X) = ΨT SbΨ ΨT Sw (Ψ) . (6) 推广的 Fisher 准则函数定义为 J ( X) = ΨT SbΨ ΨT StΨ . (7) 当类内散布矩阵 Sw 非奇异时 ,式(6) 、(7) 两准 则完全等价;当 Sw 奇异时 ,准则(7) 是准则 (6) 的合 理推广. 在类内散布矩阵非奇异的情况下 ,由 Fisher 准则函数就可以得到原始样本的最优鉴别矢量集. 其求解过程也就是对下列广义特征方程求取相应的 特征值和特征矢量的过程 : SbΨ =λS wΨ. (8) 式中 :Ψ= (Ψi ,Ψ2 , …,Ψd ) 是广义特征方程(8) 的前 d 个最大的非零特征值λ1 >λ2 > …>λd 所对应的特 征向量. 因此 ,上述的特征矢量集 Ψ同时也是矩阵 S - 1 w Sb 所对应的特征向量集. 但是 ,当小样本问题存 在的时候 ,就会导致相应的类内散布矩阵是奇异的 , 此时就不能直接得到 S - 1 w 的值 ,因此如何在小样本 问题下利用 Fisher 鉴别准则得到最佳鉴别矢量集 是有效抽取特征的一个关键. 2 直接线性鉴别分析的新算法 2. 1 直接线性鉴别分析方法 直接线性鉴别分析方法是解决当利用 Fisher 鉴别准则进行特征提取时由于类内散布矩阵的奇异 而带来的小样本问题. 其基本思想是当类间散布矩 阵不为零时 ,此时的类内散布矩阵零空间中就包含 了所有的有效鉴别信息. 令 Nb 和 N w 分别表示样本 的类间散布矩阵 Sb 和类内散布矩阵 S w 的零空间 , 那么他们所对应的非零空间分别为 N′b = R n - Nb 和 N′w = R n - Nw . 直接线性鉴别分析方法的目的就 是从空间 N′b ∩N w 抽取得到相应的鉴别信息. 2. 2 一种新的直接线性鉴别分析算法及理论框架 在直接线性鉴别分析的基础上 ,提出了一种新 的 DLDA 算法 :DLDA/ QR 算法. 该算法的目的是 在保留 DLDA 算法思想的基础上 ,降低算法的复杂 度 ,同时提高算法的有效性和稳定性. 该算法首先是解决如下的优化问题 : G = arg max G T G= I trace ( G T SbG) . (9) 从式(9) 中 ,可以得到新算法的第 1 步中只是关 注类间散布矩阵的最大. 在文中的算法中 ,首先定义 矩阵 : Hb = [ N (μ1 - μ) … N (μC - μ) ] , (10) 并且满足 Sb = Hb H T b . (11) 由此 ,可以得到关于矩阵 Hb 的 QR 分解[20 - 21 ] Hb = (Q1 , Q2 ) R 0 . (12) 式中 :Q1 ∈X n ×t , Q2 ∈X n×( n - t) , R ∈X t ×C . 此时 ,很容易得到 Hb = Q1 R 为 Hb 的满秩分解. 因此对于任意的正交矩阵 W ∈R t ×t , G = Q1W. (13) 这样就可以解决式 (9) 的优化问题. 特别要注意的 是 ,其中 t 的是矩阵 Hb 的秩 ,并且 t 的上限是 C - 1. 在实际使用之中 , C 类数据通常是线性独立的 ,在 这种情况下 ,QR 分解之后的维数通常为 t = C - 1 = rank ( Sb) . 因此 ,通过 QR 分解也可以实现类似 PCA 的降维过程. DLDA/ QR 算法的第 2 步将关注类内散布矩阵 的信息. 在这一步骤中 ,此时的特征提取过程类似经 典的 DLDA 方法 ,要注意的一点是此时在一个低维 的空间内进行矩阵操作 ,因此使得 DLDA/ QR 方法 变得稳定和有效. 当得到矩阵 Q1 之后 ,那么可以得 到在新的降维空间之中的相应散布矩阵为 S‰t = Q1 StQ1 (14) 和 S‰t = Q1 SbQ1 . (15) 很容易验证 S‰t 和 S‰b 是 t ×t 的矩阵 ,并且其中的 S‰b 是非奇异的. 在这一步骤中 ,目的是要找到一个同时对角化 S‰t 和 S‰b 的矩阵 : V T S‰tV = Λ,V T S‰bV = I. (16) 式中 :Λ是一个对角矩阵 ,它的对角元素按照从小到 大的次序排列; I 是一个单位化矩阵. 首先对角化对称矩阵 S‰b . 由于 S‰b 是一个 t ×t 的矩阵 ,并且在通常情况下 t ν n ,因此很容易实现 这一矩阵的对角化. 现假定存在一个矩阵 U 满足 U T S‰bU = Λb . (17) 式中 :U TU ,Λb 是对角矩阵并且其对角元素按照降 序排列. 令 I = UΛ- 1/ 2 b . (18) 那么 ,可以得到 (UΛ- 1/ 2 b ) T S‰bUΛ- 1/ 2 b = I ] Z T S‰bZ = I. (19) 此时就实现了新的类间散布矩阵 S‰b 的对角化. 由 此 ,令 S^ t = Z T S‰t Z. (20) 利用相似的方法 ,可以实现总体散布矩阵 S^ t 的 ·50 · 智 能 系 统 学 报 第 2 卷