·962· 智能系统学报 第14卷 问题可以使用广义特征值分解的方法近似求解。 其中： 最近的研究显示2，直接解决迹比问题是可行的 J(A)=(Ar(x-(g-刚A） 并且比使用广义特征值分解效果更好。 假设目标函数存在一个最小值P,当投影矩 (A)=t(AT(B)(BA) 阵为A:时可以达到这个最小值，因此对于满足 因为目标函数要在正交约束条件下进行求 式(7的任意投影矩阵A,有以下关系： 解，所以首先要对其进行求导。J(A)对A求导得 tr(ATS.A ≥p (8) tr(ATS,A) 2222多 dA 因此可以得到 (14) tr(AS.A-ptr(ATSA)≥0 (9) 对于每一个x,可以计算”(A)的导数，为 为了优化目标函数，本文定义以下函数： 了方便表示，用x来替代x,用来替代： f(p)=mintr(ATS.A-pATSA) (10) dJ(A)=(2xxT+6GG+R+R--)A (15) 式中f(p)具有引理1中的属性，已经在文献[21- dA 式中：G=AAT)AATx,R=2x-G)G, 22]中得到证明。 引理11)f是关于p的一个非增函数；2)当 H=4GxF。 p=p时，f(p)=0。 同样地，可以计算(A)的导数，为了方便 由上述f(p)的属性可知，f是关于p的一个 表示，用x来替代x,用来替代： 非增函数。对于函数f(p),当p为负数或者较小 (A)=(2xx+6GGT+R+R"-)A (16) dA 的正数时，f(p)>0;当p为较大的正数时， 式中：G=AAT)AAx,R=2x-G)G, f(p)<0,所以p一定存在，因此可以通过交替迭 代更新得到p和相对应的A'。 H=4GxF。 首先保持p不变并更新A,然后保持A不变 求完导数之后，定义一个斜对称矩阵M: 并更新P。LLRDA中线性回归系数B在更新A M-A-AAY dA (17) 之前进行计算，并且在接下来的计算过程中固定 然后，可以通过Crank-Nicolson-like方法，得 不变。但是实际上B与A是相关的，不是独立 到更新后的投影矩阵Aewo 的，B的更新会对A产生影响。为了解决这个问 题，利用与A之间的关系，使用解析解形式： Aw=A-5MA+An） (18) 式中：τ表示步长，可以通过解析解的形式得到 B-XAAXXAAY (11) A=+5M(-5M4,I是单位矩阵，通过这 来消除B的影响。 种方法求得的Ae有很好的特性2)，即AAem= 1)固定A,更新p AA. 对于一个给定的p,用A(p)表示式(10)的 通过前面对LLRC-DA的描述，可以得到 解。固定A,对p进行求导： LLRC-DA的算法： f(p)=-t(A(p)"S.A(p)) (12) 输入训练样本矩阵X,特征子空间维数d, fp得到目 己知A(p,可以通过pe=p-nfO 最近邻个数k,最近邻类K,最大选代次数t、2, 标函数的根，其中表示步长。 步长、T; 2)固定P,更新A 输出投影矩阵ARc-DAo 存在约束条件ATA=I的情况下，可以通过 1)如果原始样本的维数大于样本总数，先使 求解下面问题来求解A。 用PCA方法将原始样本投影到低维子空间，其中 minJ(A)=mintr(ATS.A-pATS,A)= ACA是使用PCA得到的投影矩阵： 2)固定P,对于每个样本，计算它在每个类中 min((ATS.A)-ptr(ATS,A))= 的k个最近邻，使用A=+M-5M）A 2w发22名 来更新A,直到收敛或者达到迭代次数t; n台 3)固定A,对于每个样本，计算它在每个类中 s.t.ATA=I ,fp来更新po 的k个最近邻，使用P=p-小fO问题可以使用广义特征值分解的方法近似求解。 最近的研究显示[20] ，直接解决迹比问题是可行的 并且比使用广义特征值分解效果更好。 ρ ∗ A ∗ A 假设目标函数存在一个最小值 ，当投影矩 阵为 时可以达到这个最小值，因此对于满足 式 (7) 的任意投影矩阵 ，有以下关系： tr( A TSw A ) tr(ATSbA) ⩾ ρ ∗ (8) 因此可以得到 tr( A TSw A ) −ρ ∗ tr(A TSbA) ⩾ 0 (9) 为了优化目标函数，本文定义以下函数： f(ρ) = min A tr( A TSw A−ρA TSbA ) (10) 式中 f(ρ) 具有引理 1 中的属性，已经在文献 [21- 22] 中得到证明。 f ρ ρ=ρ ∗ f(ρ) = 0 引理 1 1) 是关于 的一个非增函数；2) 当 时， 。 f(ρ) f ρ f(ρ) ρ f(ρ) > 0 ρ f(ρ) < 0 ρ ∗ ρ ∗ A ∗ 由上述 的属性可知， 是关于 的一个 非增函数。对于函数 ，当 为负数或者较小 的正数时， ； 当 为较大的正数时， ，所以 一定存在，因此可以通过交替迭 代更新得到 和相对应的 。 ρ A A ρ β˜ A β˜ A β˜ A β˜ A 首先保持 不变并更新 ，然后保持 不变 并更新 。LLRDA 中线性回归系数 在更新 之前进行计算，并且在接下来的计算过程中固定 不变。但是实际上 与 是相关的，不是独立 的， 的更新会对 产生影响。为了解决这个问 题，利用 与 之间的关系，使用解析解形式： β˜ = ( X˜ T i AATX˜ i )−1 X˜ T i AAT y (11) 来消除 β˜ 的影响。 1) 固定 A ，更新 ρ ρ A(ρ) A ρ 对于一个给定的 ，用 表示式 (10) 的 解。固定 ，对 进行求导： f ′ (ρ) = −tr( A(ρ) T SbA(ρ) ) (12) A(ρ) ρnew = ρ−η1 f(ρ) f ′ (ρ) η1 已知 ，可以通过 得到目 标函数的根，其中 表示步长。 2) 固定 ρ ，更新 A A TA = I A 存在约束条件 的情况下，可以通过 求解下面问题来求解 。 min A J(A) = min A tr( A TSw A−ρA TSbA ) = min A ( tr( A TSw A ) −ρtr( A TSbA )) = min A   1 n ∑C i=1 ∑ni j=1 J j (w) i (A)− ρ nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) J j (b) im (A)   s.t. A TA = I (13) 其中： J j (w) i (A) = tr( A T ( x j i − X˜ j i β˜ j i ) (x j i − X˜ j i β˜ j i )T A ) J j (b) im (A) = tr( A T ( x j i − X˜ j imβ˜ j im) (x j i − X˜ j imβ˜ j im)T A ) J(A) A 因为目标函数要在正交约束条件下进行求 解，所以首先要对其进行求导。 对 求导得 dJ(A) dA = 1 n ∑C i=1 ∑ni j=1 dJ j (w) i (A) dA − ρ nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) dJ j (b) im (A) dA (14) x j i J j (w) i (A) x x j i X˜ X˜ j i 对于每一个 ，可以计算 的导数，为 了方便表示，用 来替代 ，用 来替代 ： dJ j (w) i (A) dA = (2xxT +6GGT+R+ R T − H − H T )A (15) G = X˜ ( X˜ TAATX˜ )−1 X˜ TAAT x R = 2(x−G)G T H = 4GxT 式中： ， ， 。 J j (b) im (A) x x j i X˜ X˜ j im 同样地，可以计算 的导数，为了方便 表示，用 来替代 ，用 来替代 ： dJ j (b) im (A) dA = (2xxT +6GGT+R+ R T − H − H T )A (16) G = X˜ ( X˜ TAATX˜ )−1 X˜ TAAT x R = 2(x−G)G T H = 4GxT 式中： ， ， 。 求完导数之后，定义一个斜对称矩阵 M： M = dJ(A) dA A T − A( dJ(A) dA ) T (17) Anew 然后，可以通过 Crank-Nicolson-like 方法，得 到更新后的投影矩阵 。 Anew = A− τ 2 M(A+ Anew) (18) τ Anew = ( I+ τ 2 M )−1 ( I− τ 2 M ) A I Anew A T new Anew = A TA 式中： 表示步长，可以通过解析解的形式得到 ， 是单位矩阵，通过这 种方法求得的 有很好的特性[23] ，即 。 通过前面对 LLRC-DA 的描述，可以得到 LLRC-DA 的算法： X d k K t1 t2 η1 τ 输入 训练样本矩阵 ，特征子空间维数 ， 最近邻个数 ，最近邻类 ，最大迭代次数 、 ， 步长 、 ； 输出 投影矩阵 ALLRC−DA。 APCA 1) 如果原始样本的维数大于样本总数，先使 用 PCA 方法将原始样本投影到低维子空间，其中 是使用 PCA 得到的投影矩阵； ρ k Anew = ( I+ τ 2 M )−1 ( I− τ 2 M ) A A t1 2) 固定 ，对于每个样本，计算它在每个类中 的 个最近邻，使用 来更新 ，直到收敛或者达到迭代次数 ； A k ρnew = ρ−η1 f(ρ) f ′ (ρ) ρ 3) 固定 ，对于每个样本，计算它在每个类中 的 个最近邻，使用 来更新 。 ·962· 智 能 系 统 学 报 第 14 卷