·288· 智能系统学报 第17卷 llx-xl2 exp x是x的k近邻或x是x的k近邻 minllX-XWIle+allWll2 +BIIGWIl2 (11) ii- 2r2 2.1.3目标函数 0. 其他 (4) 式(11)通过特征自表达和图正则化来保留数 N(x)是x的k个近邻的集合，σ是宽度参数。 据的局部几何结构，但该模型却缺少了全局结 构信息，无法准确地捕捉特征的全局结构信息。 2基于特征自表达和图正则化模型 因此本文采用低秩约束来保留数据的全局结构。 区别于传统的特征自表达，此处将特征自表达以 2.1模型建立 及图正则化项与低秩约束相结合，分别考虑了局 为了给出基于特征自表达的鲁棒联合图正则 部特征相关性和全局特征相关性，从而得到局部 化无监督特征选择(feature self-representation and 特征自表达和全局特征自表达。具体来说，就是 graph regularization,FSRGR)模型，首先引入以下 对W施加一个低秩假设，即W=AB,所得目标函 图正则化特征自表达无监督特征选择一般模型： 数为 minllX-XWl+lWll1+B(W) (5) minllX-XAB+lABIk:+BIGABIl (12) 式中：(W是图正则化项，用于保留数据的局部 式中：A∈Rt为投影矩阵；B∈Rxd为恢复矩阵。 几何结构。入和B是用于平衡L2:范数和正则化 入和B均是平衡参数。 项的两个参数。 该模型利用特征自表达保留了特征的局部结 2.1.1基于L2范数图正则化项的无监督特征选择 构，并采用了低秩约束（即用A和B代替来保 局部线性嵌人(LLE)回、局部保留投影(LPP 留样本以及特征的全局结构。此外，对传统LPP 和局部切线空间对齐(LTSA)等均是基于L2范 模型中的拉普拉斯矩阵进行特征分解，建立基于 数的图正则化方法。将LPP思想应用于模型 L21范数的图正则化项，增强其鲁棒性和稀疏性， ()中，则可得到以下模型： 并保留了数据的局部几何结构。 minK-Xw形+Awk+B∑lwx-wxr(⑥ 2.2优化算法 虽然式(12)中的目标函数是凸的，但很难联 式(6)也可以表示为 合地求解所有变量。这里使用交替迭代优化策略 minlX-XWl+lWlk+Btr(WTXLXW) (7) 去优化它，即交替地迭代每一个变量，直至算法 式中：L是一个拉普拉斯矩阵，且L=D-S,D是 收敛。 一个对角矩阵，其对角元素为D,-乃，S由式 首先，式(12)可以改写为 =1 (XX-2XXAB+BAXXAB)+ (4)定义。 (13) At(BTATPAB)+Btr(BTATGDGAB) 2.1.2基于L21范数图正则化项的无监督特征 式中：P为对角矩阵，将其第i个对角元素定义为 选择 1 在式（⑦）中，最后一项图正则化项用于保留数 2lA0i=12…,n (14) 据的局部几何结构，然而，基于L2范数的正则化 D为对角矩阵，其第i个对角元素定义为 函数容易受到噪声数据的影响。为减少噪声的影 1 d=2GAB1=12” (15) 响，下面介绍一种基于L2!范数的图正则化方法， 使得模型对噪声数据更加鲁棒。 式中：(ABy是矩阵AB的第i行；(GABy是矩阵 由于拉普拉斯矩阵L是实对称的，故设矩阵 GAB的第i行。 L特征分解为 对式(13)中目标函数关于B求导数并设令其 L=UVUT (8) 等于0，可以得到： 于是，式()中的图正则化项可以改写为 B=(ATSA)ATXX (16) (WTXLXW)=t(WTXUVUTXW)= 其中，S1=XX+P+BGDG。 (9) HvU'Xw=IGWI呢 将式(16)代入到式(13)中，式(13)可以变为 其中G=VUX。为了使模型对噪声数据更加鲁 以下形式： 棒，使用L21范数代替F范数，可以得到基于L2 mint(XX-XTXA(ATS A)ATXTX) (17) 范数的图正则化项： 它等价于以下问题： (W)=lIGWIl2. (10) 于是式()可改写为 max tr((ATSA)-ATS2A) (18)si j =    exp( − ∥x i − x j ∥2 2σ2 ) , x i是x j的k近邻或x j是x i的k近邻 0, 其他 (4) Nk(x j ) x i 是 的 k 个近邻的集合，σ 是宽度参数。 2 基于特征自表达和图正则化模型 2.1 模型建立 为了给出基于特征自表达的鲁棒联合图正则 化无监督特征选择 (feature self-representation and graph regularization, FSRGR) 模型，首先引入以下 图正则化特征自表达无监督特征选择一般模型： min W ∥X− XW∥ 2 F +λ∥W∥2,1 +βφ(W) (5) φ(W) λ β L2,1 式中： 是图正则化项，用于保留数据的局部 几何结构。 和 是用于平衡 范数和正则化 项的两个参数。 2.1.1 基于 L2 范数图正则化项的无监督特征选择 L2 局部线性嵌入 (LLE)[12] 、局部保留投影 (LPP)[13] 和局部切线空间对齐 (LTSA)[14] 等均是基于 范 数的图正则化方法。将 LPP 思想应用于模型 (5) 中，则可得到以下模型： min W ∥X− XW∥ 2 F +λ∥W∥2,1 +β ∑n i, j=1 WT x i −WT x j 2 si j (6) 式 (6) 也可以表示为 min W ∥X− XW∥ 2 F +λ∥W∥2,1 +βtr(WTX T LXW) (7) L L = D−S D Dii = ∑n j=1 si j S 式中： 是一个拉普拉斯矩阵，且 ， 是 一个对角矩阵，其对角元素为 ， 由式 (4) 定义。 2.1.2 基于 L2,1 范数图正则化项的无监督特征 选择 L2 L2,1 在式 (7) 中，最后一项图正则化项用于保留数 据的局部几何结构，然而，基于 范数的正则化 函数容易受到噪声数据的影响。为减少噪声的影 响，下面介绍一种基于 范数的图正则化方法， 使得模型对噪声数据更加鲁棒。 L L 由于拉普拉斯矩阵 是实对称的，故设矩阵 特征分解为 L = UVUT (8) 于是，式 (7) 中的图正则化项可以改写为 tr(WTX T LXW) = tr(WTX TUVUTXW) = V 1 2 U TXW 2 F = ∥GW∥ 2 F (9) G = V 1 2 U TX L2,1 L2,1 其中 。为了使模型对噪声数据更加鲁 棒，使用 范数代替 F 范数，可以得到基于 范数的图正则化项： φ(W) = ∥GW∥2,1 (10) 于是式 (7) 可改写为 min W ∥X− XW∥ 2 F +λ∥W∥2,1 +β∥GW∥2,1 (11) 2.1.3 目标函数 W W = AB 式 (11) 通过特征自表达和图正则化来保留数 据的局部几何结构，但该模型却缺少了全局结 构信息，无法准确地捕捉特征的全局结构信息。 因此本文采用低秩约束来保留数据的全局结构。 区别于传统的特征自表达，此处将特征自表达以 及图正则化项与低秩约束相结合，分别考虑了局 部特征相关性和全局特征相关性，从而得到局部 特征自表达和全局特征自表达。具体来说，就是 对 施加一个低秩假设，即 ，所得目标函 数为 min W ∥X− XAB∥ 2 F +λ∥AB∥2,1 +β∥GAB∥2,1 (12) A ∈ R d×k B ∈ R k×d λ β 式中： 为投影矩阵； 为恢复矩阵。 和 均是平衡参数。 L2,1 该模型利用特征自表达保留了特征的局部结 构，并采用了低秩约束 (即用 A 和 B 代替 W) 来保 留样本以及特征的全局结构。此外，对传统 LPP 模型中的拉普拉斯矩阵进行特征分解，建立基于 范数的图正则化项，增强其鲁棒性和稀疏性， 并保留了数据的局部几何结构。 2.2 优化算法 虽然式 (12) 中的目标函数是凸的，但很难联 合地求解所有变量。这里使用交替迭代优化策略 去优化它，即交替地迭代每一个变量，直至算法 收敛。 首先，式 (12) 可以改写为 min A,B tr(X TX−2X TXAB+ B TA TX TXAB)+ λtr(B TA T PAB)+βtr(B TA TG T DGAB) (13) 式中： P 为对角矩阵，将其第 i 个对角元素定义为 pii = 1 2∥(AB) i ∥2 , i = 1,2,··· ,n (14) D 为对角矩阵，其第 i 个对角元素定义为 dii = 1 2 (GAB) i 2 ,i = 1,2,··· ,n (15) (AB) i AB (GAB) i GAB 式中： 是矩阵 的第 i 行； 是矩阵 的第 i 行。 对式 (13) 中目标函数关于 B 求导数并设令其 等于 0，可以得到： B = (A TS1A) −1A TX TX (16) S1 = X TX+λP+βG T 其中， DG。 将式 (16) 代入到式 (13) 中，式 (13) 可以变为 以下形式： min A tr(X TX− X TXA(A TS1A) −1A TX TX) (17) 它等价于以下问题： max A tr((A TS1A) −1A TS2A) (18) ·288· 智 能 系 统 学 报 第 17 卷