·418· 智能系统学报 第16卷 参与训练的样本进行选择。其中，损失函数是训 di= 1/A-POA)ll2.Il(A-POA)'lk+0 (5) 练样本从低维变换空间中恢复原始数据产生的误 1/6,其他 差，且包含需优化的均值向量。于是有以下优化 式中：A=X-b1T;i(i=1,2,…,m)表示矩阵的第i 模型： 列；对角矩阵H=diag(h,h22,…,hmm)的对角元素 -PQ"(sb)l+alllba+ 定义为 vh.P.Q ba=1I0k,Ig≠0 (6) (2) 1/6,其他 式中：j=1,2…,m)表示矩阵的第j行；6为一个 st.PrP=I,y∈0,1，i=1,2,…,n 很小的数。 式中：x为第i个样本；α为稀疏正则化控制参 2.2模型求解 数；k为自步控制参数；变量用于决定选择哪些 因为式(4)含有P、Q、b及v共4个变量，直 样本参与训练：b∈RmxI是样本均值；Q∈Rmw是投 接求解非常困难，所以本文使用交替迭代求解 的方法，分别求得自步学习权重”、最优投影矩阵 影矩阵；P∈Rmxd是恢复矩阵且服从正交约束 Q、最优均值b以及恢复矩阵P。 PP=I。式(2)用损失值的大小决定样本的难易 2.21固定P、Q、b求自步学习权重v 程度。 自步正则化函数f,)有多种形式。若f,kF 当P、Q和b固定时，式(4)转化为 1 一，k值较大，倾向于选择损失值较小的样本，于 mi∑，-b-PQ'c-bb+E 片+脉 是在算法迭代过程中，利用一个步长参数μ来逐 st.PP=L,ye[0,1],i=1,2…,n 渐减小k的值，使得越来越多的样本参与模型学 令L,=x-b-PQr(x-b)l2,则上式可表示为 习，从而实现从简单样本学习到复杂样本的过程。 当k小于一个预定义的确定值时，算法结束。 1 片+队 (7) 上述方法是硬性阈值权值选择方法，通过给 s.t.y:∈[0,1，i=1,2,…,n 每个样本分配二元权值(：∈[0,1)来决定是否选 式(7)的目标函数关于：求偏导并令其为 择样本。但异常值在所有样本中分布不均匀，所 0得：的解 以硬性正则函数不能确定是否选择这些样本。相 (1,L≤1/k+1/B)2 比于硬性阈值权值，软权值给每个样本分配 0,L≥1/k2 := (8) 0~1(包括0和1)的权值，显示了样本的潜在重要 /1 其他 性，更好地实现了从简单样本逐步学习到复杂样 2.2.2 本的过程。所提最终优化算法为 固定P、Q、求解最优均值b 版-b-Po'k-bb+dig+t 当固定P、Q和v时，式(4)转化为 min(X-b1'-PQ"(X-b1)D (9) 户B (3) 式(9)的目标函数关于b求偏导并令其为零， 台%+队 得到 s.tPP=I,y∈[0,1]，i=1,2,…,n (I-POT-OPT+00)(b1T-X)VD1=0 (10) 式中B是间隔控制参数，控制0~1的模糊区间。 令c=(b1T-X)VD1,则式(10)转化为 因此软阈值权值可以通过明确样本间差异，准确 (I-P0-QPr+20')c=0 (11) 选择样本，进一步避免异常值的影响。另外，这 若I-PQ-QPr+QQ为非奇异的，则式(11) 里存在一个隐形变量4（μ>1），用来作为自步控制 的解为c=0,从而有 参数k减小的步长。目标函数式(3)转化为 (12) (X-bI-PO'(X-b1 0 若I-PQ'-QP+QQ为奇异的，设其奇异值分解 lvag啡+户B (4) 为EW1U1T,其中W1=diag(c1,2,…,c,0,…,0), 台%+欧 o1≥2≥…≥σ，>0，则式(11)的解为 s.t.PrP=L,y,∈[0,1]，i=1,2,…,n c=01z 式中：V=diag(v1,2,…,v:1是全为1的列向量；对 其中z=[0,…,0,z+1,…,zmJ∈Rm为任意的。特别 角矩阵D=diag(di,d2,…,dnm)的对角元素定义为 地，如令z+1=1,乙2=…=zm=0,则式(11)的一个参与训练的样本进行选择。其中，损失函数是训 练样本从低维变换空间中恢复原始数据产生的误 差，且包含需优化的均值向量。于是有以下优化 模型： min v,b,P,Q ∑n i=1 vi ||xi − b− PQT (xi − b)||2 +α||Q||2,1+ ∑n i=1 f(vi , k) s.t.P T P = I, vi ∈ [0,1],i = 1,2,··· ,n (2) xi i α k vi b ∈ R m×1 Q ∈ R m×d P ∈ R m×d P T P = I 式中： 为第 个样本； 为稀疏正则化控制参 数； 为自步控制参数；变量 用于决定选择哪些 样本参与训练； 是样本均值； 是投 影矩阵； 是恢复矩阵且服从正交约束 。式 (2) 用损失值的大小决定样本的难易 程度。 f(vi , k) f(vi , k) − 1 k vi k µ k k 自步正则化函数 有多种形式。若 = ， 值较大，倾向于选择损失值较小的样本，于 是在算法迭代过程中，利用一个步长参数 来逐 渐减小 的值，使得越来越多的样本参与模型学 习，从而实现从简单样本学习到复杂样本的过程。 当 小于一个预定义的确定值时，算法结束。 (vi ∈ [0,1]) 上述方法是硬性阈值权值选择方法，通过给 每个样本分配二元权值 来决定是否选 择样本。但异常值在所有样本中分布不均匀，所 以硬性正则函数不能确定是否选择这些样本。相 比于硬性阈值权值，软权值给每个样本分 配 0~1(包括 0 和 1) 的权值，显示了样本的潜在重要 性，更好地实现了从简单样本逐步学习到复杂样 本的过程。所提最终优化算法为 min v,b,P,Q ∑n i=1 vi ||xi − b− PQT (xi − b)||2 +α||Q||2,1+ ∑n i=1 β 2 vi +βk s.t.P T P = I, vi ∈ [0,1],i = 1,2,··· ,n (3) β µ(µ > 1) k 式中 是间隔控制参数，控制 0~1 的模糊区间。 因此软阈值权值可以通过明确样本间差异，准确 选择样本，进一步避免异常值的影响。另外，这 里存在一个隐形变量 ，用来作为自步控制 参数 减小的步长。目标函数式 (3) 转化为 min v,b,P,Q ||(X− b1 T − PQT (X− b1 T )) √ V √ D||2 F+ α|| √ HQ||2 F + ∑n i=1 β 2 vi +βk s.t.P T P = I, vi ∈ [0,1],i = 1,2,··· ,n (4) V = diag(v1, v2,··· , vn) 1 D = diag(d11,d22,··· ,dnn) 式中： ； 是全为 1 的列向量；对 角矩阵 的对角元素定义为 dii = { 1/||A− PQTA) i ||2, ||(A− PQTA) i ||2 , 0 1/δ, 其他 (5) A = X− b1 T i(i = 1,2,··· ,n) i H = diag(h11,h22,··· ,hmm) 式中： ； 表示矩阵的第 列；对角矩阵 的对角元素 定义为 hii = { 1/||Q j ||2 , ||Q j ||2 , 0 1/δ, 其他 (6) 式中： j(j = 1,2,··· ,m) 表示矩阵的第 j 行； δ 为一个 很小的数。 2.2 模型求解 P Q b v v Q b P 因为式 (4) 含有 、 、 及 共 4 个变量，直 接求解非常困难，所以本文使用交替迭代求解[15] 的方法，分别求得自步学习权重 、最优投影矩阵 、最优均值 以及恢复矩阵 。 2.2.1 固定 P、Q、b 求自步学习权重 v 当 P、Q 和 b 固定时，式 (4) 转化为 min v,b,P,Q ∑n i=1 vi ||xi − b− PQT (xi − b)||2 + ∑n i=1 β 2 vi +βk s.t.P T P = I, vi ∈ [0,1],i = 1,2,··· ,n Li = ||xi−b−PQT 令 (xi−b)||2，则上式可表示为 min v ∑n i=1 viLi + ∑n i=1 β 2 vi +βk s.t.vi ∈ [0,1],i = 1,2,··· ,n (7) vi vi 式 (7) 的目标函数关于 求偏导并令其为 0 得 的解 vi =    1, Li ⩽ 1/(k+1/β) 2 0, Li ⩾ 1/k 2 β ( 1 √ Li −k ) , 其他 (8) 2.2.2 固定 P、Q、v 求解最优均值 b 当固定 P、Q 和 v 时，式 (4) 转化为 min b (X− b1 T − PQT (X− b1 T )) √ V √ D 2 F (9) 式 (9) 的目标函数关于 b 求偏导并令其为零， 得到 (I− PQT −QPT +QQT )(b1 T − X)V D1 = 0 (10) c = (b1 T 令 − X)V D1 ，则式 (10) 转化为 (I− PQT −QPT +QQT )c = 0 (11) I− PQT −QPT +QQT c = 0 若 为非奇异的，则式 (11) 的解为 ，从而有 b = XV D1 1 TV D1 (12) I− PQT −QPT +QQT E1W1U1 T W1 = diag(σ1,σ2,··· ,σs ,0,··· ,0) σ1 ⩾ σ2 ⩾ ··· ⩾ σs > 0 若 为奇异的，设其奇异值分解 为 , 其 中 , ，则式 (11) 的解为 c = U1 z z = [0,··· ,0,zs+1,··· ,zm] T ∈ R m zs+1 = 1 zs+2 = ··· = zm = 0 其中 为任意的。特别 地，如令 ， ，则式 (11) 的一个 ·418· 智 能 系 统 学 报 第 16 卷