Vol.28 No.8 郭辉等：基于最小二乘支持向量机对偶优化问题的核偏最小二乘 791。 程表示6周： 3n=r、i (8) max cov(vx,wy)=vCow V.w s.t.lly ll=1=llw ll. (1) 头-0-8=%1p (9) 其中Cw=xy,是pXp的样本协方差矩阵. 引入拉格朗日乘子，得到拉格朗日方程，解优 头=0→e=v(x)=L,p(10) 化方程可以得到： aL Cnp=入y,Cx=w (2) =01=w）i=1p(1山 其中C是正定的、对称的，v和m是最大特征值 对应的具有最大方差的特征向量.从维度减少的 在消去变量。”，心，并且定义入=之可 观点看，偏最小二乘可以看作是以最小二乘方式 以得到下面的对偶问题： 搜索最适度空间.偏最小二乘的最小二乘损失函 r0n2]「a吲 = (12) 数表示为： go=是(x-m+p 其中， 0=x)(x以，0.2=(). w2+-wwT方I2) (3 在特征空间中用非线性主元构造线性模型， 可见，偏最小二乘是在于优化系数向量”， 定义k(x,y)=Φ(x)T(y以，从上面推导的优化 w,同时分别在样本输入x空间、输出y空间搜索 条件，可以得到KPLS回归模型： 数据点的最大映射，并且保持二者具有最大协方 fx)=wTx)十b= 差矩阵. 2核偏最小二乘的对偶优化问题 空呵空+b 核函数方法用于偏最小二乘，提出了基于核 空十b (13) 的偏最小二乘方法(KPLS),从而将原本用于线性 相关分析的PL$方法扩展到了非线性相关分析 s是成分个数，其中a= 的领域.通过简化式3)，把数据映射到特征空 3 实验与分析 间中，并且加入正则化参数Y,得到下面的最小二 乘优化公式： 设计两个实验进一步分析核偏最小二乘的对 偶优化表示问题：M ackey-Glass时间序列问题和 标准数据集测试. 约束条件： 3.1 Mackey-Glass时间序列分析 e=v(x),r:=w(y,i=1,;p(4) 混沌是自然界与人类社会普遍存在的运动形 其中正则化参数D0,e:和r:是误差项.给出的 式对于混沌动力学系统的研究己成为动力系统 优化问题具有相应的对偶公式。现在引进拉格朗 研究的中心内容之一，并常常用来检验非线性系 日乘子，B,根据目标函数及约束条件建立拉格 统模型的性能.在实验中对M ackey-Glass时间序 朗日方程为： 列进行预测.Mackey-Glass时间序列由差分延迟 L(v,w,ei,ri,ai,B)=Y 方程产生，该方程定义如下： -加0+心： dt (14) 会时一l 5 其中：a=02,b=0.L,ta是延迟时间，t是当前 利用拉格朗日优化方法，极值应满足下面条件： 时间.当>17时，动力学系统变为混沌状态，因 来0 含o 此选择=30.实验任务是使用已知x在t点的 (6) 值预测将来x在1+τ的值.从x(501)~x(700) 是=0=名w (7) 抽取200个数据构成训练数据集，从x(701)~ x(1000)取300个数据构成测试数据集.为了使程表示 [ 6 8] : max v, w cov( v T x , w T y ) =v T Cxyw s.t .‖v ‖ =1 =‖w ‖ . ( 1) 其中 Cxy =x T y, 是 p ×p 的样本协方差矩阵. 引入拉格朗日乘子, 得到拉格朗日方程, 解优 化方程可以得到 : Cxyw =λv, Cy xv =λw ( 2) 其中 C 是正定的、对称的, v 和 w 是最大特征值 对应的具有最大方差的特征向量 .从维度减少的 观点看, 偏最小二乘可以看作是以最小二乘方式 搜索最适度空间 .偏最小二乘的最小二乘损失函 数表示为 : J ( v, w) = ∑ p i =1 ( ‖xi -vv T xi ‖ 2 +‖v T xi - w T yi ‖ 2 +‖ yi -ww T yi ‖ 2 ) ( 3) 可见, 偏最小二乘是在于优化系数向量 v, w, 同时分别在样本输入 x 空间、输出 y 空间搜索 数据点的最大映射, 并且保持二者具有最大协方 差矩阵. 2 核偏最小二乘的对偶优化问题 核函数方法用于偏最小二乘, 提出了基于核 的偏最小二乘方法( KPLS) , 从而将原本用于线性 相关分析的 PLS 方法扩展到了非线性相关分析 的领域[ 4] .通过简化式( 3), 把数据映射到特征空 间中, 并且加入正则化参数 γ, 得到下面的最小二 乘优化公式: maxJ PLS( v , e) =γ∑ n i =1 eiri - 1 2 v T v - 1 2 w T w 约束条件 : ei =v T ( xi), ri =w T ( yi), i =1, …, p ( 4) 其中正则化参数 γ>0, ei 和 ri 是误差项.给出的 优化问题具有相应的对偶公式, 现在引进拉格朗 日乘子 αi , βi , 根据目标函数及约束条件建立拉格 朗日方程为: L( v , w, ei , ri , αi , βi) =γ∑ p i =1 eiri - 1 2 v T v - 1 2 w T w - ∑ n i =1 αi[ ei -v T ( xi)] - ∑ n i =1 βi[ ri -w T ( yi)] ( 5) 利用拉格朗日优化方法, 极值应满足下面条件 : L v =0 ※v = ∑ p i =1 αi ( xi) ( 6) L w =0 ※w = ∑ p i =1 βi ( yi) ( 7) L ei =0 ※αi =γri i =1, …, p ( 8) L ri =0 ※βi =γei i =1, …, p ( 9) L αi =0 ※ei =v T ( xi) i =1, …, p ( 10) L βi =0 ※ri =w T ( yi) i =1, …, p ( 11) 在消去变量 e, r, v , w, 并且定义 λ= 1 γ , 可 以得到下面的对偶问题: 0 Ψc, 2 Ψc, 1 0 αi βi =λ I 0 0 I αi βi ( 12) 其中, Ψc, 1 i, j = ( xi) T ( xj), Ψc, 2 i, j = ( yi) T ( yj) . 在特征空间中用非线性主元构造线性模型, 定义 k ( x, y ) =Υ( x ) T Υ( y), 从上面推导的优化 条件, 可以得到 KPLS 回归模型: f( x ) =w T ( x ) +b = ∑ s j =1 wj ∑ n i =1 α ( n) ij k ( xi , x) +b ∑ s i =1 α′ik( xi , xj) +b ( 13) s 是成分个数, 其中 α′i = ∑ S j =1 wjα( m) ij . 3 实验与分析 设计两个实验进一步分析核偏最小二乘的对 偶优化表示问题 :M ackey-Glass 时间序列问题和 标准数据集测试. 3.1 Mackey-Glass 时间序列分析 混沌是自然界与人类社会普遍存在的运动形 式, 对于混沌动力学系统的研究已成为动力系统 研究的中心内容之一, 并常常用来检验非线性系 统模型的性能 .在实验中对 M ackey-Glass 时间序 列进行预测 .Mackey-Glass 时间序列由差分延迟 方程产生, 该方程定义如下: d x ( t) d t =-bx ( t) + ax ( t -t d) 1 +x 10 ( t -t d) for t d >τ ( 14) 其中:a =0.2, b =0.1, t d 是延迟时间, t 是当前 时间.当 τ>17 时, 动力学系统变为混沌状态, 因 此选择 τ=30 .实验任务是使用已知 x 在t 点的 值预测将来x 在 t +τ的值 .从 x ( 501) ～ x ( 700) 抽取 200 个数据构成训练数据集, 从 x ( 701) ～ x ( 1 000)取 300 个数据构成测试数据集 .为了使 Vol.28 No.8 郭辉等:基于最小二乘支持向量机对偶优化问题的核偏最小二乘 · 791 ·