郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1235· 为了更好地反映高炉的非线性动态特性，将相关输入 为零 输出变量的时序关系在建模过程进行考虑.为此，将 「aL =0→w= ∑apc）, 之前采样时刻的测量值0(t-1)=u1(1-1),42(1- dw 1),(1-1),u4(t-1),u(t-1),。(t-1)],U(t- aL 2),…,0(t-T),ru∈以及之前采样时刻铁水[Si] ab =08a=0, i=1,2,…,N 值C(1-1),Cs(t-2),…,Cs(1-Tc),rc∈，连同 aL de ,=0=→a:=ye' 当前采样时刻的检测值U()作为动态模型的综合输 aL 入，即建立的动态软测量模型用于实现如下的非线性 =0→wp(x:）+b+e:-方=0， 动态映射关系： (5) Cs()=fRs4sR{U(）,U(1-1),…,U(t-T), 消去变量ω和e,得到如下线性方程组： Cs(t-1),…,Cs(t-Tc)}. (1) 式(1)表示需要建立的自回归滑动平均(ARMA)动态 n,a-1 o (6) 软测量模型结构。本文基于多目标遗传参数优化技 术，采用提出的稀疏化鲁棒LS一SVR建模算法实现式 式中，y=（yy2…y),1=(1,1,…,1),a= (1)的自回归滑动平均动态模型，相关算法将在下节 (a1,2,…,ax)T,2是N维方阵，2=p(x)p(x)= 中给出. K(xm,xn)为满足Mercers条件的核函数.本文选用如 下高斯核函数： 2 R-S-LS-SVR建模算法 (x)=e (7) 标准LS-SVR通过引入等式约束替代经典SVR 2.2稀疏化改进 的不等式约束，虽然使计算的复杂度大大降低，但同时 由式(5)可知，w为输入向量在特征空间的线性 也引入了两个潜在的问题：其一是目标函数中没有正 组合，通过寻找输入向量在特征空间的近似基可以一 则化项，对于数据中含有噪声、离群点以及误差不服从 定程度的提高解的稀疏性圆.现将训练数据集 正态分布的情况导致缺乏鲁棒性：其二是由于支持向 {x,y:}:通过径向基函数p(·)映射到高维希尔伯特 量所对应的拉格朗日乘子与误差项成正比导致最终的 空间，映射集为A={p(x)}·由矩阵分析论可知， 解缺少稀疏性.针对LS-SVR的上述问题，提出同时 若{p(x)},线性相关，则至少存在一个p(x,）= 兼顾鲁棒性和稀疏性的改进LS-SVR算法，即R-S- ∑入，p(x,),其中X,eR虽然(~)不能被确切的 LS-SVR. i-T.in 2.1标准LS-SVR算法 表达，但Kx,x,)=∑∑ 入AK(x,x).映射集 假设给定的训练数据集为{xy},输入x,∈ A的极大无关组的求解步骤如下. R”,输出y:∈R,其在特征空间中的回归函数为 步骤1初始化极大无关组集B=⑦，在集合S= y(x)=aTo(x）+b. (2) (1,2,…,W)选取数据i=1放到B中. 式中：φ(·)为特征空间的非线性映射，w是与特征空 步骤2在S中依次选取i=i+l,计算minG(入)= 间相同维度的权值向量，b为偏移量 LS-SVR在特征空间的回归建模问题可以描述为 (ex)-AAe）'(p)-aer)） 求解如下二次规划(QP)问题： 步骤3若minG(入)<e,则说明p(x,)可以由 ip/(o..e) ‖e:I2+wa, {p(x)IieB}线性表示，摒弃数据i:若minG(A)≥e, 则说明p(x,)不可由{p(x)Ii∈B}线性表示，则 s.L. y:=wp(x)+b+e,i=1,2,…,N {p(x),p(xB)}线性无关，将i放到集合B中 (3) 步骤4若迭代次数i≤N,则转到步骤2：否则终 式中，y为权衡结构风险与经验风险的正则化系数，e: 止迭代 为误差.为简化计算，引入拉格朗日乘子 将集合B中所对应的训练数据集的元素取出组 L(w,b,e,a=J(w,b,e）- 成稀疏后的训练数据集业={xy}1r为经稀疏化 立a,(opx)+b+e-: 处理后训练数据集的样本数.平通过径向基函数映射 (4) 后为重=（p(x),(x2),…p(x,)).因为Ψ是A的 式中，a:∈R为拉格朗日乘子.令式(4)中的各偏导数 极大无关组，则郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 为了更好地反映高炉的非线性动态特性，将相关输入 输出变量的时序关系在建模过程进行考虑． 为此，将 之前采样时刻的测量值 U( t － 1) =［u1 ( t － 1) ，u2 ( t － 1) ，u3 ( t － 1) ，u4 ( t － 1) ，u5 ( t － 1) ，u6 ( t － 1) ］，U( t － 2) ，…，U( t － τU ) ，τU∈ + 以及之前采样时刻铁水［Si］ 值 CSi ( t － 1) ，CSi ( t － 2) ，…，CSi ( t － τC ) ，τC∈ + ，连同 当前采样时刻的检测值 U( t) 作为动态模型的综合输 入，即建立的动态软测量模型用于实现如下的非线性 动态映射关系: CSi ( t) = fＲ--S--LS--SVＲ { U( t) ，U( t － 1) ，…，U( t － τU ) ， CSi ( t － 1) ，…，CSi ( t － τC ) } ． ( 1) 式( 1) 表示需要建立的自回归滑动平均( AＲMA) 动态 软测量模型结构． 本文基于多目标遗传参数优化技 术，采用提出的稀疏化鲁棒 LS--SVＲ 建模算法实现式 ( 1) 的自回归滑动平均动态模型，相关算法将在下节 中给出． 2 Ｒ--S--LS--SVＲ 建模算法 标准 LS--SVＲ 通过引入等式约束替代经典 SVＲ 的不等式约束，虽然使计算的复杂度大大降低，但同时 也引入了两个潜在的问题: 其一是目标函数中没有正 则化项，对于数据中含有噪声、离群点以及误差不服从 正态分布的情况导致缺乏鲁棒性; 其二是由于支持向 量所对应的拉格朗日乘子与误差项成正比导致最终的 解缺少稀疏性． 针对 LS--SVＲ 的上述问题，提出同时 兼顾鲁棒性和稀疏性的改进 LS--SVＲ 算法，即 Ｒ--S-- LS--SVＲ． 2. 1 标准 LS--SVＲ 算法 假设给定的训练数据集为{ xi，yi} N i = 1，输入 xi ∈ Ｒn ，输出 yi∈Ｒ，其在特征空间中的回归函数为 y( x) = ωT φ( x) + b． ( 2) 式中: φ(·) 为特征空间的非线性映射，ω 是与特征空 间相同维度的权值向量，b 为偏移量． LS--SVＲ 在特征空间的回归建模问题可以描述为 求解如下二次规划( QP) 问题: min ω，b J( ω，b，e) = 1 ( 2 γ∑ N i = 1 ‖ei‖2 + ωT ω ) ， s． t． yi = ωT φ( xi ) + b + ei，i = 1，2，…，N { ． ( 3) 式中，γ 为权衡结构风险与经验风险的正则化系数，ei 为误差． 为简化计算，引入拉格朗日乘子 L( ω，b，e，α) = J( ω，b，e) － ∑ N i = 1 αi ( ωT φ( xi ) + b + ei － yi ) ． ( 4) 式中，αi∈Ｒ 为拉格朗日乘子． 令式( 4) 中的各偏导数 为零  L ω = 0ω = ∑ N i =1 αiφ( xi ) ，  L  b = 0∑ N i =1 αi = 0，  L  ei = 0αi = γei，  L αi = 0ωT φ( xi ) + b + ei － yi = 0            ， i =1，2，…，N． ( 5) 消去变量 ω 和 ei，得到如下线性方程组: 0 I T I Ω + γ [ ] － 1 I b [ ] α = 0 [ ] y ． ( 6) 式中，y = ( y1，y2，…，yN ) T ，I T = ( 1，1，…， } 1 N ) ，α = ( α1，α2，…，αN) T ，Ω 是 N 维方阵，Ωmn = φ( xm ) φ( xn ) = K( xm，xn ) 为满足 Mercers 条件的核函数． 本文选用如 下高斯核函数: K( xm，xn ) = e － ‖xm － xn‖2 σ2 ． ( 7) 2. 2 稀疏化改进 由式( 5) 可知，ω 为输入向量在特征空间的线性 组合，通过寻找输入向量在特征空间的近似基可以一 定 程 度 的 提 高 解 的 稀 疏 性［8］． 现 将 训 练 数 据 集 { xi，yi} N i = 1通过径向基函数 φ(·) 映射到高维希尔伯特 空间，映射集为 A = { φ( xi ) } N i = 1 ． 由矩阵分析论可知， 若{ φ( xi ) } N i = 1线 性 相 关，则 至 少 存 在 一 个 φ ( xq ) = ∑ N i = 1，i≠q λiφ( xi ) ，其中 λi∈Ｒ． 虽然 φ(·) 不能被确切的 表达，但 K( xq，xq ) = ∑ N i = 1，i≠q ∑ N j = 1，j≠q λiλj K( xi，xj) ． 映射集 A 的极大无关组的求解步骤如下． 步骤 1 初始化极大无关组集 B = ，在集合 S = ( 1，2，…，N) 选取数据 i = 1 放到 B 中． 步骤 2 在 S 中依次选取 i = i + 1，计算min λ G( λ) ( = φ( xi ) － ∑i∈B λiφ( xi ) ) ( T φ( xi ) － ∑i∈B λiφ( xi ) ) ． 步骤 3 若min λ G( λ) ＜ ε，则说明 φ( xi ) 可以由 { φ( xi ) | i∈B} 线性表示，摒弃数据 i; 若min λ G( λ) ≥ε， 则说明 φ( xi ) 不 可 由 { φ( xi ) | i∈B} 线 性 表 示，则 { φ( xi ) ，φ( xi∈B ) } 线性无关，将 i 放到集合 B 中． 步骤 4 若迭代次数 i≤N，则转到步骤 2; 否则终 止迭代． 将集合 B 中所对应的训练数据集的元素取出组 成稀疏后的训练数据集 Ψ = { xk，yk } r k = 1，r 为经稀疏化 处理后训练数据集的样本数． Ψ 通过径向基函数映射 后为 Φ = ( φ( x1 ) ，φ( x2 ) ，…φ( xr ) ) ． 因为 Ψ 是 A 的 极大无关组，则 ·1235·