基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模

工程科学学报，第38卷，第9期：1233-1241,2016年9月 Chinese Journal of Engineering,Vol.38,No.9:1233-1241,September 2016 D0l:10.13374/j.issn2095-9389.2016.09.006:http://journals.ustb.edu.cn 基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量 软测量建模 郭东伟2》，周平12)四 1)东北大学流程工业综合自动化国家重点实验室，沈阳1108192)矿治过程自动控制技术国家重点实验室，北京102628 ☒通信作者，E-mail:zhouping(@mail.ncu.cdu.cn 摘要针对高炉炼铁过程的关键工艺指标一铁水硅含量]难以直接在线检测且化验过程滞后的问题，提出一种基于 稀疏化鲁棒最小二乘支持向量机(R-S-LS-SV)与多目标遗传参数优化的铁水[S]动态软测量建模方法.首先，针对标准 最小二乘支持向量机(LS一SVR)的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题，提取样本数据在特征空间映 射集的极大无关组来实现训练样本集的稀疏化，降低建模的计算复杂度：其次，标准最小二乘支持向量机的目标函数鲁棒性 不足的问题将GGⅢ加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进，得到鲁棒性较强的稀疏化鲁棒最 小二乘支持向量机模型：最后，针对常规均方根误差评价模型性能的不足，提出从建模误差与估计趋势评价建模性能的多目 标评价指标.在此基础上，利用非支配排序的带有精英策略的多目标遗传算法优化模型参数，从而获得具有最优参数的铁水 S]在线软测量模型.工业实验及比较分析验证了所提方法的有效性和先进性. 关键词炼铁：硅含量；建模：最小二乘法：支持向量机：多目标优化 分类号TP18 Soft-sensor modeling of silicon content in hot metal based on sparse robust LS-SVR and multi-objective optimization GUO Dong-eei,ZHOU Ping) 1)State Key Laboratory of Synthetical Automation for Process Industries,Northeastem University,Shenyang 110819,China 2)State Key Laboratory of Process Automation in Mining Metallurgy,Beijing 102628,China Corresponding author,E-mail:zhouping@mail.neu.edu.cn ABSTRACT To solve the problem that the parameter of silicon content [Si])in hot mental is difficult to be directly detected and obtained by manual analysis with large time delay,a method of sparse and robust least squares support vector regression (R-S-IS- SVR)was proposed to establish a dynamic model of [Si]with the help of the multi-objective genetic optimization of model parame- ters.First,owing to the issue that the Lagrange multiplier of the standard least squares support vector machine (LS-SVR)is directly proportional to the error term and solves the lack of sparsity,the maximal independent set of sample data in the feature space mapping set was extracted to realize the sparse of the training sample set and reduce the computational complexity of modeling.Next,in view of the problem that the standard least squares support vector machine has no regularization term,a method to improve the modeling ro- bustness was proposed by introducing the IGGIlI weighting function into the obtained sparse least squares support vector regression (S-IS-SVR)model.Last,the multi-objective evaluation index that synthesizes the modeling residue and the estimated trend was 收稿日期：2015-11-20 基金项目：国家自然科学基金资助项目(61473064：61290323：61333007)：中央高校基本科研业务费资助项目(N130108001):辽宁省教有厅 科技基金资助项目(120150186)

工程科学学报，第 38 卷，第 9 期: 1233--1241，2016 年 9 月 Chinese Journal of Engineering，Vol． 38，No． 9: 1233--1241，September 2016 DOI: 10． 13374 /j． issn2095--9389． 2016． 09． 006; http: / /journals． ustb． edu． cn 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量 软测量建模 郭东伟1，2) ，周 平1，2)  1) 东北大学流程工业综合自动化国家重点实验室，沈阳 110819 2) 矿冶过程自动控制技术国家重点实验室，北京 102628  通信作者，E-mail: zhouping@ mail． neu． edu． cn 摘 要 针对高炉炼铁过程的关键工艺指标———铁水硅含量［Si］难以直接在线检测且化验过程滞后的问题，提出一种基于 稀疏化鲁棒最小二乘支持向量机( Ｒ--S--LS--SVＲ) 与多目标遗传参数优化的铁水［Si］动态软测量建模方法． 首先，针对标准 最小二乘支持向量机( LS--SVＲ) 的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题，提取样本数据在特征空间映 射集的极大无关组来实现训练样本集的稀疏化，降低建模的计算复杂度; 其次，标准最小二乘支持向量机的目标函数鲁棒性 不足的问题将 IGGIII 加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进，得到鲁棒性较强的稀疏化鲁棒最 小二乘支持向量机模型; 最后，针对常规均方根误差评价模型性能的不足，提出从建模误差与估计趋势评价建模性能的多目 标评价指标． 在此基础上，利用非支配排序的带有精英策略的多目标遗传算法优化模型参数，从而获得具有最优参数的铁水 ［Si］在线软测量模型． 工业实验及比较分析验证了所提方法的有效性和先进性． 关键词 炼铁; 硅含量; 建模; 最小二乘法; 支持向量机; 多目标优化 分类号 TP18 Soft-sensor modeling of silicon content in hot metal based on sparse robust LS--SVＲ and multi-objective optimization GUO Dong-wei 1，2) ，ZHOU Ping1，2)  1) State Key Laboratory of Synthetical Automation for Process Industries，Northeastern University，Shenyang 110819，China 2) State Key Laboratory of Process Automation in Mining ＆ Metallurgy，Beijing 102628，China  Corresponding author，E-mail: zhouping@ mail． neu． edu． cn 收稿日期: 2015--11--20 基金项目: 国家自然科学基金资助项目( 61473064; 61290323; 61333007) ; 中央高校基本科研业务费资助项目( N130108001) ; 辽宁省教育厅 科技基金资助项目( L20150186) ABSTＲACT To solve the problem that the parameter of silicon content ( ［Si］) in hot mental is difficult to be directly detected and obtained by manual analysis with large time delay，a method of sparse and robust least squares support vector regression ( Ｒ--S--LS-- SVＲ) was proposed to establish a dynamic model of ［Si］with the help of the multi-objective genetic optimization of model parame￾ters． First，owing to the issue that the Lagrange multiplier of the standard least squares support vector machine ( LS--SVＲ) is directly proportional to the error term and solves the lack of sparsity，the maximal independent set of sample data in the feature space mapping set was extracted to realize the sparse of the training sample set and reduce the computational complexity of modeling． Next，in view of the problem that the standard least squares support vector machine has no regularization term，a method to improve the modeling ro￾bustness was proposed by introducing the IGGIII weighting function into the obtained sparse least squares support vector regression ( S--LS--SVＲ) model． Last，the multi-objective evaluation index that synthesizes the modeling residue and the estimated trend was

·1234. 工程科学学报，第38卷，第9期 presented to compensate for the deficiency of the single root mean square error (RMSE)index.Based on those,an on-line soft sensor model of hot metal [Si]with the optimal parameters was obtained by using the multi-objective genetic algorithm (NSGA-II)with the non-dominated sort and elitist strategy.Industrial verification and analysis show the effectiveness and superiority of the proposed method. KEY WORDS ironmaking:silicon content:modeling:least squares methods;support vector machines:multi-objective optimization 高炉炼铁是钢铁生产中的重要单元，其作用就是 (LS-SVR)建模技术，用于对铁水Si]进行动态软测 将固态的铁矿石通过复杂的高温、高压等物理化学变 量建模.首先，以LS-SVR为基础，通过提取样本数据 化和多相多场耦合效应，在焦炭、煤气等作用下还原成 在特征空间映射集的极大无关组来实现训练样本集的 液态的铁水.一个典型的高炉炼铁系统主要由高炉本 稀疏化，降低建模的计算复杂度s;然后，将IGCⅢ 体、上料系统、送风系统、高炉烟气净化系统、渣铁处理 权函数引入稀疏化后的S-LS-SVR模型，得到鲁棒性 系统和喷吹燃料系统等组成0.由于炼铁高炉内部在 较好的RS-LS-SVR模型：最后，针对常规均方根误 高温、高压的条件下进行着复杂的气一固、气一液、固一 差评价建模性能的不足，提出从建模误差与估计趋势 固、固一液等多相转换，众多变量和参数之间错综复杂 综合评价建模性能的多目标评价指标.在此基础上， 和相互耦合，被公认为是最复杂的逆流反应器.一直 利用非支配排序的带有精英策略的多目标遗传算法 以来，高炉炼铁过程的建模、控制与优化是维持高炉稳 (NSGA-I)优化RS-LS-SVR模型结构参数，从而获 定顺行、高产、优质和低耗的重要手段0.目前，由于 得最优参数的铁水[S]在线估计模型. 测量手段的限制，反映铁水质量和高炉热状态的关键 1 指标一硅含量(S])的测量一般仍采用人工定期 建模问题描述 抽样化验的方式进行，由于人工检测的滞后性和不精 从提高产品质量和节约能源的角度而言，高炉系 确性，使得基于S]质量参数的高炉炉况判断和高炉 统的控制与优化的主要对象是铁水硅含量([S]),它 操作异常困难.因此，实现优质、低耗的高炉运行优化 也是衡量高炉内热状态的重要标志，S]过高或过低 与控制就必须实现铁水S]质量参数的在线估计与软 对于铁水质量、燃料消耗和生产成本有较大的影响刀 测量 为此，对铁水S]进行在线估计或软测量意义重大. 高炉炼铁过程的上述复杂动态特性，使得用于铁 进行S)软测量的第1步应该分析影响铁水S) 水S]在线估计的机理模型不易建立.对于难以机理 的主要因素.综合考虑分析高炉送风系统、燃料喷吹 建模的复杂工业过程，数据驱动的智能建模和统计建 系统的现有传感器和炉缸、炉腹的内部可测量参数，进 模受到越来越广泛的关注网.Wang等田提出了基于 而确定与铁水S]密切相关的影响因子有鼓风湿度(g· 混沌时间序列的铁水[S]支持向量回归模型(SVR), m3)、热风压力(kPa)、炉腹煤气量(m3·minl)、设定 在±0.1误差内的命中率大于88%，有较好的模型预 喷煤量(td)、富氧率（质量分数）、热风温度（℃）、 测能力：Saxn等O建立了可实现周期性铁水[Si]预测 富氧流量(m3h)、炉顶压力(kPa)、气体渗透率(m3. 的离散时间序列模型，将模型的线性部分与非线性部 minl·kPa)、实际风速(m·s)、冷风流量(m3·h)、 分分别处理，提高了模型的预测能力：唐贤伦等可建立 理论燃烧温度（℃）、炉腹煤气指数(m·minˉ)、注煤量 了基于混沌粒子群优化的铁水硅含量SVR预报模型， (kgh)、鼓风动能(kJ小·s)、阻力系数、进料比（质量 实现预测绝对误差小于0.03的样本数占总测试样本 分数)等.由于影响高炉铁水Si]的因素众多，并且各 数90%以上的效果.在众多数据驱动建模方法中， 变量对于S]的影响相差较大，若将其全部引入模型， SVR凭借其在解决小样本、非线性及高维模式识别问 一方面由于变量维数过高导致训练时间延长和实时性 题中的优势，得到广泛的应用6W.SVR有严格的数 差：另一方面过多的变量将引入较多的干扰，影响建模 学基础和稳定的学习机制，能在很大程度上克服“维 精度.因此，降维处理是保证建模效率与精度，提高模 数灾难”和“过学习”问题-.现有的针对铁水S] 型泛化能力的必要过程.本文采用数据分析中常用的 的SVR建模大多只是静态模型，忽略了高炉炼铁过程 主成分分析法(PCA)对变量进行降维，在降低数据样 的动态特性和输入输出时序和时滞关系®.另外，由 本维度的同时也保持方差贡献最大的特征变量. 于采集于实际高炉工业过程的样本数据往往包含较大 通过主成分分析，最终得到影响铁水硅含量[S] 噪音，这样建立的SVR模型鲁棒性较差，对噪音很敏 (Cs)相关性最大的六个变量为热风压力u1(kPa)、热 感.为此，本文基于多目标参数优化技术，提出一种具 风温度山2（℃）、富氧率山、设定喷煤量u:(t·d)、鼓 有稀疏性和鲁棒性的改进最小二乘支持向量回归 风湿度u,(gm3）和炉腹煤气量u。(m'min).同时

工程科学学报，第 38 卷，第 9 期 presented to compensate for the deficiency of the single root mean square error ( ＲMSE) index． Based on those，an on-line soft sensor model of hot metal ［Si］with the optimal parameters was obtained by using the multi-objective genetic algorithm ( NSGA--II) with the non-dominated sort and elitist strategy． Industrial verification and analysis show the effectiveness and superiority of the proposed method． KEY WOＲDS ironmaking; silicon content; modeling; least squares methods; support vector machines; multi-objective optimization 高炉炼铁是钢铁生产中的重要单元，其作用就是 将固态的铁矿石通过复杂的高温、高压等物理化学变 化和多相多场耦合效应，在焦炭、煤气等作用下还原成 液态的铁水． 一个典型的高炉炼铁系统主要由高炉本 体、上料系统、送风系统、高炉烟气净化系统、渣铁处理 系统和喷吹燃料系统等组成［1］． 由于炼铁高炉内部在 高温、高压的条件下进行着复杂的气--固、气--液、固-- 固、固--液等多相转换，众多变量和参数之间错综复杂 和相互耦合，被公认为是最复杂的逆流反应器． 一直 以来，高炉炼铁过程的建模、控制与优化是维持高炉稳 定顺行、高产、优质和低耗的重要手段［1］． 目前，由于 测量手段的限制，反映铁水质量和高炉热状态的关键 指标———硅含量( ［Si］) 的测量一般仍采用人工定期 抽样化验的方式进行，由于人工检测的滞后性和不精 确性，使得基于［Si］质量参数的高炉炉况判断和高炉 操作异常困难． 因此，实现优质、低耗的高炉运行优化 与控制就必须实现铁水［Si］质量参数的在线估计与软 测量． 高炉炼铁过程的上述复杂动态特性，使得用于铁 水［Si］在线估计的机理模型不易建立． 对于难以机理 建模的复杂工业过程，数据驱动的智能建模和统计建 模受到越来越广泛的关注［2］． Wang 等［3］提出了基于 混沌时间序列的铁水［Si］支持向量回归模型( SVＲ) ， 在 ± 0. 1 误差内的命中率大于 88% ，有较好的模型预 测能力; Saxén 等［4］建立了可实现周期性铁水［Si］预测 的离散时间序列模型，将模型的线性部分与非线性部 分分别处理，提高了模型的预测能力; 唐贤伦等［5］建立 了基于混沌粒子群优化的铁水硅含量 SVＲ 预报模型， 实现预测绝对误差小于 0. 03 的样本数占总测试样本 数 90% 以上的效果． 在众多数据 驱 动 建 模 方 法 中， SVＲ 凭借其在解决小样本、非线性及高维模式识别问 题中的优势，得到广泛的应用［6--11］． SVＲ 有严格的数 学基础和稳定的学习机制，能在很大程度上克服“维 数灾难”和“过学习”问题［8--11］． 现有的针对铁水［Si］ 的 SVＲ 建模大多只是静态模型，忽略了高炉炼铁过程 的动态特性和输入输出时序和时滞关系［8--9］． 另外，由 于采集于实际高炉工业过程的样本数据往往包含较大 噪音，这样建立的 SVＲ 模型鲁棒性较差，对噪音很敏 感． 为此，本文基于多目标参数优化技术，提出一种具 有稀疏性和鲁棒性的改进最小二乘支持向量回归 ( LS--SVＲ) 建模技术，用于对铁水［Si］进行动态软测 量建模． 首先，以 LS--SVＲ 为基础，通过提取样本数据 在特征空间映射集的极大无关组来实现训练样本集的 稀疏化，降低建模的计算复杂度［6，8］; 然后，将 IGGIII 权函数引入稀疏化后的 S--LS--SVＲ 模型，得到鲁棒性 较好的 Ｒ--S--LS--SVＲ 模型; 最后，针对常规均方根误 差评价建模性能的不足，提出从建模误差与估计趋势 综合评价建模性能的多目标评价指标． 在此基础上， 利用非支配排序的带有精英策略的多目标遗传算法 ( NSGA--II) 优化 Ｒ--S--LS--SVＲ 模型结构参数，从而获 得最优参数的铁水［Si］在线估计模型． 1 建模问题描述 从提高产品质量和节约能源的角度而言，高炉系 统的控制与优化的主要对象是铁水硅含量( ［Si］) ，它 也是衡量高炉内热状态的重要标志，［Si］过高或过低 对于铁水质量、燃料消耗和生产成本有较大的影响［7］． 为此，对铁水［Si］进行在线估计或软测量意义重大． 进行［Si］软测量的第 1 步应该分析影响铁水［Si］ 的主要因素． 综合考虑分析高炉送风系统、燃料喷吹 系统的现有传感器和炉缸、炉腹的内部可测量参数，进 而确定与铁水［Si］密切相关的影响因子有鼓风湿度( g· m － 3 ) 、热风压力( kPa) 、炉腹煤气量( m3 ·min － 1 ) 、设定 喷煤量( t·d － 1 ) 、富氧率( 质量分数) 、热风温度( ℃ ) 、 富氧流量( m3 ·h － 1 ) 、炉顶压力( kPa) 、气体渗透率( m3 · min － 1 ·kPa) 、实际风速( m·s － 1 ) 、冷风流量( m3 ·h － 1 ) 、 理论燃烧温度( ℃ ) 、炉腹煤气指数( m·min － 1 ) 、注煤量 ( kg·h － 1 ) 、鼓风动能( kJ·s － 1 ) 、阻力系数、进料比( 质量 分数) 等． 由于影响高炉铁水［Si］的因素众多，并且各 变量对于［Si］的影响相差较大，若将其全部引入模型， 一方面由于变量维数过高导致训练时间延长和实时性 差; 另一方面过多的变量将引入较多的干扰，影响建模 精度． 因此，降维处理是保证建模效率与精度，提高模 型泛化能力的必要过程． 本文采用数据分析中常用的 主成分分析法( PCA) 对变量进行降维，在降低数据样 本维度的同时也保持方差贡献最大的特征变量． 通过主成分分析，最终得到影响铁水硅含量［Si］ ( CSi ) 相关性最大的六个变量为热风压力 u1 ( kPa) 、热 风温度 u2 ( ℃ ) 、富氧率 u3、设定喷煤量 u4 ( t·d － 1 ) 、鼓 风湿度 u5 ( g·m － 3 ) 和炉腹煤气量 u6 ( m·min － 1 ) ． 同时， ·1234·

郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1235· 为了更好地反映高炉的非线性动态特性，将相关输入 为零 输出变量的时序关系在建模过程进行考虑.为此，将 「aL =0→w= ∑apc）, 之前采样时刻的测量值0(t-1)=u1(1-1),42(1- dw 1),(1-1),u4(t-1),u(t-1),。(t-1)],U(t- aL 2),…,0(t-T),ru∈以及之前采样时刻铁水[Si] ab =08a=0, i=1,2,…,N 值C(1-1),Cs(t-2),…,Cs(1-Tc),rc∈，连同 aL de ,=0=→a:=ye' 当前采样时刻的检测值U()作为动态模型的综合输 aL 入，即建立的动态软测量模型用于实现如下的非线性 =0→wp(x:）+b+e:-方=0， 动态映射关系： (5) Cs()=fRs4sR{U(）,U(1-1),…,U(t-T), 消去变量ω和e,得到如下线性方程组： Cs(t-1),…,Cs(t-Tc)}. (1) 式(1)表示需要建立的自回归滑动平均(ARMA)动态 n,a-1 o (6) 软测量模型结构。本文基于多目标遗传参数优化技 术，采用提出的稀疏化鲁棒LS一SVR建模算法实现式 式中，y=（yy2…y),1=(1,1,…,1),a= (1)的自回归滑动平均动态模型，相关算法将在下节 (a1,2,…,ax)T,2是N维方阵，2=p(x)p(x)= 中给出. K(xm,xn)为满足Mercers条件的核函数.本文选用如 下高斯核函数： 2 R-S-LS-SVR建模算法 (x)=e (7) 标准LS-SVR通过引入等式约束替代经典SVR 2.2稀疏化改进 的不等式约束，虽然使计算的复杂度大大降低，但同时 由式(5)可知，w为输入向量在特征空间的线性 也引入了两个潜在的问题：其一是目标函数中没有正 组合，通过寻找输入向量在特征空间的近似基可以一 则化项，对于数据中含有噪声、离群点以及误差不服从 定程度的提高解的稀疏性圆.现将训练数据集 正态分布的情况导致缺乏鲁棒性：其二是由于支持向 {x,y:}:通过径向基函数p(·)映射到高维希尔伯特 量所对应的拉格朗日乘子与误差项成正比导致最终的 空间，映射集为A={p(x)}·由矩阵分析论可知， 解缺少稀疏性.针对LS-SVR的上述问题，提出同时 若{p(x)},线性相关，则至少存在一个p(x,）= 兼顾鲁棒性和稀疏性的改进LS-SVR算法，即R-S- ∑入，p(x,),其中X,eR虽然(~)不能被确切的 LS-SVR. i-T.in 2.1标准LS-SVR算法 表达，但Kx,x,)=∑∑ 入AK(x,x).映射集 假设给定的训练数据集为{xy},输入x,∈ A的极大无关组的求解步骤如下. R”,输出y:∈R,其在特征空间中的回归函数为 步骤1初始化极大无关组集B=⑦，在集合S= y(x)=aTo(x）+b. (2) (1,2,…,W)选取数据i=1放到B中. 式中：φ(·)为特征空间的非线性映射，w是与特征空 步骤2在S中依次选取i=i+l,计算minG(入)= 间相同维度的权值向量，b为偏移量 LS-SVR在特征空间的回归建模问题可以描述为 (ex)-AAe）'(p)-aer)） 求解如下二次规划(QP)问题： 步骤3若minG(入)<e,则说明p(x,)可以由 ip/(o..e) ‖e:I2+wa, {p(x)IieB}线性表示，摒弃数据i:若minG(A)≥e, 则说明p(x,)不可由{p(x)Ii∈B}线性表示，则 s.L. y:=wp(x)+b+e,i=1,2,…,N {p(x),p(xB)}线性无关，将i放到集合B中 (3) 步骤4若迭代次数i≤N,则转到步骤2：否则终 式中，y为权衡结构风险与经验风险的正则化系数，e: 止迭代 为误差.为简化计算，引入拉格朗日乘子 将集合B中所对应的训练数据集的元素取出组 L(w,b,e,a=J(w,b,e）- 成稀疏后的训练数据集业={xy}1r为经稀疏化 立a,(opx)+b+e-: 处理后训练数据集的样本数.平通过径向基函数映射 (4) 后为重=（p(x),(x2),…p(x,)).因为Ψ是A的 式中，a:∈R为拉格朗日乘子.令式(4)中的各偏导数 极大无关组，则

郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 为了更好地反映高炉的非线性动态特性，将相关输入 输出变量的时序关系在建模过程进行考虑． 为此，将 之前采样时刻的测量值 U( t － 1) =［u1 ( t － 1) ，u2 ( t － 1) ，u3 ( t － 1) ，u4 ( t － 1) ，u5 ( t － 1) ，u6 ( t － 1) ］，U( t － 2) ，…，U( t － τU ) ，τU∈ + 以及之前采样时刻铁水［Si］ 值 CSi ( t － 1) ，CSi ( t － 2) ，…，CSi ( t － τC ) ，τC∈ + ，连同 当前采样时刻的检测值 U( t) 作为动态模型的综合输 入，即建立的动态软测量模型用于实现如下的非线性 动态映射关系: CSi ( t) = fＲ--S--LS--SVＲ { U( t) ，U( t － 1) ，…，U( t － τU ) ， CSi ( t － 1) ，…，CSi ( t － τC ) } ． ( 1) 式( 1) 表示需要建立的自回归滑动平均( AＲMA) 动态 软测量模型结构． 本文基于多目标遗传参数优化技 术，采用提出的稀疏化鲁棒 LS--SVＲ 建模算法实现式 ( 1) 的自回归滑动平均动态模型，相关算法将在下节 中给出． 2 Ｒ--S--LS--SVＲ 建模算法 标准 LS--SVＲ 通过引入等式约束替代经典 SVＲ 的不等式约束，虽然使计算的复杂度大大降低，但同时 也引入了两个潜在的问题: 其一是目标函数中没有正 则化项，对于数据中含有噪声、离群点以及误差不服从 正态分布的情况导致缺乏鲁棒性; 其二是由于支持向 量所对应的拉格朗日乘子与误差项成正比导致最终的 解缺少稀疏性． 针对 LS--SVＲ 的上述问题，提出同时 兼顾鲁棒性和稀疏性的改进 LS--SVＲ 算法，即 Ｒ--S-- LS--SVＲ． 2. 1 标准 LS--SVＲ 算法 假设给定的训练数据集为{ xi，yi} N i = 1，输入 xi ∈ Ｒn ，输出 yi∈Ｒ，其在特征空间中的回归函数为 y( x) = ωT φ( x) + b． ( 2) 式中: φ(·) 为特征空间的非线性映射，ω 是与特征空 间相同维度的权值向量，b 为偏移量． LS--SVＲ 在特征空间的回归建模问题可以描述为 求解如下二次规划( QP) 问题: min ω，b J( ω，b，e) = 1 ( 2 γ∑ N i = 1 ‖ei‖2 + ωT ω ) ， s． t． yi = ωT φ( xi ) + b + ei，i = 1，2，…，N { ． ( 3) 式中，γ 为权衡结构风险与经验风险的正则化系数，ei 为误差． 为简化计算，引入拉格朗日乘子 L( ω，b，e，α) = J( ω，b，e) － ∑ N i = 1 αi ( ωT φ( xi ) + b + ei － yi ) ． ( 4) 式中，αi∈Ｒ 为拉格朗日乘子． 令式( 4) 中的各偏导数 为零  L ω = 0ω = ∑ N i =1 αiφ( xi ) ，  L  b = 0∑ N i =1 αi = 0，  L  ei = 0αi = γei，  L αi = 0ωT φ( xi ) + b + ei － yi = 0            ， i =1，2，…，N． ( 5) 消去变量 ω 和 ei，得到如下线性方程组: 0 I T I Ω + γ [ ] － 1 I b [ ] α = 0 [ ] y ． ( 6) 式中，y = ( y1，y2，…，yN ) T ，I T = ( 1，1，…， } 1 N ) ，α = ( α1，α2，…，αN) T ，Ω 是 N 维方阵，Ωmn = φ( xm ) φ( xn ) = K( xm，xn ) 为满足 Mercers 条件的核函数． 本文选用如 下高斯核函数: K( xm，xn ) = e － ‖xm － xn‖2 σ2 ． ( 7) 2. 2 稀疏化改进 由式( 5) 可知，ω 为输入向量在特征空间的线性 组合，通过寻找输入向量在特征空间的近似基可以一 定 程 度 的 提 高 解 的 稀 疏 性［8］． 现 将 训 练 数 据 集 { xi，yi} N i = 1通过径向基函数 φ(·) 映射到高维希尔伯特 空间，映射集为 A = { φ( xi ) } N i = 1 ． 由矩阵分析论可知， 若{ φ( xi ) } N i = 1线 性 相 关，则 至 少 存 在 一 个 φ ( xq ) = ∑ N i = 1，i≠q λiφ( xi ) ，其中 λi∈Ｒ． 虽然 φ(·) 不能被确切的 表达，但 K( xq，xq ) = ∑ N i = 1，i≠q ∑ N j = 1，j≠q λiλj K( xi，xj) ． 映射集 A 的极大无关组的求解步骤如下． 步骤 1 初始化极大无关组集 B = ，在集合 S = ( 1，2，…，N) 选取数据 i = 1 放到 B 中． 步骤 2 在 S 中依次选取 i = i + 1，计算min λ G( λ) ( = φ( xi ) － ∑i∈B λiφ( xi ) ) ( T φ( xi ) － ∑i∈B λiφ( xi ) ) ． 步骤 3 若min λ G( λ) ＜ ε，则说明 φ( xi ) 可以由 { φ( xi ) | i∈B} 线性表示，摒弃数据 i; 若min λ G( λ) ≥ε， 则说明 φ( xi ) 不 可 由 { φ( xi ) | i∈B} 线 性 表 示，则 { φ( xi ) ，φ( xi∈B ) } 线性无关，将 i 放到集合 B 中． 步骤 4 若迭代次数 i≤N，则转到步骤 2; 否则终 止迭代． 将集合 B 中所对应的训练数据集的元素取出组 成稀疏后的训练数据集 Ψ = { xk，yk } r k = 1，r 为经稀疏化 处理后训练数据集的样本数． Ψ 通过径向基函数映射 后为 Φ = ( φ( x1 ) ，φ( x2 ) ，…φ( xr ) ) ． 因为 Ψ 是 A 的 极大无关组，则 ·1235·

·1236· 工程科学学报，第38卷，第9期 w- ∑B,p(x)=邺. (8) 基于非支配排序的带有精英策略的多目标优化算法 (NSGA-I)对C和σ进行优化计算，从而得到最终的 将式(3)中的ω用式(8)替换得 NSGAII--R-S-LS-SVR的模型. 0Fg.6d=(g ‖e,I2+(邱)T(邱) 3.1模型精度多目标评价 s.L.y=(β)p(x:)+b+e,i=1,2,…,r 参数遗传优化的首要任务是构建性能指标作为适 应度函数。常见的建模性能指标大多采用均方根误差 (9) 2.3鲁棒改进 (RMSE),未从整体上考虑模型输出曲线与实际曲线 的接近程度和动态趋势.实际上，准确的变化趋势对 为了提高上述稀疏化LS-SVR,即S-LS-SVR算 于动态过程的建模至关重要.为此，提出综合均方根 法的鲁棒性能，对式(9)中的误差项e:引入加权因子 ”,从而得到如下的优化问题： 误差和估计曲线与实际曲线相关性的模型精度多目标 评价指标. -FBbe=gls+gp'(p） 由数理统计理论可知，两个随机数据矢量X和Y, E{(X-E(X))(Y-E(Y))}称之为X与Y的协方差 s.ty=(邴)Tpx)+b+e 或者相关矩，记作Cov(X,Y),而两者的相关系数定义 (10) 为 引入拉格朗日算子之后可得 Cov(X,Y) L(B,b,e,a)=F(B,b,e)- Pxy=/D(X)D(Y) (14) ∑a,(邴)'p(x)+b+e:-y). (11) 式中，E(X)和E(Y)分别是X和Y的期望，√D(X)和 式中：α∈R为拉格朗日乘子，根据最优条件消去e和 √D(Y)分别是X和Y的方差.相关系数P是衡量数 &可得 据变量X与Y关系程度的量：lprl一l表示X和Y之 )e G)'e-Te 间的线性关系密切，lPl→0表示X和Y的相关性很 B 差；若1Pr|=1表示X和Y依概率1存在着线性关 系，而lpwl=0表示X和Y不相关. 综上所述，提出模型精度多目标评价指标如下： Fmn=N名 (15) (12) Fon=1-Px (16) 该多目标评价指标既可以保证建模过程的平稳性和限 式中，v=diag(yy2,…,y,).v由IGGl权函数回决 制输出曲线的横向偏移量，又可以保证建模过程的准 定，即： 确性和限制输出曲线的纵向偏移量. 1 leI<ks: 3.2基于NSGAⅡ的模型参数多目标优化 针对于模型精度多目标评价指标，利用NSGA-Ⅱ kg≤le:l<hg; 进行C,o参数寻优.NSGAⅡ在工程领域已得到广泛 应用@，但是存在计算复杂度高、缺少精英策略以及 0 le:l≥k2zk 需要人为制定共享参数的问题1。为此，采用改进 (13) 的NAGA一Ⅱ算法，以模型精度多目标评价指标为适应 式中：（为误差的估计标准差：k,和k2为相关系数，根 度函数，采用实数编码，通过基于进行非支配快速排序 据经验值有k,∈1,3]，k2∈B.2,6] 和拥挤距离计算的种群进行二进制锦标赛选择，模拟 二进制交叉和多项式变异的遗传因子增强种群多样 3 R-S-LS-SVR参数多目标遗传优化 性，主要计算流程如图1所示 LS-SVR经过上述稀疏化和鲁棒性改进后得到 (1)选择算子.根据非支配排序的结果，选择支 RS-LS-SVR,它有两个结构参数需要确定，分别是决 配层较低的个体，若同一支配层的个体有多个，选择拥 定离群点惩罚程度的正则项C和径向基核函数的伸 挤距离较大的个体以获得种群的多样性☒ 缩量σ.常见的模型参数确定方法有网格搜索和交叉 (2)模拟二进制交叉.由于采用实数编码，则交 验证，但这些算法效率低且易陷入局优.本文将采用 叉后代是父代的线性组合

工程科学学报，第 38 卷，第 9 期 ω = ∑ r k = 1 βkφ( xk ) = Φβ． ( 8) 将式( 3) 中的 ω 用式( 8) 替换得 min β，b F( β，b，e) = ( 1 2 γ∑ r i =1 ‖ei‖2 + ( Φβ) T ( Φβ ) ) ， s． t． yi = ( Φβ) T φ( xi ) + b + ei，i = 1，2，…， { r． ( 9) 2. 3 鲁棒改进 为了提高上述稀疏化 LS--SVＲ，即 S--LS--SVＲ 算 法的鲁棒性能，对式( 9) 中的误差项 ei 引入加权因子 νi，从而得到如下的优化问题: min β，b F( β，b，e) = ( 1 2 γ∑ r i =1 νi ‖ei‖2 + ( Φβ) T ( Φβ ) ) ， s． t． yi = ( Φβ) T φ( xi ) + b + ei { ． ( 10) 引入拉格朗日算子之后可得 L( β，b，e，α) = F( β，b，e) － ∑ r i = 1 αi ( ( Φβ) T φ( xi ) + b + ei － yi ) ． ( 11) 式中: α∈Ｒr 为拉格朗日乘子，根据最优条件消去 e 和 α 可得 ΦT ∑ r i =1 φ( xi ) φ ( xi ) T Φ － 1 γν ΦT Φ ΦT ∑ r i =1 φ( xi ) ∑ r i =1 φ( xi ) ΦT          N  · β [ ] b = ΦT ∑ r i = 1 yiφ( xi ) ∑ r i = 1 y          i  ( 12) 式中，ν = diag( ν1，ν2，…，νr ) ． ν 由 IGGIII 权函数［9］决 定，即: νi = 1， |ei | ＜ k1 ζ; k1 ζ ei ( k2 － ei ζ k2 － k1 ) 2 ， k1 ζ≤|ei | ＜ k2 ζ; 0， |ei | ≥k2 ζ        ． ( 13) 式中: ζ 为误差的估计标准差; k1 和 k2 为相关系数，根 据经验值有 k1∈［1，3］，k2∈［3. 2，6］． 3 Ｒ--S--LS--SVＲ 参数多目标遗传优化 LS--SVＲ 经过上述稀疏化和鲁棒性改进后得到 Ｒ--S--LS--SVＲ，它有两个结构参数需要确定，分别是决 定离群点惩罚程度的正则项 C 和径向基核函数的伸 缩量 σ． 常见的模型参数确定方法有网格搜索和交叉 验证，但这些算法效率低且易陷入局优． 本文将采用 基于非支配排序的带有精英策略的多目标优化算法 ( NSGA--II) 对 C 和 σ 进行优化计算，从而得到最终的 NSGAII--Ｒ--S--LS--SVＲ 的模型． 3. 1 模型精度多目标评价 参数遗传优化的首要任务是构建性能指标作为适 应度函数． 常见的建模性能指标大多采用均方根误差 ( ＲMSE) ，未从整体上考虑模型输出曲线与实际曲线 的接近程度和动态趋势． 实际上，准确的变化趋势对 于动态过程的建模至关重要． 为此，提出综合均方根 误差和估计曲线与实际曲线相关性的模型精度多目标 评价指标． 由数理统计理论可知，两个随机数据矢量 X 和 Y， E{ ( X － E( X) ) ( Y － E( Y) ) } 称之为 X 与 Y 的协方差 或者相关矩，记作 Cov( X，Y) ，而两者的相关系数定义 为 ρXY = Cov( X，Y) 槡D( X) 槡D( Y) ． ( 14) 式中，E( X) 和 E( Y) 分别是 X 和 Y 的期望，槡D( X) 和 槡D( Y) 分别是 X 和 Y 的方差． 相关系数 ρXY是衡量数 据变量 X 与 Y 关系程度的量: | ρXY | →1 表示 X 和 Y 之 间的线性关系密切，| ρXY | →0 表示 X 和 Y 的相关性很 差; 若| ρXY | = 1 表示 X 和 Y 依概率 1 存在着线性关 系，而| ρXY | = 0 表示 X 和 Y 不相关． 综上所述，提出模型精度多目标评价指标如下: FCEI1 = 1 N ∑ N i = 1 e 2 i ， ( 15) FCEI2 = 1 － ρXY ． ( 16) 该多目标评价指标既可以保证建模过程的平稳性和限 制输出曲线的横向偏移量，又可以保证建模过程的准 确性和限制输出曲线的纵向偏移量． 3. 2 基于 NSGA--II 的模型参数多目标优化 针对于模型精度多目标评价指标，利用 NSGA--II 进行 C，σ 参数寻优． NSGA--II 在工程领域已得到广泛 应用［10］，但是存在计算复杂度高、缺少精英策略以及 需要人为制定共享参数的问题［11--14］． 为此，采用改进 的 NAGA--II 算法，以模型精度多目标评价指标为适应 度函数，采用实数编码，通过基于进行非支配快速排序 和拥挤距离计算的种群进行二进制锦标赛选择，模拟 二进制交叉和多项式变异的遗传因子增强种群多样 性，主要计算流程如图 1 所示． ( 1) 选择算子． 根据非支配排序的结果，选择支 配层较低的个体，若同一支配层的个体有多个，选择拥 挤距离较大的个体以获得种群的多样性［12］． ( 2) 模拟二进制交叉． 由于采用实数编码，则交 叉后代是父代的线性组合． ·1236·

郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1237· 开始 模型 训练数据集 PCA 二 稀疏化特征 提取与抽取 稀 化 最优特征数据集 (极大无关组) 实数编码N个个 测试数据 体的初始化种 数据归一化 SRLS-SVR 处理 重组 优选N个个体 模型训练 模型确定与 是 SRLS-SVR 多项 模型存档 计算 变 综合评价指标 多 预测结果 输出 模拟 标遗传优化 杏满足终止 条件 否 交叉 非支配排序 锦标赛选择 扣挤距离计算 图1NSGA-RS-LS-SVR建模流程 Fig.1 Strategy diagram of NSGAll-R-S-1S-SVR based modeling C”=1-B()c+1+Rm)GJ. 4工业实验与分析 G=7【1+B.()C+1-B)G]. 实验使用两组测试数据，即Data1和Data2,如图 2所示.Data1是经主成分分析法降维处理后的270 (17) 组实际现场采集的高炉数据，其中训练数据200组，测 式中：G和G分别为第t+1代均方根误差与相关 试数据70组：Data2是在Data1中随机加入11个离 系数种群的第i个个体：G和G分别为由选择算法 群点得到的数据.为了表述方便，我们称Data 1为原 在第t代中选择的两个优良个体：u为(0,1)均匀分布 始数据，Data2为离群点数据.具体实验时，为了更好 的随机数；当u>0.5时B=（D(1-W]+”),当 地说明问题，将提出的NSGAⅡ-R-S-LS-SVR算法与 u≤0.5B.=(2）+“,n。为交叉分布指数，k为当代 标准LS-SVR以及极限学习机(ELM)算法国进行比 种群的第k个个体. 较，三者的训练和测试数据完全相同，并且都是在归一 (3)多项式变异.变异后的个体如下所示： 化之后导入模型.另外，采用一些标准指标对模型性 G1=G1+(B-B)8. (18) 能进行评价，这些指标包括建模时间(MT)、均方根误 式中：B”和B分别为优化变量的上界与下界，6为变 差(RMSE)、平均绝对误差(MAE)、相对误差(RE)、回 异的参数.当r1>0.5时6=(2r).,当4≤0.5 归系数(RC)和命中率(HR). 时6={1-2(1-r)]}w",r为来自(0,1)均匀 多目标遗传参数优化时，C和σ经上述多目标遗 分布的随机数，刀m为变异分布指数. 传优化的Pareto前沿进化过程如图3所示.首先将上

郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 图 1 NSGAII--Ｒ--S--LS--SVＲ 建模流程 Fig． 1 Strategy diagram of NSGAII--Ｒ--S--LS--SVＲ based modeling Gt + 1 a，i = 1 2 ［( 1 － βk ( u) ) Gt 1，i + ( 1 + βk ( u) ) Gt 2，i］， Gt + 1 b，i = 1 2 ［( 1 + βk ( u) ) Gt 1，i + ( 1 － βk ( u) ) Gt { 2，i ］． ( 17) 式中: Gt + 1 a，i 和 Gt + 1 b，i 分别为第 t + 1 代均方根误差与相关 系数种群的第 i 个个体; Gt 1，i和 Gt 2，i分别为由选择算法 在第 t 代中选择的两个优良个体; u 为( 0，1) 均匀分布 的随机数; 当 u ＞ 0. 5 时 βk =( ［2( 1 － u) ］( ηc + 1) ) － 1 ，当 u≤0. 5βk = ( 2u) ( ηc + 1) － 1 ，ηc 为交叉分布指数，k 为当代 种群的第 k 个个体． ( 3) 多项式变异． 变异后的个体如下所示: Gt + 1 i = Gt + 1 i + ( Bu － Bl ) δk ． ( 18) 式中: Bu 和 Bl 分别为优化变量的上界与下界，δk 为变 异的参数． 当 rk ＞ 0. 5 时 δk = ( 2rk ) ( ηm + 1) － 1 ，当 rk≤0. 5 时 δk = { 1 －［2( 1 － rk ) ］} ( ηm + 1) － 1 ，rk 为来自( 0，1) 均匀 分布的随机数，ηm 为变异分布指数． 4 工业实验与分析 实验使用两组测试数据，即 Data 1 和 Data 2，如图 2 所示． Data 1 是经主成分分析法降维处理后的 270 组实际现场采集的高炉数据，其中训练数据 200 组，测 试数据 70 组; Data 2 是在 Data 1 中随机加入 11 个离 群点得到的数据． 为了表述方便，我们称 Data 1 为原 始数据，Data 2 为离群点数据． 具体实验时，为了更好 地说明问题，将提出的 NSGAII--Ｒ--S--LS--SVＲ 算法与 标准 LS--SVＲ 以及极限学习机( ELM) 算法［13］进行比 较，三者的训练和测试数据完全相同，并且都是在归一 化之后导入模型． 另外，采用一些标准指标对模型性 能进行评价，这些指标包括建模时间( MT) 、均方根误 差( ＲMSE) 、平均绝对误差( MAE) 、相对误差( ＲE) 、回 归系数( ＲC) 和命中率( HＲ) ． 多目标遗传参数优化时，C 和 σ 经上述多目标遗 传优化的 Pareto 前沿进化过程如图 3 所示． 首先将上 ·1237·

·1238· 工程科学学报，第38卷，第9期 0.5 。-Dala2-Data1 ÷0.4 1200 1000 1 7000 6500 6000 rw人 29 100 150 200 250 样本数 图2建模输入输出数据 Fig.2 Input data and output data of modeling 0.108F 0 0.8 0.7 0.107 0 0.6 0.106 8 0.4 0.3 。一样本值 -NSGAII-R-S-LS-SVR 0.105 0.2 ◆-LS-SVR Qo 0 ◆-ELM % 10 20 30 0.104 40 50 60 70 0 样本 0 0.103 0000000000 图4数据未包含离群点建模时各模型的铁水[S]估计效果 Fig.4 Modeling results of [Si]with different algorithms using data 0.04220.04240.04260.04280.04300.04320.04340.0436 without outliers 图3NSGA-lⅡ参数优化Pareto前沿进化过程 法建立的模型对铁水S]估计性能指标的定量统计分 Fig.3 Frontier evolution of Pareto with NSGA-II parameter optimiza- 析结果，可以看出所提NSGAⅡ-R-S-LS-SVR的均方 tion 根误差和平均绝对误差最小，训练时间较LS-SVR缩 述三种算法针对Data 1(即未包含离群点的数据)进 短48.76%，[Si]估计误差不超过±0.1的命中率达 行训练，得到的模型对[S]的估计效果如图4和图5 92.86%.因此所提方法稀疏化带来的估计精度效果 所示.从总的估计效果来看，针对没有加入离群点的 显著 原始数据建立的NSGAII--R-S-S-SVR,LS-SVR、ELM 实际生产中，数据总会不同程度受到噪声等外界 等铁水S]软测量模型似乎都可较好地跟踪原始数据 干扰4-，若在常规数据建模时将这些离群点考虑进 的变化，具有较高的估计精度.但从局部细节来看， 去会严重的影响建模效果以及模型的泛化能力.为了 LS-SVR、ELM的数据波动较大，相比之下NSGAⅡ-R- 验证所提NSGAIⅡ-R-S-S-SVR建模算法对数据离群 S-LS-SVR估计误差概率密度函数(PDF)曲线对称轴 点的鲁棒性能，仍采用NSGAII--R-S-LS-SVR、LS- 更加逼近于中轴，估计误差自相关曲线更接近白噪声， SVR和ELM三种算法针对Data2(即包含离群点的数 因而估计效果更好、泛化能力更强.表1给出两种算 据)重新进行建模和比较分析，得到的铁水[S]估计

工程科学学报，第 38 卷，第 9 期 图 2 建模输入输出数据 Fig． 2 Input data and output data of modeling 图 3 NSGA--II 参数优化 Pareto 前沿进化过程 Fig． 3 Frontier evolution of Pareto with NSGA--II parameter optimiza￾tion 述三种算法针对 Data 1 ( 即未包含离群点的数据) 进 行训练，得到的模型对［Si］的估计效果如图 4 和图 5 所示． 从总的估计效果来看，针对没有加入离群点的 原始数据建立的 NSGAII--Ｒ--S--LS--SVＲ、LS--SVＲ、ELM 等铁水［Si］软测量模型似乎都可较好地跟踪原始数据 的变化，具有较高的估计精度． 但从局部细节来看， LS--SVＲ、ELM 的数据波动较大，相比之下 NSGAII--Ｒ-- S--LS--SVＲ 估计误差概率密度函数( PDF) 曲线对称轴 更加逼近于中轴，估计误差自相关曲线更接近白噪声， 因而估计效果更好、泛化能力更强． 表 1 给出两种算 图 4 数据未包含离群点建模时各模型的铁水［Si］估计效果 Fig． 4 Modeling results of ［Si］ with different algorithms using data without outliers 法建立的模型对铁水［Si］估计性能指标的定量统计分 析结果，可以看出所提 NSGAII--Ｒ--S--LS--SVＲ 的均方 根误差和平均绝对误差最小，训练时间较 LS--SVＲ 缩 短 48. 76%，［Si］估计误差不超过 ± 0. 1 的命中率达 92. 86% ． 因此所提方法稀疏化带来的估计精度效果 显著． 实际生产中，数据总会不同程度受到噪声等外界 干扰［14--15］，若在常规数据建模时将这些离群点考虑进 去会严重的影响建模效果以及模型的泛化能力． 为了 验证所提 NSGAII--Ｒ--S--LS--SVＲ 建模算法对数据离群 点的鲁 棒 性 能，仍 采 用 NSGAII--Ｒ--S--LS--SVＲ、LS-- SVＲ 和 ELM 三种算法针对 Data 2 ( 即包含离群点的数 据) 重新进行建模和比较分析，得到的铁水［Si］估计 ·1238·

郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1239· 8 (b) NSGAII-R- NSGAII-R- S-LS-SVR 1.0 S-LS-SVR 6 LS-SVR …lS-SV =下 0.8 ----ELM 5 0.6 4 0.4 0.2 2 1 w 010 -0.2 05 0 05 1.0 60 40 -20 0 20 40 60 估计误差 序列 图5数据未包含离群点建模时各模型的铁水[S]估计误差概率密度函数(a)和自相关函数(b) Fig.5 PDF (a)and autocorrelation function (b)of [Si]estimation error with different algorithms using data without outliers 表1数据未包含离群点建模时各模型性能指标比较 Table 1 Performance comparison of [Si]estimation with different algorithms using data without outliers MAE RMSE HR/% RE 算法 RC N H,×100% MT/s ∑1g12 1, 1e1<0.1 H= 0, 1e,1≥0.1 A12 LS-SVR 0.1472 0.9779 0.0460 0.2144 91.43 0.0110 ELM 0.0470 0.9676 0.0672 0.2593 68.57 0.0356 NSGAII-R-S-LS-SVR 0.0760 0.9458 0.0413 0.2032 92.86 0.0100 效果如图6~图8所示.可以看出：当训练数据有离群 一样本值 点存在时，LS-SVR和ELM算法所建立的软测量模型 -NSGAII-R-S-LS-SVR 的实际估计效果很差，基本不能跟踪实际数据的变化： 0.8 0.7 而所提NSGAII--R-S-S-SVR算法建立的模型对铁水 [S]的估计效果仍然很好，能够很好地跟踪其实际值 0.4 0.3 0.2 ◆ELM 的变化 10 20 30 40 50 60 由图7可以看出：LS-SVR和ELM模型的估计误 样本 差概率密度函数(PDF)曲线延伸范围大，左右很不对 图6数据包含离群点建模时各模型的铁水[S估计效果 称，它们的估计误差自相关曲线虽然形状与白噪声相 Fig.6 Modeling results of [Si]with different algorithms using data with outliers -NSGAII-R-SLS-SVR (a) -NSGAII-R-S-LS-SVR 6 -e-LS-SVR 1.0 …LS-SVR ELM ----ELM 0.8 06 3 0.4 2 0.2 02 0 0.5 60 20 0 估计误差 序列 图7数据包含离群点建模时各模型的铁水[S]估计误差概率密度函数()和自相关函数(b) Fig.7 PDF (a)and autocorrelation function (b)of [Si]estimation error with different algorithms using data with outliers

郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 图 5 数据未包含离群点建模时各模型的铁水［Si］估计误差概率密度函数( a) 和自相关函数( b) Fig． 5 PDF ( a) and autocorrelation function ( b) of ［Si］estimation error with different algorithms using data without outliers 表 1 数据未包含离群点建模时各模型性能指标比较 Table 1 Performance comparison of ［Si］estimation with different algorithms using data without outliers 算法 MT /s ＲC MAE ＲMSE HＲ/% ＲE 1 N ∑ N i = 1 |ei | 1 N ∑ N i = 1 | ei 槡 | 2 1 N ∑ N i = 1 Hk × 100% Hk = 1， | ei | ＜ 0. 1 0， | ei { | ≥ { 0. 1 ∑ N i = 1 | ei | 2 ∑ N i = 1 | yi | 2 LS--SVＲ 0. 1472 0. 9779 0. 0460 0. 2144 91. 43 0. 0110 ELM 0. 0470 0. 9676 0. 0672 0. 2593 68. 57 0. 0356 NSGAII--Ｒ--S--LS--SVＲ 0. 0760 0. 9458 0. 0413 0. 2032 92. 86 0. 0100 图 7 数据包含离群点建模时各模型的铁水［Si］估计误差概率密度函数( a) 和自相关函数( b) Fig． 7 PDF ( a) and autocorrelation function ( b) of ［Si］estimation error with different algorithms using data with outliers 效果如图 6 ～ 图 8 所示． 可以看出: 当训练数据有离群 点存在时，LS--SVＲ 和 ELM 算法所建立的软测量模型 的实际估计效果很差，基本不能跟踪实际数据的变化; 而所提 NSGAII--Ｒ--S--LS--SVＲ 算法建立的模型对铁水 ［Si］的估计效果仍然很好，能够很好地跟踪其实际值 的变化． 由图 7 可以看出: LS--SVＲ 和 ELM 模型的估计误 差概率密度函数( PDF) 曲线延伸范围大，左右很不对 称，它们的估计误差自相关曲线虽然形状与白噪声相 图 6 数据包含离群点建模时各模型的铁水［Si］估计效果 Fig． 6 Modeling results of ［Si］ with different algorithms using data with outliers ·1239·

·1240. 工程科学学报，第38卷，第9期 近，但是振幅较大且偏离零中心线：而NSGAⅡ一R一S一 数据的建模，所提NSGAⅡR-S-LS-SVR模型对实际 LS-SVR所建立的模型的估计误差概率密度函数曲 数据估计的均方根误差最小，回归系数更加逼近理 线延伸范围小，并且是对称、零均值的.图8为针对 想值1：命中率达到91.43%，相比原始数据92.86% 于离群点数据各算法的回归分析，其中所提算法的 的命中率，下降波动仅1.43%，因而相对鲁棒性 实际值与预测值更加接近.由表2可知：对于离群点 较强 0.8 0 00 0.8[b=1.2466 b=1.1377 00 0.7 0001 b=0.95065 0.7p 00 0.7 d00 ⑧。 00 0 600 0 00 0.6 0 0 6 0.6 0 00 00 096 ō8 0② 0.5 0 0.5 8 008 0.5 0 0 0.4 0.4 0.4 p 0 0. 0.3 0.3 0.4 05 0.6 0.7 0.8 0.3 0.4 0.50.6 0.7 0.8 0.3 04050 0.6 0.7 0.8 实际值 实际值 实际值 图8数据包含离群点建模时NGGA-I-R-SLS-sVR(a)、LS-SVR(b)和ELM(c)的回归分析结果 Fig.8 Regression analysis results of [Si]estimation with NSGA-II-R-SIS-SVR (a),LS-SVR (b)and ELM (c)using data with outliers 表2数据包含离群点建模时各模型性能指标比较 Table 2 Performance comparison of [Si]estimation with different algorithms using data with outliers 算法 MT/s RMSE RC HR/% RE LS-SVR 0.1164 0.3196 0.8623 64.29 0.0720 ELM 0.0523 0.4746 0.7534 30.00 0.2516 NSGAII-R-6-LS-SVR 0.0934 0.2056 0.9506 91.43 0.0101 Chinese Control Conference.Nanjing,2014:5156 5 结论 4]Saxen H,Gao C H,Gao Z W.Data-driven time discrete models (1)针对机理建模难以准确估计铁水硅含量的难 for dynamic prediction of the hot metal silicon content in the blast furnace:a review.IEEE Trans Ind Inf,2013,9(4)2213 题，利用数据驱动建模的思想，提出一种基于模型精度 有 Tang X L,Zhuang L,Hu X D.The support vector regression 多目标评价与多目标遗传参数优化的稀疏鲁棒最小二 based on the chaos particle swarm optimization algorithm for the 乘支持向量机算法，用于对铁水硅含量进行动态软 prediction of silicon content in hot metal.Control Theory Appl, 测量. 2009,26(8):838 (2)对某大型钢铁厂的实际采集数据进行实验的 (唐贤伦，庄陵，胡向东.铁水硅含量的混沌粒子群支持向量 结果表明所提方法具有良好的估计效果.与LS-SVR 机预报方法.控制理论与应用，2009,26(8)：838) ⑨ Gan LZ.Sun Z H,Sun Y X.Sparse least squares support vector 和ELM相比，所提方法铁水硅含量估计误差小于± machine.J Zhejiang Univ Eng Sci,2007,41(2):245 0.1的样本数占测试样本数的90%以上（如表2所 (甘良志，孙宗海，孙优贤.稀疏最小二乘支持向量机.浙江 示)，具有建模时间短且对离群点的鲁棒性强的优势， 大学学报（工学版），2007,41(2)：245) 可用于高炉铁水的实际在线估计. ] Zhou P,Yuan M,Wang H,et al.Multivariable dynamic model- ing for molten iron quality using online sequential random vector 参考文献 functional-ink networks with self-feedback connections.Inf Sci, 2015,325:237 [1]Zhang JL,Wang G W,Shao J G,et al.Comprehensive mathe- 8] Gan L Z,Liu H K,Sun Y X.Sparse least squares support vector matical model and optimum process parameters of nitrogen free machine for function estimation /Proceedings of the 3rd Interna- blast furnace.J Iron Steel Res Int,2014,21(2)151 tional Symposium on Neural Netwcorks.Chengdu,2006:1016 2]Gao C H,Jian L,Liu X Y,et al.Data-driven modeling based on ] Xu Q F.Zhang J X,Jiang C X,et al.Weighted quantile regres- Volterra series for multidimensional blast fumace system.IEEE sion tia support vector machine.Expert Syst Appl,2015,42 Trans Neural Netcorks,2011,22(12):2272 (13):5441 B]Wang Y K,Liu X G.Chaotic time series forecasting based on Li Y G,Shen J,Lu J H.Constrained model predictive control of SVM for silicon content in hot metal /Proceedings of the 33rd a solid oxide fuel cell based on genetic optimization.I Power

工程科学学报，第 38 卷，第 9 期 近，但是振幅较大且偏离零中心线; 而 NSGAII--Ｒ--S-- LS--SVＲ 所建立的模型的估计误差概率密度函数曲 线延伸范围小，并且是对称、零均值的． 图 8 为针对 于离群点数据各算法的回归分析，其中所提算法的 实际值与预测值更加接近． 由表 2 可知: 对于离群点 数据的建模，所提 NSGAII--Ｒ--S--LS--SVＲ 模型对实际 数据估计的均方根误差最小，回归系数更加逼近理 想值 1; 命中率达到 91. 43% ，相比原始数据 92. 86% 的命 中 率，下 降 波 动 仅 1. 43% ，因 而 相 对 鲁 棒 性 较强． 图 8 数据包含离群点建模时 NGGA--II--Ｒ--SLS--SVＲ( a) 、LS--SVＲ( b) 和 ELM( c) 的回归分析结果 Fig． 8 Ｒegression analysis results of ［Si］estimation with NSGA--II--Ｒ--SLS--SVＲ ( a) ，LS--SVＲ ( b) and ELM ( c) using data with outliers 表 2 数据包含离群点建模时各模型性能指标比较 Table 2 Performance comparison of ［Si］estimation with different algorithms using data with outliers 算法 MT /s ＲMSE ＲC HＲ/% ＲE LS--SVＲ 0. 1164 0. 3196 0. 8623 64. 29 0. 0720 ELM 0. 0523 0. 4746 0. 7534 30. 00 0. 2516 NSGAII--Ｒ--S--LS--SVＲ 0. 0934 0. 2056 0. 9506 91. 43 0. 0101 5 结论 ( 1) 针对机理建模难以准确估计铁水硅含量的难 题，利用数据驱动建模的思想，提出一种基于模型精度 多目标评价与多目标遗传参数优化的稀疏鲁棒最小二 乘支持向量机算法，用于对铁水硅含量进行动态软 测量． ( 2) 对某大型钢铁厂的实际采集数据进行实验的 结果表明所提方法具有良好的估计效果． 与 LS--SVＲ 和 ELM 相比，所提方法铁水硅含量估计误差小于 ± 0. 1 的样本数占测试样本数的 90% 以上( 如 表 2 所 示) ，具有建模时间短且对离群点的鲁棒性强的优势， 可用于高炉铁水的实际在线估计． 参 考 文 献 ［1］ Zhang J L，Wang G W，Shao J G，et al． Comprehensive mathe￾matical model and optimum process parameters of nitrogen free blast furnace． J Iron Steel Ｒes Int，2014，21( 2) : 151 ［2］ Gao C H，Jian L，Liu X Y，et al． Data-driven modeling based on Volterra series for multidimensional blast furnace system． IEEE Trans Neural Networks，2011，22( 12) : 2272 ［3］ Wang Y K，Liu X G． Chaotic time series forecasting based on SVM for silicon content in hot metal / / Proceedings of the 33rd Chinese Control Conference． Nanjing，2014: 5156 ［4］ Saxén H，Gao C H，Gao Z W． Data-driven time discrete models for dynamic prediction of the hot metal silicon content in the blast furnace: a review． IEEE Trans Ind Inf，2013，9( 4) : 2213 ［5］ Tang X L，Zhuang L，Hu X D． The support vector regression based on the chaos particle swarm optimization algorithm for the prediction of silicon content in hot metal． Control Theory Appl， 2009，26( 8) : 838 ( 唐贤伦，庄陵，胡向东． 铁水硅含量的混沌粒子群支持向量 机预报方法． 控制理论与应用，2009，26( 8) : 838) ［6］ Gan L Z，Sun Z H，Sun Y X． Sparse least squares support vector machine． J Zhejiang Univ Eng Sci，2007，41( 2) : 245 ( 甘良志，孙宗海，孙优贤． 稀疏最小二乘支持向量机． 浙江 大学学报( 工学版) ，2007，41( 2) : 245) ［7］ Zhou P，Yuan M，Wang H，et al． Multivariable dynamic model￾ing for molten iron quality using online sequential random vector functional-link networks with self-feedback connections． Inf Sci， 2015，325: 237 ［8］ Gan L Z，Liu H K，Sun Y X． Sparse least squares support vector machine for function estimation / / Proceedings of the 3rd Interna￾tional Symposium on Neural Networks． Chengdu，2006: 1016 ［9］ Xu Q F，Zhang J X，Jiang C X，et al． Weighted quantile regres￾sion via support vector machine． Expert Syst Appl，2015，42 ( 13) : 5441 ［10］ Li Y G，Shen J，Lu J H． Constrained model predictive control of a solid oxide fuel cell based on genetic optimization． J Power ·1240·

郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1241· Sources,2011,196(14):5873 Neural Netorks,2015,61:85 [11]Li C P.Zheng Y X,Zhang J.Ore grade interpolation model [14]Li C H,Wang Y F,Cai M F,et al.Slope deformation model of based on support vector machines optimized by genetic algo- metal mines transferred underground mining from open-pit based rithms.J Univ Sci Technol Beijing,2013,35(7):837 on support vector machines.J Unie Sci Technol Beijing,2009, (李翠平，郑瑶瑕，张佳.基于遗传算法优化的支持向量机 31(8):945 品位插值模型.北京科技大学学报，2013,35(7)：837) (李长洪，王云飞，蔡美峰，等.基于支持向量机的露天转地 [12]Han Y Y,Gong D W,Sun X Y,et al.An improved NSGA-II 下开采边坡变形模型.北京科技大学学报，2009,31(8)： algorithm for multiobjective lot-streaming flow shop scheduling 945) problem.Int J Prod Res,2014,52(8):2211 [5]Agrama FA.Multi-objective genetic optimization for scheduling [13]Schmidhuber J.Deep learning in neural networks:an overview. a multi-storey building.Autom Constr,2014,44:119

郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 Sources，2011，196( 14) : 5873 ［11］ Li C P，Zheng Y X，Zhang J． Ore grade interpolation model based on support vector machines optimized by genetic algo￾rithms． J Univ Sci Technol Beijing，2013，35( 7) : 837 ( 李翠平，郑瑶瑕，张佳． 基于遗传算法优化的支持向量机 品位插值模型． 北京科技大学学报，2013，35( 7) : 837) ［12］ Han Y Y，Gong D W，Sun X Y，et al． An improved NSGA--II algorithm for multi-objective lot-streaming flow shop scheduling problem． Int J Prod Ｒes，2014，52( 8) : 2211 ［13］ Schmidhuber J． Deep learning in neural networks: an overview． Neural Networks，2015，61: 85 ［14］ Li C H，Wang Y F，Cai M F，et al． Slope deformation model of metal mines transferred underground mining from open-pit based on support vector machines． J Univ Sci Technol Beijing，2009， 31( 8) : 945 ( 李长洪，王云飞，蔡美峰，等． 基于支持向量机的露天转地 下开采边坡变形模型． 北京科技大学学报，2009，31 ( 8) : 945) ［15］ Agrama F A． Multi-objective genetic optimization for scheduling a multi-storey building． Autom Constr，2014，44: 119 ·1241·