张壮等：基于PSO-RELM转炉治炼终点锰含量预测模型 ·1055· 该模型在对样本训练前随机产生输入层与隐含 当A1+HH为非奇异矩阵时，求解式(11)得： 层的连接权值和隐含层神经元偏差，从而只需选择 B=(AI+HH)H't (12) 合适的隐含层神经元个数和激活函数，求出隐含层 式中，I为单位矩阵.网络的输出为： 与输出层的连接权值即可. Y=H耶=H(AI+HH)-Ht (13) 1.3正则化极限学习机算法 至此，将结构风险最小化理论和正则化系数引 虽然极限学习机具有设置参数少，操作简单，学 入到极限学习机中，构成了正则化极限学习机 习速度较快等优点，但也有以下不足 1.4改进粒子群优化正则化极限学习机算法 (1)极限学习机仅基于经验风险最小化原理， RELM模型虽然在ELM模型的基础上通过引 未考虑结构风险，因此当隐含层节点数目增多时可 入结构风险最小化理论提高了泛化能力，但在解决 能出现过拟合问题. 梯度下降问题时，由于RELM模型采用随机的输入 (2)极限学习机直接计算出输出层权值的最小 层权值和隐含层偏差，并不能保证训练出的ELM 二乘解，不会根据数据集的具体情况进行调整，所以 模型达到最优，因此需要更多的隐含层节点才能达 ELM模型的可控性不足 到理想的精度，从而导致收敛速度慢、预测效率低和 为了克服以上不足，增强ELM模型的泛化能 稳定性差等问题.而粒子群优化算法s)(particle 力，在极限学习机中引入结构风险和正则化系数入， swarm optimization,PS0)具有设置参数少、预测精度 通过参数入来调节结构风险与经验风险的比例，以 高、收敛速度快等优点.本文通过分析粒子群优化 改善ELM模型的过拟合问题，并提高ELM的泛化 算法的原理，并将其进行了改进，针对RELM模型 性能[]，有学者通过该方法建模并取得了较为理想 输入层权值和隐含层偏差随机给定的问题，提出了 的预测效果[2o).RELM数学模型表述为： 基于PSO-RELM算法的转炉冶炼终点锰含量预测 目标函数： 模型，即将RELM模型的输入层权值和隐含层偏差 minE=min(入‖B2I+‖e2‖) (8) 作为改进粒子群算法的粒子，用改进粒子群优化算 受限制于： 法对其进行寻优，并将训练集的预测值与实际值的 均方误差(MSE)作为适应度函数，以提高RELM算 Bfn+b)-5=号 法的预测准确率与效率，改善RELM的性能.其中， (0=1,2,…,r） (9) MSE计算公式如下： 式中：E代表极限学习机的风险总和：入‖B2川代表 sE=名（国-y (14) 结构风险；‖e2‖代表经验风险；入为正则化系数， 表示在实际风险中结构风险占的权衡比重；e:为训 式中：W为转炉冶炼终点Mn含量实测值；W为转 练误差和；r为样本数：样本(x):(x)是隐含层神 炉治炼终点Mn含量预测值：r为计算MSE的样 经元激活函数，第i个隐含层节点输出为f(ηx+ 本数 b:).由此构造拉格朗日方程得： PSO-RELM训练过程归纳如下： L(B,e,o）=AIB‖+‖e‖-σ(H邺-t-e) (1)初始化种群.初始的粒子群由RELM随机 (10) 产生的输入层权值矩阵和隐含层偏差矩阵组成.确 其中，0=[01,02，…，0，]，0：∈R(i= 定种群规模P,将隐含层节点数设为，输入层神经 1,2，,…,r)为拉格朗日算子；H= 元数设为n,则粒子维度为U=l(n+1).选取学习 因子c和c2,将位置和速度限制在[-1,1]内，根据 「f(nx1+b)…fnx1+b) 式(4)更新粒子速度和位置. 表示隐含层输 (2)计算粒子适应度.使用RELM模型计算出 f(nxn+b)…fnxn+b,) 每个粒子的训练集均方误差(MSE),作为改进粒子 出矩阵.分别对式(10)中各个变量求偏导： 群优化算法的适应度值.经过多次测试，选取si函 (OL 2ABT =oH 数作为RELM隐含层的激活函数时效果最好. aB aL (3)寻找群体极值.将每次迭代后得到的适应 +2e+w=0 (11) de 度值MSE分别和粒子的个体极值、群体极值进行比 aL 较，如果该适应度值更小，则将该适应度值作为新的 do →H邺-t-e=0 个体极值和群体极值.重复上述过程到迭代结束，张 壮等: 基于 IPSO鄄鄄RELM 转炉冶炼终点锰含量预测模型 该模型在对样本训练前随机产生输入层与隐含 层的连接权值和隐含层神经元偏差,从而只需选择 合适的隐含层神经元个数和激活函数,求出隐含层 与输出层的连接权值即可. 1郾 3 正则化极限学习机算法 虽然极限学习机具有设置参数少,操作简单,学 习速度较快等优点,但也有以下不足. (1)极限学习机仅基于经验风险最小化原理, 未考虑结构风险,因此当隐含层节点数目增多时可 能出现过拟合问题. (2)极限学习机直接计算出输出层权值的最小 二乘解,不会根据数据集的具体情况进行调整,所以 ELM 模型的可控性不足. 为了克服以上不足,增强 ELM 模型的泛化能 力,在极限学习机中引入结构风险和正则化系数 姿, 通过参数 姿 来调节结构风险与经验风险的比例,以 改善 ELM 模型的过拟合问题,并提高 ELM 的泛化 性能[19] ,有学者通过该方法建模并取得了较为理想 的预测效果[20] . RELM 数学模型表述为: 目标函数: min E = min 茁 (姿椰茁 2椰 + 椰着 2椰) (8) 受限制于: 移 l i = 1 茁i f(浊ixj + bi) - t j = 着j (j = 1,2,…,r) (9) 式中:E 代表极限学习机的风险总和;姿椰茁 2椰代表 结构风险;椰着 2椰代表经验风险;姿 为正则化系数, 表示在实际风险中结构风险占的权衡比重;着j 为训 练误差和;r 为样本数;样本(xj,t j);f(x)是隐含层神 经元激活函数,第 i 个隐含层节点输出为 f(浊ixj + bi). 由此构造拉格朗日方程得: L(茁,着,滓) = 姿椰茁 2椰 + 椰着 2椰 - 滓(H茁 - t j - 着) (10) 其 中 , 滓 = [ 滓 1 , 滓 2 , … , 滓 r ] , 滓 i 沂 R ( i = 1 , 2 , … , r ) 为 拉 格 朗 日 算 子 ; H = f(浊1 x1 + b1 ) … f(浊lx1 + bl) 左 左 f(浊1 xn + b1 ) … f(浊lxn + bl é ë ê ê ê ù û ú ú ú ) n 伊 l ,表示隐含层输 出矩阵. 分别对式(10)中各个变量求偏导: 鄣L 鄣茁 寅2姿茁 T = 滓H 鄣L 鄣着 寅2着 T + 滓 = 0 鄣L 鄣滓 寅H茁 - t j - 着 ì î í ï ï ï ï ï ï = 0 (11) 当 姿I + H TH 为非奇异矩阵时,求解式(11)得: ^茁 = (姿I + H TH) - 1H T t j (12) 式中,I 为单位矩阵. 网络的输出为: Y = H ^茁 = H(姿I + H TH) - 1H T t j (13) 至此,将结构风险最小化理论和正则化系数引 入到极限学习机中,构成了正则化极限学习机. 1郾 4 改进粒子群优化正则化极限学习机算法 RELM 模型虽然在 ELM 模型的基础上通过引 入结构风险最小化理论提高了泛化能力,但在解决 梯度下降问题时,由于 RELM 模型采用随机的输入 层权值和隐含层偏差,并不能保证训练出的 RELM 模型达到最优,因此需要更多的隐含层节点才能达 到理想的精度,从而导致收敛速度慢、预测效率低和 稳定性差等问题. 而粒子群优化算法[15] ( particle swarm optimization,PSO)具有设置参数少、预测精度 高、收敛速度快等优点. 本文通过分析粒子群优化 算法的原理,并将其进行了改进,针对 RELM 模型 输入层权值和隐含层偏差随机给定的问题,提出了 基于 IPSO鄄鄄RELM 算法的转炉冶炼终点锰含量预测 模型,即将 RELM 模型的输入层权值和隐含层偏差 作为改进粒子群算法的粒子,用改进粒子群优化算 法对其进行寻优,并将训练集的预测值与实际值的 均方误差(MSE)作为适应度函数,以提高 RELM 算 法的预测准确率与效率,改善 RELM 的性能. 其中, MSE 计算公式如下: MSE = 1 r 移 r j = 1 (Wj - W忆j) 2 (14) 式中:Wj 为转炉冶炼终点 Mn 含量实测值; W忆j 为转 炉冶炼终点 Mn 含量预测值; r 为计算 MSE 的样 本数. IPSO鄄鄄RELM 训练过程归纳如下: (1)初始化种群. 初始的粒子群由 RELM 随机 产生的输入层权值矩阵和隐含层偏差矩阵组成. 确 定种群规模 P,将隐含层节点数设为 l,输入层神经 元数设为 n,则粒子维度为 U = l( n + 1). 选取学习 因子 c1和 c2 ,将位置和速度限制在[ - 1,1]内,根据 式(4)更新粒子速度和位置. (2)计算粒子适应度. 使用 RELM 模型计算出 每个粒子的训练集均方误差(MSE),作为改进粒子 群优化算法的适应度值. 经过多次测试,选取 sin 函 数作为 RELM 隐含层的激活函数时效果最好. (3)寻找群体极值. 将每次迭代后得到的适应 度值 MSE 分别和粒子的个体极值、群体极值进行比 较,如果该适应度值更小,则将该适应度值作为新的 个体极值和群体极值. 重复上述过程到迭代结束, ·1055·