李德鹏等：一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 ·73· E(y-yn)(心y-y。)=0,(a=1,…s;b=1,…,s;a≠b) 基模型个数s为8的条件下，将其与直接平均法的 (21) 集成随机向量函数链接网络和数据融合的集成随机 因此，σ2可以写成： 向量函数链接网络进行了对比实验.实验结果基于 =E[2-)]=20(2) 一个函数近似和三个基准数据回归问题，仿真在 MATLAB2016a环境下运行，所用PC的CPU为5， 其中，σ(a=1,2,…,s)是第a个鲁棒随机向量函 3.4GHz,内存为8 GB RAM. 数链接网络基模型测试输出的方差 2.5.1函数近似 从(22)式可知，总方差2是加权因子的多元 采用以下非线性复合函数： 二次函数，存在最小值σ，求解如下： fx)=0.2e-(or-42+0.5e-(m-40)2 in min 0.3e-a-202,x∈[0,1] (26) (23) 首先随机产生5000个不同的样本数据作为原 ∑Y。=1 始数据集，然后根据Bagging的采样方法，每轮有放 根据多元函数求极值理论，可求得σ时第a 回地从中随机抽取500个训练数据，得到10组训练 个鲁棒随机向量函数链接网络基模型所对应的最优 数据：再随机生成200个不同的样本，作为集成模型 加权因子： 的测试数据.为了验证随机向量函数链接网络的鲁 Yi=- ,(a=1,…,s） (24) 棒性，在训练样本中加入了异常值.本实验中对于 每个训练数据集加入的异常值水平专分别为0%、 10%、20%和30%. 相应地，总方差的最小值为 在数据预处理阶段，输入和输出数据均被归一 1 d'mnin= (25) 化至区间[-1,1]，所有的实验结果均基于50次独 立试验.比较实验中，集成建模性能包括模型精度 和训练时间.其中，模型精度使用50次实验均方根 2.4算法步骤 给定一个训练样本集，{(x:,y:)Ii=1,…,N}C 误差(root mean squares error,RMSE)的均值mean 表示：训练时间用t(s)表示.相关参数的设置通过 R2x R. 交叉验证法在具体的实验中给出. 步骤1：设置隐含层节点数L,在区间[-入，+ 表1为50次独立实验的结果，不同异常值水平 入]和[-入，+入]内分别随机生成输入权值y,和偏 下三种集成建模方法中最佳的模型性能用粗体表 置b,其中j=1,2,…,L; 步骤2：计算隐含层输出矩阵H,得到拓展输入 示.由表1可知，在没有异常值干扰下，即异常值水 矩阵A; 平专=0时，三种方法的模型精度基本相同.随着专 步骤3：根据公式(15)计算残差，代入公式 的不断增加，虽然三种方法的建模精度均有所下降， (18)求P:并构造对角矩阵P: 但本文所提方法受其影响最小.与其他两种方法相 步骤4：根据公式(14)来计算输出权值B·; 比，在稍微增加训练时间的情况下，数据融合鲁棒随 步骤5：重复步骤1~4，构建一组s个鲁棒随机 机向量函数链接网络集成模方法具有更高的模型精 向量函数链接网络，并求出每个基模型输出的方差； 度.此外，图6为额外的一次独立实验，它给出了三 步骤6：根据公式(24)求出每一个鲁棒随机向 种集成建模方法在异常值水平飞=20%时的测试结 量函数链接网络基模型所对应的最优加权因子； 果.从图6中可以看出，在该异常值水平下，直接平 步骤7：根据公式(19)求出集成模型数据融合 均和数据融合随机向量函数链接网络的预测值已经 后的输出. 出现了明显的波动，表明模型误差较大：而本文所提 注2：集成时需要对基模型个数进行设定，文献 方法的预测值能够很好的拟合真实值，表明了其有 [21]提出了一种基于进化算法尺寸控制选择性集 效性.考虑到文章的可读性，其他异常值水平下的 成，给出了一个重要的结论：最佳基模型的个数范围 结论与=20%时相同，且与表1中的实验结果一 为2~8. 致，在此省略 2.5性能评估 需要指出的是，三种集成建模方法基模型的构 为了验证本文所提集成建模方法的有效性，在 建方式均为并行，本文所提方法在训练速度上稍微李德鹏等: 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 E(y - y^ a )(y - y^ b) =0,(a =1,…,s;b =1,…,s;a屹b) (21) 因此,滓 2 可以写成: 滓 2 = E [ 移 s a = 1 酌 2 a (y - y^ a ) 2 ] = 移 s a = 1 酌 2 a滓 2 a (22) 其中,滓 2 a (a = 1,2,…,s) 是第 a 个鲁棒随机向量函 数链接网络基模型测试输出的方差. 从(22)式可知,总方差 滓 2 是加权因子的多元 二次函数,存在最小值 滓 2 min ,求解如下: 滓 2 min = min (移 s a = 1 酌 2 a滓 2 a ) 移 s a = 1 酌a = ì î í ï ï ï ï 1 (23) 根据多元函数求极值理论,可求得 滓 2 min时第 a 个鲁棒随机向量函数链接网络基模型所对应的最优 加权因子: 酌 * a = 1 滓 2 a移 s a = 1 1 滓 2 a , (a = 1,…,s) (24) 相应地,总方差的最小值为 滓 2 min = 1 移 s a = 1 1 滓 2 a (25) 2郾 4 算法步骤 给定一个训练样本集,{(xi,yi) | i = 1,…,N}奂 R d 伊 R. 步骤 1:设置隐含层节点数 L,在区间[ - 姿, + 姿] d 和[ - 姿, + 姿]内分别随机生成输入权值 vj 和偏 置 bj,其中 j = 1,2,…,L; 步骤 2:计算隐含层输出矩阵 H,得到拓展输入 矩阵 A; 步骤 3: 根据公式 (15 ) 计算残差, 代入公式 (18)求 pi 并构造对角矩阵 P; 步骤 4:根据公式(14)来计算输出权值 茁 * ; 步骤 5:重复步骤 1 ~ 4,构建一组 s 个鲁棒随机 向量函数链接网络,并求出每个基模型输出的方差; 步骤 6:根据公式(24)求出每一个鲁棒随机向 量函数链接网络基模型所对应的最优加权因子; 步骤 7:根据公式(19)求出集成模型数据融合 后的输出. 注 2:集成时需要对基模型个数进行设定,文献 [21]提出了一种基于进化算法尺寸控制选择性集 成,给出了一个重要的结论:最佳基模型的个数范围 为 2 ~ 8. 2郾 5 性能评估 为了验证本文所提集成建模方法的有效性,在 基模型个数 s 为 8 的条件下,将其与直接平均法的 集成随机向量函数链接网络和数据融合的集成随机 向量函数链接网络进行了对比实验. 实验结果基于 一个函数近似和三个基准数据回归问题,仿真在 MATLAB 2016a 环境下运行,所用 PC 的 CPU 为 i5, 3郾 4 GHz,内存为 8 GB RAM. 2郾 5郾 1 函数近似 采用以下非线性复合函数: f(x) = 0郾 2e - (10x - 4) 2 + 0郾 5e - (80x - 40) 2 + 0郾 3e - (80x - 20) 2 ,x沂[0,1] (26) 首先随机产生 5000 个不同的样本数据作为原 始数据集,然后根据 Bagging 的采样方法,每轮有放 回地从中随机抽取 500 个训练数据,得到 10 组训练 数据;再随机生成 200 个不同的样本,作为集成模型 的测试数据. 为了验证随机向量函数链接网络的鲁 棒性,在训练样本中加入了异常值. 本实验中对于 每个训练数据集加入的异常值水平 孜 分别为 0% 、 10% 、20% 和 30% . 在数据预处理阶段,输入和输出数据均被归一 化至区间[ - 1,1],所有的实验结果均基于 50 次独 立试验. 比较实验中,集成建模性能包括模型精度 和训练时间. 其中,模型精度使用 50 次实验均方根 误差( root mean squares error, RMSE) 的均值 mean 表示;训练时间用 t( s)表示. 相关参数的设置通过 交叉验证法在具体的实验中给出. 表 1 为 50 次独立实验的结果,不同异常值水平 下三种集成建模方法中最佳的模型性能用粗体表 示. 由表 1 可知,在没有异常值干扰下,即异常值水 平 孜 = 0 时,三种方法的模型精度基本相同. 随着 孜 的不断增加,虽然三种方法的建模精度均有所下降, 但本文所提方法受其影响最小. 与其他两种方法相 比,在稍微增加训练时间的情况下,数据融合鲁棒随 机向量函数链接网络集成模方法具有更高的模型精 度. 此外,图 6 为额外的一次独立实验,它给出了三 种集成建模方法在异常值水平 孜 = 20% 时的测试结 果. 从图 6 中可以看出,在该异常值水平下,直接平 均和数据融合随机向量函数链接网络的预测值已经 出现了明显的波动,表明模型误差较大;而本文所提 方法的预测值能够很好的拟合真实值,表明了其有 效性. 考虑到文章的可读性,其他异常值水平下的 结论与 孜 = 20% 时相同,且与表 1 中的实验结果一 致,在此省略. 需要指出的是,三种集成建模方法基模型的构 建方式均为并行,本文所提方法在训练速度上稍微 ·73·