·1716· 北京科技大学学报 第36卷 子位置向量囊括d个待优化参数，随机产生一个规 标上的性能，考虑一个一维和一个二维分段函数， 模为n的粒子群{X=W1,X2,…,Xa],i=1,2, 形如： …,n},计算每个粒子的适应度值，第i个粒子“飞 fi:y= 行”历史中的过去最优位置（即该位置对应解最优） [0.5cos(5π(x+T/2)）+xsin(amx)+cos(mx) 为P,=(P1,P2,…,Pa),其中第g个粒子的过去最 0≤x<2/3, 优位置P为所有P:中的最优，对应适应度值为ft 5(1-x+cos(amx)).exp (-5x2/2) (P);第i个粒子的位置变化率（速度）为向量V:= 23≤x<1: {Va,V2,…,Va}.每个粒子的位置按如下公式进行 f:z= 变化(“飞行”)： n(-y+3/2)·(x2+y2)·(2sin(30x)+cos(25y)) V,(t+1)=V:(t)+c1×rand()× 0≤Y<12, P:(t)-X,()]+c2×rand()×P(t)-x,(t)], In(y +1/2).(ysin(5mx)+xcos(8my)) X(t+1)=X(t)+V,(t+1),1≤i≤n. 1/2≤y<1. 其中c1和c2是学习因子.最终获得的全局最优粒 以二维小波极限学习机的构造为例，训练一个 子就是目标参数a、u和b组成的向量.为保证逼近 初始子网络，计算逼近误差大于设定阈值时，自适应 精度和泛化性能，计算粒子的适应度值时，区别于一 地并入子网络决定隐层节点数，小波激活函数的选 般方法中采用目标输出和网络输出均方误差的做 取尚无理论上的指导，Morlet小波多用于分类、图像 法，本文基于L2正则化理论将L2正则子添加到惩 识别和特征提取，高斯函数多用于函数估计，本 罚项中，以达到更好权值矩阵稀疏性0，给定一组训练 文在Gauss小波函数、Morlet函数、三阶B样条函数 数据N={(x,t)1i=1,2,,n},设隐层节点数为L, 中进行实验并选取试算结果最好的高斯小波基函数 正则化参数为入，则第i个粒子的适应度计算式： 作为隐层激活函数，解析表达式为 fit(i)= y=-x·exp（-x2/2) ((n-)P）+AB） 小波函数与目标函数支撑集都为0,1]，令初 始分辨率j。=1,子网络输入层权值为2"=2，则初始 (15) 子网络包含四个节点，偏置为[《0,0)，(0,1)，(1， 基于PSO算法优化脊波基函数参数的RL一 0),(1,1)],得到初始网络输出层权值B。,逐次增 ELM学习步骤简述为： 加分辨率更高的子网络，根据式(11)和式(12)可得 (a)令迭代次数iter=1,设定种群规模N,随机 到更新后的输出权值B1,直至达到所需精度.极限 产生一组粒子群{X=(a1,a2,…,aL,01,02,…, 学习机以五个为增量（至多500个）增加节点数，通 81a-),…,0a,02…,0a-0,b1,b2,…,b2）,i=1, 过交叉验证法决定节点数后与小波极限学习机进行 2,…,N}和速度向量V. 比较. (b)计算每个粒子通过脊波函数激活后的第j 从一维函数的辨识结果图3中可以看出，频率 个隐层节点输出h=中【4x-b)/a]j=1,2,…,L, 参数较小时，两种学习机基本上都能较好拟合目标， 其中，4h=cos01,2=sin0cos02,,uH=sin6h1· 但在奇异点（函数分段）处，因为其固有的“Gibbs” sin02sin0a-D,相应输出层矩阵H=,h2,…,h]. 效应，极限学习机不能正确辨识，而小波极限学习机 (c)极限学习机算法训练输出层权值B=HT, 因为其良好的局部聚焦和多分析的特性，对一类具 计算输出估计y=邱. 有空间不均匀性的问题展现了极大的优势.随着频 (d)按照式(15)计算每个粒子适应度值，如果 率增大，波形变得复杂，ELM在奇异点周围区域出 ft(P)<e或iter=iterm,停止学习，删除B。中足 现越来越大拟合误差，这种问题并不出现在小波极 够小的权值以及相应节点.否则跳至(). 限学习机中 (e)根据适应度值更新位置值X和速度值V, 图4中，从左至右分别为逼近目标、小波极限学 iter=iter+1,跳至步骤(b) 习机拟合效果和极限学习机对？拟合效果.0≤y< 1/2和1/2≤y<1上特性不一致，ELM的辨识出现 2仿真结果和分析 极大失真，WM一ELM由于其聚微的特性在逼近性能 2.1低维多分辨正交小波极限学习机 上的优势显现出来.实际工程问题中，由于一些复 为验证小波极限学习机在具有空间不均匀性目 杂系统本身所固有的动态变化，造成数据表现出不北 京 科 技 大 学 学 报 第 36 卷 子位置向量囊括 d 个待优化参数，随机产生一个规 模为 n 的粒子群{ Xi =［Xi1，Xi2，…，Xid］，i = 1，2， …，n} ，计算每个粒子的适应度值，第 i 个粒子 “飞 行”历史中的过去最优位置( 即该位置对应解最优) 为 Pi = ( Pi1，Pi2，…，Pid ) ，其中第 g 个粒子的过去最 优位置 Pg为所有 Pi中的最优，对应适应度值为 fit ( Pg ) ; 第 i 个粒子的位置变化率( 速度) 为向量 Vi = { Vi1，Vi2，…，Vid } ． 每个粒子的位置按如下公式进行 变化( “飞行”) : Vi ( t + 1) = Vi ( t) + c1 × rand( ) × ［Pi ( t) － Xi ( t) ］+ c2 × rand( ) ×［Pg ( t) － Xi ( t) ］， Xi ( t + 1) = Xi ( t) + Vi ( t + 1) ，1≤i≤n． 其中 c1 和 c2 是学习因子． 最终获得的全局最优粒 子就是目标参数 a、u 和 b 组成的向量． 为保证逼近 精度和泛化性能，计算粒子的适应度值时，区别于一 般方法中采用目标输出和网络输出均方误差的做 法，本文基于 L1 /2正则化理论将 L1 /2正则子添加到惩 罚项中，以达到更好权值矩阵稀疏性［10］，给定一组训练 数据 = { ( xi，ti ) | i = 1，2，…，n} ，设隐层节点数为 L， 正则化参数为 λ，则第 i 个粒子的适应度计算式: fit( i) = ( ( 1 sqrt 1/ n ∑ n i =1 ( y^ i － ti ) ) 2 + λ ∑ L i =1 |βi | 1/ ) 2 ． ( 15) 基于 PSO 算法优化脊波基函数参数的 ＲL-- ELM 学习步骤简述为: ( a) 令迭代次数 iter = 1，设定种群规模 N，随机 产生一组粒子群{ Xi = ( a1，a2，…，aL，θ11，θ12，…， θ1( d － 1) ，…，θL1，θL2，…，θL( d － 1) ，b1，b2，…，bL ) ，i = 1， 2，…，N} 和速度向量 Vi ． ( b) 计算每个粒子通过脊波函数激活后的第 j 个隐层节点输出 hj = ψ［( u·j x － bj) / aj］，j = 1，2，…，L， 其中，uj1 = cos θj1，uj2 = sin θj1 cos θj2，…，ujd = sin θj1 · sin θj2…sin θj( d －1) ，相应输出层矩阵 H =［h1，h2，…，hL ］． ( c) 极限学习机算法训练输出层权值 β = H T， 计算输出估计 y^ = Hβ． ( d) 按照式( 15) 计算每个粒子适应度值，如果 fit( Pg ) ＜ ε 或 iter = itermax，停止学习，删除 βg 中足 够小的权值以及相应节点． 否则跳至( e) ． ( e) 根据适应度值更新位置值 X 和速度值 V， iter = iter + 1，跳至步骤( b) ． 2 仿真结果和分析 2. 1 低维多分辨正交小波极限学习机 为验证小波极限学习机在具有空间不均匀性目 标上的性能，考虑一个一维和一个二维分段函数， 形如: f1 : y = 0. 5cos( 5π( x +π/2) ) + x·sin( aπx) + cos( πx) 0≤x ＜ 2/3， 5( 1 － x + cos( aπx) )·exp ( － 5x 2 /2) 2/3≤x ＜ 1      ; f2 : z = ln( － y + 3/2)·( x 2 + y 2 )·( 2sin( 30x) + cos( 25y) ) 0≤y ＜ 1/2， ln( y + 1/2)·( y·sin( 5πx) + x·cos( 8πy) ) 1/2≤y ＜ 1      ． 以二维小波极限学习机的构造为例，训练一个 初始子网络，计算逼近误差大于设定阈值时，自适应 地并入子网络决定隐层节点数，小波激活函数的选 取尚无理论上的指导，Morlet 小波多用于分类、图像 识别和特征提取，高斯函数多用于函数估计［11］，本 文在 Gauss 小波函数、Morlet 函数、三阶 B 样条函数 中进行实验并选取试算结果最好的高斯小波基函数 作为隐层激活函数，解析表达式为 y = － x·exp ( － x2 /2) ． 小波函数与目标函数支撑集都为［0，1］，令初 始分辨率 j0 = 1，子网络输入层权值为 2j 0 = 2，则初始 子网络包含四个节点，偏置为［( 0，0) ，( 0，1) ，( 1， 0) ，( 1，1) ］，得到初始网络输出层权值 β0，逐次增 加分辨率更高的子网络，根据式( 11) 和式( 12) 可得 到更新后的输出权值 β1，直至达到所需精度． 极限 学习机以五个为增量( 至多 500 个) 增加节点数，通 过交叉验证法决定节点数后与小波极限学习机进行 比较． 从一维函数的辨识结果图 3 中可以看出，频率 参数较小时，两种学习机基本上都能较好拟合目标， 但在奇异点( 函数分段) 处，因为其固有的“Gibbs” 效应，极限学习机不能正确辨识，而小波极限学习机 因为其良好的局部聚焦和多分析的特性，对一类具 有空间不均匀性的问题展现了极大的优势． 随着频 率增大，波形变得复杂，ELM 在奇异点周围区域出 现越来越大拟合误差，这种问题并不出现在小波极 限学习机中． 图 4 中，从左至右分别为逼近目标、小波极限学 习机拟合效果和极限学习机对 f2 拟合效果． 0≤y ＜ 1 /2 和 1 /2≤y ＜ 1 上特性不一致，ELM 的辨识出现 极大失真，WM--ELM 由于其聚微的特性在逼近性能 上的优势显现出来． 实际工程问题中，由于一些复 杂系统本身所固有的动态变化，造成数据表现出不 · 6171 ·