·1714 北京科技大学学报 第36卷 (extreme learning machine,ELM)）,这种学习算法 B.-HT-[0T 基于Moore-Penrose伪逆解析地求出网络输出权 ID 值，样本集N={(x,t)1x,l∈R,i=1,2,…,N}通 基于多分辨分析理论的小波基极限学习机学习 过小波函数激活后的隐层输出矩阵为 步骤可以表述为： pu.0（xg）…pm(xo） (a)初始分辨率M=jo,开始建立子网络，输入 H= (7) 层权值为2心，隐层偏置为0,1，…，K。,以小波基函数 Pu.o(xw)… PM.k(xN） 作为激活函数得到隐层输出阵H。,计算隐层输出权 ELM算法的输出层权值为最小二乘意义上的 重B。=HT和网络误差E(H。)=HB。-T,如果 最小范数解B=HT,T=,2,…,tw]T为目标样 E(H。)小于精度要求ε，停止学习，否则跳至步骤 本输出向量.为了建立一个紧致结构的学习模型， (b). 网络从粗分辨率到细分辨率上逐级学习，当并入更 (b)令M=M+1,并入子网络，令子网络输入层 高分辨率的子网络时，对整个新网络进行重新训练 权值为2"，隐层偏置为0,1，，K,得到并入的子网 将浪费大量训练时间，改进后的误差最小化极限学 络隐层输出δH。,根据式(11)和式(12)更新输出层 习机(error minimized ELM,EM-ELM)通过增量 权值B1 (c)计算小波网络对样本的输出估计y=HB, 更新的方法避免了这一问题，设初始隐层输出矩阵 并删除B:中足够小的权值，最后计算误差值 为H。,H。伪逆可表示为 E(H)=HB1-T,若E(H)>E,转(b),否则结束 H0=(HH。)-H= 学习 (8) 设达到精度要求后，并入的子网络最高分辨率 为jm·基于多分辨分析理论的小波基极限学习机结 并入的子网络对应隐层输出矩阵δH。,相应的整个 构图如图1所示. 网络隐层输出矩阵更新为H,=H。,8H。].令 1.3二维多分辨分析 由一维多分辨分析的张量积可以构造二维多分 (9) 辨分析.令(x,y）=V,(x)⑧V(y) 若记 那么有 p(x,y）=中(x)中(y) 团-日-城调 (10) 中(x)是一维空间的小波尺度函数，则{9.k,mI9km (x,y）=2p(2x-k,2y-m)=2b(2'x-k)中(2'y- 根据一个2×2块状矩阵的求逆公式，可得到 m);k,m∈Z}构成上的一个正交基，并且有下列 P,=(HgHo）-1+ 条件成立： (HH)-H8H。×R-8HH。(HH)-1, VicV,VjeZ, P2=-(HH)-H68HR-1, Q听=01,2y=1(R), P2=-R-8HHo (HOHo)-, f(x.y)EVjef(2x,2y)EV. P2=R-1. 从而{}jez=clos<P.k,m(x,y）;k,m∈Z>是 这里 (x,y）=V(x)⑧y(y)生成的L2(R)上的多分辨 R=8Hg8H。-8HH。(HgH。)-Hg8H。= 分析. 8HgδH。-8HHHδH, 1.4二维多分辨小波极限学习机 所以 类似的，对L2(R)上的二维函数有以下逼近 D=R-lδH。-R-18HgHH。= 方程： [6H(-HHg)8H]-18Hg(I-HHg).(11) f八x,y）≈∑pu,b〉pu.（x,y)= 类似的，有以下推导 U=H。-H88HD (12) A92-,2-. (13) 根据式(11)和(12)可得到误差最小化极限学习机 根据此方程建立的基于二维多分辨分析的小波 B,的快速增量算法，输出权值更新为 极限学习机网络结构图如图2所示.学习步骤与一北 京 科 技 大 学 学 报 第 36 卷 ( extreme learning machine，ELM) ［4］，这种学习算法 基于 Moore--Penrose 伪逆解析地求出网络输出权 值，样本集 = { ( xi，ti ) | xi，ti∈Ｒ，i = 1，2，…，N} 通 过小波函数激活后的隐层输出矩阵为 H = φM，0 ( x0 ) … φM，k ( x0 )    φM，0 ( xN) … φM，k ( xN          )  ． ( 7) ELM 算法的输出层权值为最小二乘意义上的 最小范数解 β = H T，T =［t1，t2，…，tN］T 为目标样 本输出向量． 为了建立一个紧致结构的学习模型， 网络从粗分辨率到细分辨率上逐级学习，当并入更 高分辨率的子网络时，对整个新网络进行重新训练 将浪费大量训练时间，改进后的误差最小化极限学 习机( error minimized ELM，EM--ELM) ［5］通过增量 更新的方法避免了这一问题，设初始隐层输出矩阵 为 H0，H0 伪逆可表示为 H 0 = ( HT 0H0 ) － 1HT 0 = HT 0 δH [ T ] 0 ［H0 δH0       ］ － 1 HT 0 δH [ T ] 0 ． ( 8) 并入的子网络对应隐层输出矩阵 δH0，相应的整个 网络隐层输出矩阵更新为 H1 =［H0，δH0］． 令 P = HT 0 δH [ T ] 0 ［H0 δH0       ］ － 1 = P11 P12 P21 P [ ] 22 ，( 9) 那么有 H 1 = [ ] U D = P11HT 0 + P12 δHT 0 P21HT 0 + P22 δH [ T ] 0 ， ( 10) 根据一个 2 × 2 块状矩阵的求逆公式，可得到 P11 = ( HT 0H0 ) － 1 + ( HT 0H0 ) － 1HT 0 δH0 × Ｒ － 1 δHT 0H0 ( HT 0H0 ) － 1， P12 = － ( HT 0H0 ) － 1HT 0 δH0Ｒ － 1， P21 = － Ｒ － 1 δHT 0H0 ( HT 0H0 ) － 1， P22 = Ｒ － 1 ． 这里 Ｒ = δHT 0 δH0 － δHT 0H0 ( HT 0H0 ) － 1HT 0 δHT 0 = δHT 0 δH0 － δHT 0H0H 0 δHT 0， 所以 D = Ｒ － 1 δHT 0 － Ｒ － 1 δHT 0H0H 0 = ［δHT 0 ( I － H0H 0 ) δH0］－ 1 δHT 0 ( I － H0H 0 ) ． ( 11) 类似的，有以下推导 U = H 0 － H 0 δHT 0 D ( 12) 根据式( 11) 和( 12) 可得到误差最小化极限学习机 β1 的快速增量算法，输出权值更新为 β1 = H 1T = [ ] U D T． 基于多分辨分析理论的小波基极限学习机学习 步骤可以表述为: ( a) 初始分辨率 M = j0，开始建立子网络，输入 层权值为 2j 0，隐层偏置为 0，1，…，K0，以小波基函数 作为激活函数得到隐层输出阵 H0，计算隐层输出权 重 β0 = H 0T 和网络误差 E( H0 ) = H0β0 － T，如果 E( H0 ) 小于精度要求 ε，停止学习，否则跳至步骤 ( b) ． ( b) 令 M = M + 1，并入子网络，令子网络输入层 权值为 2M，隐层偏置为 0，1，…，K，得到并入的子网 络隐层输出 δH0，根据式( 11) 和式( 12) 更新输出层 权值 β1 ． ( c) 计算小波网络对样本的输出估计 y^ = H1β1 并删 除 β1 中足够小的权值，最 后 计 算 误 差 值 E( H1 ) = H1β1 － T，若 E( H1 ) ＞ ε，转( b) ，否则结束 学习． 设达到精度要求后，并入的子网络最高分辨率 为 jm ． 基于多分辨分析理论的小波基极限学习机结 构图如图 1 所示． 1. 3 二维多分辨分析 由一维多分辨分析的张量积可以构造二维多分 辨分析． 令 V2 j ( x，y) = Vj ( x) Vj ( y) 若记 φ( x，y) = ( x) ( y) ( x) 是一维空间的小波尺度函数，则{ φj，k，m | φj，k，m ( x，y) = 2j φ( 2j x － k，2j y － m) = 2j ( 2j x － k) ( 2j y － m) ; k，m∈Z} 构成 V2 j 上的一个正交基，并且有下列 条件成立: V2 j V2 j + 1，j∈Z， ∩ j∈Z V2 j = { 0} ，∩ j∈Z V2 j = L2 ( Ｒ2 ) ， f( x，y) ∈V2 j f( 2x，2y) ∈V2 j + 1 ． 从而{ V2 j } j∈Z = closL2( Ｒ2) ＜ φj，k，m ( x，y) ; k，m∈Z ＞ 是 V2 j ( x，y) = Vj ( x) Vj ( y) 生成的 L2 ( Ｒ2 ) 上的多分辨 分析． 1. 4 二维多分辨小波极限学习机 类似的，对 L2 ( Ｒ2 ) 上的二维函数有以下逼近 方程: f( x，y) ≈ ∑k1，k2 〈f，φM，k1，k2 〉φM，k1，k2 ( x，y) = ∑k1，k2 CM，k1，k2φ( 2M x － k1，2M x － k2 ) ． ( 13) 根据此方程建立的基于二维多分辨分析的小波 极限学习机网络结构图如图 2 所示． 学习步骤与一 · 4171 ·