第12期 全丽萍等：多分辨率小波极限学习机 ·1713· 限的函数，但绝大多数实际问题中，分析的数据只集 出L2(R)上的一个正交分解 中在一个区间或者紧致有界空间上.对于工程上一 L2(R)=⊕Wm (3) 大类在参数集上存在不均匀性的辨识问题，包括具 这里W。是{22业(21-n)1}:二延伸生成的子空 有复杂分段特性数据集的机器学习和数据挖掘（如 间.小波函数中(x)通常伴随一个尺度函数（父函 电力工程造价预测和风功率预测)，具有空间不平 数)p(x)生成，设p(x)∈L2(R),构造L(R)的闭 稳性的系统建模（如参数时变的机电运动系统和非 子空间序列V,=cos2(<9,k(x):k∈Z>,其中 线性电子器件建模)，极限学习机并不能很好的处 9(x)=2p(2x-),{V}2可生成L(R)上的 理，由此本文提出了小波极限学习机的策略. 一个多分辨分析，是一列嵌套的闭子空间序列 小波网络作为小波分析和神经网络有机结合的 …V-2CV-1 CVCVICV2…. 产物，将小波基函数植入隐层神经元，继承了小波的 由于VCV1,即这些空间V,不是彼此正交的，由 时频局部特性和聚焦特性，能有效辨识信号的奇异 两尺度方程定义小波函数山(x),{中.}kez张成的线 性，已经在故障诊断口、模式分类诸多领域获得成 性空间W即是V在V1中的正交补空间，表示高 功应用.本文将极限学习机一次学习的思想引入小 分辨率空间向低分辨率空间分解时丢失的细节 波网络，通过求Moore-Penrose伪逆运算得到输出 分量 参数，有效克服了传统反向传播小波网络逐层迭代 Vt1=V⊕W,V⊥W (4) 学习存在的收敛速度慢、易陷入局部极值、学习步长 以上分析给出了f(t)∈L(R)的分解方法： 难以确定等问题.运用极限学习机训练小波网络的 方法目前有极少数学者投入研究，文献2]考虑输 f0=∑ppa0+五w园. m. 入数据区间来决定小波函数的伸缩和平移参数，但 (5) 不考虑正交性，没有充分发挥小波多尺度分析的优 当最粗尺度M够大时，式(5)右端第二项表示的小 越性.文献B]用差分进化算法优化小波网络结构， 波细节分量可以忽略 但其紧致的结构是建立在大量的训练时间上.本文 1.2一维多分辨小波极限学习机结构和算法 考虑从Daubechies构造的紧支撑正交小波及Mallat 由式(5)，可得f(t)的逼近式 多分辨率分析的思想出发，根据目标数据的学习精 f0=∑，pup()=王 CMp(2"x-) 度，从粗尺度到细尺度上进行学习，自适应地并入分 (6) 辨率更高的子网络，从而使得网络隐层节点数的确 定有了理论依据.本文将这种网络结构和方法称之 式(6)实质上是通过对单个小波函数P(x)的 为多分辨率小波极限学习机(multiresolution wavelet 伸缩和平移形成L2(R)上的框架，CM.4为基于此框 extreme learning machine,MW-ELM),并进一步将此 架的相关系数，其物理上的意义在于把目标信号分 方法扩展到二维和高维输入空间. 解为一组小波函数的加权，这组小波函数因为支撑 集为不同区间因而可以表述目标函数不同区间上的 1理论概述 不同规律.运用式(6)构建神经网络模型，通过一个 1.1一维多分辨分析 单隐层前馈神经网络(SLFN)实现逼近.令输入层 Hf(t)∈L2(R)可以分解为一簇小波基函数上 权值为2“，偏置为k,遍历所有整数，隐层激活函数 的级数表示： 为p(x),实际上目标函数支撑集有限，因此只需要 有限个支撑小波，若小波基函数紧支撑集为D, S],目标函数紧支撑集为O,S],那么所需的隐层 (1) 节点数为2"S,/S。向上取整，偏置遍历的整数集为 其中山(t)为基小波，对山(t)做伸缩平移变换得到 D,1,…,(2S,/S。-1)]以覆盖目标输入区间.令 小波基函数系业b(t)=Ial-1山((t-b)/a),a和b K=2"S,/S。-1,样本输入x通过小波函数激活后的 分别为伸缩和平移因子.WT（a,b)=f,业。.b）为小 输出{p(2"x-k),k=0,1,…,K}即为SLFN隐层输 波变换系数.将伸缩和平移因子二进制化，其二进 出，在理想的学习精度下，小波系数CM,可通过训练 伸缩与平移系 网络的输出层权值得到 (t)=2 (2t-k)lj,kEZ) (2) 本文中，输出层权值训练算法采用无论是学习 构成L2(R)上的标准正交基.于是，小波基函数导 速度还是泛化能力上具有优良性能的极限学习机第 12 期 全丽萍等: 多分辨率小波极限学习机 限的函数，但绝大多数实际问题中，分析的数据只集 中在一个区间或者紧致有界空间上． 对于工程上一 大类在参数集上存在不均匀性的辨识问题，包括具 有复杂分段特性数据集的机器学习和数据挖掘( 如 电力工程造价预测和风功率预测) ，具有空间不平 稳性的系统建模( 如参数时变的机电运动系统和非 线性电子器件建模) ，极限学习机并不能很好的处 理，由此本文提出了小波极限学习机的策略． 小波网络作为小波分析和神经网络有机结合的 产物，将小波基函数植入隐层神经元，继承了小波的 时频局部特性和聚焦特性，能有效辨识信号的奇异 性，已经在故障诊断［1］、模式分类诸多领域获得成 功应用． 本文将极限学习机一次学习的思想引入小 波网络，通过求 Moore--Penrose 伪逆运算得到输出 参数，有效克服了传统反向传播小波网络逐层迭代 学习存在的收敛速度慢、易陷入局部极值、学习步长 难以确定等问题． 运用极限学习机训练小波网络的 方法目前有极少数学者投入研究，文献［2］考虑输 入数据区间来决定小波函数的伸缩和平移参数，但 不考虑正交性，没有充分发挥小波多尺度分析的优 越性． 文献［3］用差分进化算法优化小波网络结构， 但其紧致的结构是建立在大量的训练时间上． 本文 考虑从 Daubechies 构造的紧支撑正交小波及 Mallat 多分辨率分析的思想出发，根据目标数据的学习精 度，从粗尺度到细尺度上进行学习，自适应地并入分 辨率更高的子网络，从而使得网络隐层节点数的确 定有了理论依据． 本文将这种网络结构和方法称之 为多分辨率小波极限学习机( multiresolution wavelet extreme learning machine，MW-ELM) ，并进一步将此 方法扩展到二维和高维输入空间． 1 理论概述 1. 1 一维多分辨分析 f( t) ∈L2 ( Ｒ) 可以分解为一簇小波基函数上 的级数表示: f( t) = C － 1 ψ / | a | 2 ∫ ∞ －∞ ∫ ∞ －∞ ψa，b ( t) WTf ( a，b) dbda． ( 1) 其中 ψ( t) 为基小波，对 ψ( t) 做伸缩平移变换得到 小波基函数系 ψa，b ( t) = | a | － 1 /2 ψ( ( t － b) / a) ，a 和 b 分别为伸缩和平移因子． WTf ( a，b) =〈f，ψa，b〉为小 波变换系数． 将伸缩和平移因子二进制化，其二进 伸缩与平移系 { ψj，k ( t) = 2j/2 ψ( 2j t － k) | j，k∈Z} ( 2) 构成 L2 ( Ｒ) 上的标准正交基． 于是，小波基函数导 出 L2 ( Ｒ) 上的一个正交分解 L2 ( Ｒ) = m Wm ． ( 3) 这里 Wm 是{ 2m/2 ψ( 2m t － n) |} n = + ∞ n = － ∞ 延伸生成的子空 间． 小波函数 ψ( x) 通常伴随一个尺度函数( 父函 数) φ( x) 生成，设 φ( x) ∈L2 ( Ｒ) ，构造 L2 ( Ｒ) 的闭 子空间序列 Vj = closL2( Ｒ) ＜ φj，k ( x) ; k∈Z ＞ ，其中 φj，k ( x) = 2j/2 φ( 2j x － k) ，{ Vj } j∈Z可生成 L2 ( Ｒ) 上的 一个多分辨分析，是一列嵌套的闭子空间序列． …V － 2V － 1V0V1V2…． 由于 VjVj + 1，即这些空间 Vj 不是彼此正交的，由 两尺度方程定义小波函数 ψ( x) ，{ ψj，k } k∈Z张成的线 性空间 Wj 即是 Vj 在 Vj + 1中的正交补空间，表示高 分辨率空间向低分辨率空间分解时丢失的细节 分量． Vj + 1 = VjWj ，Vj⊥Wj ． ( 4) 以上分析给出了 f( t) ∈L2 ( Ｒ) 的分解方法: f( t) = ∑k 〈f，φM，k〉φM，k ( t) + m ＞ M ∑，k 〈f，ψm，k〉ψm，k ( t) ． ( 5) 当最粗尺度 M 够大时，式( 5) 右端第二项表示的小 波细节分量可以忽略． 1. 2 一维多分辨小波极限学习机结构和算法 由式( 5) ，可得 f( t) 的逼近式 f( t) ≈ ∑k 〈f，φM，k〉φM，k ( t) = ∑k CM，kφ( 2M x － k) ． ( 6) 式( 6) 实质上是通过对单个小波函数 φ( x) 的 伸缩和平移形成 L2 ( Ｒ) 上的框架，CM，k为基于此框 架的相关系数，其物理上的意义在于把目标信号分 解为一组小波函数的加权，这组小波函数因为支撑 集为不同区间因而可以表述目标函数不同区间上的 不同规律． 运用式( 6) 构建神经网络模型，通过一个 单隐层前馈神经网络( SLFN) 实现逼近． 令输入层 权值为 2M，偏置为 k，遍历所有整数，隐层激活函数 为 φ( x) ，实际上目标函数支撑集有限，因此只需要 有限个 支 撑 小 波，若小波基函数紧支撑集为［0， Sφ］，目标函数紧支撑集为［0，Sf］，那么所需的隐层 节点数为 2M Sf / Sφ向上取整，偏置遍历的整数集为 ［0，1，…，( 2M Sf / Sφ － 1) ］以覆盖目标输入区间． 令 K = 2M Sf / Sφ － 1，样本输入 x 通过小波函数激活后的 输出{ φ( 2M x － k) ，k = 0，1，…，K} 即为 SLFN 隐层输 出，在理想的学习精度下，小波系数 CM，k可通过训练 网络的输出层权值得到． 本文中，输出层权值训练算法采用无论是学习 速度还是泛化能力上具有优良性能的极限学习机 · 3171 ·