第2卷第6期 智能系统学报 Vol.2 N26 2007年12月 CAAI Transactions on Intelligent Systems Dec.2007 连续小波过程神经网络及其仿真研究 李洋，钟诗胜，张艳 (哈尔滨工业大学机电工程学院，黑龙江哈尔滨150001) 摘要：在小波分析和过程神经网络理论的基础上，提出了连续小波过程神经网络模型，其隐层为过程神经元，隐层 激活函数采用小波函数.该网络结合了小波变换良好的时一频局域化性质及过程神经网络可以处理连续输入信号 的特点，因而学习能力强，精度高.给出了小波过程神经网络学习算法，并以航空发动机滑油系统状态监测为例，分 别利用传统BP网络和小波过程神经网络进行预测.结果表明，小波过程神经网络收敛速度快，精度高，优于BP网络 的预测能力，同时也为航空发动机滑油系统状态监测问题提供了一种有效的方法. 关键词：过程神经元：连续小波过程神经网络：学习算法：发动机滑油监测 中图分类号：TP183文献标识码：A文章编号：1673-4785(2007)06007705 Research and simulation of a continuous wavelet process neural net work LI Yang,ZHONG Shi-sheng,ZHANG Yan (Department of Mechanical and Electrical Engineering,Harbin Institute of Technology,Harbin 150001,China) Abstract:A continuous wavelet process neural networks(CWPNN)model is proposed based on wavelet a- nalysis and process neural network theory in which the hidden layer is composed of process neurons and the hidden layer activation function is a wavelets function.This network not only has excellent learning capa- bility but also high accuracy since it combines the time-frequency local property of wavelet analysis with the ability of process neural networks to deal with continuous input signals.The corresponding learning al- gorithm is given.The network was compared with a traditional BP neural network while monitoring the state of an aeroengine lubricating oil system.The results demonstrated the faster convergence rate and higher accuracy of the network.Prediction capability was superior to a BP neural network,providing a more effective method for state monitoring of aeroengine lubricating oil systems. Key words :process neuron;continuous wavelet process neural networks;learning algorithm;monitoring of aeroengine lubricating oil system 在实际问题中，许多系统的输入是依赖于时间 于求解与过程有关的众多实际问题有着广泛的应用 变化的连续函数，其输出值既依赖于输入函数的空 价值).但是在神经网络的应用过程中，网络参数的 间聚合，又与时间的累计效应密切相关.针对这一问 优化和结构的构造等缺乏有效的理论性指导方法， 题，文献[1]中提出了过程神经元网络模型.过程神 而这些都将直接影响网络的实际应用效果.而小波 经元与传统神经元不同之处在于过程神经元的输入 分析理论为神经网络的构造和参数的选取提供了一 和权值可以是时变的，其聚合运算中既有对空间的 个行之有效的方法.本文将过程神经网络和小波分 多输入聚合，也有对时间过程的积累.过程神经元网 析理论相结合，在文献[1-4]的基础上，提出了连续 络是人工神经元网络在时间域上的扩展，放宽了传 小波过程神经网络模型.其输入和权值是时变的，其 统神经元网络模型对输入的同步瞬时限制，因此，对 聚合运算既有对空间的多输入聚合，也有对时间过 程的积累.连续小波过程神经网络隐层神经元的激 收稿日期：2007-01-18. 励函数采用小波基函数，隐层阈值由小波的平移与 基金项目：因家自然科学基金资助项目(60572174) 伸缩参数替换.连续小波过程神经网络结合了小波 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
第 2 卷第 6 期 智 能 系 统 学 报 Vol. 2 №. 6 2007 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2007 连续小波过程神经网络及其仿真研究 李 洋 ,钟诗胜 ,张 艳 (哈尔滨工业大学 机电工程学院 ,黑龙江 哈尔滨 150001) 摘 要 :在小波分析和过程神经网络理论的基础上 ,提出了连续小波过程神经网络模型 ,其隐层为过程神经元 ,隐层 激活函数采用小波函数. 该网络结合了小波变换良好的时 —频局域化性质及过程神经网络可以处理连续输入信号 的特点 ,因而学习能力强 ,精度高. 给出了小波过程神经网络学习算法 ,并以航空发动机滑油系统状态监测为例 ,分 别利用传统 BP 网络和小波过程神经网络进行预测. 结果表明 ,小波过程神经网络收敛速度快 ,精度高 ,优于 BP 网络 的预测能力 ,同时也为航空发动机滑油系统状态监测问题提供了一种有效的方法. 关键词 :过程神经元 ;连续小波过程神经网络 ;学习算法 ;发动机滑油监测 中图分类号 : TP183 文献标识码 :A 文章编号 :167324785 (2007) 0620077205 Research and simulation of a continuous wavelet process neural network L I Yang , ZHON G Shi2sheng , ZHAN G Yan (Department of Mechanical and Electrical Engineering , Harbin Institute of Technology , Harbin 150001 , China) Abstract :A continuous wavelet process neural networks (CWPNN) model is proposed based on wavelet a2 nalysis and process neural network t heory in which t he hidden layer is composed of p rocess neurons and t he hidden layer activation f unction is a wavelets f unction. This network not only has excellent learning capa2 bility but also high accuracy since it combines t he time2frequency local property of wavelet analysis wit h t he ability of process neural networks to deal wit h continuous inp ut signals. The corresponding learning al2 gorithm is given. The network was compared with a traditional BP neural network while monitoring t he state of an aeroengine lubricating oil system. The results demonstrated t he faster convergence rate and higher accuracy of t he network. Prediction capability was superior to a BP neural network , p roviding a more effective met hod for state monitoring of aeroengine lubricating oil systems. Keywords :p rocess neuron ; continuous wavelet process neural networks; learning algorit hm ; monitoring of aeroengine lubricating oil system 收稿日期 :2007201218. 基金项目 :国家自然科学基金资助项目(60572174) . 在实际问题中 ,许多系统的输入是依赖于时间 变化的连续函数 ,其输出值既依赖于输入函数的空 间聚合 ,又与时间的累计效应密切相关. 针对这一问 题 ,文献[ 1 ]中提出了过程神经元网络模型. 过程神 经元与传统神经元不同之处在于过程神经元的输入 和权值可以是时变的 ,其聚合运算中既有对空间的 多输入聚合 ,也有对时间过程的积累. 过程神经元网 络是人工神经元网络在时间域上的扩展 ,放宽了传 统神经元网络模型对输入的同步瞬时限制 ,因此 ,对 于求解与过程有关的众多实际问题有着广泛的应用 价值[2 ] . 但是在神经网络的应用过程中 ,网络参数的 优化和结构的构造等缺乏有效的理论性指导方法 , 而这些都将直接影响网络的实际应用效果. 而小波 分析理论为神经网络的构造和参数的选取提供了一 个行之有效的方法. 本文将过程神经网络和小波分 析理论相结合 ,在文献[ 1 - 4 ]的基础上 ,提出了连续 小波过程神经网络模型. 其输入和权值是时变的 ,其 聚合运算既有对空间的多输入聚合 ,也有对时间过 程的积累. 连续小波过程神经网络隐层神经元的激 励函数采用小波基函数 ,隐层阈值由小波的平移与 伸缩参数替换. 连续小波过程神经网络结合了小波
·78· 智能系统学报 第2卷 变换良好的时频局域化性质及过程神经网络可以处 Wi(a,b=f,克时= 攻b(xf(xdx 理时变信号的能力，从而避免了传统神经网络在解 决大容量非线性时变系统的信号处理问题时存在的 (4) 不适应性.由于连续小波过程神经网络引入了平移 若小波满足允许条件，则连续小波变换存在着逆变 和伸缩因子，因此具有更强的函数逼近能力 换： 1连续小波过程神经网络 1.1过程神经元 了了a,9。h 过程神经元是由过程输入信号加权，时间、空间 (5 二维聚合和阈值激励输出4部分运算组成.与传统 1.3连续小波过程神经网络模型 神经元不同之处在于过程神经元的输入和连接权可 由若干个过程神经元按一定的拓扑结构组成并 以是时变函数，过程神经元增加了一个对于时间的 且隐层激活函数采用小波函数的网络称为连续小波 聚合算子，其聚合运算既有对输入信号的空间加权 过程神经网络.本文所提出的网络为3层连续小波 聚集，亦有对时间过程效应的累积.过程神经元模型 的结构如图1所示。 过程神经网络，设网络的输入层有n个单元，隐层由 m个小波过程神经元组成，输出层只有1个单元，网 络拓扑结构为n-m-1,如图2所示 x(0、1(U0 : t) K() (0 x(0 x(0w(0 图1过程神经元结构图 x(0 ( Fig 1 Structure of process neuron 图2连续小波过程神经网络 过程神经元输入与输出之间的映射关系为 Fig 2 Continuous wavelet process neural network y=f(w()©X()⊙K(y-9.1) 连续小波过程神经网络输入与输出之间的关系 式中：X()=(x1(),2(),…,xm())为过程神经元 为 的输入矢量，W(=(w1(),w2(),…pn()为相 >x:(wo(vdt-b 应的连接权矢量，⊙表示某种空间聚合运算，可取 y=g(v- -).6) aj 为A=wW⊙XD=,w:(W,⊙表示 式中：X()=x1),x2(),xn()}为连续小波过 程神经网络的输入函数矢量，w,()为输入层第i个 某种时间聚合运算，可取为A()⊙K(= 单元与隐层第j个过程神经元的连接权函数，y为 ∫A(,k(yd,0为过程神经元的输出闵值， 隐层第了个过程神经元与输出层单元的连接权值，中 1.2小波分析 为小波函数，g为输出层单元的激励函数，文中取为 函数(x)∈L2(若满足如下条件： 线性函数，y为网络输出 C.= rl为@十dw<∞， (2 2连续小波过程神经网络学习算法 ω 式中：（为(）的Fourier变换，则函数(x)成 2.1函数正交基展开 为一个基本小波或母小波，其通过伸缩平移可产生 由式(6)可以看出，过程神经网络的时间累积运 一组小波函数基： 算比较复杂，为此引入一组合适的正交基函数将输 典6（别=十：与 入函数和连接权函数同时展开，以达到简化时间累 (3) a 积运算的目的 式中：a、b分别为伸缩、平移尺度因子.对于任意函 设h(),b(),b(),…为C0,T]空间上 数∫(x)∈L(R,其连续小波变换可表示为 组标准正交基函数，X()={x1(),x2(), 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
变换良好的时频局域化性质及过程神经网络可以处 理时变信号的能力 ,从而避免了传统神经网络在解 决大容量非线性时变系统的信号处理问题时存在的 不适应性. 由于连续小波过程神经网络引入了平移 和伸缩因子 ,因此具有更强的函数逼近能力. 1 连续小波过程神经网络 111 过程神经元 过程神经元是由过程输入信号加权 ,时间、空间 二维聚合和阈值激励输出 4 部分运算组成. 与传统 神经元不同之处在于过程神经元的输入和连接权可 以是时变函数 ,过程神经元增加了一个对于时间的 聚合算子 ,其聚合运算既有对输入信号的空间加权 聚集 ,亦有对时间过程效应的累积. 过程神经元模型 的结构如图 1 所示. 图 1 过程神经元结构图 Fig11 Structure of process neuron 过程神经元输入与输出之间的映射关系为 y = f ( (W( t) Ý X( t) ) á K(·) - θ) . (1) 式中 : X( t) = ( x1 ( t) , x2 ( t) , …, x n ( t) ) 为过程神经元 的输入矢量 ,W( t) = ( w1 ( t) , w2 ( t) , …, wn ( t) ) 为相 应的连接权矢量 , Ý 表示某种空间聚合运算 , 可取 为 A( t) = W( t) Ý X( t) = ∑ n i = 1 xi ( t) wi ( t) , á 表示 某种 时 间 聚 合 运 算 , 可 取 为 A( t) á K( ·) = ∫ T 0 A( t) k (·) dt ,θ为过程神经元的输出阈值. 112 小波分析 函数ψ( x) ∈L 2 ( R) 若满足如下条件 : Cψ =∫R | ψ^ (ω) | 2 | ω| dω < ∞, (2) 式中 :ψ^ (ω) 为ψ( t) 的 Fourier 变换 ,则函数ψ( x) 成 为一个基本小波或母小波 ,其通过伸缩平移可产生 一组小波函数基 : ψa, b ( x) = 1 a ψ( x - b a ) . (3) 式中 : a、b分别为伸缩、平移尺度因子. 对于任意函 数 f ( x) ∈L 2 ( R) , 其连续小波变换可表示为 Wf (a,b) = ( f ,ψa,b) = 1 | a |∫ + ∞ - ∞ ψa,b ( x) f ( x) dx. (4) 若小波满足允许条件 ,则连续小波变换存在着逆变 换 : f ( t) = 1 Cψ∫ + ∞ 0 d a a 2∫ + ∞ - ∞ W f ( a , b)ψa, b ( t) db = 1 Cψ∫ + ∞ 0 d a a 2∫ + ∞ - ∞ W f ( a , b) 1 a ψ( t - b a ) db. (5) 113 连续小波过程神经网络模型 由若干个过程神经元按一定的拓扑结构组成并 且隐层激活函数采用小波函数的网络称为连续小波 过程神经网络. 本文所提出的网络为 3 层连续小波 过程神经网络 ,设网络的输入层有 n 个单元 ,隐层由 m 个小波过程神经元组成 ,输出层只有 1 个单元 ,网 络拓扑结构为 n - m - 1 ,如图 2 所示. 图 2 连续小波过程神经网络 Fig12 Continuous wavelet process neural network 连续小波过程神经网络输入与输出之间的关系 为 y = g ( ∑ m j = 1 vψj ∫ T 0 ∑ n i =1 xi ( t) wij ( t) dt - bj aj ) . (6) 式中 : X( t) = { x1 ( t) , x2 ( t) , …, x n ( t) }为连续小波过 程神经网络的输入函数矢量 , wij ( t) 为输入层第 i 个 单元与隐层第 j 个过程神经元的连接权函数 , vj 为 隐层第 j 个过程神经元与输出层单元的连接权值 ,ψ 为小波函数 , g 为输出层单元的激励函数 ,文中取为 线性函数 , y 为网络输出. 2 连续小波过程神经网络学习算法 211 函数正交基展开 由式(6) 可以看出 ,过程神经网络的时间累积运 算比较复杂 ,为此引入一组合适的正交基函数将输 入函数和连接权函数同时展开 ,以达到简化时间累 积运算的目的. 设 b1 ( t) , b2 ( t) , …, bk ( t) , …为 C[0 , T ]空间上 一组标准正交基函数 , X ( t) = { x1 ( t) , x2 ( t) , …, · 87 · 智 能 系 统 学 报 第 2 卷
第6期 李洋，等：连续小波过程神经网络及其仿真研究 79· xm()}为输入空间的任意函数，则x:()可表示为 △w=- =y- 〔272台 W=bW,G∈R △y= 同理，w,()也可以由同一组标准正交基函数展开 aE=.(y.dw. 为 g=. aE=.(y- da g0=20b(W.w5∈R 由数学分析理论知，对Aε>0,3L:,满足 △6=- =(y- s,xw-∑dbw≤e (10) 文中神经网络的隐层激励函数采用Morlet小 令L=max{L1,L2,Ln/,则： 波，它是余弦调制的高斯波.Morlet小波在时、频域 x()= bd,∈R, 局部特性都较好，表示为 wg()= 2gbW,wg∈R 11) 根据正交函数的性质，有 2.3学习算法描述 So(brodr= 1,k=1 连续小波过程神经网络学习算法可完整描述为 0,k≠1 因此，式6可以转化为 1)选取一组合适的正交基函数bs()(k=1,2, ·,),将连续小波过程神经网络的输入函数矢量 X()和输入层与隐层之间的连接权函数w,()(i= 1,2,n;j=1,2,…m展开： 2.2学习过程 2)初始化连续小波过程神经网络待训练参数 给定P个学习样本函数：(x1(),x2(), w、y、a和b; xm(),dp,p=1,2,…P:其中，xm()的第1个下 3)给定网络学习误差精度￡，学习迭代次数s= 标表示学习样本序号，第2个下标表示输入函数向 0,最大学习迭代次数M,学习速率a、B、Y、: 量分量序号；dp为对应于输入(x(),xm(), 4)根据式8计算连续小波过程神经网络的误 xm)网络的期望输出.则连续小波过程神经网络的 差函数E,如果EM则转6)； 误差函数可表示为 5)根据式9)的规则修正连续小波过程神经网 E=2(do) 络待训练参数w、y、a和b,否则，s=s+1,转4)； 6)输出学习结果，结束。 3航空发动机滑油系统仿真 (8) 为降低维修成本，世界各大航空公司均采取了 根据梯度下降算法，连续小波过程神经网络的 “视情维修”的维修方式，即根据发动机状态来确定 待训练参数调整规则为 发动机是否需要返厂修理及进行何种维修，这样可 w9(s+1)=w5(+aùw奇. 以在保障安全的前提下，大大提高发动机的装机使 y(s+1)=y(+卧y, 用时间，降低运营成本.航空发动机的滑油系统是保 9) g(s+1)=a(+0a, 证发动机正常工作的一个重要系统.滑油系统的故 人b(s+1)=b(sy+4b 障在发动机各类故障中占较高的比例，并且滑油具 式中：aB、I为学习速率，s为迭代次数.为了简便 有循环使用的特点，携带着发动机大量内部信息.通 过对滑油系统进行监测和技术诊断，可提前发现发 起见，记u=（,王wi/a,则△w5A八 动机的内部故障，减少不必要的零部件更换，同时能 △4△b可分别表示为 够进行故障的早期预报，避免恶性事故的发生，保证 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
x n ( t) }为输入空间的任意函数 ,则 xi ( t) 可表示为[5 ] xi ( t) = ∑ ∞ k = 1 c k i bk ( t) , c k i ∈R. 同理 , wij ( t) 也可以由同一组标准正交基函数展开 为 wij ( t) = ∑ ∞ k = 1 w k ij bk ( t) , w k ij ∈R. 由数学分析理论知 ,对 Aε> 0 , ϖL i ,满足 Sup 0 ≤t ≤T xi ( t) - ∑ L l = 0 c l ibl ( t) ≤ε. 令 L = max{ L1 , L2 , …, L n } ,则 : xi ( t) = ∑ L k = 1 c k i bk ( t) , c k i ∈R , wij ( t) = ∑ L l = 1 w l ij bl ( t) , w l ij ∈R. 根据正交函数的性质 ,有 ∫ T 0 bk ( t) bl ( t) dt = 1 , k = l , 0 , k ≠l. 因此 ,式(6) 可以转化为 y = g ∑ m j = 1 vψj ∑ n i = 1 ∑ L k = 1 c k i w k ij - bj aj . (7) 212 学习过程 给定 P 个学习样本函数 : ( x p1 ( t) , x p2 ( t) , …, x pn ( t) , dp ) , p = 1 ,2 , …, P;其中 , x pi ( t) 的第 1 个下 标表示学习样本序号 ,第 2 个下标表示输入函数向 量分量序号; dp 为对应于输入 ( x p1 ( t) , x p2 ( t) , …, x pn ) 网络的期望输出. 则连续小波过程神经网络的 误差函数可表示为 E = 1 2 ∑ P p = 1 ( y p - dp ) 2 = 1 2 ∑ P p = 1 g ∑ m j = 1 vψj ∑ n i =1 ∑ L k = 1 c k pi w k ij - bj aj - dp 2 . (8) 根据梯度下降算法 ,连续小波过程神经网络的 待训练参数调整规则为 w k ij (s + 1) = w k ij (s) +αΔw k ij , vj (s + 1) = vj (s) +βΔvj , aj (s + 1) = aj (s) +γΔaj , bj (s + 1) = bj (s) +ηΔbj . (9) 式中 :α、β、γ、η为学习速率 ,s 为迭代次数. 为了简便 起见 , 记 u = ( ∑ n i = 1 ∑ L k = 1 c k pi w k ij - bj) / aj ,则Δw k ij 、Δvj 、 Δaj 、Δbj 可分别表示为 Δw k ij = - 9 E 9w k ij = - ( y - d) ∑ m j =1 vψj ′( u) ∑ n i =1 ∑ L k =1 c k pi aj , Δvj = - 9 E 9vj = - ( y - d)ψ( u) , Δaj = - 9 E 9aj = - ( y - d) ∑ m j =1 vψj ′( u) - u aj , Δbj = - 9 E 9bj = - ( y - d) ∑ m j =1 vψj ′( u) - 1 aj . (10) 文中神经网络的隐层激励函数采用 Morlet 小 波 ,它是余弦调制的高斯波. Morlet 小波在时、频域 局部特性都较好 ,表示为 ψ( x) = cos 1175 x - b a exp - x - b a 2 / 2 . (11) 213 学习算法描述 连续小波过程神经网络学习算法可完整描述为 1) 选取一组合适的正交基函数 bk ( t) ( k = 1 , 2 , …, L) ,将连续小波过程神经网络的输入函数矢量 X( t) 和输入层与隐层之间的连接权函数 wij ( t) ( i = 1 ,2 , …, n; j = 1 ,2 , …, m) 展开; 2) 初始化连续小波过程神经网络待训练参数 w k ij 、vj 、aj 和 bj ; 3) 给定网络学习误差精度ε,学习迭代次数 s = 0 ,最大学习迭代次数 M ,学习速率α、β、γ、η; 4) 根据式(8) 计算连续小波过程神经网络的误 差函数 E,如果 E M 则转 6) ; 5) 根据式(9) 的规则修正连续小波过程神经网 络待训练参数 w k ij 、vj 、aj 和 bj ,否则 ,s = s + 1 ,转 4) ; 6) 输出学习结果 ,结束. 3 航空发动机滑油系统仿真 为降低维修成本 ,世界各大航空公司均采取了 “视情维修”的维修方式 ,即根据发动机状态来确定 发动机是否需要返厂修理及进行何种维修 ,这样可 以在保障安全的前提下 ,大大提高发动机的装机使 用时间 ,降低运营成本. 航空发动机的滑油系统是保 证发动机正常工作的一个重要系统. 滑油系统的故 障在发动机各类故障中占较高的比例 ,并且滑油具 有循环使用的特点 ,携带着发动机大量内部信息. 通 过对滑油系统进行监测和技术诊断 ,可提前发现发 动机的内部故障 ,减少不必要的零部件更换 ,同时能 够进行故障的早期预报 ,避免恶性事故的发生 ,保证 第 6 期 李 洋 ,等 :连续小波过程神经网络及其仿真研究 · 97 ·
·80 智能系统学报 第2卷 飞行安全，是实施“视情维修”的重要手段之一6·刃 结果有很大的误差，连续小波过程神经网络的误差 本文依据现有的飞机发动机滑油金属含量历史数据 却控制在较小的范围内.BP网络预测结果的平均相 分别用连续小波过程神经网络和传统BP网络进行 对误差为3.41%，连续小波过程神经网络预测结果 了仿真预测，并将预测结果进行了比较和讨论 的平均相对误差仅为0.97%. 本文采用的数据来自通用航空公司的某型号发 10*10 动机从一次换油到另一次换油的完整工作阶段的滑 油光谱分析数据.因为在滑油监测中以Fe的金属 含量为主要监测对象，因此，本文以铁含量的时间序 列分析为例.按照光谱分析的时间排序得到金属含 BP神经例络 量数据序列155个.Fe含量时间序列如图3所示. CWPNN 051062025303340×10 0.45 迭代次数 0.40 图4学习误差曲线 0.35 Fig.4 Learning error curve 出 0.30 ×10 0.36r 一实际值 0.25 一BP网路预测结果 034 ·CWPNN预测结果 0.20 20406080100120140160 0.32 样本序列/个 030 图3Fe含量时间序列 加 Fig 3 Time series of Fe content 028 0.26 由于连续小波过程神经网络的输入是一个连续 0.24 函数，为此将连续的6个时间序列数据进行拟合，构 10 2030 0 50 样本序列/个 成一个时序函数作为连续小波过程神经网络的输入 函数，以第7个数据作为输出.连续小波过程神经网 图5Fe含量预测结果 络的拓扑结构取为1-11·1.其平移与伸缩参数由 Fig.5 Result of Fe content forecasting 文献[8]确定，为了简化连续小波过程神经网络的计 事实上，连续小波过程神经网络可借助于小波 算，将网络的输入函数及连接权函数由勒让德基函 分析理论来指导网络的初始化和参数选取，使网络 数展开，基函数个数为6个.共得到149组样本，前 具有较快的收敛速度和较高的泛化精度.小波函数 100组样本作为小波过程神经网络的训练样本，用 具有良好的时一频局部特性，并且对于不同的逼近 后49组非训练样本进行测试.网络误差精度设为 函数，小波函数有更广泛的选择性，即可以根据逼近 0.005,学习速率为0.1，最大迭代次数10000次.网 函数的特性来选择不同的小波函数.特别地，对于突 络经1932次学习迭代后收敛.为进行对比分析，在 变函数，小波函数具有逐步精细的描述特性，使得函 同样条件下，采用3层BP网络进行预测，网络经 数的逼近效果更好.从而大大提高网络模型的建模 3929次学习迭代后收敛.2种网络模型的学习误差 能力，不仅收敛速度快，而且精度有所提高」 曲线如图4所示.为测试学习完成连续小波过程神 4 结论 经网络的泛化能力，用后49组非训练样本进行测 试.2种模型的预测结果见图5.由图5可以看出， 1)本文提出了连续小波过程神经网络模型，它 BP网络对于像发动机滑油系统这样复杂的时变系 是基于小波分析和过程神经网络建立的一类新型前 统，其泛化能力低于连续小波过程神经网络，而连续 馈网络，由于它结合了小波变换良好的时频局部化 小波过程神经网络能够较好地对航空发动机滑油系 性质和过程神经网络处理时变信号的能力，因而具 统进行状态监测.在误差控制方面，BP网络的预测 有较强的逼近和容错能力 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
飞行安全 ,是实施“视情维修”的重要手段之一[6 - 7 ] . 本文依据现有的飞机发动机滑油金属含量历史数据 分别用连续小波过程神经网络和传统 BP 网络进行 了仿真预测 ,并将预测结果进行了比较和讨论. 本文采用的数据来自通用航空公司的某型号发 动机从一次换油到另一次换油的完整工作阶段的滑 油光谱分析数据. 因为在滑油监测中以 Fe 的金属 含量为主要监测对象 ,因此 ,本文以铁含量的时间序 列分析为例. 按照光谱分析的时间排序得到金属含 量数据序列 155 个. Fe 含量时间序列如图 3 所示. 图 3 Fe 含量时间序列 Fig13 Time series of Fe content 由于连续小波过程神经网络的输入是一个连续 函数 ,为此将连续的 6 个时间序列数据进行拟合 ,构 成一个时序函数作为连续小波过程神经网络的输入 函数 ,以第 7 个数据作为输出. 连续小波过程神经网 络的拓扑结构取为 1 - 11 - 1. 其平移与伸缩参数由 文献[ 8 ]确定. 为了简化连续小波过程神经网络的计 算 ,将网络的输入函数及连接权函数由勒让德基函 数展开 ,基函数个数为 6 个. 共得到 149 组样本 ,前 100 组样本作为小波过程神经网络的训练样本 ,用 后 49 组非训练样本进行测试. 网络误差精度设为 01005 ,学习速率为 011 ,最大迭代次数10 000次. 网 络经1 932次学习迭代后收敛. 为进行对比分析 ,在 同样条件下 ,采用 3 层 BP 网络进行预测 ,网络经 3 929次学习迭代后收敛. 2 种网络模型的学习误差 曲线如图 4 所示. 为测试学习完成连续小波过程神 经网络的泛化能力 ,用后 49 组非训练样本进行测 试. 2 种模型的预测结果见图 5. 由图 5 可以看出 , BP 网络对于像发动机滑油系统这样复杂的时变系 统 ,其泛化能力低于连续小波过程神经网络 ,而连续 小波过程神经网络能够较好地对航空发动机滑油系 统进行状态监测. 在误差控制方面 ,BP 网络的预测 结果有很大的误差 ,连续小波过程神经网络的误差 却控制在较小的范围内. BP 网络预测结果的平均相 对误差为 3141 % ,连续小波过程神经网络预测结果 的平均相对误差仅为 0197 %. 事实上 ,连续小波过程神经网络可借助于小波 分析理论来指导网络的初始化和参数选取 ,使网络 具有较快的收敛速度和较高的泛化精度. 小波函数 具有良好的时 —频局部特性 ,并且对于不同的逼近 函数 ,小波函数有更广泛的选择性 ,即可以根据逼近 函数的特性来选择不同的小波函数. 特别地 ,对于突 变函数 ,小波函数具有逐步精细的描述特性 ,使得函 数的逼近效果更好. 从而大大提高网络模型的建模 能力 ,不仅收敛速度快 ,而且精度有所提高. 4 结 论 1) 本文提出了连续小波过程神经网络模型 ,它 是基于小波分析和过程神经网络建立的一类新型前 馈网络 ,由于它结合了小波变换良好的时频局部化 性质和过程神经网络处理时变信号的能力 ,因而具 有较强的逼近和容错能力. · 08 · 智 能 系 统 学 报 第 2 卷
第6期 李洋，等：连续小波过程神经网络及其仿真研究 ·81· 2)通过对发动机滑油系统的仿真预测，证明了 [7]赵学智，邹春华，陈统坚，等。小波神经网络的参数初始 连续小波过程神经网络能够较好地解决复杂的时变 化研究U].华南理工大学学报，2003,31(2)：77.79. 问题，同时也验证了连续小波过程神经网络具有较 ZHAO Xuezhi,ZOU Chunhua,CHEN Tongjian,et al. A research on the initialization of parameters of wavelet 快的收敛速度和较好的预测精度 neural networks[J].Journal of South China University of Technology,2003,31(2):77.79. 参考文献： 作者简介： [1]何新贵，梁久祯.过程神经网络的若干理论问题U].中 李洋，男，1978年生，博士研究生 主要研究方向为人工智能及其应用、故障 国工程科学，2000,2(12)：40.44. 诊断等，发表学术论文6篇，2篇被SC1检 HE Xingui,LIANG Jiuzhen.Some theoretical issueson 索，3篇被EI检索，1篇被ISTP检索. procedure neural networks [J ]Engineering Science, E mail :ansysman @126.com 2000,2(12):40.44. [2]许少华，何新贵.基于函数正交基展开的过程神经网络 学习算法J].计算机学报，2004,27(5)：645.650. XU Shaohua,HE Xingui.Learning algorithms of process 钟诗胜，男，1964年生，哈尔滨工业大 neural networks based on orthogonal function basis ex- 学威海分校副校长，教授，博士生导师，博 pansion [J ]Chinese Journal of Computers,2004,27 士，主要研究方向为制造业信息化、人工智 (5):645.650. 能理论与应用、数控设备等，主持并完成 [3]何新贵，梁久祯，许少华，过程神经网络的训练及其应用 国家863研究项目2项，参加国家863研 [].中国工程科学，2001,3(4)31.35. 究项目3项，主持和参加国家自然科学基 HE Xingui,LIAN GJiuzhen,XU Shaohua.Learning and 金项目各1项，主持过多项省（部）级研究 applications of procedure neural networks[J ]Engineer- 项目，获黑龙江省科技进步奖2项，黑龙江省教学成果奖1 ing Science,2001,3(4):31-35. 项，国家版权局计算机软件著作权登记2套，获专利1项， [4]ZHANG Q H ,BENV ENISTE A.Wavelet networks[J ] 获黑龙江省CMS应用示范工程先进工作者称号，出版专 著1部，发表学术论文100余篇，30余篇被SCI、EI检索 IEEE Transactions on Neural Networks,1992,3(6): 889-898. Email :zhongss @hit.edu.cn [5]柳重堪.正交函数及其应用[M].北京：国防工业出版 社，1982 张艳，女，1977年生，博士研究生 [6]王广，李军.基于神经网络的航空发动机滑油监测 主要研究方向为人工智能、智能设计及决 分析0].润滑与密封，2003(5)：123.125 策支持系统，发表学术论文1篇，并被E1 WANG Guang,LI Jun.Aeroengine lube monitoring a- 检索。 E mail zhangyanjenny @163.com. nalysis based on neutral networks[J ]Lubrication Engi- neering,2003,5:123-125. 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
著 1 部 ,发表学术论文 100 余篇 ,30 余篇被 SCI、EI 检索. 2) 通过对发动机滑油系统的仿真预测 ,证明了 连续小波过程神经网络能够较好地解决复杂的时变 问题 ,同时也验证了连续小波过程神经网络具有较 快的收敛速度和较好的预测精度. 参考文献 : [1 ]何新贵 , 梁久祯. 过程神经网络的若干理论问题[J ]. 中 国工程科学 , 2000 ,2 (12) : 40 - 44. HE Xingui , L IAN G Jiuzhen. Some theoretical issueson procedure neural networks [J ]. Engineering Science , 2000 ,2 (12) :40 - 44. [2 ]许少华 , 何新贵. 基于函数正交基展开的过程神经网络 学习算法[J ]. 计算机学报 , 2004 , 27 (5) :645 - 650. XU Shaohua , HE Xingui. Learning algorithms of process neural networks based on orthogonal function basis ex2 pansion [J ]. Chinese Journal of Computers , 2004 , 27 (5) :645 - 650. [3 ]何新贵 ,梁久祯 ,许少华. 过程神经网络的训练及其应用 [J ]. 中国工程科学 , 2001 , 3 (4) :31 - 35. HE Xingui , L IAN GJiuzhen , XU Shaohua. Learning and applications of procedure neural networks[J ]. Engineer2 ing Science , 2001 , 3 (4) :31 - 35. [4 ]ZHAN G Q H ,BENVENISTE A. Wavelet networks[J ]. IEEE Transactions on Neural Networks , 1992 , 3 ( 6) : 889 - 898. [5 ]柳重堪. 正交函数及其应用[ M ]. 北京 :国防工业出版 社 ,1982. [6 ]王 广 , 李 军. 基于神经网络的航空发动机滑油监测 分析[J ]. 润滑与密封 , 2003 (5) :123 - 125. WAN G Guang , L I J un. Aeroengine lube monitoring a2 nalysis based on neutral networks[J ]. Lubrication Engi2 neering ,2003 , 5 :123 - 125. [7 ]赵学智 , 邹春华 , 陈统坚 ,等. 小波神经网络的参数初始 化研究[J ]. 华南理工大学学报 , 2003 , 31 (2) :77 - 79. ZHAO Xuezhi , ZOU Chunhua , CHEN Tongjian ,et al. A research on the initialization of parameters of wavelet neural networks[J ].Journal of South China University of Technology ,2003 , 31 (2) :77 - 79. 作者简介 : 李 洋 ,男 ,1978 年生 ,博士研究生 , 主要研究方向为人工智能及其应用、故障 诊断等 ,发表学术论文 6 篇 ,2 篇被 SCI 检 索 ,3 篇被 EI 检索 ,1 篇被 ISTP 检索. E2mail :ansysman @126. com. 钟诗胜 ,男 ,1964 年生 ,哈尔滨工业大 学威海分校副校长 ,教授 ,博士生导师 ,博 士 ,主要研究方向为制造业信息化、人工智 能理论与应用、数控设备等 ,主持并完成 国家 863 研究项目 2 项 ,参加国家 863 研 究项目 3 项 ,主持和参加国家自然科学基 金项目各 1 项 ,主持过多项省 (部) 级研究 E2mail :zhongss @hit. edu. cn. 张 艳 ,女 ,1977 年生 ,博士研究生 , 主要研究方向为人工智能、智能设计及决 策支持系统 ,发表学术论文 1 篇 ,并被 EI 检索. E2mail :zhangyanjenny @163. com. 第 6 期 李 洋 ,等 :连续小波过程神经网络及其仿真研究 · 18 · 项目 ,获黑龙江省科技进步奖 2 项 ,黑龙江省教学成果奖 1 项 ,国家版权局计算机软件著作权登记 2 套 ,获专利 1 项 , 获黑龙江省 CIMS 应用示范工程先进工作者称号 ,出版专
