第2卷第5期 智能系统学报 Vol.2№5 2007年10月 CAAI Transactions on Intelligent Systems 0ct.2007 关于过程神经元网络的理论探讨 叶涛，朱学峰 (华南理工大学自动化科学与工程学院，广东广州510641) 摘要：过程神经元网络是一种适合于处理过程式信号输入的网络，其基本单元是过程神经元—新近出现的神经 元模型.过程神经元和传统神经元有着本质的区别，但二者之间也存在着紧密的联系，前者可用后者以任意精度无 限逼近.文中给出2个定理及其详细证明，分别论述了过程神经元的2种传统神经元逼近模型：时域特征扩展模型和 正交分解特征扩展模型.基于第2个定理，给出了过程神经元网络相关的2个推论.最后，针对过程神经元网络面临 的主要问题进行讨论，指出了一些具有前景的研究方向.文中得到的结果对过程神经元模型及其网络的研究具有一 定的理论意义。 关键词：人工神经网络；过程神经元；函数正交基；傅里叶级数，特征扩展 中图分类号：TP183文献标识码：A文章编号：1673-4785(2007)050001-06 Theoretical discussion on the process neural network theory YE Tao,ZHU Xue-feng (College of Automation Science and Engineering,South China University of Technology,Guangzhou 510641,China) Abstract:Process neural networks(PNNs)are networks suitable for processing signal input,whose ele- mentary unit is the process neuron,a newly developed neuron model.The process neuron is different from traditional neurons in nature,but there is an inherent relationship between them.The former can be infi- nitely approached by the latter with arbitrary precision.Two theorems are presented and proved in this pa- per,giving two models for approaching corresponding process neurons:the time-domain feature expansion model and the orthogonal decomposition feature expansion model.And two corollaries are given based on the second theorem.Finally,some problems with PNNs are discussed and several research topics sugges- ted.The conclusions are significant to theoretical research on process neurons and PNNs. Key words :artificial neural networks;process neuron;function orthogonal basis;Fourier series;feature ex- pansion 人工神经网络(ANN)自I943年诞生以来，作机、Rumelhart等的多层前向BP网络、Grossberg 为极具发展前景的新兴学科，它的研究经历了从兴 的自适应谐振理论、Powell的径向基函数网络 起到萧条，再到复兴的曲折发展道路.经过60多年 等山这些网络大多都是基于激励函数改进型的 的发展，该领域取得了丰硕的研究成果，研究人员提 MP神经元模型（以MeCulloch和Pitts的名字命 出了近30种神经网络模型.其中较有影响的有：20 名)，如感知器、自适应元件，其输入空间均为欧氏空 世纪50年代末Rosenblatt的感知器，20世纪60年 间R或其子空间（如超立方体、超单位球）.Hornik 代初Widrow&Hoff的自适应线性元件，20世纪 等人于1989年证明多层前向网络是通用逼近器1」 70年代（萧条时期）Albus的小脑模型关节控制器， 这一论文引发了基于BP算法多层前向网络的应用 20世纪80年代（复兴时期）Hopfield反馈网络、Ko 研究热潮.然而，传统多层BP网络无法解决以时间 honen的自组织映射网络、Hinton等的Boltzmann 信号作为输入的问题.传统神经网络的输入是一种 同步瞬时输入，对应的是单步预测，信息量很少，不 收稿日期：2007-01-08. 符合人类大脑的实际工作机制.在大量噪声存在的 基金项目：国家自然科学基金资助项日(60274033,60404013) 场合，单步预测信息量少的缺点显得尤为突出，将严 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
第 2 卷第 5 期 智 能 系 统 学 报 Vol. 2 №. 5 2007 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2007 关于过程神经元网络的理论探讨 叶 涛 , 朱学峰 (华南理工大学 自动化科学与工程学院 ,广东 广州 510641) 摘 要 :过程神经元网络是一种适合于处理过程式信号输入的网络 ,其基本单元是过程神经元 ———新近出现的神经 元模型. 过程神经元和传统神经元有着本质的区别 ,但二者之间也存在着紧密的联系 ,前者可用后者以任意精度无 限逼近. 文中给出 2 个定理及其详细证明 ,分别论述了过程神经元的 2 种传统神经元逼近模型 :时域特征扩展模型和 正交分解特征扩展模型. 基于第 2 个定理 ,给出了过程神经元网络相关的 2 个推论. 最后 ,针对过程神经元网络面临 的主要问题进行讨论 ,指出了一些具有前景的研究方向. 文中得到的结果对过程神经元模型及其网络的研究具有一 定的理论意义. 关键词 :人工神经网络 ;过程神经元 ;函数正交基 ;傅里叶级数 ;特征扩展 中图分类号 : TP183 文献标识码 :A 文章编号 :167324785 (2007) 0520001206 Theoretical discussion on the process neural network theory YE Tao , ZHU Xue2feng (College of Automation Science and Engineering , South China University of Technology , Guangzhou 510641 , China) Abstract :Process neural networks (PNNs) are networks suitable for processing signal inp ut , who se ele2 mentary unit is t he process neuron , a newly developed neuron model. The process neuron is different from traditional neurons in nat ure , but t here is an inherent relationship between t hem. The former can be infi2 nitely approached by the latter wit h arbitrary precision. Two t heorems are presented and proved in t his pa2 per , giving two models for approaching corresponding process neurons:t he time2domain feat ure expansion model and the ort hogonal decomposition feat ure expansion model. And two corollaries are given based on t he second t heorem. Finally , some problems wit h PNNs are discussed and several research topics sugges2 ted. The conclusions are significant to theoretical research on p rocess neurons and PNNs. Keywords :artificial neural networks; process neuron ; f unction ort hogonal basis; Fourier series ; feature ex2 pansion 收稿日期 :2007201208. 基金项目 :国家自然科学基金资助项目(60274033 , 60404013) . 人工神经网络 (ANN) 自 1943 年诞生以来 ,作 为极具发展前景的新兴学科 ,它的研究经历了从兴 起到萧条 ,再到复兴的曲折发展道路. 经过 60 多年 的发展 ,该领域取得了丰硕的研究成果 ,研究人员提 出了近 30 种神经网络模型. 其中较有影响的有 :20 世纪 50 年代末 Rosenblatt 的感知器 ,20 世纪 60 年 代初 Widrow & Hoff 的自适应线性元件 ,20 世纪 70 年代(萧条时期) Albus 的小脑模型关节控制器 , 20 世纪 80 年代(复兴时期) Hopfield 反馈网络、Ko2 honen 的自组织映射网络、Hinton 等的 Boltzmann 机、Rumelhart 等的多层前向 BP 网络、Grossberg 的自适应谐振理论、Powell 的径向基函数网络 等[1 ] . 这些网络大多都是基于激励函数改进型的 MP 神经元模型 (以 McCulloch 和 Pitts 的名字命 名) ,如感知器、自适应元件 ,其输入空间均为欧氏空 间 R n 或其子空间(如超立方体、超单位球) . Hornik 等人于 1989 年证明多层前向网络是通用逼近器[2 ] , 这一论文引发了基于 BP 算法多层前向网络的应用 研究热潮. 然而 ,传统多层 BP 网络无法解决以时间 信号作为输入的问题. 传统神经网络的输入是一种 同步瞬时输入 ,对应的是单步预测 ,信息量很少 ,不 符合人类大脑的实际工作机制. 在大量噪声存在的 场合 ,单步预测信息量少的缺点显得尤为突出 ,将严 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
·2 智能系统学报 第2卷 重影响预测精度.人类大脑通常是“思前想后”才做 构组成的网络称为过程神经元网络.过程神经元网 出决策（预测），因此多步预测更符合人脑的运作机 络可按输出空间的类型进行分类，分为离散数值标 制.现实世界中，很多系统就是以这种随时间变化的 签输出空间（分类）、连续数值输出空间（回归，单输 信号作为输入，区别于同步瞬时输入，称为过程式输 出通常为欧氏空间R的子空间)、赋范实函数空间 入.时间信号离散化后为多步时间系列.针对过程式 (泛函逼近).常用输出空间有：用于分类问题的 输入，中国工程院何新贵院士于2000年提出了过程 {-1,1}4-1,0,1:用于回归问题的、标准正态分 神经元模型及其网络，并证明相关的几个基本定 布N0,1);用于泛函逼近的平方可积函数空间L 理).进而，他们提出了一种基于函数正交基展开的 (a,b.分类离散数值空间的无限细分将逼近连续数 学习算法，并将其应用于旋转机械故障诊断问题和 值空间，在此意义上，分类问题可看作回归问题的特 油藏开发过程模拟.丁刚等将过程神经网络应用 例，可将二者归为数值输出一类.下面分别给出数值 于航天器热平衡温度预测]，文中还提出外推预测 输出和函数输出的过程神经元网络，6) 的概念.在文献[6]中，何新贵等又提出了一种输入 1.2.1数值输出过程神经元网络 输出均为时变函数的过程神经网络及其算法.过程 数值输出的3层前向过程神经网络PNN(n- 神经网络有着广阔的应用领域，适用于各种具有过 m-1)的拓扑图如图2所示，单独的隐层由过程神 程式输入的问题，如工业过程中难测变量的软测量、 经元组成.输入和输入层至隐层的连接权均为函数 中药学中的中药指纹图谱识别，甚至是各种博弈游 空间L20,)上的函数，0，T1为采样区间.隐节点 戏输赢的预测问题」 的激励函数f()为log sigmoid或tamsigmoid函 数，根据输出数据不同的标准化区间确定：输出神经 1过程神经元网络 元的激励函数g()为线性函数 本节首先介绍何院士提出的过程神经元模型， 在此基础上给出了输出分别为数值型和函数型的多 层前向过程神经网络.为阐述简单起见，本文只讨论 x/) 多输入单输出网络 1.1过程神经元 过程神经元模型在拓扑上和传统神经元模型相 似，也具有加权、聚合和激励等操作.二者主要区 图2数值输出型过程神经元网络 别在于：)过程神经元的输入空间和权值空间是定 Fig.2 Real-valued output process neural network 义在某一时间区间[a,b]上的二阶赋范实函数空间 其输入输出关系为 L2(a,上的：2)过程神经元不仅具有空间加权聚合 -nd |x.(0dt- 运算，还具有时间累积聚合运算.设信号采样区间为 0,T1,若时间聚合运算取采样区间0，T]上的积 (2) 分，过程神经元模型的拓扑图见图1.图中f(),符 1.2.2函数输出过程神经元网络 号为过程神经元的激励函数 函数输出过程神经元网络为一种4层前向网络 x1(0(0 PNN(n-m-L-1),其拓扑图如图3所示.第1隐 层为过程神经元隐层，过程神经元激励函数∫(·) 5(05(0 可取sigmoid函数；第2隐层为传统神经元隐层，神 经元激励函数g()取线性函数.输入输出和输入 xn(t)) 层至第1隐层的连接权均为函数空间L20,)上的 图1过程神经元模型 函数，第2隐层至输出层的连接权为函数空间 Fig.I Process neuron model L20,)上的一组正交基函数无限维)的前L个基 其输入输出关系为 函数，其泛函映射关系比较复杂1 虽然，过程神经元模型和传统MP神经元模型 y=f∫P,0xwd.g 1) 在输入空间连接权和聚合运算中有着本质区别，但 1.2过程神经元网络 是，它们之间及其由它们组成的神经网络之间却有 由若干过程神经元和传统神经元按一定拓扑结 着紧密的联系 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
重影响预测精度. 人类大脑通常是“思前想后”才做 出决策(预测) ,因此多步预测更符合人脑的运作机 制. 现实世界中 ,很多系统就是以这种随时间变化的 信号作为输入 ,区别于同步瞬时输入 ,称为过程式输 入. 时间信号离散化后为多步时间系列. 针对过程式 输入 ,中国工程院何新贵院士于 2000 年提出了过程 神经元模型及其网络 ,并证明相关的几个基本定 理[3 ] . 进而 ,他们提出了一种基于函数正交基展开的 学习算法 ,并将其应用于旋转机械故障诊断问题和 油藏开发过程模拟[4 ] . 丁刚等将过程神经网络应用 于航天器热平衡温度预测[5 ] ,文中还提出外推预测 的概念. 在文献[6 ]中 ,何新贵等又提出了一种输入 输出均为时变函数的过程神经网络及其算法. 过程 神经网络有着广阔的应用领域 ,适用于各种具有过 程式输入的问题 ,如工业过程中难测变量的软测量、 中药学中的中药指纹图谱识别 ,甚至是各种博弈游 戏输赢的预测问题. 1 过程神经元网络 本节首先介绍何院士提出的过程神经元模型 , 在此基础上给出了输出分别为数值型和函数型的多 层前向过程神经网络. 为阐述简单起见 ,本文只讨论 多输入单输出网络. 1. 1 过程神经元 过程神经元模型在拓扑上和传统神经元模型相 似 ,也具有加权、聚合和激励等操作[3 ] . 二者主要区 别在于 :1) 过程神经元的输入空间和权值空间是定 义在某一时间区间[ a , b]上的二阶赋范实函数空间 L 2 ( a , b) 上的;2) 过程神经元不仅具有空间加权聚合 运算 ,还具有时间累积聚合运算. 设信号采样区间为 [0 , T ] ,若时间聚合运算取采样区间[0 , T ]上的积 分 ,过程神经元模型的拓扑图见图 1. 图中 f ( ·) ,符 号为过程神经元的激励函数. 图 1 过程神经元模型 Fig. 1 Process neuron model 其输入输出关系为 y = f (∫ T 0 ∑ n i =1 wi ( t) xi ( t) dt - θ) . (1) 1. 2 过程神经元网络 由若干过程神经元和传统神经元按一定拓扑结 构组成的网络称为过程神经元网络. 过程神经元网 络可按输出空间的类型进行分类 ,分为离散数值标 签输出空间(分类) 、连续数值输出空间 (回归 ,单输 出通常为欧氏空间 R 的子空间) 、赋范实函数空间 (泛函逼近) . 常用输出空间有 :用于分类问题的 { - 1 ,1} 、{ - 1 ,0 ,1} ;用于回归问题的、标准正态分 布N (0 ,1) ;用于泛函逼近的平方可积函数空间 L 2 ( a , b) . 分类离散数值空间的无限细分将逼近连续数 值空间 ,在此意义上 ,分类问题可看作回归问题的特 例 ,可将二者归为数值输出一类. 下面分别给出数值 输出和函数输出的过程神经元网络[3 ,6 ] . 1. 2. 1 数值输出过程神经元网络 数值输出的 3 层前向过程神经网络 PNN ( n - m - 1) 的拓扑图如图 2 所示 ,单独的隐层由过程神 经元组成. 输入和输入层至隐层的连接权均为函数 空间 L 2 (0 , T) 上的函数 , [0 , T ]为采样区间. 隐节点 的激励函数 f ( ·) 为 log2sigmoid 或 tan2sigmoid 函 数 ,根据输出数据不同的标准化区间确定 ;输出神经 元的激励函数 g ( ·) 为线性函数. 图 2 数值输出型过程神经元网络 Fig. 2 Real2valued output process neural network 其输入输出关系为 y = ∑ m j =1 vj f ∫ T 0 ∑ n i = 1 wij ( t) xi ( t) dt - θj - θ. (2) 1. 2. 2 函数输出过程神经元网络 函数输出过程神经元网络为一种 4 层前向网络 PNN ( n - m - L - 1) ,其拓扑图如图 3 所示. 第 1 隐 层为过程神经元隐层 ,过程神经元激励函数 f ( ·) 可取 sigmoid 函数 ;第 2 隐层为传统神经元隐层 ,神 经元激励函数 g ( ·) 取线性函数. 输入、输出和输入 层至第 1 隐层的连接权均为函数空间 L 2 (0 , T) 上的 函数 ,第 2 隐层至输出层的连接权为函数空间 L 2 (0 , T) 上的一组正交基函数(无限维) 的前 L 个基 函数 ,其泛函映射关系比较复杂[6 ] . 虽然 ,过程神经元模型和传统 MP 神经元模型 在输入空间、连接权和聚合运算中有着本质区别. 但 是 ,它们之间及其由它们组成的神经网络之间却有 着紧密的联系. ·2 · 智 能 系 统 学 报 第 2 卷 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
第5期 叶涛，等：关于过程神经元网络的理论探讨 3· Parseval定理： x() E.g b(n (3) xd)- ● Σ.g 可知，在频域，幅度！X(,川随ω趋于无穷大为二阶 b:(r) Σ.g 无穷小，即有 im|X(g12/w=0. (4) 图3函数输出型过程神经元网络 这样，9>0,34mx>0使得当|>4mx时，有 Fig.3 Function output process neural network |X(|24x,即f,=1/T,=N/T>2fmx,将信号 2过程神经元的传统神经元逼近 x(离散化为时间序列x(,q=1,…N,而信息 如上所述，过程神经网络输入由几何点式数据 损失量小于某一精度6>0，且号0(4x一网.分 变为时间信号，这将极大地增加信息量，而信息量的 别记和N,为信号x,(),i=1,N的抽样频率 增加有助于提高网络的泛化精度和鲁棒性.实际上， 和抽样点数，令m=max(a),N=max(N).若以 由传统神经元的瞬时输入到过程神经元的过程输入 抽样频率m对所有信号x:()进行抽样，则能保证 的推广可看作学习样本特征扩展（信息量增加.特 恢复信号时信息损失量小于￡>0，即 N 征的扩展有时域特征扩展和正交分解特征扩展2种 方式，对应的特征为信号抽样时间序列和信号正交 个0xwa支，2ww <￡(5) 分解系数序列.在某一函数空间，可以有多组完备正 对所有信号进行空间聚合有 交函数系（无穷维），例如函数空间L20,)上的三 ∫，wxwd- 角函数系（傅里叶级数，L2(-1,1)上的勒让德多 项式和L20,1)上的沃尔什函数系等四.下面给出 (6) 在2种特征扩展方式下，传统神经元对过程神经元 由于输入信号数量n是有限值，所以有ne0,当 模型的逼近定理及其证明 m→或N∞，将式6)左边的第2项代入式(1) 2.1基于时域特征扩展的过程神经元逼近 的积分项得 在以下讨论中，假设每一信号均为二阶赋范实 函数空间L20,)上的函数，0，T1为有限采样区 =,,2wx 间.任取信号x()∈L20,),以某一合适的抽样率 式()正是图4中传统神经元的映射关系： f,进行抽样得到时间序列x(g,q=1,…N 图4中的神经元输入（特征）空间维数扩展为 定理1过程神经元模型可用一个以相同输入信 n×W维，相对于n维的传统神经元，输入信息增 号向量[x1(d,2(d,:xn(的离散化时间序列： 加，而且随着抽样点数N的增大而增大.虽然如此 N并不是越大越好，否则会造成信息过渡冗余：而 Ix(g.x(.x 且由于噪声的存在，输入空间维数增加会引发一些 作为扩展输入向量的传统神经元进行逼近（如图4） 问题，如容易过拟合、训练速度慢等.因此，在满足 Shannon定理的条件下，应使N尽量小，即该逼近 方法更适用于慢变化信号。 者水 2.2基于正交分解特征扩展的过程神经元逼近 e) 函数正交分解具有去除信息冗余和集中能量的 素@山 作用，因此有必要对信号作某一正交分解，将信号能 量集中到少数几个系数上再进行特征扩展，从而减 图4基于时域特征扩展的过程神经元逼近 少特征扩展数量和信息冗余.以下讨论，仍假设信号 Fig.4 Approximating the process neuron based on the 为函数空间上L20,T)的函数，[0，T]为有限采样 time-domain feature expansion 区间.若需要，该区间外可作周期延拓，并进一步设 {b(),I=1,…L}是L20,T)上的一组规范正交 证明：由以上假设可知，信号x),(i=1, 基的前L个基函数.输入信号x,()和连接权函数 m在时域是有限支撑的，其支撑集为[0，T],由 w:()在某一精度下的正交分解如下 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.htp://www.cnki.net
图 3 函数输出型过程神经元网络 Fig. 3 Function output process neural network 2 过程神经元的传统神经元逼近 如上所述 ,过程神经网络输入由几何点式数据 变为时间信号 ,这将极大地增加信息量 ,而信息量的 增加有助于提高网络的泛化精度和鲁棒性. 实际上 , 由传统神经元的瞬时输入到过程神经元的过程输入 的推广可看作学习样本特征扩展 (信息量增加) . 特 征的扩展有时域特征扩展和正交分解特征扩展 2 种 方式 ,对应的特征为信号抽样时间序列和信号正交 分解系数序列. 在某一函数空间 ,可以有多组完备正 交函数系(无穷维) ,例如函数空间 L 2 (0 , T) 上的三 角函数系(傅里叶级数) , L 2 ( - 1 , 1) 上的勒让德多 项式和 L 2 (0 , 1) 上的沃尔什函数系等[7 ] . 下面给出 在 2 种特征扩展方式下 ,传统神经元对过程神经元 模型的逼近定理及其证明. 2. 1 基于时域特征扩展的过程神经元逼近 在以下讨论中 ,假设每一信号均为二阶赋范实 函数空间 L 2 (0 , T) 上的函数 , [0 , T ]为有限采样区 间. 任取信号 x ( t) ∈L 2 (0 , T) ,以某一合适的抽样率 f s 进行抽样得到时间序列 x ( q) , q = 1 , …, N . 定理 1 过程神经元模型可用一个以相同输入信 号向量[ x1 (t) , x2 (t) , …, xn (t) ]的离散化时间序列: T N [ x1 ( q) , x2 ( q) , …, x n ( q) ]1×nN 作为扩展输入向量的传统神经元进行逼近(如图 4) . 图 4 基于时域特征扩展的过程神经元逼近 Fig. 4 Approximating the process neuron based on the time2domain feature expansion 证明 :由以上假设可知 ,信号 xi ( t) , ( i = 1 , …, n) 在时域是有限支撑的 , 其支撑集为 [ 0 , T ] , 由 Parseval 定理 : ∫ T 0 | x ( t) | 2 dt =∫ + ∞ - ∞ | X (ω) | 2 dω (3) 可知 ,在频域 ,幅度| X (ω) | 随ω趋于无穷大为二阶 无穷小 ,即有 limω→∞ | X (ω) | 2 /ω = 0. (4) 这样 , Πε1 > 0 , ϖωmax > 0 使得当| ω| >ωmax 时 , 有 | X (ω) | 2ωmax , 即 f s = 1/ Ts = N/ T > 2 f max , 将信号 x ( t) 离散化为时间序列 x ( q) , q = 1 , …, N ,而信息 损失量小于某一精度ε2 > 0 ,且ε2 →0 (ωmax →∞) . 分 别记ωsi和 N i 为信号 x i ( i) , i = 1 , …, N 的抽样频率 和抽样点数 ,令ωsm = max (ωsi ) , N = max ( Ni) . 若以 抽样频率ωsm对所有信号 x i ( t) 进行抽样 ,则能保证 恢复信号时信息损失量小于ε> 0 ,即 ∫ T 0 wi ( t) xi ( t) dt - T N ∑ N j = 1 wi ( tj) xi ( tj) <ε. (5) 对所有信号进行空间聚合有 ∑ n i = 1∫ T 0 wi ( t) xi ( t) dt - T N ∑ n i = 1 ∑ N j = 1 wi ( tj) xi ( tj) < nε. (6) 由于输入信号数量 n 是有限值 , 所以有 nε→0 , 当 ωsm →∞或 N →∞,将式(6) 左边的第 2 项代入式(1) 的积分项得 y = f T N ∑ n i = 1 ∑ N j = 1 wi ( tj) xi ( tj) - θ . (7) 式(7) 正是图 4 中传统神经元的映射关系. 图 4 中的神经元输入 (特征) 空间维数扩展为 n ×N 维 , 相对于 n 维的传统神经元 , 输入信息增 加 ,而且随着抽样点数 N 的增大而增大. 虽然如此 , N 并不是越大越好 ,否则会造成信息过渡冗余;而 且由于噪声的存在 ,输入空间维数增加会引发一些 问题 ,如容易过拟合、训练速度慢等. 因此 , 在满足 Shannon 定理的条件下 ,应使 N 尽量小 ,即该逼近 方法更适用于慢变化信号. 2. 2 基于正交分解特征扩展的过程神经元逼近 函数正交分解具有去除信息冗余和集中能量的 作用 ,因此有必要对信号作某一正交分解 ,将信号能 量集中到少数几个系数上再进行特征扩展 ,从而减 少特征扩展数量和信息冗余. 以下讨论 ,仍假设信号 为函数空间上 L 2 (0 , T) 的函数 , [ 0 , T ]为有限采样 区间. 若需要 ,该区间外可作周期延拓 ,并进一步设 { bl ( t) , l = 1 , …, L } 是 L 2 (0 , T) 上的一组规范正交 基的前 L 个基函数. 输入信号 xi ( t) 和连接权函数 wi ( t) 在某一精度下的正交分解如下[4 ] 第 5 期 叶 涛 ,等 :关于过程神经元网络的理论探讨 ·3 · © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
智能系统学报 第2卷 Lx(0=,db0和Lw,0=wb0, 式(11)说明式(10)右端的级数项绝对收敛，所以有 a}和{w},(i=1,…n;1=1,…L分别为输 ￡一0，当L:→o时.记m=max(e),则有 入信号和连接权函数的分解系数，记L=max(L). 定理2过程神经元模型可用一个以相同输入 R,(WRx,Wd≤，9≤，I2 信号向量[x1(d,x2(W,,xm()J在某一规范正交 由于n是有限值，所以有m0,当L:→时.这说 基上进行分解得到的分解系数序列 Iaf,dan nxu 明小，xd可用m,WLxd无 作为扩展输入向量的传统神经元进行逼近如图5) 限逼近 将式()中的x:()和w,()用前L=max(L) 项正交分解式Lx,()和Lw,(W替代得 f y-人z,ra24间n- 人，z.2 rd jaiobnd- 图5基于正交分解特征扩展的过程神经元逼近 (13) Fig.5 Approximating the process neuron based on the 利用函数规范正交基的性质式8)有 orthogonal decomposition feature expansion 14) 证明：分别记输入信号和连接权函数正交展开 式14正是图5中传统神经元的映射关系， 式的余项为 实际上，分解系数a”反映了信号x:()和基函 Rx:W△∑a”baW 数：()的相似程度，选择合适的正交函数系将使 R,(W△∑iw°bifW a迅速衰减，即取小的L值就能满足精度要求.若 由函数规范正交基的性质： 正交函数系选取三角函数系是傅里叶级数分解，分 解系数反映的是信号的幅度和相角特征7 [b(0 b(dt =1.1=k. 2.3多层感知器逼近过程神经元网络 8) b(b(dt=0,l≠k 过程神经元网络主要由过程神经元构成，结合 何院士提出的过程神经元网络.46和上面的讨论， 则有Lw,Rx,d和RwLx:d:积分项为零 自然有以下2个推论， 推论1数值输出型前向过程神经网络可用一 个由图5所示的神经元构成的多层感知器网络以任 9) 意精度逼近（如图6） 即 推论2函数输出型前向过程神经网络可用一 个由图5所示的神经元构成的多数值输出的多层感 知器网络以任意精度逼近（如图7）. (10 图6和图7的网络均为传统多层感知器网络 下面证明60，当L,→时 可用著名的BP算法或其改进算法进行训练.图7 积分w(w12dt和了xW12d有界，所以 中多层感知器网络的输出层节点数为L,对应图3 有 中过程神经网络第2隐层的节点数，也即是输出函 limw=0和lima4=0, 数y()关于规范正交基{b(),1=1,…L展开式 进而有 y()≈ ∑cbi() (15) L 中的项数L.网络的输出：就是对式(15)中展开系 数c的逼近，深入讨论可参考文献[61。 (11) 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
Lx i (t) = ∑ l i l =1 a (l) i bl (t) 和 Lwi (t) = ∑ L i l =1 w (l) i bl (t) , { a ( l) i }和{ w ( l) i } , ( i = 1 , …, n; l = 1 , …, L i) 分别为输 入信号和连接权函数的分解系数 ,记 L = max ( L i) . 定理 2 过程神经元模型可用一个以相同输入 信号向量[ x1 ( t) , x2 ( t) , …, x n ( t) ]在某一规范正交 基上进行分解得到的分解系数序列 [ a ( l) 1 , a ( l) 2 , …, a ( l) n ]1×nL 作为扩展输入向量的传统神经元进行逼近(如图 5) . 图 5 基于正交分解特征扩展的过程神经元逼近 Fig. 5 Approximating the process neuron based on the orthogonal decomposition feature expansion 证明 :分别记输入信号和连接权函数正交展开 式的余项为 Rx i ( t) Χ ∑ ∞ l = L i +1 a ( l) i bl ( t) , Rw i ( t) Χ ∑ ∞ l = L i +1 w ( l) i bl ( t) . 由函数规范正交基的性质 : ∫ T 0 bl ( t) bk ( t) dt = 1 , l = k , ∫ T 0 bl ( t) bk ( t) dt = 0 , l ≠k. (8) 则有∫ T 0 Lw i R x i dt 和∫ T 0 Rw iL x i dt 积分项为零 : ∫ T 0 wi ( t) xi ( t) dt =∫ T 0 Lw iL x i dt +∫ T 0 Rw i R x i dt. (9) 即 εi = ∫ T 0 Rw i ( t) Rx i ( t) dt = ∑ ∞ l = L i +1 w ( l) i a ( l) i . (10) 下面证明εi →0 ,当 L i →∞时 , 积分∫ T 0 | wi ( t) | 2 dt 和∫ T 0 | xi ( t) | 2 dt 有界 ,所以 有 limL i →∞ w ( L i ) i = 0 和 limL i →∞ a (L i ) i = 0 , 进而有 limL i →∞ ∑ ∞ l = L i +1 w ( l) i a ( l) i = limL i →∞ ∑ ∞ l = L i +1 ω( l) i ‖a ( l) i = 0. (11) 式(11) 说明式(10) 右端的级数项绝对收敛 ,所以有 εi →0 ,当 L i →∞时. 记εm = max (εi) ,则有 ∑ n i = 1∫ T 0 Rw i ( t) Rx i ( t) dt ≤ ∑ n i =1 εi ≤nεm . (12) 由于 n 是有限值 ,所以有 nεm →0 ,当 L i →∞时. 这说 明 ∑ n i = 1∫ T 0 wi ( t) xi ( t) dt 可用 ∑ n i =1∫ T 0 Lw i ( t) L x i ( t) dt 无 限逼近 . 将式(1) 中的 xi ( t) 和 wi ( t) 用前 L = max ( L i) 项正交分解式 L xi ( t) 和 L wi ( t) 替代得 y = f ∑ n i =1∫ T 0 ∑ L l = 1 w ( l) i bl ( t) ∑ L k = 1 a ( k) i bk ( t) dt - θ = f ∑ n i = 1 ∑ L l = 1 ∑ L k = 1 w ( l) i a ( k) i ∫ T 0 bl ( t) bk ( t) dt - θ . (13) 利用函数规范正交基的性质式(8) 有 y = f ∑ n i = 1 ∑ L l =1 w ( l) i a ( l) i - θ . (14) 式(14) 正是图 5 中传统神经元的映射关系. 实际上 ,分解系数 a ( l) i 反映了信号 x i ( t) 和基函 数 bl ( t) 的相似程度 ,选择合适的正交函数系将使 a ( l) i 迅速衰减 ,即取小的 L 值就能满足精度要求. 若 正交函数系选取三角函数系是傅里叶级数分解 ,分 解系数反映的是信号的幅度和相角特征[8 ] . 2. 3 多层感知器逼近过程神经元网络 过程神经元网络主要由过程神经元构成 ,结合 何院士提出的过程神经元网络[3 - 4 ,6 ]和上面的讨论 , 自然有以下 2 个推论. 推论 1 数值输出型前向过程神经网络可用一 个由图 5 所示的神经元构成的多层感知器网络以任 意精度逼近(如图 6) . 推论 2 函数输出型前向过程神经网络可用一 个由图 5 所示的神经元构成的多数值输出的多层感 知器网络以任意精度逼近(如图 7) . 图 6 和图 7 的网络均为传统多层感知器网络 , 可用著名的 BP 算法或其改进算法进行训练. 图 7 中多层感知器网络的输出层节点数为 L ,对应图 3 中过程神经网络第 2 隐层的节点数 ,也即是输出函 数 y ( t) 关于规范正交基{ bl ( t) , l = 1 , …, L}展开式 y ( t) ≈ ∑ L l =1 clbl ( t) (15) 中的项数 L . 网络的输出 ^cl 就是对式 (15) 中展开系 数 cl 的逼近 ,深入讨论可参考文献[6 ]. ·4 · 智 能 系 统 学 报 第 2 卷 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
第5期 叶涛，等：关于过程神经元网络的理论探讨 。5 表1各类神经元的输入节点和连接权数量 2.J Table 1 Input node and link weight quantity of various neuron a) 神经元类型 输入节点数量连接权数量 瞬时输入神经元 n n 时间序列特征扩展神经元 nN nN 正交分解特征扩展神经元 L 图6数值输出型过程神经网络的等效多层感知器网络 Fig.6 The equivalent ML P network of the real-valued 在上面的讨论中，都假设输入信号和连接权函 output process neural network 数是等长区间[0，T]上的二次可积函数，这是一条 比较强的假设.现实世界中，有一大类问题不符合这 E.g 一假设，即信号持续区间不等或离散序列步长不等」 例如，某些间歇工业过程，各批次间的周期并不严格 E.g 相等，有时还差别较大，上文提到的博弈游戏输赢预 测就是采样区间不等长的一个典型的范例.针对这 .g 一问题己有初步研究工作，何院士的团队提出了一 种输入输出均为时变函数的过程神经元o.山 目前，过程神经网络的训练大多是基于函数规 图7函数输出型过程神经网络的等效多层感知器网络 范正交分解的学习算法，等效的多层感知器如图6 Fig.7 The equivalent MLP network of the function 和图7所示，输入空间维数成倍增长，由于噪声的存 output process neural network 在（许多实际系统无法回避的问题）会导致严重的过 拟合问题，人工神经网络对此问题尤其敏感.相比之 3相关问题讨论 下，支持向量机学习算法能有效地解决过拟合/过学 习问题.虽然，过程神经元和支持向量机核函数均有 过程神经元及其网络模型对人工神经网络的发 特征扩展作用，但二者之间存在着本质的区别.前者 展具有重要意义.由何新贵院士率领的研究团队于 是从外加信号中提取特征进行特征扩展，而后者是 2000年提出，至今只有6年的时间)，还有很多理 通过选取核函数时隐含定义的低维空间至高维空间 论和应用问题有待深入研究和探讨 (可能是无限维)非线性变换进行特征扩展.对传统 如上所述，过程神经元的输入信息量得到了极 支持向量机进行过程式输入推广将是极具挑战性的 大的增加，输入和连接权数量见表1.信息的增加一 研究课题， 方面有助于模型的鲁棒性和预测精度：另一方面也 过程神经元模型更大的意义在于，它在人工神 给硬件运算速度和训练算法带来了极大挑战.文献 经网络和信号分析处理2门学科之间架起了一道桥 [9]提出一类局部反馈过程神经元网络，将隐层输出 梁.既然网络的输入是时间信号，就可以引用信号分 反馈至输入，加快了训练收敛速度.神经网络的局 析理论进行研究.目前，现代信号分析处理理论和技 部反馈可以加快训练收敛速度，其原因可能是隐层 术已发展得相当完善.根据信号分析领域的不同，信 输出蕴含着已训练数据的某种组合，将其反馈回输 号分析方法可分为3类：时域分析、频域分析和时频 入层相当于加快数据的输入或增加了学习率.局部 联合分析.时间序列分析、傅里叶分析和小波分析分 反馈并不能实质性提高网络的预测精度，预测精度 别是3类分析方法的代表，其中傅里叶分析包含前 更多地取决于全局反馈（输出反馈）、建模数据所含 面提到的傅里叶级数展开.从特征提取的角度看，小 信息量和建模数据质量.实际上，基于BP算法的神 波分析优于傅里叶分析，它是一种时间/频率分辨率 经网络在训练过程或调整过程中隐含着信号全局反 自适应调整的时频分析方法，同时具有时间和频率 馈的机制，误差的反传过程即是网络的全局反馈（输 定位功能，适用于非稳态信号的分析].小波变换 出反馈)过程 的时频局部特性非常适用于捕捉时变信号的局部特 征，这一特性使得小波变换和过程神经元网络的结 合极具研究前景 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
图 6 数值输出型过程神经网络的等效多层感知器网络 Fig. 6 The equivalent ML P network of the real2valued output process neural network 图 7 函数输出型过程神经网络的等效多层感知器网络 Fig. 7 The equivalent ML P network of the function output process neural network 3 相关问题讨论 过程神经元及其网络模型对人工神经网络的发 展具有重要意义. 由何新贵院士率领的研究团队于 2000 年提出 ,至今只有 6 年的时间[3 ] ,还有很多理 论和应用问题有待深入研究和探讨. 如上所述 ,过程神经元的输入信息量得到了极 大的增加 ,输入和连接权数量见表 1. 信息的增加一 方面有助于模型的鲁棒性和预测精度 ;另一方面也 给硬件运算速度和训练算法带来了极大挑战. 文献 [9 ]提出一类局部反馈过程神经元网络 ,将隐层输出 反馈至输入 ,加快了训练收敛速度. 神经网络的局 部反馈可以加快训练收敛速度 ,其原因可能是隐层 输出蕴含着已训练数据的某种组合 ,将其反馈回输 入层相当于加快数据的输入或增加了学习率. 局部 反馈并不能实质性提高网络的预测精度 ,预测精度 更多地取决于全局反馈 (输出反馈) 、建模数据所含 信息量和建模数据质量. 实际上 ,基于 BP 算法的神 经网络在训练过程或调整过程中隐含着信号全局反 馈的机制 ,误差的反传过程即是网络的全局反馈(输 出反馈) 过程. 表 1 各类神经元的输入节点和连接权数量 Table 1 Input node and link weight quantity of various neuron 神经元类型 输入节点数量 连接权数量 瞬时输入神经元 n n 时间序列特征扩展神经元 nN nN 正交分解特征扩展神经元 nL nL 在上面的讨论中 ,都假设输入信号和连接权函 数是等长区间[ 0 , T ]上的二次可积函数 ,这是一条 比较强的假设. 现实世界中 ,有一大类问题不符合这 一假设 ,即信号持续区间不等或离散序列步长不等. 例如 ,某些间歇工业过程 ,各批次间的周期并不严格 相等 ,有时还差别较大 ;上文提到的博弈游戏输赢预 测就是采样区间不等长的一个典型的范例. 针对这 一问题已有初步研究工作 ,何院士的团队提出了一 种输入输出均为时变函数的过程神经元[10 - 11 ] . 目前 ,过程神经网络的训练大多是基于函数规 范正交分解的学习算法 ,等效的多层感知器如图 6 和图 7 所示 ,输入空间维数成倍增长. 由于噪声的存 在(许多实际系统无法回避的问题) 会导致严重的过 拟合问题 ,人工神经网络对此问题尤其敏感. 相比之 下 ,支持向量机学习算法能有效地解决过拟合/ 过学 习问题. 虽然 ,过程神经元和支持向量机核函数均有 特征扩展作用 ,但二者之间存在着本质的区别. 前者 是从外加信号中提取特征进行特征扩展 ,而后者是 通过选取核函数时隐含定义的低维空间至高维空间 (可能是无限维) 非线性变换进行特征扩展. 对传统 支持向量机进行过程式输入推广将是极具挑战性的 研究课题. 过程神经元模型更大的意义在于 ,它在人工神 经网络和信号分析处理 2 门学科之间架起了一道桥 梁. 既然网络的输入是时间信号 ,就可以引用信号分 析理论进行研究. 目前 ,现代信号分析处理理论和技 术已发展得相当完善. 根据信号分析领域的不同 ,信 号分析方法可分为 3 类 :时域分析、频域分析和时频 联合分析. 时间序列分析、傅里叶分析和小波分析分 别是 3 类分析方法的代表 ,其中傅里叶分析包含前 面提到的傅里叶级数展开. 从特征提取的角度看 ,小 波分析优于傅里叶分析 ,它是一种时间/ 频率分辨率 自适应调整的时频分析方法 ,同时具有时间和频率 定位功能 ,适用于非稳态信号的分析[12 ] . 小波变换 的时频局部特性非常适用于捕捉时变信号的局部特 征 ,这一特性使得小波变换和过程神经元网络的结 合极具研究前景. 第 5 期 叶 涛 ,等 :关于过程神经元网络的理论探讨 ·5 · © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
。6 智能系统学报 第2卷 HE Xingui,XU Shaohua.Process neural network with 4 结束语 time-varied input and output functions and its applica- 过程神经元模型及其网络将为很多以时间信号 tions [J ]Journal of Software,2003,14(4):764-769. 作为输入的系统建模提供一种有效的解决方案，极 [7]柳重堪.正交函数及其应用[M].北京：国防工业出版 社，1982. 具发展前景.过程神经元的输入和连接权均为时间 [8]赵录怀，高金峰，刘崇新，等.信号与系统分析[M].北 信号，不仅具有空间聚合作用，而且具有时间聚合作 京：高等教育出版社，2003. 用.虽然，过程神经元和传统神经元有着本质的区 [9]何新贵，许少华.一类反馈过程神经元网络模型及其学 别，但二者也存在着紧密的联系.笔者将信号理解为 习算法U].自动化学报，2004,30(6)：801-806. 特征的集合，揭示了2类神经元间的联系，根据2种 HE Xingui,XU Shaohua.A feedback process neural 不同的特征扩展方式给出了2个定理及其证明，并 network model and its learning algorithm [J].Acta Au 给出了相关的2个推论.最后，就过程神经网络面临 tomatica Sinica,2004,30(6):801-806. 的问题，如数据量增加引发的训练速度慢和容易过 [10]何新贵，许少华.过程神经元网络及其在时变信息处理 拟合的问题、信号持续区间不等长的问题.针对以上 中的应用0].智能系统学报，2006,1(1)：1-8. 问题的讨论提出了几个具有前景的研究方向，如传 HE Xingui,XU Shaohua.Process neural networks and 统支持向量机的过程输入推广和基于小波变换特征 its applications in time-varying information processing [J ]CAAI Trans on Intelligent Systems,2006,1(1): 提取的过程神经网络， 1-8. 参考文献： [11]许少华，何新贵，刘坤，等.关于连续过程神经元网络 的一些理论问题[U].电子学报，2006,34(10)：1838- [1]HAGAN M T,DEMUTH H B,BEALE M.Neural 1841. network design [M].Boston:PWS Publishing Compa- XU Shaohua,HE Xingui,LIU Kun,et al.Some theo- ny,1996. retical issues on continuous process neural networks [2]HORNIK K M,STINCHCOMBE M,WHITE H.Multi- [J ]Acta Electronica Sinica,2006,34(10):1838- layer feedforward networks are universal approximators 1841 [J ]Neural Networks,1989,2(5):359-366. [12]胡广书.现代信号处理教程[M].北京：清华大学出版 [3]何新贵，梁久祯.过程神经元网络的若干理论问题U]: 社，2004. 中国工程科学，2000,2(12)：40.44. 作者简介： HE Xingui,LIAN G Jiuzhen.Some theoretical issues on 叶涛，男，1976年生，博士研究生 procedure neural networks [J].Engineering Science, 主要研究方向为智能检测与智能控制、数 2000,2(12):40-44. 据挖掘、机器学习远程数据采集和监控」 [4]许少华，何新贵.基于函数正交基展开的过程神经网络 己发表论文7篇，其中EI检索4篇，ISTP 学习算法[U],计算机学报，2004,27(5)：645·650. 检索1篇 XU Shaohua,HE Xingui.Learning algorithms of Email towerye @21cn.com. process neural networks based on orthogonal function ba- sis expansion [J ]Chinese Journal of Computers,2004, 朱学峰，男，1940年生，教授、博士生 27(5):645.650. 导师，中国自动化学会理事、广州市自动 [5]丁刚，钟诗胜.基于过程神经网络的热平衡温度预测 化学会理事长.主要研究方向为过程先 研究U].字航学报，2006,27(3)：489.492 进控制策略、智能控制与智能检测、软测 DIN G Gang,ZHONG Shisheng.Thermal equilibrium 量技术等.曾获教育部科技二等奖和广 temperature prediction based on process neural network 东省科技二等奖.发表论文近200篇. [J ]Journal of Astronautics,2006,27(3):489-492. Email:xfzhu @scut.edu.cn. [6]何新贵，许少华，输入输出均为时变函数的过程神经网 络及应用1.软件学报，2003,14(4)：764-769. 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
4 结束语 过程神经元模型及其网络将为很多以时间信号 作为输入的系统建模提供一种有效的解决方案 ,极 具发展前景. 过程神经元的输入和连接权均为时间 信号 ,不仅具有空间聚合作用 ,而且具有时间聚合作 用. 虽然 ,过程神经元和传统神经元有着本质的区 别 ,但二者也存在着紧密的联系. 笔者将信号理解为 特征的集合 ,揭示了 2 类神经元间的联系 ,根据 2 种 不同的特征扩展方式给出了 2 个定理及其证明 ,并 给出了相关的 2 个推论. 最后 ,就过程神经网络面临 的问题 ,如数据量增加引发的训练速度慢和容易过 拟合的问题、信号持续区间不等长的问题. 针对以上 问题的讨论提出了几个具有前景的研究方向 ,如传 统支持向量机的过程输入推广和基于小波变换特征 提取的过程神经网络. 参考文献 : [1 ] HA GAN M T , DEMU TH H B , BEAL E M. Neural network design [ M ]. Boston : PWS Publishing Compa2 ny , 1996. [2 ] HORNIK K M ,STINCHCOMBE M ,WHITE H. Multi2 layer feedforward networks are universal approximators [J ]. Neural Networks , 1989 , 2 (5) : 359 - 366. [3 ]何新贵 ,梁久祯. 过程神经元网络的若干理论问题[J ]. 中国工程科学 , 2000 , 2 (12) : 40 - 44. HE Xingui , L IAN G Jiuzhen. Some theoretical issues on procedure neural networks [J ]. Engineering Science , 2000 , 2 (12) : 40 - 44. [4 ]许少华 ,何新贵. 基于函数正交基展开的过程神经网络 学习算法[J ]. 计算机学报 , 2004 , 27 (5) : 645 - 650. XU Shaohua , HE Xingui. Learning algorithms of process neural networks based on orthogonal function ba2 sis expansion [J ]. Chinese Journal of Computers , 2004 , 27 (5) : 645 - 650. [5 ]丁 刚 ,钟诗胜. 基于过程神经网络的热平衡温度预测 研究[J ]. 宇航学报 , 2006 , 27 (3) : 489 - 492. DIN G Gang , ZHON G Shisheng. Thermal equilibrium temperature prediction based on process neural network [J ]. Journal of Astronautics , 2006 , 27 (3) : 489 - 492. [6 ]何新贵 ,许少华. 输入输出均为时变函数的过程神经网 络及应用[J ]. 软件学报 , 2003 , 14 (4) : 764 - 769. HE Xingui , XU Shaohua. Process neural network with time2varied input and output functions and its applica2 tions [J ]. Journal of Software , 2003 , 14 (4) : 764 - 769. [7 ]柳重堪. 正交函数及其应用[ M ]. 北京 : 国防工业出版 社 , 1982. [8 ]赵录怀 ,高金峰 ,刘崇新 ,等. 信号与系统分析[ M ]. 北 京 : 高等教育出版社 , 2003. [9 ]何新贵 ,许少华. 一类反馈过程神经元网络模型及其学 习算法[J ]. 自动化学报 , 2004 , 30 (6) : 801 - 806. HE Xingui , XU Shaohua. A feedback process neural network model and its learning algorithm [J ]. Acta Au2 tomatica Sinica , 2004 , 30 (6) : 801 - 806. [10 ]何新贵 ,许少华. 过程神经元网络及其在时变信息处理 中的应用[J ]. 智能系统学报 , 2006 , 1 (1) : 1 - 8. HE Xingui , XU Shaohua. Process neural networks and its applications in time2varying information processing [J ]. CAAI Trans on Intelligent Systems , 2006 , 1 (1) : 1 - 8. [11 ]许少华 ,何新贵 ,刘 坤 ,等. 关于连续过程神经元网络 的一些理论问题[J ]. 电子学报 , 2006 , 34 (10) : 1838 - 1841. XU Shaohua , HE Xingui , L IU Kun ,et al. Some theo2 retical issues on continuous process neural networks [J ]. Acta Electronica Sinica , 2006 , 34 ( 10) : 1838 - 1841. [12 ]胡广书. 现代信号处理教程[ M ]. 北京 : 清华大学出版 社 , 2004. 作者简介 : 叶 涛 ,男 ,1976 年生 ,博士研究生 , 主要研究方向为智能检测与智能控制、数 据挖掘、机器学习、远程数据采集和监控. 已发表论文 7 篇 ,其中 EI 检索 4 篇 ,ISTP 检索 1 篇. E2mail : towerye @21cn. com. 朱学峰 ,男 ,1940 年生 ,教授、博士生 导师 ,中国自动化学会理事、广州市自动 化学会理事长. 主要研究方向为过程先 进控制策略、智能控制与智能检测、软测 量技术等. 曾获教育部科技二等奖和广 东省科技二等奖. 发表论文近 200 篇. E2mail : xfzhu @scut. edu. cn. ·6 · 智 能 系 统 学 报 第 2 卷 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net