第2卷第5期 智能系统学报 Vol.2№5 2007年10月 CAAI Transactions on Intelligent Systems 0ct.2007 关于过程神经元网络的理论探讨 叶涛，朱学峰 (华南理工大学自动化科学与工程学院，广东广州510641) 摘要：过程神经元网络是一种适合于处理过程式信号输入的网络，其基本单元是过程神经元—新近出现的神经 元模型.过程神经元和传统神经元有着本质的区别，但二者之间也存在着紧密的联系，前者可用后者以任意精度无 限逼近.文中给出2个定理及其详细证明，分别论述了过程神经元的2种传统神经元逼近模型：时域特征扩展模型和 正交分解特征扩展模型.基于第2个定理，给出了过程神经元网络相关的2个推论.最后，针对过程神经元网络面临 的主要问题进行讨论，指出了一些具有前景的研究方向.文中得到的结果对过程神经元模型及其网络的研究具有一 定的理论意义。 关键词：人工神经网络；过程神经元；函数正交基；傅里叶级数，特征扩展 中图分类号：TP183文献标识码：A文章编号：1673-4785(2007)050001-06 Theoretical discussion on the process neural network theory YE Tao,ZHU Xue-feng (College of Automation Science and Engineering,South China University of Technology,Guangzhou 510641,China) Abstract:Process neural networks(PNNs)are networks suitable for processing signal input,whose ele- mentary unit is the process neuron,a newly developed neuron model.The process neuron is different from traditional neurons in nature,but there is an inherent relationship between them.The former can be infi- nitely approached by the latter with arbitrary precision.Two theorems are presented and proved in this pa- per,giving two models for approaching corresponding process neurons:the time-domain feature expansion model and the orthogonal decomposition feature expansion model.And two corollaries are given based on the second theorem.Finally,some problems with PNNs are discussed and several research topics sugges- ted.The conclusions are significant to theoretical research on process neurons and PNNs. Key words :artificial neural networks;process neuron;function orthogonal basis;Fourier series;feature ex- pansion 人工神经网络(ANN)自I943年诞生以来，作机、Rumelhart等的多层前向BP网络、Grossberg 为极具发展前景的新兴学科，它的研究经历了从兴 的自适应谐振理论、Powell的径向基函数网络 起到萧条，再到复兴的曲折发展道路.经过60多年 等山这些网络大多都是基于激励函数改进型的 的发展，该领域取得了丰硕的研究成果，研究人员提 MP神经元模型（以MeCulloch和Pitts的名字命 出了近30种神经网络模型.其中较有影响的有：20 名)，如感知器、自适应元件，其输入空间均为欧氏空 世纪50年代末Rosenblatt的感知器，20世纪60年 间R或其子空间（如超立方体、超单位球）.Hornik 代初Widrow&Hoff的自适应线性元件，20世纪 等人于1989年证明多层前向网络是通用逼近器1」 70年代（萧条时期）Albus的小脑模型关节控制器， 这一论文引发了基于BP算法多层前向网络的应用 20世纪80年代（复兴时期）Hopfield反馈网络、Ko 研究热潮.然而，传统多层BP网络无法解决以时间 honen的自组织映射网络、Hinton等的Boltzmann 信号作为输入的问题.传统神经网络的输入是一种 同步瞬时输入，对应的是单步预测，信息量很少，不 收稿日期：2007-01-08. 符合人类大脑的实际工作机制.在大量噪声存在的 基金项目：国家自然科学基金资助项日(60274033,60404013) 场合，单步预测信息量少的缺点显得尤为突出，将严 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net第 2 卷第 5 期 智 能 系 统 学 报 Vol. 2 №. 5 2007 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2007 关于过程神经元网络的理论探讨 叶 涛 , 朱学峰 (华南理工大学 自动化科学与工程学院 ,广东 广州 510641) 摘 要 :过程神经元网络是一种适合于处理过程式信号输入的网络 ,其基本单元是过程神经元 ———新近出现的神经 元模型. 过程神经元和传统神经元有着本质的区别 ,但二者之间也存在着紧密的联系 ,前者可用后者以任意精度无 限逼近. 文中给出 2 个定理及其详细证明 ,分别论述了过程神经元的 2 种传统神经元逼近模型 :时域特征扩展模型和 正交分解特征扩展模型. 基于第 2 个定理 ,给出了过程神经元网络相关的 2 个推论. 最后 ,针对过程神经元网络面临 的主要问题进行讨论 ,指出了一些具有前景的研究方向. 文中得到的结果对过程神经元模型及其网络的研究具有一 定的理论意义. 关键词 :人工神经网络 ;过程神经元 ;函数正交基 ;傅里叶级数 ;特征扩展 中图分类号 : TP183 文献标识码 :A 文章编号 :167324785 (2007) 0520001206 Theoretical discussion on the process neural network theory YE Tao , ZHU Xue2feng (College of Automation Science and Engineering , South China University of Technology , Guangzhou 510641 , China) Abstract :Process neural networks (PNNs) are networks suitable for processing signal inp ut , who se ele2 mentary unit is t he process neuron , a newly developed neuron model. The process neuron is different from traditional neurons in nat ure , but t here is an inherent relationship between t hem. The former can be infi2 nitely approached by the latter wit h arbitrary precision. Two t heorems are presented and proved in t his pa2 per , giving two models for approaching corresponding process neurons:t he time2domain feat ure expansion model and the ort hogonal decomposition feat ure expansion model. And two corollaries are given based on t he second t heorem. Finally , some problems wit h PNNs are discussed and several research topics sugges2 ted. The conclusions are significant to theoretical research on p rocess neurons and PNNs. Keywords :artificial neural networks; process neuron ; f unction ort hogonal basis; Fourier series ; feature ex2 pansion 收稿日期 :2007201208. 基金项目 :国家自然科学基金资助项目(60274033 , 60404013) . 人工神经网络 (ANN) 自 1943 年诞生以来 ,作 为极具发展前景的新兴学科 ,它的研究经历了从兴 起到萧条 ,再到复兴的曲折发展道路. 经过 60 多年 的发展 ,该领域取得了丰硕的研究成果 ,研究人员提 出了近 30 种神经网络模型. 其中较有影响的有 :20 世纪 50 年代末 Rosenblatt 的感知器 ,20 世纪 60 年 代初 Widrow & Hoff 的自适应线性元件 ,20 世纪 70 年代(萧条时期) Albus 的小脑模型关节控制器 , 20 世纪 80 年代(复兴时期) Hopfield 反馈网络、Ko2 honen 的自组织映射网络、Hinton 等的 Boltzmann 机、Rumelhart 等的多层前向 BP 网络、Grossberg 的自适应谐振理论、Powell 的径向基函数网络 等[1 ] . 这些网络大多都是基于激励函数改进型的 MP 神经元模型 (以 McCulloch 和 Pitts 的名字命 名) ,如感知器、自适应元件 ,其输入空间均为欧氏空 间 R n 或其子空间(如超立方体、超单位球) . Hornik 等人于 1989 年证明多层前向网络是通用逼近器[2 ] , 这一论文引发了基于 BP 算法多层前向网络的应用 研究热潮. 然而 ,传统多层 BP 网络无法解决以时间 信号作为输入的问题. 传统神经网络的输入是一种 同步瞬时输入 ,对应的是单步预测 ,信息量很少 ,不 符合人类大脑的实际工作机制. 在大量噪声存在的 场合 ,单步预测信息量少的缺点显得尤为突出 ,将严 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net