第5期 叶涛，等：关于过程神经元网络的理论探讨 。5 表1各类神经元的输入节点和连接权数量 2.J Table 1 Input node and link weight quantity of various neuron a) 神经元类型 输入节点数量连接权数量 瞬时输入神经元 n n 时间序列特征扩展神经元 nN nN 正交分解特征扩展神经元 L 图6数值输出型过程神经网络的等效多层感知器网络 Fig.6 The equivalent ML P network of the real-valued 在上面的讨论中，都假设输入信号和连接权函 output process neural network 数是等长区间[0，T]上的二次可积函数，这是一条 比较强的假设.现实世界中，有一大类问题不符合这 E.g 一假设，即信号持续区间不等或离散序列步长不等」 例如，某些间歇工业过程，各批次间的周期并不严格 E.g 相等，有时还差别较大，上文提到的博弈游戏输赢预 测就是采样区间不等长的一个典型的范例.针对这 .g 一问题己有初步研究工作，何院士的团队提出了一 种输入输出均为时变函数的过程神经元o.山 目前，过程神经网络的训练大多是基于函数规 图7函数输出型过程神经网络的等效多层感知器网络 范正交分解的学习算法，等效的多层感知器如图6 Fig.7 The equivalent MLP network of the function 和图7所示，输入空间维数成倍增长，由于噪声的存 output process neural network 在（许多实际系统无法回避的问题）会导致严重的过 拟合问题，人工神经网络对此问题尤其敏感.相比之 3相关问题讨论 下，支持向量机学习算法能有效地解决过拟合/过学 习问题.虽然，过程神经元和支持向量机核函数均有 过程神经元及其网络模型对人工神经网络的发 特征扩展作用，但二者之间存在着本质的区别.前者 展具有重要意义.由何新贵院士率领的研究团队于 是从外加信号中提取特征进行特征扩展，而后者是 2000年提出，至今只有6年的时间)，还有很多理 通过选取核函数时隐含定义的低维空间至高维空间 论和应用问题有待深入研究和探讨 (可能是无限维)非线性变换进行特征扩展.对传统 如上所述，过程神经元的输入信息量得到了极 支持向量机进行过程式输入推广将是极具挑战性的 大的增加，输入和连接权数量见表1.信息的增加一 研究课题， 方面有助于模型的鲁棒性和预测精度：另一方面也 过程神经元模型更大的意义在于，它在人工神 给硬件运算速度和训练算法带来了极大挑战.文献 经网络和信号分析处理2门学科之间架起了一道桥 [9]提出一类局部反馈过程神经元网络，将隐层输出 梁.既然网络的输入是时间信号，就可以引用信号分 反馈至输入，加快了训练收敛速度.神经网络的局 析理论进行研究.目前，现代信号分析处理理论和技 部反馈可以加快训练收敛速度，其原因可能是隐层 术已发展得相当完善.根据信号分析领域的不同，信 输出蕴含着已训练数据的某种组合，将其反馈回输 号分析方法可分为3类：时域分析、频域分析和时频 入层相当于加快数据的输入或增加了学习率.局部 联合分析.时间序列分析、傅里叶分析和小波分析分 反馈并不能实质性提高网络的预测精度，预测精度 别是3类分析方法的代表，其中傅里叶分析包含前 更多地取决于全局反馈（输出反馈）、建模数据所含 面提到的傅里叶级数展开.从特征提取的角度看，小 信息量和建模数据质量.实际上，基于BP算法的神 波分析优于傅里叶分析，它是一种时间/频率分辨率 经网络在训练过程或调整过程中隐含着信号全局反 自适应调整的时频分析方法，同时具有时间和频率 馈的机制，误差的反传过程即是网络的全局反馈（输 定位功能，适用于非稳态信号的分析].小波变换 出反馈)过程 的时频局部特性非常适用于捕捉时变信号的局部特 征，这一特性使得小波变换和过程神经元网络的结 合极具研究前景 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net图 6 数值输出型过程神经网络的等效多层感知器网络 Fig. 6 The equivalent ML P network of the real2valued output process neural network 图 7 函数输出型过程神经网络的等效多层感知器网络 Fig. 7 The equivalent ML P network of the function output process neural network 3 相关问题讨论 过程神经元及其网络模型对人工神经网络的发 展具有重要意义. 由何新贵院士率领的研究团队于 2000 年提出 ,至今只有 6 年的时间[3 ] ,还有很多理 论和应用问题有待深入研究和探讨. 如上所述 ,过程神经元的输入信息量得到了极 大的增加 ,输入和连接权数量见表 1. 信息的增加一 方面有助于模型的鲁棒性和预测精度 ;另一方面也 给硬件运算速度和训练算法带来了极大挑战. 文献 [9 ]提出一类局部反馈过程神经元网络 ,将隐层输出 反馈至输入 ,加快了训练收敛速度. 神经网络的局 部反馈可以加快训练收敛速度 ,其原因可能是隐层 输出蕴含着已训练数据的某种组合 ,将其反馈回输 入层相当于加快数据的输入或增加了学习率. 局部 反馈并不能实质性提高网络的预测精度 ,预测精度 更多地取决于全局反馈 (输出反馈) 、建模数据所含 信息量和建模数据质量. 实际上 ,基于 BP 算法的神 经网络在训练过程或调整过程中隐含着信号全局反 馈的机制 ,误差的反传过程即是网络的全局反馈(输 出反馈) 过程. 表 1 各类神经元的输入节点和连接权数量 Table 1 Input node and link weight quantity of various neuron 神经元类型 输入节点数量 连接权数量 瞬时输入神经元 n n 时间序列特征扩展神经元 nN nN 正交分解特征扩展神经元 nL nL 在上面的讨论中 ,都假设输入信号和连接权函 数是等长区间[ 0 , T ]上的二次可积函数 ,这是一条 比较强的假设. 现实世界中 ,有一大类问题不符合这 一假设 ,即信号持续区间不等或离散序列步长不等. 例如 ,某些间歇工业过程 ,各批次间的周期并不严格 相等 ,有时还差别较大 ;上文提到的博弈游戏输赢预 测就是采样区间不等长的一个典型的范例. 针对这 一问题已有初步研究工作 ,何院士的团队提出了一 种输入输出均为时变函数的过程神经元[10 - 11 ] . 目前 ,过程神经网络的训练大多是基于函数规 范正交分解的学习算法 ,等效的多层感知器如图 6 和图 7 所示 ,输入空间维数成倍增长. 由于噪声的存 在(许多实际系统无法回避的问题) 会导致严重的过 拟合问题 ,人工神经网络对此问题尤其敏感. 相比之 下 ,支持向量机学习算法能有效地解决过拟合/ 过学 习问题. 虽然 ,过程神经元和支持向量机核函数均有 特征扩展作用 ,但二者之间存在着本质的区别. 前者 是从外加信号中提取特征进行特征扩展 ,而后者是 通过选取核函数时隐含定义的低维空间至高维空间 (可能是无限维) 非线性变换进行特征扩展. 对传统 支持向量机进行过程式输入推广将是极具挑战性的 研究课题. 过程神经元模型更大的意义在于 ,它在人工神 经网络和信号分析处理 2 门学科之间架起了一道桥 梁. 既然网络的输入是时间信号 ,就可以引用信号分 析理论进行研究. 目前 ,现代信号分析处理理论和技 术已发展得相当完善. 根据信号分析领域的不同 ,信 号分析方法可分为 3 类 :时域分析、频域分析和时频 联合分析. 时间序列分析、傅里叶分析和小波分析分 别是 3 类分析方法的代表 ,其中傅里叶分析包含前 面提到的傅里叶级数展开. 从特征提取的角度看 ,小 波分析优于傅里叶分析 ,它是一种时间/ 频率分辨率 自适应调整的时频分析方法 ,同时具有时间和频率 定位功能 ,适用于非稳态信号的分析[12 ] . 小波变换 的时频局部特性非常适用于捕捉时变信号的局部特 征 ,这一特性使得小波变换和过程神经元网络的结 合极具研究前景. 第 5 期 叶 涛 ,等 :关于过程神经元网络的理论探讨 ·5 · © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net