第4期 张昭昭，等：自适应前馈神经网络结构优化设计 ·315 经网络的学习速度，而且能够避免神经网络对学习 出的神经网络不仅具有紧凑的结构而且能够保证神 样本的过学习.隐节点分裂操作中，分裂后的新隐节 经网络的逼近性能.从图3和图5的非线性函数逼近 点不仅继承了父节点信息处理的能力，而且引人变 效果的误差曲面图中可以看出，对不同复杂度的非线 异系数，有助于跳出局部最优神经网络结构. 性函数的检测误差分别小于0.04和0.1，表明该算法 设计的神经网络具有较强的泛化性能 4仿真实验 本文所提算法能够根据学习对象自适应调整前 馈网络隐含层神经元个数，优化神经网络结构，得到 与学习对象相适应的神经网络结构，提高了前馈神 经网络的性能.为验证该算法的有效性与稳定性，选 取2个复杂度不同的非线性函数进行逼近12： 0.5 0.5 0.5 y=+sin(3x2)+2xsin(4x1)+sin(4xz), T. -0.50 y=1.9(1.35+esin(13(x1-0.6)2)esin(7x)). 图3对y1逼近的误差曲面 (10) Fig.3 The approximation error surface of y, 式中：x1和x2各随机产生30个，服从区间[-1,1] ·期望输中 内均匀分布.训练样本对为900个，测试样本为-1： 0.1:1,即测试样本对为441个.式(10)中，x1和x2 各随机产生30个，服从区间[0,1]内均匀分布，训 练样本对为900个，测试样本对为0：0.05：1，测试样 本对为441个.随机产生一个隐节点数大于等于1 0.5 的初始网络结构对学习样本进行训练，网络学习算 0 0.20.40.60.8 -1 法采用带动量项BP算法，仿真时，选取k=4,学习 图4对y2的逼近效果 率为0.0002，动量项系数为0.2，隐节点合并互信息 Fig.4 The approximation effect of y, 阈值BM=0.95,隐节点增加均方差阈值△r=0.01, 0.3 网络训练步数t=20,s=5. 0.2 神经网络对非线性函数y1的逼近效果如图2 0. 所示，误差曲面如图3所示.对非线性函数y2的逼 近效果如图4所示，误差曲面如图5所示.图6给出 了对非线性函数y1逼近时不同的初始神经网络结 构在逼近过程中神经网络隐节点数变化情况图7 0.5 0 0.20.40.60.8 给出了对非线性函数y2逼近时不同的初始神经网 络结构在逼近过程中神经网络隐节点数变化情况 图5对y2逼近的误差曲面 Fig.5 The approximation error surface of y2 *期蚂输出 30 不 …神经网络初始结构：2-1-1 25 一神经网路初始结构：2-26-1 …神经网络初始结构：2-13-1 20 15 nir.. 0.5 0 10.500.5 10 图2对y1的逼近效果 3456*10 Fig.2 The approximation effect of y 训练参数 从图2和图4可以看出，训练后的神经网络能够 图6逼近y,时神经网络隐节点变化动态 很好地逼近上述2种复杂度不同的非线性函数，神经 Fig.6 The hidden node numbers during the process of 网络输出值与函数期望值基本重合，因此该算法设计 approximation y