·316 智能系统学报 第6卷 5 40 结论 --神经网络初始结构：2-2-1 35 一神经网络初始结构：2-37-1 针对多数前馈神经网络结构设计算法采取贪婪 30 …神经网络初始结构：2-9-1 搜索策略而易陷人局部最优结构的问题，提出了一 25 种自适应前馈神经网络结构设计算法.该算法能够 20H 在神经网络学习过程中综合考虑神经网络对当前任 10 务的学习能力和复杂程度，以互信息为准则合并和 分裂隐节点，自适应调整神经网络结构.通过对2个 7×10 复杂度不同的非线性函数逼近仿真实验，得到如下 2 345 6 训练参数 结论 1)AMSA算法不依赖于网络的初始结构，能够 图7逼近y2时神经网络隐节点变化动态 Fig.7 The hidden node numbers during the process of 根据实际对象及当前神经网络的学习能力，自适应 approximation y 获得适合于实际对象的前馈神经网络， 从图6可以看出，用初始结构分别为2-1-1、2 2)AMSA算法建立在对神经网络学习过程正确 13-1、2-26-1的神经网络逼近y1,训练结束时，算法 理解的基础之上，避免了神经网络结构改变时对神 所得到的神经网络的结构分别为2-14-1、2-15-1、2- 经网络参数的重新调整，减少了对学习样本的学习 15-1.从图7可以看出，用初始结构分别为2-2-1、2- 次数，提高了神经网络的学习速度，增强了神经网络 9-1、2-37-1的神经网络逼近y2时，算法最终所得到 的泛化性能， 的神经网络结构分别是2-17-1、2-16-1、2-18-1.表明 参考文献： 该算法对于不同的初始结构的神经网络，均能稳定 [1]邱健斌，王劭伯.进化神经网络PD控制器的研究与应 收敛于适合于该学习对象的网络结构， 用[J].智能系统学报，2008,3(3)：245249. 表1列举了本文所提AMSA算法同不同典型的 QIU Jianbin,WANG Shaobo.An improved PID controller 神经网络结构设计算法的比较结果，分别是删减算 based on an evolutionary neural network[J].CAAI Trans- 法(optimal brain surgeon,0BS)1、增长算法(cas actions on Intelligent Systems,2008,3(3):245-249. cade correlation,CC)[o)和增长删减算法(adaptive [2]张昭昭，乔俊飞，韩红桂.一种基于神经网络复杂度的修 merging and growing algorithm,AMGA)[5j,它们都是 剪算法[J].控制与决策，2010,25(6)：178-182 采用贪婪搜索策略设计神经网络结构的算法，上述 ZHANG Zhaozhao,QIAO Junfei,HAN Honggui.A pruning 各个算法，在相同的条件下对同样的问题运行20 algorithm based on neural complexity[J].Control and Deci- 次，对所得最终神经网络隐层节点数取平均值.从表 si0n,2010,25(6):178-182. [3]乔俊飞，张颖.一种多层前馈神经网络的快速修剪算法 1可看出，AMSA算法设计出的最终神经网络，不仅结 [J].智能系统学报，2008,3(2)：173-176. 构紧凑，而且神经网络的泛化能力较强。 QIAO Junfei,ZHANG Ying.Fast unit pruning algorithm for 表1几种典型算法性能比较 multilayer feedforward network design[J].CAAI Transac- Table 1 The performance comparison of several typical al- tions on Intelligent Systems,2008,3(2):173-176. gorithms [4]MA L,KHORASANI K.Constructive feedforward neural 期望 检测 最终网络结构 函数 算法 networks using Hermite poly nomial activation function[J]. 误差 误差 (隐层节点数) IEEE Transactions on Neural Network,2005,16(4):821- OBS 0.04 0.0489 16.13 833. CC 0.040.0481 16.10 [5]ISLAM Monirual,SATTAR A,AMIN F,YAO Xin,MU- 1 AMGA0.040.0472 15.18 RASE K.A new adaptive merging and growing algorithm for AMSA 0.04 0.0435 14.67 designing artificial neural networks[J].IEEE Transactions on Systems,Man,and Cybernetics-Part B:Cybernetics, OBS 0.1 0.1990 18.92 2009,39(3):705-722. CC 0.1 0.1874 18.34 [6]吴晓刚，王旭东，余腾伟.发动机输出转矩的改进B即神 AMGA 0.1 0.1582 17.06 经网络估计[J].电机与控制学报，2010,14(3)：104 AMSA 0.10.1507 16.73 108 WU Xiaogang,WANG Xudong,YU Tengwei.Estimation of