第6卷第2期 智能系统学报 Vol.6 No.2 2011年4月 CAAI Transactions on Intelligent Systems Apr.2011 doi:10.3969/i.i8sn.1673-4785.2011.02.002 前馈神经网络结构动态增长-修剪方法 张米娜，韩红桂，乔俊飞 (北京工业大学电子信息与控制工程学院，北京100124) 摘要：针对前馈神经网络隐含层神经元不能在线调整的问题，提出了一种自适应增长修剪算法(AGP),利用增长 和修剪相结合对神经网络隐含层神经元进行调整，实现神经网络结构的自组织，从而提高神经网络的性能.同时，将 该算法应用于污水处理生化需氧量(BOD)软测量，仿其实验结果表明，与其他自组织神经网络相比，AG具有较好 的泛化能力及较高的拟合精度，能够实现出水BOD的预测. 关键词：自适应增长修剪算法；BOD软测量；神经网络；自组织 中图分类号：TP183文献标识码：A文章编号：16734785(2011)020101-06 Research on dynamic feed-forward neural network structure based on growing and pruning methods ZHANG Mi'na,HAN Honggui,QIAO Junfei (College of Electronic and Control Engineering,Beijing University of Technology,Beijing 100124,China) Abstract:Due to the unchangable on-line problem of hidden neurons in feed-forward neural networks,an adaptive growing and pruning algorithm(AGP)was presented in this paper.This algorithm can insert and prune hidden neurons during the training process to adjust the structure of the network and achieve self organization of neural net- work structure,which can improve the performance of the neural network.Additionally,this algorithm has been applied to the biochemical oxygen demand(BOD)soft measurement of the wastewater treatment process.Experi- mental results show that the proposed algorithm can forecast the effluent BOD with better generalization ability and higher accuracy than other self-organizing neural networks. Keywords:adaptive growing and pruning(AGP);BOD soft-measurement;neural network;self organization 多层前馈神经网络是目前应用最广泛的神经网 剪算法在初始时构造一个有冗余节点的网络，逐渐 络之一，然而在解决实际问题时神经网络的结构需 删除对网络输出贡献较小的节点，以达到要求的误 要事先确定，且在训练过程中网络结构保持不变，这 差精度，是一种有效地去除冗余节点的方法.比较著 在很大程度上限制了网络的功能发挥.因此，神 名的修剪算法有最优脑外科算法(OBS)4.然而由 经网络结构自适应设计已成为当前神经计算科学中 于OBS只能修剪神经元间的连接，因此，对于初始 人们共同关注的问题2].一般来说，如果神经网络 规模较大的神经网络需要较长的调整时间.Philippe 的规模太小，网络对样本不能完全学习.如果网络的 等人[5]将扩展傅里叶振幅灵敏度算法(EFAST)运 规模过大，则会产生过拟合现象，降低网络的泛化能 用于神经网络结构简化中，通过计算每个隐含层神 力).因此，在设计神经网络的规模时需要根据实 经元输出值的灵敏度来确定每个隐含层神经元对输 际问题确定网络的结构， 出的贡献大小，直接剔除冗余神经元来对神经网络 近些年来，学者们提出了一些神经网络结构自 结构进行修剪，提高了修剪效率.但是修剪算法的不 组织算法，主要分为2类：修剪算法和增长算法.修 可避免的问题是需要确定网络初始规模的大小[6] 与修剪算法相反，增长法在初始时构造一个小规模 收稿日期：2010-04-22 基金项目：国家“863”计划资助项目(2007AA04Z160):国家自然科 的网络，根据实际问题的复杂程度逐渐增加隐含层 学基金资助项目(60873043)；北京市自然科学基金资助项 的节点，直到满足误差要求.其中较著名的是按需求 目(4092010)；高等学校博士点专项科研基金资助项目 (200800050004). 增长算法(grows when required,GWR)7,GWR每 通信作者：张米娜.E-mail:zhang.mi.na@163.com 次新增一个含有多个节点的网络模块（或子网络）