第6卷第4期 智能系统学报 Vol.6 No.4 2011年8月 CAAI Transactions on Intelligent Systems Aug.2011 dbt:10.3969/j.issn.1673-4785.2011.04.005 自适应前馈神经网络结构优化设计 张昭昭'2，乔俊飞'，杨刚" (1.北京工业大学电子信息与控制工程学院，北京100124：2.辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛125105) 摘要：针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题，提出一种自适应前 馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点，达到设计最优神经网 络结构的目的.在合并操作中，以互信息为准则对输出线性相关的隐节点进行合并：在分裂操作中，引入变异系数， 有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合，减少了网络 对样本的学习次数，提高了网络的学习速度，增强了网络的泛化性能.非线性函数逼近结果表明，所提算法能得到更 小的检测误差，最终网络结构紧凑 关键同：前馈神经网络：结构设计：自适应搜索策略：互信息 中图盼类号：·TP273文献标识码：A文章编号：16734785(2011)04-0312-06 An adaptive algorithm for designing optimal feed-forward neural network architecture ZHANG Zhaozhao',QIAO Junfei,YANG Gang' (1.College of Electronic and Control Engineering,Beijing University of Technology,Beiing 100124,China;2.Institute of Electronic and Information Engineering,Liaoning Technical University,Huludao 125105,China) Abstract:Due to the fact that most algorithms use a greedy strategy in designing artificial neural networks which are susceptible to becoming trapped at the architectural local optimal point,an adaptive algorithm for designing an optimal feed-forward neural network was proposed.During the training process of the neural network,the adaptive optimization strategy was adopted to merge and split the hidden unit to design optimal neural network architecture. In the merge operation,the hidden units were merged based on mutual information criterion.In the split operation, a mutation coefficient was introduced to help jump out of locally optimal network.The processof adjusting the con- nection weight after merge and split operations was combined with the process of training the neural network.There- fore,the number of training samples was reduced,the training speed was increased,and the generalization per- iormance was improved.The results of approximating non-linear functions show that the proposed algorithm can lim- it testing errors and a compact neural network structure. Keywords:feed-forward neural network;architecture design;adaptive search strategy;mutual information 前馈神经网络是应用最多的网络之一.其成： 网络的泛化能力下降，而没有泛化能力的网络没有 功应用的关键是神经网络的结构设计.如果神经网 使用价值.由于神经网络结构在某种程度上直接决 络的规模太小，会导致欠拟合；如果神经网络规模过 定了神经网络的最终性能，所以神经网络结构优化 大，则导致过拟合.无论欠拟合还是过拟合都使神经 设计一直是神经网络领域关注的基本问题”. 神经网络结构优化的方法主要有：删减方 收稿日期： 法”、增长方法3、增长删减方法”.删减方法是一 基金项目：国家自然科学基金资助项目(60873043)，：国家"863“计划 资助项目(2009A404Z155)!:北京市自然科学基金资助项 种自顶向下的设计方法，即在网络的训练过程中，通 自(4092010)：教育部博士点基金资助项自 (2008000500041. 过删除网络中冗余的节点和连接而达到简化网络结 构的目的.增长方法是一种自底向上的设计方法，且 通信作者：.张昭昭.Emi1:,Zz小ao23@126.com. 增加策略比删减策略更易于制定和实现：就设计紧
收稿日期: 第6卷第4期 2011年8月 ZHANG Zhaozhao',QIAO Junfei',YANG Gang' (1.北京工业大学电子信息与控制工程学院,北京100124;2.辽宁工程技术大学电子与信息工程学院,辽宁葫芦岛125105) 基金项目: 国家自然科学基金资助项目(60873043) ;国家"863"计划 资助项目(2009AA04Z155) ;北京市自然科学基金资助项 (1. College of Electronic and Control Engineering,Beijing University of Technology,Beiing 100124,China;2. Institute of Electronic 通信作者: 张昭昭.E-mail: 目(4092010) ;教育部博士点基金资助项目 (200800050004) . zzhaol23@126.com. and Information Engineering,Liaoning Technical University,Huludao 125105,China) Vol.6 No.4 Aug.2011 神经网络结构优化的方法主要有: 删减方 法"、增长方法3、增长删减方法".删减方法是一 种自顶向下的设计方法,即在网络的训练过程中,通 过删除网络中冗余的节点和连接而达到简化网络结 构的目的.增长方法是一种自底向上的设计方法,且 增加策略比删减策略更易于制定和实现;就设计紧 关键词: 前馈神经网络;结构设计;自适应搜索策略;互信息 中图分类号: TP273 文献标识码: A 文章编号: 16734785(2011) 04-0312-06 An adaptive algorithm for designing optimal feed-forward neural network architecture 张昭昭'2,乔俊飞',杨刚' CAAI Transactions on Intelligent Systems 智 能 系 统 学 报 摘 要:针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题,提出一种自适应前 馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点,达到设计最优神经网 络结构的目的.在合并操作中,以互信息为准则对输出线性相关的隐节点进行合并;在分裂操作中,引入变异系数, 有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合,减少了网络 对样本的学习次数,提高了网络的学习速度,增强了网络的泛化性能.非线性函数逼近结果表明,所提算法能得到更 小的检测误差,最终网络结构紧凑. 前馈神经网络是应用最多的网络之一.其成 功应用的关键是神经网络的结构设计.如果神经网 络的规模太小,会导致欠拟合;如果神经网络规模过 大,则导致过拟合.无论欠拟合还是过拟合都使神经 自适应前馈神经网络结构优化设计 doi: 10.3969/j.issn.1673-4785.2011.04.005 Keywords: feed-forward neural network; architecture design;adaptive search strategy;mutual information Abstract:Due to the fact that most algorithms use a greedy strategy in designing artificial neural networks which are susceptible to becoming trapped at the architectural local optimal point, an adaptive algorithm for designing an optimal feed-forward neural network was proposed. During the training process of the neural network,the adaptive optimization strategy was adopted to merge and split the hidden unit to design optimal neural network architecture. In the merge operation, the hidden units were merged based on mutual information criterion. In the split operation, a mutation coefficient was introduced to help jump out of locally optimal network. The processof adjusting the connection weight after merge and split operations was combined with the process of training the neural network. Thereore,the number of training samples was reduced,the training speed was increased,and the generalization perormance was improved. The results of approximating non-linear functions show that the proposed algorithm can limt testing errors and a compact neural network structure. 网络的泛化能力下降,而没有泛化能力的网络没有 使用价值.由于神经网络结构在某种程度上直接决 定了神经网络的最终性能,所以神经网络结构优化 设计一直是神经网络领域关注的基本问题
第4期 张昭昭，等：自适应前馈神经网络结构优化设计 ·313· 凑神经网络而言，增长删减方法能够设计出较优的 合熵H(X,Y)描述了随机变量X、Y共有的信息量. 神经网络结构，因此，也越来越多地得到关注.目前 按照信息论的有关理论，随机变量X、Y之间的 上述几种神经网络结构设计算法大都采用预先设定 互信息为 的固定准则，并采用贪婪搜索策略，使得算法普适性 I(X;)=H(X)+H(Y)-H(X,Y)= 较差且极易陷入神经网络局部最优结构54」 针对上述问题，依据互信息理论及神经网络结 pxr(e,p)logPra,）drd. Px(x)pr(y) 构与学习之间的关系，提出一种自适应前馈神经网 互信息是随机变量X、Y相关性的度量，因此当 络结构优化设计算法(adaptive merging and splitting X和Y完全相关时，I(X;Y)=1,当X和Y完全独立 algorithm,AMSA).该算法在网络的训练过程中，能 时，I(X;Y)=0. 根据当前神经网络对任务的学习情况合并或分裂隐 2.2互信息的估计 节点，自适应调整神经网络的规模.最后通过仿真实 由式(2)知，互信息的估计只需估计出联合概 验验证了算法的有效性与稳定性， 率分布Px,y(x,y)即可，因此可用K-最近邻统计法 (K-nearest neighbour statistics)来估计互信息. 1前馈神经网络 设有N个输入输出对为 网络结构为n-m-p的单隐层前馈神经网络输人 Z=[(x)T(y)]T. 输出之间的关系为 式中：i=1,2,…,N,x9∈R,y0∈R. y=Wσ(Wx+B)+B2. 若Z的K-近邻为 式中：x∈R”为神经网络的输入；y∈RP为神经网络 Z》=[(x9)T(y9)T]T 的输出；W∈Rmx为输入层与隐层之间的连接权矩 则zo与Z9》之间的Euclidean距离为 阵；B∈Rm为隐节点的偏置权向量；W∈Rm为隐 &9=1Z)-Z)1= 层与输出层之间的连接权矩阵；B∈R为输出节点 max(1x⑧-x》1,y⑧-y)).(3) 偏置向量：σ(·)为激活函数. 而对于Z⑧中的分量x和y(》有 设训练样本集为{x(t),y(t),t=1,2,…,N}, 82=r9-ro1=9-01, 采用批学习，则第i个隐节点对第t个训练样本的输 出为o:(t)=σ(W:x(t)+b).定义矩阵： 89=y0-y1=,8-y1. 依据式(3)有 Φ=[91p2…PnPm+1]. e()=max(f). 式中：9=[o(1)o(2)…o(N)],i=1,2,…, 因此，对于Z④中的每个x⑧，都可以计算出 m;对所有训练样本9m+1（)=1,j=1,2,…,N.神经 Z@中其他x0(G≠)的分量x,到x®的分量x 网络的输出为 Y=[y(1)y(2)…y(N)] 的距离小于ε⊙的点的个数，同理，对于Z0中 设W=[W2B2],则有 的每个点y,也可以计算出Z中其他y⑦（≠i) Y=oW. (1) 的分量y》到y的分量y0的距离小于ε的点的 个数N,此时I(X;Y)估计值为 2 互信息的定义与估计 2.1互信息的定义 iX:)=-六含[(9+1)+(9+1]+ 设随机变量X和Y的联合概率密度函数为 ()+(d+p-1)(N)+d+p-1 k Px,(x,y),则X和Y的边缘概率密度函数为61： 式中：(·)为digamma函数，(t+1)=中(t)+1/t, px(x)=px.r(x,y)dy (1)≈-0.5772156，k的取值一般为2~6. pr(y)=lpx.r(x,y)dx. 3自适应前馈神经网络结构设计 依据Shannon熵定义有 3.1隐节点的合并 H()=-pr(y)oPr(y）d山y, 既然互信息能够准确度量2个随机变量之间的 相关程度，由式(1)知，前馈神经网络输出节点的输 H(X,Y)=-px.r(x,y)logpx.r(x,y)dxdy. 出是隐层节点输出的线性组合，因此，当隐节点h。 嫡(Y)描述了随机变量Y包含的信息量，联 和，的输出线性相关时，则这2个节点对信息的处
·314 智能系统学报 第6卷 理能力是等效的，就可以对这2个节点采取合并操 作，以简化神经网络结构. 采用批学习方式，学习样本数为N时，隐节点 -.E/+1) h。的输出为 救 E-Ec Pa。=[o(1)σ(2)…σ(N)]T. E 隐节点h,的输出为 E/s+1) P=[o(1)o(2)…σ(N)]T E-E 将P和Pa,组成输人-输出对Z=[。p]T, 则可计算出隐点h。和h,输出之间的互信息I(P,; t-s t-s 训练步长 Pa,),若I(P%。,P,)≥EM（eM如为设定的阈值)，则将 ha和h,合并为hc,合并后的隐节点h。与输入层和 图1误差曲线平坦度检测 输出层的连接权值为 Fig.1 Flatness detection of error curves 0a= 0a+0,i=1,2,…,n, 3.3自适应前馈神经网络结构设计算法 (4) 2 对于前馈神经网络，有如下认识 0=0a+06,j=1,2,…,p, (5) 1)神经网络的隐节点数大于等于1. 显然，合并后的隐节点h。对信息的处理能力和 2)神经网络进行适当的训练后，如果各隐节点的 2个隐节点h。和h,对信息处理能力基本保持不变. 输出之间互不相关（此时没有可以合并的隐节点），则 3.2隐节点的分裂 表明网络中各隐节点都在发挥各自不同的作用，处理 在神经网络训练的过程中，当神经网络对信息 不同的信息，即网络中没有冗余的隐节点。 的处理能力不足时，则应该在隐节点层增加节点以 3)如果神经网络中没有冗余的隐节点，那么导 增大神经网络信息处理能力.判断神经网络信息处 致神经网络对任务学习不好的原因，要么是神经网 理能力不足的准则为 络对任务的学习不够，需要增加神经网络学习时间： t-s≥to, (6) 要么是神经网络中隐节点太少，使得神经网络学习 /(+1)E. 能力不足，需要增加隐层节点. ≤△r (7) （∑)(s+1 有上述认识，可获得自适应前馈神经网络结构 设计算法如下， 式中：△r为设定的阈值，E。为均方差， 1)随机产生一个初始结构神经网络，神经网络 如图1所示，式(6)保证增加一个隐节点后神 的隐节点数大于等于1，输入输出节点数由具体任 经网络至少训练s步.式(7)用本次神经网络训练最 务确定， 后s步的平均误差（训练步长为t时）和上次增加一 2)适当训练神经网络（训练步数大于等于s), 个隐节点时（训练步长为。时）神经网络训练最后s 3)E≤e否.是，到7)；否，到4). 步的平均误差的比值来判断是否应该增加一个隐节 4)计算各隐节点输出之间的互信息，合并互信 点，式(7)采用s步的平均误差，不仅能够衡量此时 息接近的隐节点（由阈值B知决定），并由式(4)和式 (圳练步长为t时)神经网络训练误差曲线的平坦程 (5)对合并后的新隐节点赋连接权值. 度，而且能够避免误差曲线的震荡带来的干扰.当满 5)4)中是否有合并隐节点的操作发生，是，转 足隐节点增加准则时，本文采用随机分裂现有隐层 到2)；否转到6)， 节点的方式增加神经网络隐节点数，从现有隐节点 6)由式(7)判断是否应该增加隐节点，如否，转 中随机选择一个隐节点h,将其裂变成2个隐节点 到2)：如是，则从现有隐节点中随机选择一个隐节 h。和h. 点分裂成2个隐节点，并由式(8)和(9)分别给2个 则新隐节点h,和h。的连接权值为 新的隐节点赋连接权值，转到2)· 06=(1+a)0., (8) 7)结束. 0。=-a0a (9) 该算法建立在对前馈神经网络学习过程正确认 式中：α为变异系数，是一个很小的随机数 识的基础之上，将隐节点合并和分裂之后的网络权 值调整与网络对学习样本的学习有效的结合，不仅 能够减少神经网络对学习样本的学习次数，提高神
第4期 张昭昭，等：自适应前馈神经网络结构优化设计 ·315 经网络的学习速度，而且能够避免神经网络对学习 出的神经网络不仅具有紧凑的结构而且能够保证神 样本的过学习.隐节点分裂操作中，分裂后的新隐节 经网络的逼近性能.从图3和图5的非线性函数逼近 点不仅继承了父节点信息处理的能力，而且引人变 效果的误差曲面图中可以看出，对不同复杂度的非线 异系数，有助于跳出局部最优神经网络结构. 性函数的检测误差分别小于0.04和0.1，表明该算法 设计的神经网络具有较强的泛化性能 4仿真实验 本文所提算法能够根据学习对象自适应调整前 馈网络隐含层神经元个数，优化神经网络结构，得到 与学习对象相适应的神经网络结构，提高了前馈神 经网络的性能.为验证该算法的有效性与稳定性，选 取2个复杂度不同的非线性函数进行逼近12： 0.5 0.5 0.5 y=+sin(3x2)+2xsin(4x1)+sin(4xz), T. -0.50 y=1.9(1.35+esin(13(x1-0.6)2)esin(7x)). 图3对y1逼近的误差曲面 (10) Fig.3 The approximation error surface of y, 式中：x1和x2各随机产生30个，服从区间[-1,1] ·期望输中 内均匀分布.训练样本对为900个，测试样本为-1： 0.1:1,即测试样本对为441个.式(10)中，x1和x2 各随机产生30个，服从区间[0,1]内均匀分布，训 练样本对为900个，测试样本对为0：0.05：1，测试样 本对为441个.随机产生一个隐节点数大于等于1 0.5 的初始网络结构对学习样本进行训练，网络学习算 0 0.20.40.60.8 -1 法采用带动量项BP算法，仿真时，选取k=4,学习 图4对y2的逼近效果 率为0.0002，动量项系数为0.2，隐节点合并互信息 Fig.4 The approximation effect of y, 阈值BM=0.95,隐节点增加均方差阈值△r=0.01, 0.3 网络训练步数t=20,s=5. 0.2 神经网络对非线性函数y1的逼近效果如图2 0. 所示，误差曲面如图3所示.对非线性函数y2的逼 近效果如图4所示，误差曲面如图5所示.图6给出 了对非线性函数y1逼近时不同的初始神经网络结 构在逼近过程中神经网络隐节点数变化情况图7 0.5 0 0.20.40.60.8 给出了对非线性函数y2逼近时不同的初始神经网 络结构在逼近过程中神经网络隐节点数变化情况 图5对y2逼近的误差曲面 Fig.5 The approximation error surface of y2 *期蚂输出 30 不 …神经网络初始结构：2-1-1 25 一神经网路初始结构：2-26-1 …神经网络初始结构：2-13-1 20 15 nir.. 0.5 0 10.500.5 10 图2对y1的逼近效果 3456*10 Fig.2 The approximation effect of y 训练参数 从图2和图4可以看出，训练后的神经网络能够 图6逼近y,时神经网络隐节点变化动态 很好地逼近上述2种复杂度不同的非线性函数，神经 Fig.6 The hidden node numbers during the process of 网络输出值与函数期望值基本重合，因此该算法设计 approximation y
·316 智能系统学报 第6卷 5 40 结论 --神经网络初始结构：2-2-1 35 一神经网络初始结构：2-37-1 针对多数前馈神经网络结构设计算法采取贪婪 30 …神经网络初始结构：2-9-1 搜索策略而易陷人局部最优结构的问题，提出了一 25 种自适应前馈神经网络结构设计算法.该算法能够 20H 在神经网络学习过程中综合考虑神经网络对当前任 10 务的学习能力和复杂程度，以互信息为准则合并和 分裂隐节点，自适应调整神经网络结构.通过对2个 7×10 复杂度不同的非线性函数逼近仿真实验，得到如下 2 345 6 训练参数 结论 1)AMSA算法不依赖于网络的初始结构，能够 图7逼近y2时神经网络隐节点变化动态 Fig.7 The hidden node numbers during the process of 根据实际对象及当前神经网络的学习能力，自适应 approximation y 获得适合于实际对象的前馈神经网络， 从图6可以看出，用初始结构分别为2-1-1、2 2)AMSA算法建立在对神经网络学习过程正确 13-1、2-26-1的神经网络逼近y1,训练结束时，算法 理解的基础之上，避免了神经网络结构改变时对神 所得到的神经网络的结构分别为2-14-1、2-15-1、2- 经网络参数的重新调整，减少了对学习样本的学习 15-1.从图7可以看出，用初始结构分别为2-2-1、2- 次数，提高了神经网络的学习速度，增强了神经网络 9-1、2-37-1的神经网络逼近y2时，算法最终所得到 的泛化性能， 的神经网络结构分别是2-17-1、2-16-1、2-18-1.表明 参考文献： 该算法对于不同的初始结构的神经网络，均能稳定 [1]邱健斌，王劭伯.进化神经网络PD控制器的研究与应 收敛于适合于该学习对象的网络结构， 用[J].智能系统学报，2008,3(3)：245249. 表1列举了本文所提AMSA算法同不同典型的 QIU Jianbin,WANG Shaobo.An improved PID controller 神经网络结构设计算法的比较结果，分别是删减算 based on an evolutionary neural network[J].CAAI Trans- 法(optimal brain surgeon,0BS)1、增长算法(cas actions on Intelligent Systems,2008,3(3):245-249. cade correlation,CC)[o)和增长删减算法(adaptive [2]张昭昭，乔俊飞，韩红桂.一种基于神经网络复杂度的修 merging and growing algorithm,AMGA)[5j,它们都是 剪算法[J].控制与决策，2010,25(6)：178-182 采用贪婪搜索策略设计神经网络结构的算法，上述 ZHANG Zhaozhao,QIAO Junfei,HAN Honggui.A pruning 各个算法，在相同的条件下对同样的问题运行20 algorithm based on neural complexity[J].Control and Deci- 次，对所得最终神经网络隐层节点数取平均值.从表 si0n,2010,25(6):178-182. [3]乔俊飞，张颖.一种多层前馈神经网络的快速修剪算法 1可看出，AMSA算法设计出的最终神经网络，不仅结 [J].智能系统学报，2008,3(2)：173-176. 构紧凑，而且神经网络的泛化能力较强。 QIAO Junfei,ZHANG Ying.Fast unit pruning algorithm for 表1几种典型算法性能比较 multilayer feedforward network design[J].CAAI Transac- Table 1 The performance comparison of several typical al- tions on Intelligent Systems,2008,3(2):173-176. gorithms [4]MA L,KHORASANI K.Constructive feedforward neural 期望 检测 最终网络结构 函数 算法 networks using Hermite poly nomial activation function[J]. 误差 误差 (隐层节点数) IEEE Transactions on Neural Network,2005,16(4):821- OBS 0.04 0.0489 16.13 833. CC 0.040.0481 16.10 [5]ISLAM Monirual,SATTAR A,AMIN F,YAO Xin,MU- 1 AMGA0.040.0472 15.18 RASE K.A new adaptive merging and growing algorithm for AMSA 0.04 0.0435 14.67 designing artificial neural networks[J].IEEE Transactions on Systems,Man,and Cybernetics-Part B:Cybernetics, OBS 0.1 0.1990 18.92 2009,39(3):705-722. CC 0.1 0.1874 18.34 [6]吴晓刚，王旭东，余腾伟.发动机输出转矩的改进B即神 AMGA 0.1 0.1582 17.06 经网络估计[J].电机与控制学报，2010,14(3)：104 AMSA 0.10.1507 16.73 108 WU Xiaogang,WANG Xudong,YU Tengwei.Estimation of
第4期 张昭昭，等：自适应前馈神经网络结构优化设计 .317. engine output torque based on improved BP neural network [13]HASSIBI B,STORK D,WOLFF G,WATANABE T.Op- [J].Electric Machines and Control,2010,14(3):104- timal brain surgeon:extensions and performance compari- 108. sons C]//Adavances in Neural Information Processing [7]宋勇，李贻斌，李彩虹.递归神经网络的进化机器人路径 Systems 6.San Mateo,USA:Morgan Kaufman,1994: 规划方法[J].哈尔滨工程大学学报，2009,30(8)： 263-270. 898-902 [14]FAHLMAN S E,LEBIERE C.The cascade correlation SONG Yong,LI Yibin,LI Caihong.Path planning based on leaming architecture[C]//Advances in Neural Informa- a recurrent neural network for an evolutionary robot[J]. tion Processing Systems 2.San Mateo,USA:Morgan Journal of Harbin Engineering University,2009,30(8): Kaufman,1990:524-532. 898-902. 作者简介： [8]陆瑶，张杰，冯英浚.非线性动态系统的模糊神经网络自 张昭昭，男，1973年生，博士研究 适应H鲁棒控制[J].哈尔滨工程大学学报，2009,30 生，主要研究方向为智能系统与智能信 (9):1082-1086. 息处理、神经网络结构设计与优化 LU Yao,ZHANG Jie,FENG Yingjun.H robust adaptive control of a fuzzy neural network based nonlinear dynamic system[J].Joumal of Harbin Engineering University, 2009,30(9):1082-1086. [9]罗耀华，从静.基于BP神经网络的三相逆变器故障诊 乔俊飞，男，1968年生，教授，博士 断研究[J].应用科技，2010,37(6)：5660. 生导师，主要研究方向为复杂过程建模 LUO Yaohua,CONG Jing.Fault diagnosis of three-phase 与控制、计算智能与智能优化控制，发 inverter using BP neural network[J].Applied Science and 表学术论文100余篇，其中被SC1、EI检 Technolog,2010,37(6):56-60. 索60余篇. [10]KRASKOV A,STOGBAUER H,GRASSBERGER P.Es- timating mutual information[J].Phys Rev E,Sta Plasmas Fluids Relat Interdiscip Top,2004,69(0661138):1-16. [11]HONG Jie,HU Baogang.Two-phase construction of multi- 杨刚，男，1983年生，博士研究生， layer perceptions using information theory [J].IEEE 主要研究方向为神经计算与智能优化 Transactions on Neural Network,2009,20(4):542-550. 控制。 [12]LIU Yinyin,STARZYK J A,ZHU Zhen.Optimized ap- proximation algorithm in neural networks without overfitting J].IEEE Transactions on Neural Network,2008,19 (6):983-995