第13卷第2期 智能系统学报 Vol.13 No.2 2018年4月 CAAI Transactions on Intelligent Systems Apr.2018 D0:10.11992/tis.201608009 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20170407.1758.014html 基于相对贡献指标的自组织RBF神经网络的设计 乔俊飞2，安茹2，韩红桂2 (1.北京工业大学电子信息与控制工程学院，北京100124；2.计算智能与智能系统北京市重点实验室，北京 100124) 摘要：针对RBF(radial basis function)神经网络的结构和参数设计问题，本文提出了一种基于相对贡献指标的 自组织RBF神经网络的设计方法。首先，提出一种基于相对贡献指标(relative contribution,RC)的网络结构设 计方法，利用隐含层输出对网铬输出的相对贡献来判断是否增加或删诚RBF网络相应的隐含层节点，并且对 神经网络结构调整过程的收敛性进行证明。其次，采用改进的LM(Levenberg-Marquardt algorithm)算法对调整 后的网络参数进行更新，使网络具有较少的训练时间和较快的收敛速度。最后，对提出的设计方法进行非线性 函数仿真和污水处理出水参数氨氮建模，仿真结果表明，RBF神经网络能够根据研究对象自适应地动态调整 RBF结构和参数，具有较好的逼近能力和更高的预测精度。 关键词：RBF神经网络：相对贡献指标：改进的LM算法：结构设计；出水氨氨：收敛速度；预测精度 中图分类号：TP183文献标志码：A文章编号：1673-4785(2018)02-0159-09 中文引用格式：乔俊飞，安茹，韩红桂.基于相对贡献指标的自组织RBF神经网络的设计.智能系统学报，2018.132)：159-167. 英文引用格式：QIAO Junfei,,ANRu,HAN Honggui.Design of self-organizing RBF neural network based on relative contribution index Jl.CAAI transactions on intelligent systems,2018,13(2):159-167. Design of self-organizing RBF neural network based on relative contribution index QIAO Junfei,AN Ru'2,HAN Honggui2 (1.College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China;2.Beijing Key Laboratory of Computation Intelligence and Intelligence System,Beijing 100124,China) Abstract:A design method for a self-organizing RBF Neural Network based on the Relative Contribution index is pro- posed with the aim of performing the structural design and parameter optimization of the Radial Basis Function(RBF) neural network.First,a self-organizing RBF network design method based on the Relative Contribution(RC)index is proposed.The relative contribution of the output of the hidden layer to the network output was used in order to assess whether a node of the hidden layer corresponding to the RBF network was inserted or pruned.Additionally,the conver- gence of the adjustment process of the neural structure was proven.Secondly,the adjusted network parameters were up- dated by the improved Levenberg-Marquardt(LM)algorithm in order to reduce the training time and increase the con- vergence speed of the network.Finally,the proposed algorithm was used in the simulation of the nonlinear function,and the modeling of the ammonia and nitrogen sewage effluent parameters.The simulation results revealed that the struc- ture and parameters of the RBF neural network could be adjusted adaptively and dynamically according to the object un- der investigation,and that they had excellent approximation ability and higher prediction accuracy. Keywords:RBF neural network;relative contribution index;improved LM algorithm;structure design;ammonia and nitrogen effluent parameters;convergence speed;prediction accuracy 收稿日期：2016-08-29.网络出版日期：2017-04-07 基金项目：国家自然科学基金重点项目(61533002,61225016)： 径向基函数(RBF)神经网络由于其准确的局 北京市教育委员会科研计划项目(km201410005002): 高等学校博士学科点基金项目(20131103110016). 部感知特性和强大的非线性逼近能力，已被广泛 通信作者：乔俊飞.E-mail:anru@emails..bjut.edu..cn. 应用于时间序列预测、非线性系统在线建模与控
DOI: 10.11992/tis.201608009 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20170407.1758.014.html 基于相对贡献指标的自组织 RBF 神经网络的设计 乔俊飞1,2，安茹1,2，韩红桂1,2 （1. 北京工业大学 电子信息与控制工程学院，北京 100124; 2. 计算智能与智能系统北京市重点实验室，北京 100124） 摘 要：针对 RBF(radial basis function) 神经网络的结构和参数设计问题，本文提出了一种基于相对贡献指标的 自组织 RBF 神经网络的设计方法。首先，提出一种基于相对贡献指标 (relative contribution，RC) 的网络结构设 计方法，利用隐含层输出对网络输出的相对贡献来判断是否增加或删减 RBF 网络相应的隐含层节点，并且对 神经网络结构调整过程的收敛性进行证明。其次，采用改进的 LM (Levenberg-Marquardt algorithm) 算法对调整 后的网络参数进行更新，使网络具有较少的训练时间和较快的收敛速度。最后，对提出的设计方法进行非线性 函数仿真和污水处理出水参数氨氮建模，仿真结果表明，RBF 神经网络能够根据研究对象自适应地动态调整 RBF 结构和参数，具有较好的逼近能力和更高的预测精度。 关键词：RBF 神经网络；相对贡献指标；改进的 LM 算法；结构设计；出水氨氮；收敛速度；预测精度 中图分类号：TP183 文献标志码：A 文章编号：1673−4785(2018)02−0159−09 中文引用格式：乔俊飞, 安茹, 韩红桂. 基于相对贡献指标的自组织 RBF 神经网络的设计 [J]. 智能系统学报, 2018, 13(2): 159–167. 英文引用格式：QIAO Junfei, AN Ru, HAN Honggui. Design of self-organizing RBF neural network based on relative contribution index[J]. CAAI transactions on intelligent systems, 2018, 13(2): 159–167. Design of self-organizing RBF neural network based on relative contribution index QIAO Junfei1,2 ，AN Ru1,2 ，HAN Honggui1,2 (1. College of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124, China; 2. Beijing Key Laboratory of Computation Intelligence and Intelligence System, Beijing 100124, China) Abstract: A design method for a self-organizing RBF Neural Network based on the Relative Contribution index is proposed with the aim of performing the structural design and parameter optimization of the Radial Basis Function (RBF) neural network. First, a self-organizing RBF network design method based on the Relative Contribution (RC) index is proposed. The relative contribution of the output of the hidden layer to the network output was used in order to assess whether a node of the hidden layer corresponding to the RBF network was inserted or pruned. Additionally, the convergence of the adjustment process of the neural structure was proven. Secondly, the adjusted network parameters were updated by the improved Levenberg-Marquardt (LM) algorithm in order to reduce the training time and increase the convergence speed of the network. Finally, the proposed algorithm was used in the simulation of the nonlinear function, and the modeling of the ammonia and nitrogen sewage effluent parameters. The simulation results revealed that the structure and parameters of the RBF neural network could be adjusted adaptively and dynamically according to the object under investigation, and that they had excellent approximation ability and higher prediction accuracy. Keywords: RBF neural network; relative contribution index; improved LM algorithm; structure design; ammonia and nitrogen effluent parameters; convergence speed; prediction accuracy 径向基函数 (RBF) 神经网络由于其准确的局 部感知特性和强大的非线性逼近能力，已被广泛 应用于时间序列预测、非线性系统在线建模与控 收稿日期：2016−08−29. 网络出版日期：2017−04−07. 基金项目：国家自然科学基金重点项目 (61533002，61225016)； 北京市教育委员会科研计划项目 (km201410005002)； 高等学校博士学科点基金项目 (20131103110016). 通信作者：乔俊飞. E-mail：anru@emails.bjut.edu.cn.. 第 13 卷第 2 期 智 能 系 统 学 报 Vol.13 No.2 2018 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2018
·160· 智能系统学报 第13卷 制等领域。神经网络的研究和应用对于复杂工 组织机制只能增加隐节点不能删减，而且对于多 业过程建模提供了新的方法；与此同时，神经网 输人的输入数据如何判断中心不能很好地确定。 络的设计成为非线性动态过程建模的重点和难 要想使RBF网络具有更好的非线性建模性能，完 点。RBF神经网络的性能严重依赖于网络的结构 成结构设计之后，寻找快速的参数学习算法对网 和参数，包括隐含层节点的数量、中心和宽度、隐 络的性能也是至关重要的。常见的参数训练算法 含层到输出层的连接权值等参数。事实上，如 有BP算法、高斯-牛顿算法和LM算法等。其 果网络结构越大，系统动力学错综复杂，表现良 中，最常用的是BP算法，但是该算法由于搜索空 好的性能，但是会增大计算量和计算时间，容易 间限制容易陷入局部极小，收敛速度慢等。近年 导致“过拟合”；反之，规模过小，内部动力学过于 来，具有快速收敛速度和强有力搜索空间的二阶 简单，学习能力不足，不能高精度地逼近非线性 LM算法被引入到训练RBF网络，取得了很好的 映射，而且网络的参数优化算法能够保证网络达 效果，获得了广泛应用21)。但是该算法由于雅 到较好的性能，能够较快收敛，因此，RBF网络的 可比矩阵的计算会增加计算量和存储空间，影响 结构和参数学习算法研究对于实际应用和理论研 算法的训练速度，因此，本文采用一种改进的LM 究具有重要的实际意义。 算法对参数进行训练。 为使RBF神经网络能够根据实际被控过程 针对RBF网络的结构和参数设计问题，首 自适应的动态调整，近年来不少学者进行研究。 先，利用隐含层和输出层之间的回归关系，采用 Platt首先提出资源分配网络算法(resource alloc- 相对贡献指标结合训练误差信息处理能力，最大 ation network,RAN),根据实际对象能够动态增加 程度地挖掘隐含层和输出层之间的隐含信息，解 RBF网络隐含层节点，但是该算法只增加隐节点 决了RBF网络结构动态调整的问题；同时，采用 不能删减，对于处理复杂问题时网络结构会出现 改进的LM算法，将整个雅可比矩阵的计算转化 冗余。在此基础上，为解决这一问题，L山等提 为向量相乘的形式，避免整个雅可比矩阵的存 出一种最小资源分配算法(minimal resource alloca- 储，加速算法的训练时间和收敛速度：最终保证 tion network,MRAN),该算法能够在学习过程中 RBF网络能够根据实际处理对象的动态过程快速 增加和删减神经元动态调整去适应被控过程，该 准确地自适应调整结构和参数，达到满意的非线 方法受到广泛应用，但是却忽略了神经元结构调 性逼近能力和预测精度，验证了算法的有效性。 整之后的参数学习，导致网络收敛速度较慢。 Huang6提出一种在线调整的RBF结构设计方 1RBF网络 法；随后出现广义增长修剪算法(generalized grow- ing and pruning RBF,GGAP-RBF),根据隐含层神 RBF网络是一个包括输入层、隐含层和输出 经元的重要性判断是否增删，但仅仅考虑对新增 层的3层前馈神经网络，其拓扑结构如图1所示。 加或者删减的神经元进行参数调整，有效提高算 输人层 隐含层 输出层 法的运算速度，但是网络初始值的设定需要依据 市(0 W(0) 整体样本数据，因而不适合在线学习。Gonzales 采用进化计算的思想，利用其良好的鲁棒性和全 局搜索能力对网络的结构和参数进行调整学习 W() () 取得较好的效果。文献[8-9]提出用粒子群 (particle swarm optimization,.PSO)算法自动调整每 Wi(r) 个RBF网络的中心，宽度和权值，能够获得不错 的建模性能，但是该算法由于训练过程中需要全 局搜索，需要较长的训练时间而且算法计算复 杂，不利于实时在线建模。Lian1o提出自组织 图1RBF网络拓扑结构图 RBF网络(self-organizing RBF,SORBF),设计仅仅 Fig.1 The topology structure of RBF network 采用训练误差作为结构调整判断条件，没有考虑 图1中网络的输入向量为 隐含层和输出层之间的相关性以及网络调整后参 数设置问题，训练时间较长。Yu等)提出基于 x()=[B(0x(0)…xw(0], M为输入向量的维数，隐含层激活函数采用高斯 误差修正的思想，每次采用误差最大的点对应的 输入数据作为新增加神经元的中心，采用改进的 函数，隐含层第j个神经元的输出表达式如式（①）所示。 LM算法优化所有隐节点的参数，训练时间快，能 0-c, Φ，(t)=exp(- (1) 够采用精简的结构去逼近非线性函数，但是该 r2(t)
制等领域[1]。神经网络的研究和应用对于复杂工 业过程建模提供了新的方法；与此同时，神经网 络的设计成为非线性动态过程建模的重点和难 点。RBF 神经网络的性能严重依赖于网络的结构 和参数，包括隐含层节点的数量、中心和宽度、隐 含层到输出层的连接权值等参数[2]。事实上，如 果网络结构越大，系统动力学错综复杂，表现良 好的性能，但是会增大计算量和计算时间，容易 导致“过拟合”；反之，规模过小，内部动力学过于 简单，学习能力不足，不能高精度地逼近非线性 映射，而且网络的参数优化算法能够保证网络达 到较好的性能，能够较快收敛，因此，RBF 网络的 结构和参数学习算法研究对于实际应用和理论研 究具有重要的实际意义。 为使 RBF 神经网络能够根据实际被控过程 自适应的动态调整，近年来不少学者进行研究。 Platt[3] 首先提出资源分配网络算法 (resource allocation network，RAN)，根据实际对象能够动态增加 RBF 网络隐含层节点，但是该算法只增加隐节点 不能删减，对于处理复杂问题时网络结构会出现 冗余。在此基础上，为解决这一问题，Lu 等 [4] 提 出一种最小资源分配算法 (minimal resource allocation network, MRAN)，该算法能够在学习过程中 增加和删减神经元动态调整去适应被控过程，该 方法受到广泛应用，但是却忽略了神经元结构调 整之后的参数学习，导致网络收敛速度较慢[5]。 Huang[6] 提出一种在线调整的 RBF 结构设计方 法；随后出现广义增长修剪算法 (generalized growing and pruning RBF，GGAP-RBF)，根据隐含层神 经元的重要性判断是否增删，但仅仅考虑对新增 加或者删减的神经元进行参数调整，有效提高算 法的运算速度，但是网络初始值的设定需要依据 整体样本数据，因而不适合在线学习。Gonzales[7] 采用进化计算的思想，利用其良好的鲁棒性和全 局搜索能力对网络的结构和参数进行调整学习， 取得较好的效果。文 献 [ 8 - 9 ] 提出用粒子 群 (particle swarm optimization，PSO) 算法自动调整每 个 RBF 网络的中心，宽度和权值，能够获得不错 的建模性能，但是该算法由于训练过程中需要全 局搜索，需要较长的训练时间而且算法计算复 杂，不利于实时在线建模。Lian[10] 提出自组织 RBF 网络 (self-organizing RBF, SORBF)，设计仅仅 采用训练误差作为结构调整判断条件，没有考虑 隐含层和输出层之间的相关性以及网络调整后参 数设置问题，训练时间较长。Yu 等 [11] 提出基于 误差修正的思想，每次采用误差最大的点对应的 输入数据作为新增加神经元的中心，采用改进的 LM 算法优化所有隐节点的参数，训练时间快，能 够采用精简的结构去逼近非线性函数，但是该自 组织机制只能增加隐节点不能删减，而且对于多 输入的输入数据如何判断中心不能很好地确定。 要想使 RBF 网络具有更好的非线性建模性能，完 成结构设计之后，寻找快速的参数学习算法对网 络的性能也是至关重要的。常见的参数训练算法 有 BP 算法、高斯–牛顿算法和 LM 算法等。其 中，最常用的是 BP 算法，但是该算法由于搜索空 间限制容易陷入局部极小，收敛速度慢等。近年 来，具有快速收敛速度和强有力搜索空间的二阶 LM 算法被引入到训练 RBF 网络，取得了很好的 效果，获得了广泛应用[12-13]。但是该算法由于雅 可比矩阵的计算会增加计算量和存储空间，影响 算法的训练速度，因此，本文采用一种改进的 LM 算法对参数进行训练。 针对 RBF 网络的结构和参数设计问题，首 先，利用隐含层和输出层之间的回归关系，采用 相对贡献指标结合训练误差信息处理能力，最大 程度地挖掘隐含层和输出层之间的隐含信息，解 决了 RBF 网络结构动态调整的问题；同时，采用 改进的 LM 算法，将整个雅可比矩阵的计算转化 为向量相乘的形式，避免整个雅可比矩阵的存 储，加速算法的训练时间和收敛速度；最终保证 RBF 网络能够根据实际处理对象的动态过程快速 准确地自适应调整结构和参数，达到满意的非线 性逼近能力和预测精度，验证了算法的有效性。 1 RBF 网络 RBF 网络是一个包括输入层、隐含层和输出 层的 3 层前馈神经网络，其拓扑结构如图 1 所示。 䒿ڑᅮ 䮼ॗᅮ 䒿ܦᅮ x1 (t) W11(t) W21(t) W31(t) WN1 (t) Φ1 (t) Φ2 (t) Φ3 (t) y1 (t) ΦH(t) x2 (t) xm(t) 图 1 RBF 网络拓扑结构图 Fig. 1 The topology structure of RBF network 图 1 中网络的输入向量为 x(t) = [x1 (t) x2 (t) ··· xM (t) ] T ， M 为输入向量的维数，隐含层激活函数采用高斯 函数，隐含层第j个神经元的输出表达式如式(1)所示。 Φj(t) = exp(− x(t)− cj(t) 2 σ 2 j (t) ) (1) ·160· 智 能 系 统 学 报 第 13 卷
第2期 乔俊飞，等：基于相对贡献指标的自组织RBF神经网络的设计 ·161· 式中：中)为隐含层第j个神经元的输出；I为欧 法迭代1次的误差比-n大时，代表此时网络对于 几里得范数；c0=[c,0c0…cm,j=1,2. 动态过程的信息处理能力不足，需要增加新的隐 H为径向基函数的中心向量，H为隐含层神经元 节点，分裂当前隐含层神经元和输出神经元之间 的个数，隐节点中心离输入越近，输出值越大； 具有最大相对贡献的隐含层神经元j,此神经元表 σ)为第j个基函数的扩展宽度，主要影响基函数 示和输出神经元之间具有最大的贡献度，即满足 的分布的密集程度。输出层神经元的输出为 式(9)： H E(t)-E(t-n)>0 0=立，0 (2) j=arg max(RC(j)) (9) 1或j客H 式中：w1为第j个隐含层神经元与输出层的连接 式中：E()和E(t-n)分别为迭代步数t和t-n时的 权值向量，y()为输出层神经元的输出。 训练误差，n是样本间隔，j是隐含层神经元和输 出神经元相对贡献RC最大的神经元，H是在1时 2自组织RBF网络的设计 刻存在的隐含层神经元数量。对新增加的神经元 参数设置为 2.1相对贡献指标 1 网络结构调整的设计思想是采用回归的思 Ce()=(e()+x()) (10) 想，分别对隐含层和输出层矩阵进行成分提取为 0ew(t)=0(t) (11) 4,和，要求提取的成分对于原变量信息具有最大 waew(0=ej(t)(Φew(t) (12) 的解释能力，而且具有最大的相关性，得到隐含 式中：c)、o()分别代表第j个神经元分裂前的 层神经元和输出层神经元的相对贡献指标，用来 中心和宽度；cnew、Oew代表新增加神经元的中心 表示此神经元对输出神经元的贡献程度；同时结 和宽度；wew为新增加神经元的输出连接权值； 合网络的误差信息处理能力，作为判断结构是否 e()为t时刻神经网络的误差；中e()为新增加神 调整的依据。 经元的隐含层输出值。 相对贡献指标：RBF神经网络隐节点j在样 2.2.2神经元删减机制 本数为P个的相对贡献指标定义为 如果当前第k个隐含层神经元和输出层的 Σ(Yβ，) RC小于设定的阈值&，说明此神经元对输出的相 RC()= (3) H 对贡献较小，可以认为此神经元对输出的贡献很 官rB刷 小甚至可以忽略，所以删掉第k个神经元，则满足： 式中：Y=(Y1,Y2,…,Y)代表提取的成分1的权 min(RC())<s 重向量：B为成分的负荷量；H为隐含层节点的数量；r k=arg min(RC(j)) (13) 15jH 为成分的数量，每次提取的成分按照式(4(8)计算。 式中：k是隐含层神经元和输出神经元相对贡献 t:=Φ-1Yi,0≤i≤ (4) 最小的神经元，ε为设定的删减阈值。 Φ-1=t+Φ (5) c()=cx() (14) Vi=yi-li (6) J-(0=0(0 (15) yi=vB+yi (7) Φe(t) A-a=的 w-1()=w-(①)+ Φ：t (8) 中1回0 (16) 式中：c)和σ1()分别为与隐含层神经元i欧式 式中：t和y,是第i对成分的得分向量；a,和B,为 距离最近的隐含层神经元的中心、宽度；c(t)和 成分的负荷量：中，和y:为第i次迭代产生的残差 σ()分别为第k个隐含层神经元的中心和宽度； 矩阵，不断迭代直到得到个成分，并且 w-)和w,)分别为删除第k个神经元之前与隐 =rank(中o):中o是隐含层矩阵和输出矩阵对P个 含层神经元k欧式距离最近的隐含层神经元的连 样本的标准化矩阵。另外要求提取的成分具有最 接权值和删除之后此神经元的连接权值；中()和 大的相关性，通过拉格朗日法转化为求权重向量 1)分别第k个隐含层神经元的输出值和为删 Y:和4。进而求出相对贡献指标。 除此神经元之前，与隐含层神经元欧式距离最 2.2结构调整机制 近的隐含层神经元的输出值。 2.2.1神经元增加机制 2.3改进的LM算法 结合上述相对贡献指标RC和网络误差信息 采用改进的LM算法(improved LM algorithm, 处理能力作为神经元增加机制的判定条件，当算 ILM)去优化RBF网络的中心、宽度和权值。不
cj(t) = [ cj1 (t) cj2 (t) ··· cjH (t) ]T j = 1,2,··· 式中：Φj (t) 为隐含层第 j 个神经元的输出；‖·‖为欧 几里得范数； ， ； H 为径向基函数的中心向量，H 为隐含层神经元 的个数，隐节点中心离输入越近，输出值越大； σj (t) 为第 j 个基函数的扩展宽度，主要影响基函数 的分布的密集程度[14]。输出层神经元的输出为 y1(t) = ∑H j=1 wj1Φj(t) (2) 式中：wi1 为第 j 个隐含层神经元与输出层的连接 权值向量，y1 (t) 为输出层神经元的输出。 2 自组织 RBF 网络的设计 2.1 相对贡献指标 网络结构调整的设计思想是采用回归的思 想，分别对隐含层和输出层矩阵进行成分提取为 ti 和 vi，要求提取的成分对于原变量信息具有最大 的解释能力，而且具有最大的相关性，得到隐含 层神经元和输出层神经元的相对贡献指标，用来 表示此神经元对输出神经元的贡献程度；同时结 合网络的误差信息处理能力，作为判断结构是否 调整的依据。 相对贡献指标： RBF 神经网络隐节点 j 在样 本数为 P 个的相对贡献指标定义为 RC(j) = ∑r i=1 (Υi jβi) ∑H h=1 ( ∑r i=1 Υihβi) (3) Υi = (Υi1 ,Υi2 式中： ,···,ΥiH) 代表提取的成分 ti 的权 重向量；βi 为成分的负荷量；H 为隐含层节点的数量；r 为成分的数量，每次提取的成分按照式 (4)~(8) 计算。 ti = Φi−1Υi ,0 ⩽ i ⩽ r (4) Φi−1 = tiαi T +Φi (5) vi = yi−1ui (6) yi−1 = viβi T + yi (7) βi = yi T ti ∥ti∥ 2 αi = Φi T ti ∥ti∥ 2 (8) 式中：ti 和 vi 是第 i 对成分的得分向量；αi 和 βi 为 成分的负荷量；Φi 和 yi 为第 i 次迭代产生的残差 矩阵，不断迭代直到得 到 r 个成分 , 并 且 r=rank(Φ0 )；Φ0 是隐含层矩阵和输出矩阵对 P 个 样本的标准化矩阵。另外要求提取的成分具有最 大的相关性，通过拉格朗日法转化为求权重向量 ϒi 和 ui。进而求出相对贡献指标。 2.2 结构调整机制 2.2.1 神经元增加机制 结合上述相对贡献指标 RC 和网络误差信息 处理能力作为神经元增加机制的判定条件，当算 法迭代 t 次的误差比 t–n 大时，代表此时网络对于 动态过程的信息处理能力不足，需要增加新的隐 节点，分裂当前隐含层神经元和输出神经元之间 具有最大相对贡献的隐含层神经元 j，此神经元表 示和输出神经元之间具有最大的贡献度，即满足 式 (9)： E(t)− E (t−n) > 0 j = arg max 1⩽j⩽H (RC(j)) (9) 式中：E(t) 和 E(t–n) 分别为迭代步数 t 和 t–n 时的 训练误差，n 是样本间隔，j 是隐含层神经元和输 出神经元相对贡献 RC 最大的神经元，H 是在 t 时 刻存在的隐含层神经元数量。对新增加的神经元 参数设置为 cnew(t) = 1 2 ( cj(t)+ x(t) ) (10) σnew(t) = σj(t) (11) wnew(t) = ej(t)(Φnew(t))−1 (12) 式中：cj (t)、σj (t) 分别代表第 j 个神经元分裂前的 中心和宽度；cnew、σnew 代表新增加神经元的中心 和宽度；wnew 为新增加神经元的输出连接权值； ej (t) 为 t 时刻神经网络的误差；Φnew(t) 为新增加神 经元的隐含层输出值。 2.2.2 神经元删减机制 如果当前第 k 个隐含层神经元和输出层的 RC 小于设定的阈值 ε，说明此神经元对输出的相 对贡献较小，可以认为此神经元对输出的贡献很 小甚至可以忽略，所以删掉第 k 个神经元，则满足： min(RC(j)) < ε k = arg min 1⩽j⩽H (RC(j)) (13) 式中：k 是隐含层神经元和输出神经元相对贡献 最小的神经元，ε 为设定的删减阈值。 c ′ i−1 (t) = ck(t) (14) σ ′ i−1 (t) = σk(t) (15) w ′′ i−1 (t) = w ′ i−1 (t)+ Φk(t) Φ′ i−1 (t) wk(t) (16) c ′ i−1 (t) σ ′ i−1 (t) w ′ i−1 (t) w ′′ i−1 (t) Φ′ i−1 (t) 式中： 和 分别为与隐含层神经元 i 欧式 距离最近的隐含层神经元的中心、宽度；ck (t) 和 σk (t) 分别为第 k 个隐含层神经元的中心和宽度； 和 分别为删除第 k 个神经元之前与隐 含层神经元 k 欧式距离最近的隐含层神经元的连 接权值和删除之后此神经元的连接权值；Φk (t) 和 分别第 k 个隐含层神经元的输出值和为删 除此神经元之前，与隐含层神经元 i 欧式距离最 近的隐含层神经元的输出值。 2.3 改进的 LM 算法 采用改进的 LM 算法 (improved LM algorithm, ILM) 去优化 RBF 网络的中心、宽度和权值。不 第 2 期 乔俊飞，等：基于相对贡献指标的自组织 RBF 神经网络的设计 ·161·
·162· 智能系统学报 第13卷 同于之前算法的矩阵运算方式，文中采用一种将 2(t+1)=2(d-(Q(d)+(t08() (17) 矩阵运算转化为向量相乘的方式，不需要存储整 式中：2()为更新规则包含参数向量，⊙()为梯度 个雅可比矩阵，这样避免整个雅可比矩阵的计 向量，Q(1)为拟海森矩阵，I是为了避免拟海森矩 算，适用于输人数量比较多。其中，拟海森矩阵 阵奇异设置的单位矩阵，根据文献[16]，自适应学 和梯度向量的计算通过子矩阵及其子向量叠加和 习率()被定义为 的方式来得到的。同时，在训练过程中算法引 (t)alle(t)l +(1-a)j(t)"e(t) (18) 入自适应学习率，这样能够加快网络的收敛速 式中：a为正实数，a∈(0,1)。参数向量2()包括 度，提高算法的预测精度。具体更新规则如式 更新网络的所有参数：连接权值w,中心向量c, (17)所示： 宽度向量σ。 2(t)=w(t)…m(t)…wa(tC11(t)…C1.(t)…Ch.P(t)o1(t)…Uh(t)…UH(t) (19) 拟海森矩阵Q()和梯度向量⊙()的计算分别 p()的计算公式分别为 是对应的子矩阵与子向量的累加求和得到的，计 qp(t)=jp(t)jp(t) (22) 算公式为 p(t)=jp(t)'ep(t) (23) 00=∑g0.p=1,2,P (20) 第p个样本的训练误差定义为 ep(t)=yp(t)-0p(t) (24) e,0p=l,2p P 式中：P为样本数，e(t)为训练误差，yn()与 0(t)= 21) p=l 0()是分别为第p个输人样本对应的网络输出与 式中：P是样本总数，子矩阵q(1)与子向量 实际输出，雅克比矩阵行向量j)如式(25)所示： [dep(t)dep(t)dep(t) dep(t)dep(t)dep(t)dep(t) jn(0)= w,(①awH()0c1(0acH(⑥ac.(⑥"0ch:0)acHu(0 (25) 根据文献[17刀式(25)中误差对权值的导数， 经网络是否满足结构调整条件，满足条件则转向 误差对宽度的导数，误差对中心的导数计算公式分 3),否则转向6)。 别为 3)根据式(3)计算当前存在的隐含层神经元 ae2=-802=-paxp） 与网络输出计算相对贡献指标RC,如果第1步的 26) 8w OWk 训练RMSE比第-n步大时：e()-e(-n>0时，则转 3op o9n(x) 向4)；转向5)，判断是否满足删减条件，否则转向6)。 4)此时，说明神经网络信息处理能力不足， 2whiPn(xp)xpi-chil 27) 需要增加神经元，按照式(9)，选出相对贡献指标 最大的神经元进行分裂，根据式(10)(12)对新增 e、=一82一—云方82 0Cki 加神经元的设定初始化参数。 (28) 2 Wh.mPn((xp)(xpi-Chi】 5)如果满足删减条件(13)，则删除相对指标 σ1 贡献值小于阈值ε的隐含层神经元，删除与此神 雅可比矩阵行向量j()的计算由式(26)(28) 经元的连接权值、中心和宽度，并利用式 计算得到，对于所有输入模式，拟海森矩阵和梯 (14)(16)对其临近的神经元的相应参数进行调整。 度向量分别由式(20)和(21)得到，然后应用更新 6)利用改进的LM算法对神经网络的参数进 规则(17)对3个参数同时进行更新。采用上述LM 行更新。 算法去优化RBF网络参数，加快算法的收敛速度 7)满足停止条件或达到计算次数时停止计 并且提高网络的预测准确度。 算，否则转向2)（网络结构还需调整）进行重新训练。 RC-RBF网络的设计算法的步骤如下： 3收敛性分析 1)初始随机给定一个RBF神经网络，输入节 点与输出节点个数根据具体实验设置，隐节点个 网络是否收敛决定了算法的性能，因为网络 数随机设定，所有的参数随机产生在一个小范围内。 在结构调整之后对其收敛性往往不能保证，以下 2)对于输入样本x(),隐含层到输出层之间 给出结构调整阶段的收敛性证明，主要分为3部分：) 的权值、宽度、中心分别通过式(26)(28)进行调 隐节点增加阶段；2)隐节点删减阶段；3)隐节点 整，采用固定样本个数的在线形式，然后，判断神 数目不变的阶段
同于之前算法的矩阵运算方式，文中采用一种将 矩阵运算转化为向量相乘的方式，不需要存储整 个雅可比矩阵，这样避免整个雅可比矩阵的计 算，适用于输入数量比较多。其中，拟海森矩阵 和梯度向量的计算通过子矩阵及其子向量叠加和 的方式来得到的 [15]。同时，在训练过程中算法引 入自适应学习率，这样能够加快网络的收敛速 度，提高算法的预测精度。具体更新规则如式 (17) 所示： Ω(t+1) = Ω(t)−(Q(t)+λ(t)I) −1Θ(t) (17) 式中：Ω(t) 为更新规则包含参数向量，Θ(t) 为梯度 向量，Ԛ(t) 为拟海森矩阵，I 是为了避免拟海森矩 阵奇异设置的单位矩阵，根据文献 [16]，自适应学 习率 λ(t) 被定义为 λ(t) = α∥e (t)∥+(1−α) j(t) T e (t) (18) 式中：α 为正实数，α∈(0, 1)。参数向量 Ω(t) 包括 更新网络的所有参数：连接权值 w，中心向量 c， 宽度向量 σ。 Ω(t) = [ w1 (t)···wh (t)···wH (t) c11 (t)··· c1, j(t)··· ch,P(t) σ1(t)···σh(t)···σH(t) ] (19) 拟海森矩阵Ԛ(t) 和梯度向量 Θ(t) 的计算分别 是对应的子矩阵与子向量的累加求和得到的，计 算公式为 Q(t) = ∑P p=1 qp(t), p = 1,2···,P (20) Θ(t) = ∑P p=1 φp(t), p = 1,2···,P (21) 式中： P 是样本总数，子矩 阵 q p (t) 与子向 量 φp (t) 的计算公式分别为 qp(t) = jp(t) T jp(t) (22) φp (t) = jp(t) T ep (t) (23) 第 p 个样本的训练误差定义为 ep (t) = yp (t)− op (t) (24) 式中： P 为样本数， e p (t) 为训练误差， y p (t) 与 op (t) 是分别为第 p 个输入样本对应的网络输出与 实际输出，雅克比矩阵行向量 jp (t) 如式 (25) 所示： jp (t) = [ ∂ep (t) ∂w1 (t) ··· ∂ep (t) ∂wH (t) ∂ep (t) ∂σ1 (t) ··· ∂ep (t) ∂σH (t) ∂ep (t) ∂c1,1 (t) ··· ∂ep (t) ∂ch,i(t) ··· ∂ep (t) ∂cH,I (t) ] (25) 根据文献 [17] 式 (25) 中误差对权值的导数， 误差对宽度的导数，误差对中心的导数计算公式分 别为 ∂ep ∂wh = − ∂op ∂wh = −φh (xP) (26) ∂ep ∂σh = − ∂op,1 ∂σh = − ∂op ∂φh (xP) ∂φh (xP) ∂σh = − 2wh,1φh(xp) xp,i − ch,i 2 σ 3 h (27) ∂ep ∂ch,i = − ∂op ∂ch,i = − ∂op ∂φh (xP) ∂φh (xP) ∂ch,i = − 2wh,mφh(xp)(xp,i − ch,i) σ 2 h (28) 雅可比矩阵行向量 jp (t) 的计算由式 (26)~(28) 计算得到，对于所有输入模式，拟海森矩阵和梯 度向量分别由式 (20) 和 (21) 得到，然后应用更新 规则 (17) 对 3 个参数同时进行更新。采用上述 ILM 算法去优化 RBF 网络参数，加快算法的收敛速度 并且提高网络的预测准确度。 RC-RBF 网络的设计算法的步骤如下： 1) 初始随机给定一个 RBF 神经网络，输入节 点与输出节点个数根据具体实验设置，隐节点个 数随机设定，所有的参数随机产生在一个小范围内。 2) 对于输入样本 x(t)，隐含层到输出层之间 的权值、宽度、中心分别通过式 (26)~(28) 进行调 整，采用固定样本个数的在线形式，然后，判断神 经网络是否满足结构调整条件，满足条件则转向 3)，否则转向 6)。 3) 根据式 (3) 计算当前存在的隐含层神经元 与网络输出计算相对贡献指标 RC，如果第 t 步的 训练 RMSE 比第 t-n 步大时：e(t)-e(t-n)>0 时，则转 向 4)；转向 5)，判断是否满足删减条件，否则转向 6)。 4) 此时，说明神经网络信息处理能力不足， 需要增加神经元，按照式 (9)，选出相对贡献指标 最大的神经元进行分裂，根据式 (10)~(12) 对新增 加神经元的设定初始化参数。 5) 如果满足删减条件 (13)，则删除相对指标 贡献值小于阈值 ε 的隐含层神经元，删除与此神 经元的连接权值、中心和宽度，并利用 式 (14)~(16) 对其临近的神经元的相应参数进行调整。 6) 利用改进的 LM 算法对神经网络的参数进 行更新。 7) 满足停止条件或达到计算次数时停止计 算，否则转向 2)(网络结构还需调整) 进行重新训练。 3 收敛性分析 网络是否收敛决定了算法的性能，因为网络 在结构调整之后对其收敛性往往不能保证，以下 给出结构调整阶段的收敛性证明，主要分为 3 部分：1) 隐节点增加阶段；2) 隐节点删减阶段；3) 隐节点 数目不变的阶段。 ·162· 智 能 系 统 学 报 第 13 卷
第2期 乔俊飞，等：基于相对贡献指标的自组织RBF神经网络的设计 ·163· 假设：当前网络存在J个隐含层神经元，当前 则，将得到 时刻的误差为e)。 △2(t)=(Q(2(t)+A(t)D-0(t) (35) 1)当满足神经元增加条件时，分裂神经元， 现在有以下收敛定理： 此时神经元数目变为J+1个，此时网络的误差变 假设RC-RBF神经网络中的隐含层神经元数 为e'41)。新增加的神经元的参数设置按照式 为固定J,同时网络参数根据式(17)中的规则进 (12)进行设置。 行更新，如果满足以下假设： 0(2t-1) e'j(t)=yp(t)- w,0Φ(t0= IA2e训≤minllAs2t-1), (2t-1) (36) 那么，结合等式(32(34)可以得到 y,(0-（w,(0中，(0+wen0)中(0)= (29) j=1 △F2)=-2A2'rE(2)a20 (37) e(t) e0-重n 、中ew()=0 7E(△2()是正定的，当满足假设条件，于是得出： △F(2t)<0 可以看出，隐含层新增加神经元之后，其参数 (38) 设置对网络的输出误差进行了补偿，调整后误差 由此可以得出Lyapunov函数F(2()不是增 为0，一定程度上加快算法的学习速度。 加的，进一步得出当()→0，网络收敛 lime(t)=0 (39) 2)当满足删减条件时，删除第k个神经元，此 时神经元的数量变为J1,神经网络的输出误差为 综上所述，通过网路误差补偿更新神经元的 e-(①)，删减之后对临近神经元的参数更新设置如 参数，对神经元增长和删减两阶段的收敛性证 明；同时也对结构固定阶段的RBF网络的收敛性 式(16). 也进行证明，因此提出设计方法的收敛性得以验证。 可以看出，删掉神经元与输出之间的连接权 值，中心，宽度等参数，对其邻近的神经元进行参 4仿真实验 数更新，神经元调整前后，神经网络的输出误差 相等，可见结构删减对网络的误差没有产生影响。 RC-RBF神经网络能够根据研究对象的复杂 动态变化在线调整隐含层神经元的个数，提高网 e-10=y(0)-w,0速，)= 络的预测能力，为验证算法的有效性和可行性， 对Mackey-.class时间序列和污水处理关键出水参 0-( wt)速(0)+w-(t)Φ-1(t)= 数氨氨预测进行预测实验，对其算法进行验证。 1.jk.ji-1 利用均方根误差函数作为衡量网路的性能指 0-( w,(t)Φ)+ (30) 标函数，计算公式如式(40)所示。 j=ljjti-1 Φ() w(0+ w(0)重()》= ) RMSE(t)= ,y(0-on(t) (40) ya(0- w(t)速()-w2(t)-1()e(0 式中：P为样本总数，y,()为第p个样本1时刻对 j=l.ji-1 应的网络输出，o()为第p个样本1时刻对应的 3)隐节点数目不变的阶段 期望输出。 为了证明算法在固定神经元时算法的收敛 l)Mackey-Glass时间序列预测 性，定义一个Lyapunov函数： Mackey-Glass时间序列预测是一个典型的验 F2)=2e'oe0 (31) 证自组织网络性能的基准函数。其微分方程表 根据泰勒展开式可以得到，Lyapunov函数 达式如式(41)所示： F2()的变化量： bx(t-T) x(+1)=(1-a)x()++x) (41) △F(2(t0)=F(2(t+1)-F(2(t)= 式中：a=0.1,b=0.2,t=17,并且初始条件为 -7E(2(t)△2(t)+ (32) ARTOVE(Q(ARO) x(0)=1.2,p=6,△1=6。过去的4个值{x(),x(-△)， x(-2△)，x(-3△)}去预测x(什p)的值，预测模型如 VE(2()=O(2(t) (33) 式(42)所示： 72E(2(t0)=Q(2(t0)+A()1 (34) x(t+p)=f[x(),x(t-△)，x(t-2△)，x(t-3△](42) 式中：VE(△2()和VE(△2()分别为误差函数的 根据式(42)产生1000个数据，其中，1∈[136， 一阶导数、二阶导数矩阵。根据式(17)的更新规 535]产生500组作为训练数据，1e[636,1135]产
假设：当前网络存在 J 个隐含层神经元，当前 时刻的误差为 eJ (t)。 e ′ J+1(t) 1) 当满足神经元增加条件时，分裂神经元， 此时神经元数目变为 J+1 个，此时网络的误差变 为 。新增加的神经元的参数设置按照式 (12) 进行设置。 e ′ J+1(t) = yp(t)− ∑J+1 j=1 wj(t)Φj(t) = yp(t)−( ∑J j=1 wj(t)Φj(t)+wnew(t)Φnew(t)) = ej(t)− ej(t) Φnew(t) Φnew(t) = 0 (29) 可以看出，隐含层新增加神经元之后，其参数 设置对网络的输出误差进行了补偿，调整后误差 为 0，一定程度上加快算法的学习速度。 e ′ J−1(t) 2) 当满足删减条件时，删除第 k 个神经元，此 时神经元的数量变为 J-1，神经网络的输出误差为 ，删减之后对临近神经元的参数更新设置如 式 (16)。 可以看出，删掉神经元与输出之间的连接权 值，中心，宽度等参数，对其邻近的神经元进行参 数更新，神经元调整前后，神经网络的输出误差 相等，可见结构删减对网络的误差没有产生影响。 e ′ J−1 (t) = yp(t)− ∑J−1 j=1 wj(t)Φj(t) = yp(t)−( ∑J j=1, j,k, j,i−1 wj(t)Φj(t)+wi−1(t)Φi−1(t)) = yd(t)−( ∑J j=1, j,k, j,i−1 wj(t)Φj(t)+ ( w ′ i−1 (t)+ Φk(t) Φ′ i−1 (t) wk(t) ) Φ′ i−1 (t)) = yd(t)− ∑J j=1, j,i−1 wj(t)Φj(t)−w ′ i−1 (t)Φi−1(t)eJ (t) (30) 3) 隐节点数目不变的阶段 为了证明算法在固定神经元时算法的收敛 性，定义一个 Lyapunov 函数： F(Ω(t)) = 1 2 e T (t)e(t) (31) 根据泰勒展开式可以得到，Lyapunov 函数 F(Ω(t)) 的变化量： ∆F(Ω(t)) = F(Ω(t+1))− F(Ω(t)) = −∇E T (Ω(t))∆Ω(t)+ 1 2 ∆Ω T (t)∇ 2E(Ω(t))∆Ω(t) (32) ∇E(Ω(t)) = Θ(Ω(t)) (33) ∇ 2E(Ω(t)) = Q(Ω(t))+λ(t)I (34) ∇E(∆Ω(t)) ∇ 2 式中： 和 E(∆Ω(t)) 分别为误差函数的 一阶导数、二阶导数矩阵。根据式 (17) 的更新规 则，将得到 ∆Ω(t) = (Q(Ω(t))+λ(t)I) −1Θ(t) (35) 现在有以下收敛定理： 假设 RC-RBF 神经网络中的隐含层神经元数 为固定 J，同时网络参数根据式 (17) 中的规则进 行更新，如果满足以下假设： ∥∆Ω(t)∥ ⩽ min{ ∥∆Ω(t−1)∥, Θ(Ω(t−1)) Q(Ω(t−1))} (36) 那么，结合等式 (32)~(34) 可以得到 ∆F(Ω(t)) = − 1 2 ∆Ω T (t)∇ 2E(Ω(t))∆Ω(t) (37) ∇ 2E(∆Ω(t)) 是正定的，当满足假设条件，于是得出： ∆F(Ω(t)) < 0 (38) 由此可以得出 Lyapunov 函数 F(Ω(t)) 不是增 加的，进一步得出当 e(t)→0,网络收敛 lim t→∞ e(t) = 0 (39) 综上所述，通过网路误差补偿更新神经元的 参数，对神经元增长和删减两阶段的收敛性证 明；同时也对结构固定阶段的 RBF 网络的收敛性 也进行证明，因此提出设计方法的收敛性得以验证。 4 仿真实验 RC-RBF 神经网络能够根据研究对象的复杂 动态变化在线调整隐含层神经元的个数，提高网 络的预测能力，为验证算法的有效性和可行性， 对 Mackey-class 时间序列和污水处理关键出水参 数氨氮预测进行预测实验，对其算法进行验证。 利用均方根误差函数作为衡量网路的性能指 标函数，计算公式如式 (40) 所示。 RMSE(t) = vut 1 2P ∑P p=1 (yp(t)−op(t))2 (40) 式中：P 为样本总数，yp (t) 为第 p 个样本 t 时刻对 应的网络输出，op (t) 为第 p 个样本 t 时刻对应的 期望输出。 1) Mackey-Glass 时间序列预测 Mackey-Glass 时间序列预测是一个典型的验 证自组织网络性能的基准函数[18]。其微分方程表 达式如式 (41) 所示： x(t+1) = (1−a)x(t)+ bx(t−τ) 1+ x 10(t−τ) (41) 式中： a=0.1 ， b=0.2 ， τ=17 ，并且初始条件 为 x(0)=1.2, p=6, Δt=6。过去的 4 个值{x(t), x(t–Δt), x(t–2Δt), x(t–3Δt)}去预测 x(t+p) 的值，预测模型如 式 (42) 所示： x (t+ p) = f [x (t), x (t−∆t), x (t−2∆t), x (t−3∆t)] (42) 根据式 (42) 产生 1 000 个数据，其中，t∈[136, 535] 产生 500 组作为训练数据，t∈[636, 1 135] 产 第 2 期 乔俊飞，等：基于相对贡献指标的自组织 RBF 神经网络的设计 ·163·
·164· 智能系统学报 第13卷 生的500组用作测试数据。网络的初始结构为4- 织神经网络进行对比，NFN-FOESA19列，自组织 3-1,阈值e为0.1。图2~5的仿真结果分别为训练 RBF神经网络(self-organizing RBF neural networks,. 过程中隐节点数目的变化网络测试输出和实际输出曲线。 SORBF)2,增长-修剪RBF神经网络(growing and Mackey-.class测试误差曲线，训练RMSE变化曲线。 pruning RBF neural networks,GAP-RBF)2RBF- AFSII、SOFMLS!2I。表1展现了不同算法的性 目标输出 网络输出 能指标，从表中可以看出，和其他方法相比，该方 12 法能够采用较精简的结构很好地逼近非线性时间 1.0 序列。 0.d 表1不同算法的性能对比 Table 1 The performance of different algorithms 04 500 600 700.800 9001000 算法 隐节点数目训练RMSE测试RMSE 测试样本 RC-RBF 7 0.0085 0.0086 图2 Mackey-class测试输出和实际输出 NFN-FOESA19 10* 0.1183 0.0946 Fig.2 The curve of Mackey-class test output and actual output SORBEROI 12 0.01 0.0100 0.04 GAP-RBFRI 19 0.01 0.0300 0.02 RBF-AFSI221 21 0.0107 0.0128 SOFMLSR31 7 0.0471 -0.02 表2不同算法的性能对比 500 600 700800900 1000 Table 2 The performance of different algorithms 测试样本 算法 预测准确度% 训练RMSE 测试RMSE 图3 Mackey-class测试误差曲线 RC-RBF 98.84 0.0237 0.0306 Fig.3 The curve of Mackey-class testing error 0.15 ILM-RBFR4 94.55 0.1475 0.1870 RBFR4 90.63 0.2870 0.3173 0.10 BpR4 88.42 0.3841 0.4751 0.05 2)污水处理关键水质参数氨氮预测 0 50100150200250300350400450500 训练样本 出水水质参数预测模型的建立对于污水处理 中减少微生物风险和过程的优化控制提供了一定 图4训练RMSE值的变化曲线 的管理决策支持依据。由于污水处理过程中影响 Fig.4 The curve of training RMSE value 硝化和反硝化的因素众多，动力学反应及其复 杂，导致影响氨氨的参数很多，而且各参数之间 相互作用，具有强烈的耦合和非线性特性，因此 很难精确建立其机理模型；而且，氨氮的检测，现 的 在大多采用实验室取样离线分析，操作繁琐，需 50100150200250300350400450500 要很长的时间才能检测出等原因，不利于实时准 训练样本 确获得水质参数。因此，采用数据驱动的方式， 图5训练过程中隐节点的数目变化 利用上述方法根据污水处理厂实际输入输出数据 Fig.5 The number of hidden layer numbers 对氨氮这一出水参数建立准确快速的软测量模型。 从图2可以看出，网络的测试输出与实际输 实验过程中，数据取自北京市某污水处理厂 出曲线基本吻合，说明该方法能够较好地逼近非 2014年的真实测量数据，别除异常数据并进行数 线性时间序列。图3中显示网络的测试误差曲 据归一化之后，140组数据作为训练数据，50组数 线，误差值范围保持在[-0.04,0.04]较小的范围 据作为测试数据。为消除输入数据间的高度相关 内，表现出良好的泛化性能。图4显示的网络训 性通过主元分析的方法，选出对氨氨影响较大的 练RMSE变化曲线，误差随着训练过程一直保持下 输入变量，依次为温度T(Temperature),好氧前段 降趋势，证明表2算法能够快速收敛到满意的性能。 DO(Dissolved Oxygen),好氧末端总固体悬浮物 为了验证算法的有效性，该方法与其他自组 TSS (Total suspended solids concentration),PH
生的 500 组用作测试数据。网络的初始结构为 4- 3-1，阈值 ε 为 0.1。图 2~5 的仿真结果分别为训练 过程中隐节点数目的变化，网络测试输出和实际输出曲线， Mackey-class 测试误差曲线，训练 RMSE 变化曲线。 ≷䄁ᵣ᱘ 500 600 700 800 900 1 000 Mackey−class䒿ܦ 0.4 0.6 0.8 1.0 1.2 1.4 ܦⰚᴳ䒿 ܦ㑽㐈䒿 图 2 Mackey-class 测试输出和实际输出 Fig. 2 The curve of Mackey-class test output and actual output ≷䄁ᵣ᱘ 500 600 700 800 900 1 000 䶰≷䄛ጚը −0.02 0 0.02 0.04 图 3 Mackey-class 测试误差曲线 Fig. 3 The curve of Mackey-class testing error 䃙㏯ᵣ᱘ 0 50 100 150 200 250 300 350 400 450 500 0.05 0.10 0.15 ࡂ䃙㏯RMSEըᓃऄ 图 4 训练 RMSE 值的变化曲线 Fig. 4 The curve of training RMSE value 䃙㏯ᵣ᱘ 50 100 150 200 250 300 350 400 450 500 䮼ॗᅮ⺊㏻ٯ͖⮰ 0 2 4 6 8 图 5 训练过程中隐节点的数目变化 Fig. 5 The number of hidden layer numbers 从图 2 可以看出，网络的测试输出与实际输 出曲线基本吻合，说明该方法能够较好地逼近非 线性时间序列。图 3 中显示网络的测试误差曲 线，误差值范围保持在 [-0.04, 0.04] 较小的范围 内，表现出良好的泛化性能。图 4 显示的网络训 练 RMSE 变化曲线，误差随着训练过程一直保持下 降趋势，证明表 2 算法能够快速收敛到满意的性能。 为了验证算法的有效性，该方法与其他自组 织神经网络进行对比，NFN-FOESA[19] ，自组织 RBF 神经网络 (self-organizing RBF neural networks, SORBF)[20] ，增长–修剪 RBF 神经网络 (growing and pruning RBF neural networks, GAP-RBF)[21] 、RBFAFSII[22] 、SOFMLS[23]。表 1 展现了不同算法的性 能指标，从表中可以看出，和其他方法相比，该方 法能够采用较精简的结构很好地逼近非线性时间 序列。 表 1 不同算法的性能对比 Table 1 The performance of different algorithms 算法 隐节点数目 训练RMSE 测试RMSE RC-RBF 7 0.008 5 0.008 6 NFN-FOESA[19] 10* 0.118 3 0.094 6 SORBF[20] 12 0.01 0.010 0 GAP-RBF[21] 19 0.01 0.030 0 RBF-AFSII[22] 21 0.010 7 0.012 8 SOFMLS[23] 7 — 0.047 1 表 2 不同算法的性能对比 Table 2 The performance of different algorithms 算法 预测准确度/% 训练RMSE 测试RMSE RC-RBF 98.84 0.023 7 0.030 6 ILM-RBF[24] 94.55 0.147 5 0.187 0 RBF[24] 90.63 0.287 0 0.317 3 BP[24] 88.42 0.384 1 0.475 1 2) 污水处理关键水质参数氨氮预测 出水水质参数预测模型的建立对于污水处理 中减少微生物风险和过程的优化控制提供了一定 的管理决策支持依据。由于污水处理过程中影响 硝化和反硝化的因素众多，动力学反应及其复 杂，导致影响氨氮的参数很多，而且各参数之间 相互作用，具有强烈的耦合和非线性特性，因此 很难精确建立其机理模型；而且，氨氮的检测，现 在大多采用实验室取样离线分析，操作繁琐，需 要很长的时间才能检测出等原因，不利于实时准 确获得水质参数。因此，采用数据驱动的方式， 利用上述方法根据污水处理厂实际输入输出数据 对氨氮这一出水参数建立准确快速的软测量模型。 实验过程中，数据取自北京市某污水处理厂 2014 年的真实测量数据，剔除异常数据并进行数 据归一化之后，140 组数据作为训练数据，50 组数 据作为测试数据。为消除输入数据间的高度相关 性通过主元分析的方法，选出对氨氮影响较大的 输入变量，依次为温度 T (Temperature)，好氧前段 DO (Dissolved Oxygen)，好氧末端总固体悬浮物 TSS (Total suspended solids concentration)，出水 PH ·164· 智 能 系 统 学 报 第 13 卷
第2期 乔俊飞，等：基于相对贡献指标的自组织RBF神经网络的设计 ·165· (Acidity and basicity),厌氧末端ORP(Oxidation-re 可以看出算法对污水处理动态过程具有较好的学 duction potential),泥龄。输出变量为出水氨氮。 习能力。图7表明算法在训练过程中RMSE的值 网络的初始结构为6-2-1，删减阈值设为0.1。预 呈现下降趋势，训练时间为仅为1.24s,快速收敛 测性能通过预测精度pa(prediction accuracy)来衡量。 到较小的期望误差。图9显示RBF网络测试输 -()/( 出和实际输出变化曲线，测试输出值和氨氮实际 pa= (43) 值基本吻合。从图10网络测试误差曲线看出，测 预测精度pa越大，说明基于RC-RBF神经网 试误差较小，说明对于实际非线性动态变化过 程，RC-RBF神经网络表现出良好的泛化能力。 络的氨氮预测模型性能越好。实验仿真结果如 为了说明该方法针对氨氨预测的有效性，还和其 图610。 他方法进行对比，采用固定神经元的改进LM算 实际输出 4 ·一RBF网络训练输出 法(Improved LM algorithm,LM)优化的RBF网络 2 (ILM-RBF),RBF神经网络，BP网络3个对比实 8 验。表2显示了算法的性能对比。从中可以看 出，和其他方法相比，该方法对于氨氨的预测精 度更高，训练和测试误差都较小。 0 20 406080100120140 样本数目/个 0.15 0.10 图6网络训练输出和实际输出曲线 0.05 Fig.6 Network training output and Actual output 0 0.8 -0.05 -0.10 0.6 -0.15 5 101520253035404550 0.4 样本数目/个 0.2 图10网络测试误差曲线 Fig.10 The curve of network testing error 20 406080100120140 训练次数 基于以上仿真结果，可以得出基于改进的自 图7训练RMSE值变化 适应LM算法的自组织RBF神经网络能够很好 Fig.7 The curve of tranining RMSE value 地对污水处理氨氮指标快速准确地在线预测，并 且具有较小的测试误差和较高的预测精度，对于 8 污水处理出水参数的实时监测和控制具有重要的 6 意义，有利于污水处理厂的正常运行。 4 5结束语 20 406080100120140 训练样本 文中通过采用相对贡献指标来设计网络结 构：同时，采用改进的LM算法训练RBF神经网 图8训练过程中隐节点的数目变化 络的参数，使得网络能够根据非线性系统准确快 Fig.8 The number of hidden layer number 速地在线结构调整和参数优化，并表现出良好的 12 一目标输出 泛化能力和预测精度，一定程度上提高了RBF神 ·RBF网络预测输出 经网络的非线性系统的建模性能和算法的鲁棒性。 1)提出基于相对贡献指标结合误差信息处理 6 能力来最大程度的挖掘隐含层神经元对输出神经 4 元的相对贡献，作为判断网络结构是否删减的条 2 05101520253035404550 件，并且对增加和删减阶段的神经元参数进行更 预测样本数目/个 新补偿；同时，证明网络结构删减和增加阶段，神 图9网络测试输出和实际输出 经元固定3个阶段的收敛性，证明结构动态变化 Fig.9 The curve of test the actual output 过程是收敛的。 从仿真结果可以看出，图6显示的RBF网络 2)采用改进的LM算法，将矩阵运算转化为 训练输出和氨氨实际输出曲线，曲线基本重合， 向量相乘的方式，避免整个雅可比矩阵的存储
(Acidity and basicity)，厌氧末端 ORP (Oxidation-reduction potential)，泥龄。输出变量为出水氨氮。 网络的初始结构为 6-2-1，删减阈值设为 0.1。预 测性能通过预测精度 pa(prediction accuracy) 来衡量。 pa = ∑N t=1 (1− |yp(t)−o(t)|/o(t)) N (43) 预测精度 pa 越大，说明基于 RC-RBF 神经网 络的氨氮预测模型性能越好。实验仿真结果如 图 6~10。 0 20 40 60 80 100 120 140 4 6 8 10 12 14 ܦ䭱䒿 ܦRBF㑽㐈䃙㏯䒿 ⅔⅚≿Ꮢ/(mg·L−1 ) ᵣ᱘Ⱊ͖ 图 6 网络训练输出和实际输出曲线 Fig. 6 Network training output and Actual output 䃙㏯⁍ 20 40 60 80 100 120 140 RBF㑽㐈䃙㏯䄛ጚ 0 0.2 0.4 0.6 0.8 图 7 训练 RMSE 值变化 Fig. 7 The curve of tranining RMSE value 䃙㏯ᵣ᱘ 20 40 60 80 100 120 140 䮼ॗᅮ⺊㏻ٯ͖⮰ 0 2 4 6 8 10 图 8 训练过程中隐节点的数目变化 Fig. 8 The number of hidden layer number 0 5 10 15 20 25 30 35 40 45 50 2 4 6 8 10 12 ⅔⅚≿Ꮢ/(mg·L−1 ) 䶰≷ᵣ᱘Ⱊ͖ RBF㑽㐈䶰≷䒿ܦ Ⱊᴳ䒿ܦ 图 9 网络测试输出和实际输出 Fig. 9 The curve of test the actual output 从仿真结果可以看出，图 6 显示的 RBF 网络 训练输出和氨氮实际输出曲线，曲线基本重合， 可以看出算法对污水处理动态过程具有较好的学 习能力。图 7 表明算法在训练过程中 RMSE 的值 呈现下降趋势，训练时间为仅为 1.24 s，快速收敛 到较小的期望误差。图 9 显示 RBF 网络测试输 出和实际输出变化曲线，测试输出值和氨氮实际 值基本吻合。从图 10 网络测试误差曲线看出，测 试误差较小，说明对于实际非线性动态变化过 程，RC-RBF 神经网络表现出良好的泛化能力。 为了说明该方法针对氨氮预测的有效性，还和其 他方法进行对比，采用固定神经元的改进 LM 算 法 (Improved LM algorithm, ILM) 优化的 RBF 网络 (ILM-RBF)，RBF 神经网络，BP 网络 3 个对比实 验。表 2 显示了算法的性能对比。从中可以看 出，和其他方法相比，该方法对于氨氮的预测精 度更高，训练和测试误差都较小。 0 5 10 15 20 25 30 35 40 45 50 䶰≷䄛ጚ −0.10 −0.15 −0.05 0 0.05 0.10 0.15 ᵣ᱘Ⱊ/͖ 图 10 网络测试误差曲线 Fig. 10 The curve of network testing error 基于以上仿真结果，可以得出基于改进的自 适应 LM 算法的自组织 RBF 神经网络能够很好 地对污水处理氨氮指标快速准确地在线预测，并 且具有较小的测试误差和较高的预测精度，对于 污水处理出水参数的实时监测和控制具有重要的 意义，有利于污水处理厂的正常运行。 5 结束语 文中通过采用相对贡献指标来设计网络结 构；同时，采用改进的 LM 算法训练 RBF 神经网 络的参数，使得网络能够根据非线性系统准确快 速地在线结构调整和参数优化，并表现出良好的 泛化能力和预测精度，一定程度上提高了 RBF 神 经网络的非线性系统的建模性能和算法的鲁棒性。 1) 提出基于相对贡献指标结合误差信息处理 能力来最大程度的挖掘隐含层神经元对输出神经 元的相对贡献，作为判断网络结构是否删减的条 件，并且对增加和删减阶段的神经元参数进行更 新补偿；同时，证明网络结构删减和增加阶段，神 经元固定 3 个阶段的收敛性，证明结构动态变化 过程是收敛的。 2) 采用改进的 LM 算法，将矩阵运算转化为 向量相乘的方式，避免整个雅可比矩阵的存储， 第 2 期 乔俊飞，等：基于相对贡献指标的自组织 RBF 神经网络的设计 ·165·
·166· 智能系统学报 第13卷 有效地减少了训练时间和矩阵的存储空间，自适 proximation of continuous-time dynamical systems[J]. 应学习率的引入加快算法的收敛速度，并且提高 IEEE transactions on neural networks,2008,19(3) 了算法的预测性能。 460-474. [11]YU H,REINER P D,XIE TT,et al.An incremental 3)采用改进LM算法的RC-RBF神经网络通 design of radial basis function networks].IEEe transac- 过对Mackey-class时间序列预测和污水处理过程 tions on neural networks and learning systems,2014, 的出水参数氨氨进行建模预测，仿真实验可以看 25(10):1793-1803 出网络对于解决实际问题和非线性函数逼近实验 [12]CONSTANTINOPOULO C,LIIKAS A.An incremental 都具有较好的泛化能力和预测精度。 training method for the probabilistic RBF network[J]. 综上所述，本文提出的相对贡献指标结合网 IEEE transactions on neural networks,2006,17(4) 络信息处理能力能够有效解决RBF网络的结构 966-974. [13]CHEN S,HANZO L,TAN S.Symmetric complex-val- 调整问题；同时采用具有快速收敛特性的改进 ued RBF receiver for multiple-antenna-aided wireless systems[J]. LM算法对网络参数优化，非线性时间序列仿真 IEEe transactions on neural networks,2008,19(9): 实验和污水处理氨氮预测实验都证明算法具有较 1659-1665. 好的预测精度，对于实际非线性系统的建模与应 [14]王晓丽，黄蕾，杨鹏，等.动态RBF神经网络在浮选过程 用有一定的理论意义和可行性。 模型失配中的应用.化工学报，2016,3(67)：897-902. WANG Xiaoli,HUANG Lei,YANG Peng,et al.Dynam- 参考文献： ic RBF neural networks for model mismatch problem and its application in flotation process[J].CIESC journal, [1]QIAO J F,ZHANG ZZ,BO Y C.An online self-adaptive modular neural network for time-varying systems[J]. 2016,3(67):897-902. Neurocomputing,2014,125:7-16. [15]WILAMOWSKI B M,YU H.Improved computation for [2]韩红桂，李森，乔俊飞.基于模型输出敏感度分析的动态 Levenberg-Marquardt training[J].IEEE transactions on neural networks,2010.21(6):930-937. 神经网络结构设计[.电子学报，2010,38(3)：731-736. HAN Honggui,LI Miao,QIAO Junfei.Design of dynamic [16]MA C,JIANG L.Some research on Levenberg- neural network based on the sensitivity analysis of model Marquardt method for the nonlinear equations[J].Ap- output[J].Acta electronica sinica,2010,38(3):731-736. plied mathematics and computation,2007,184(2): [3]PLATT J.A resource-allocating network for function inter- 1032-1040. polation[J].Neural computation,1991,3(2):213-225. [17]XIE TT,YU H,HEWLETT J,et al.Fast and efficient [4]LU Y G.SUNDARARAJAN N.SARATCHANDRAN P. second-order method for training radial basis function net- A sequential learning scheme for function approximation works[J].IEEE transactions on neural networks and learn- using minimal radial basis function neural networks[J]. ing systems,,2012,23(4):609-619. Neural computation,1997,9(2):461-478. [18]OIAO J F.HAN H G.Identification and modeling of non- [5]PANCHAPAKESAN C.PALANISWAMI M,RALPH D. linear dynamical systems using a novel self-organizing et al.Effects of moving the center's in an RBF network[J]. RBF-based approach[J].Automatica,2012,48(8): IEEE transactions on neural networks,2002,13(6): 1729-1734 1299-1307 [19]CHEN C,WANG F Y.A self-organizing neuro-fuzzy [6]HUANG G B.SARATCHANDRAN P.SUNDARARA- network based on first order effect sensitivity analysis[J]. JAN N.A generalized growing and pruning RBF(GGAP- Neurocomputing,2013,118:21-32. RBF)neural network for function approximation[J].IEEE [20]HAN H G.CHEN QL,QIAO J F.An efficient self-or- transactions on neural networks,2005,16(1):57-67. ganizing RBF neural network for water quality [7]GONZALEZ J.ROJAS I,ORTEGA J,et al.Multi-object- prediction[J].Neural networks the official journal of the ive evolutionary optimization of the size,shape,and posi- international neural network society,2011,24(7):717-25. tion parameters of radial basis function networks for func- [21]HUANG G B,SARATCHANDRAN P.SUNDARARA- tion approximation[J].IEEE transactions on neural net- JAN N.An efficient sequential learning algorithm for works,.2003,14(6):1478-1495. growing and pruning RBF(GAP-RBF)networks[J].IEEE [8]FENG H M.Self-generation RBFNs using evolutional transactions on systems,man,and cybernetics,Part B: PSO learning[J].Neurocomputing,2006,70(1):241-251. (Cybernetics,2004,346:2284-2292. [9]HAO C,YU G,XIA H.Online modeling with tunable RBF [22]CHO K B,WANG B Y.Radial basis function based ad- network[J].IEEE transactions on cybernetics,2013,43(3). aptive fuzzy systems and their applications to system 935-947. identification and prediction[J].Fuzzy sets and systems, [10]LIAN J M,LEE Y G.SCOTT D,SUDHOFF,et al.Self- 1996.83(3):325-339. organizing radial basis function network for real-time ap- [23]EBADZADEH MM.SALIMI-BADR A.CFNN:correl-
有效地减少了训练时间和矩阵的存储空间，自适 应学习率的引入加快算法的收敛速度，并且提高 了算法的预测性能。 3) 采用改进 LM 算法的 RC-RBF 神经网络通 过对 Mackey-class 时间序列预测和污水处理过程 的出水参数氨氮进行建模预测，仿真实验可以看 出网络对于解决实际问题和非线性函数逼近实验 都具有较好的泛化能力和预测精度。 综上所述，本文提出的相对贡献指标结合网 络信息处理能力能够有效解决 RBF 网络的结构 调整问题；同时采用具有快速收敛特性的改进 LM 算法对网络参数优化，非线性时间序列仿真 实验和污水处理氨氮预测实验都证明算法具有较 好的预测精度，对于实际非线性系统的建模与应 用有一定的理论意义和可行性。 参考文献： QIAO J F, ZHANG Z Z, BO Y C. An online self-adaptive modular neural network for time-varying systems[J]. Neurocomputing, 2014, 125: 7–16. [1] 韩红桂, 李淼, 乔俊飞. 基于模型输出敏感度分析的动态 神经网络结构设计 [J]. 电子学报, 2010, 38(3): 731–736. HAN Honggui, LI Miao, QIAO Junfei. Design of dynamic neural network based on the sensitivity analysis of model output[J]. Acta electronica sinica, 2010, 38(3): 731–736. [2] PLATT J. A resource-allocating network for function interpolation[J]. Neural computation, 1991, 3(2): 213–225. [3] LU Y G, SUNDARARAJAN N, SARATCHANDRAN P. A sequential learning scheme for function approximation using minimal radial basis function neural networks[J]. Neural computation, 1997, 9(2): 461–478. [4] PANCHAPAKESAN C, PALANISWAMI M, RALPH D, et al. Effects of moving the center's in an RBF network[J]. IEEE transactions on neural networks, 2002, 13(6): 1299–1307. [5] HUANG G B, SARATCHANDRAN P, SUNDARARAJAN N. A generalized growing and pruning RBF (GGAPRBF) neural network for function approximation[J]. IEEE transactions on neural networks, 2005, 16(1): 57–67. [6] GONZALEZ J, ROJAS I, ORTEGA J, et al. Multi-objective evolutionary optimization of the size, shape, and position parameters of radial basis function networks for function approximation[J]. IEEE transactions on neural networks, 2003, 14(6): 1478–1495. [7] FENG H M. Self-generation RBFNs using evolutional PSO learning[J]. Neurocomputing, 2006, 70(1): 241–251. [8] HAO C, YU G, XIA H. Online modeling with tunable RBF network[J]. IEEE transactions on cybernetics, 2013, 43(3): 935–947. [9] LIAN J M , LEE Y G, SCOTT D, SUDHOFF, et al. Selforganizing radial basis function network for real-time ap- [10] proximation of continuous-time dynamical systems[J]. IEEE transactions on neural networks, 2008, 19(3): 460–474. YU H, REINER P D, XIE T T, et al. An incremental design of radial basis function networks[J]. IEEe transactions on neural networks and learning systems, 2014, 25(10): 1793–1803. [11] CONSTANTINOPOULO C, LIIKAS A. An incremental training method for the probabilistic RBF network[J]. IEEE transactions on neural networks, 2006, 17(4): 966–974. [12] CHEN S, HANZO L, TAN S. Symmetric complex-valued RBF receiver for multiple-antenna-aided wireless systems[J]. IEEe transactions on neural networks, 2008, 19(9): 1659–1665. [13] 王晓丽, 黄蕾, 杨鹏, 等. 动态 RBF 神经网络在浮选过程 模型失配中的应用 [J]. 化工学报, 2016, 3(67): 897–902. WANG Xiaoli, HUANG Lei, YANG Peng, et al. Dynamic RBF neural networks for model mismatch problem and its application in flotation process[J]. CIESC journal, 2016, 3(67): 897–902. [14] WILAMOWSKI B M, YU H. Improved computation for Levenberg–Marquardt training[J]. IEEE transactions on neural networks, 2010, 21(6): 930–937. [15] MA C, JIANG L. Some research on Levenberg– Marquardt method for the nonlinear equations[J]. Applied mathematics and computation, 2007, 184(2): 1032–1040. [16] XIE T T, YU H, HEWLETT J, et al. Fast and efficient second-order method for training radial basis function networks[J]. IEEE transactions on neural networks and learning systems, 2012, 23(4): 609–619. [17] QIAO J F, HAN H G. Identification and modeling of nonlinear dynamical systems using a novel self-organizing RBF-based approach[J]. Automatica, 2012, 48(8): 1729–1734. [18] CHEN C, WANG F Y. A self-organizing neuro-fuzzy network based on first order effect sensitivity analysis[J]. Neurocomputing, 2013, 118: 21–32. [19] HAN H G, CHEN Q L, QIAO J F. An efficient self-organizing RBF neural network for water quality prediction[J]. Neural networks the official journal of the international neural network society, 2011, 24(7): 717–25. [20] HUANG G B, SARATCHANDRAN P, SUNDARARAJAN N. An efficient sequential learning algorithm for growing and pruning RBF (GAP-RBF) networks[J]. IEEE transactions on systems, man, and cybernetics, Part B: (Cybernetics), 2004, 34(6): 2284–2292. [21] CHO K B, WANG B Y. Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction[J]. Fuzzy sets and systems, 1996, 83(3): 325–339. [22] [23] EBADZADEH M M, SALIMI-BADR A. CFNN: correl- ·166· 智 能 系 统 学 报 第 13 卷
第2期 乔俊飞，等：基于相对贡献指标的自组织RBF神经网络的设计 ·167· ated fuzzy neural network[J].Neurocomputing,2015, 安茹，女，1990年生，硕士研究 148:430-444 生，主要研究方向为智能控制理论及 应用、非线性系统建模。 [24]An R,Li W J,Han H G,et al.An improved Levenberg- Marquardt algorithm with adaptive learning rate for RBF neural network[C]//IEEE Control Conference,[s.1.],2016: 3630-3635 作者简介： 韩红桂，男，1983年生，教授，博 乔俊飞，男，1968年生，教授，博 士生导师，主要研究方向为污水处理 士生导师。主要研究方向为智能信息 过程建模、优化与控制。获得授权国 处理、智能优化控制。获教育部科技 家发明专利13项，授权实用新型专 进步奖一等奖和北京市科学技术奖三 利3项，授权软件著作权11项：研究 等奖各1项，获得授权国家发明专利 成果获教育部科学技术进步奖一等奖 12项。发表学术论文近70篇，被 等。近5年来发表学术论文35篇，撰 SC检索15篇。 写专著1部。 书讯：《探秘机器人王国》 由蔡自兴教授和翁环高级讲师合著的《探秘机器人王国》已由清华大学出版社隆重出版，向全国发行， 正在京东和当当等书店热售中。 本书是一本以机器人学和人工智能知识和机器人技术为中心内容的科普及科幻长篇小说。书中通过形 象与连续的故事和插图，介绍机器人的发展历史、基本结构与分类，在工矿业与农林业、空间与海洋探索、国 防与安保、医疗卫生、家庭服务、文化娱乐、教育教学等方面的应用，以及智能化工厂、未来宇宙开发与星际 航行和发展方向等。此外，还展望了其它一些新技术或潜在高新技术的未来应用。 本书密切联系实际，适当加入一些科学预测知识，故事情节生动，图文并茂，寓知识性、趣味性和娱乐性 于一体，是广大青少年、大中小学生、中小学教师、机器人和人工智能产业园科技与工作人员以及从事科技 与产业管理的政府与企业人员的课外阅读佳作，也是对机器人感兴趣的公众值得一看的好作品。小学高年 级学生可以在家长和老师指导下阅读。 本书作者之一蔡自兴教授是一位在智能科技领域硕果累累、德高望重、著作等身和桃李满天下的科学 家、教授。他在百忙中挤出宝贵时间，撰写科普小说和科普文章，普及机器人学和人工智能知识，培养广大 青少年对科学技术的兴趣。他与夫人翁环老师合作编著这部《探秘机器人王国》科普与科幻著作长篇小 说，是他们对科普教育的一个新贡献。读者通过阅读本书，能够了解机器人的过去、现在和将来，增进对机 器人技术的兴趣与认识，因而能够对广大青少年读者有所裨益。 中国工程院院士、哈尔滨工业大学蔡鹤皋教授为本书作序，对本书给予高度评价。他说：本书的出版必 将为广大读者，特别是青少年学生提供一份不可多得的精神快餐，为机器人学和人工智能的知识传播与普 及发挥不可替代的重要作用，进而为我国建设智能强国贡献重要力量。 世界这么广大，想要探访的领域很多很多。厉害啦，机器人来了！让我们跟随《探秘机器人王国》的足 迹去揭开机器人王国的神秘面纱，探索机器人家族的奥秘，拥抱多彩多姿的机器人，看看他们都干了哪些 “雷倒众生”的新鲜事儿
ated fuzzy neural network[J]. Neurocomputing, 2015, 148: 430–444. An R, Li W J, Han H G, et al. An improved LevenbergMarquardt algorithm with adaptive learning rate for RBF neural network[C]//IEEE Control Conference, [s.l.], 2016: 3630-3635. [24] 作者简介： 乔俊飞，男，1968 年生，教授，博 士生导师。主要研究方向为智能信息 处理、智能优化控制。获教育部科技 进步奖一等奖和北京市科学技术奖三 等奖各 1 项，获得授权国家发明专利 12 项。发表学术论文近 70 篇 ，被 SCI 检索 15 篇。 安茹，女，1990 年生，硕士研究 生，主要研究方向为智能控制理论及 应用、非线性系统建模。 韩红桂，男，1983 年生，教授，博 士生导师，主要研究方向为污水处理 过程建模、优化与控制。获得授权国 家发明专利 13 项，授权实用新型专 利 3 项，授权软件著作权 11 项；研究 成果获教育部科学技术进步奖一等奖 等。近 5 年来发表学术论文 35 篇，撰 写专著 1 部。 书讯：《探秘机器人王国》 由蔡自兴教授和翁环高级讲师合著的《探秘机器人王国》已由清华大学出版社隆重出版，向全国发行， 正在京东和当当等书店热售中。 本书是一本以机器人学和人工智能知识和机器人技术为中心内容的科普及科幻长篇小说。书中通过形 象与连续的故事和插图，介绍机器人的发展历史、基本结构与分类，在工矿业与农林业、空间与海洋探索、国 防与安保、医疗卫生、家庭服务、文化娱乐、教育教学等方面的应用，以及智能化工厂、未来宇宙开发与星际 航行和发展方向等。此外，还展望了其它一些新技术或潜在高新技术的未来应用。 本书密切联系实际，适当加入一些科学预测知识，故事情节生动，图文并茂，寓知识性、趣味性和娱乐性 于一体，是广大青少年、大中小学生、中小学教师、机器人和人工智能产业园科技与工作人员以及从事科技 与产业管理的政府与企业人员的课外阅读佳作，也是对机器人感兴趣的公众值得一看的好作品。小学高年 级学生可以在家长和老师指导下阅读。 本书作者之一蔡自兴教授是一位在智能科技领域硕果累累、德高望重、著作等身和桃李满天下的科学 家、教授。他在百忙中挤出宝贵时间，撰写科普小说和科普文章，普及机器人学和人工智能知识，培养广大 青少年对科学技术的兴趣。他与夫人翁环老师合作编著这部《探秘机器人王国》科普与科幻著作长篇小 说，是他们对科普教育的一个新贡献。读者通过阅读本书，能够了解机器人的过去、现在和将来，增进对机 器人技术的兴趣与认识，因而能够对广大青少年读者有所裨益。 中国工程院院士、哈尔滨工业大学蔡鹤皋教授为本书作序，对本书给予高度评价。他说：本书的出版必 将为广大读者，特别是青少年学生提供一份不可多得的精神快餐，为机器人学和人工智能的知识传播与普 及发挥不可替代的重要作用，进而为我国建设智能强国贡献重要力量。 世界这么广大，想要探访的领域很多很多。厉害啦，机器人来了！让我们跟随《探秘机器人王国》的足 迹去揭开机器人王国的神秘面纱，探索机器人家族的奥秘，拥抱多彩多姿的机器人，看看他们都干了哪些 “雷倒众生”的新鲜事儿。 第 2 期 乔俊飞，等：基于相对贡献指标的自组织 RBF 神经网络的设计 ·167·