第13卷第3期 智能系统学报 Vol.13 No.3 2018年6月 CAAI Transactions on Intelligent Systems Jun.2018 D0:10.11992/tis.201702014 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20170702.0439.024.html 基于快速密度聚类的RBF神经网络设计 蒙西2，乔俊飞2，李文静2 (1.北京工业大学信息学部，北京100124：2.北京工业大学计算智能与智能系统北京市重点实验室，北京100124) 摘要：针对径向基函数(radial basis function,RBF)神经网络隐含层结构难以确定的问题，提出一种基于快速密度聚 类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中，通过寻找密 度最大的点并将其作为隐含层神经元，进而确定隐含层神经元个数和初始参数：同时，引入高斯函数的特性，保证了 每个隐含层神经元的活性：最后，用一种改进的二阶算法对神经网络进行训练，提高了神经网络的收敛速度和泛化能 力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证，结果表明.基于快速密度聚类设计的 RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。 关键词：RBF神经网络：快速密度聚类：结构设计：神经元活性：二阶算法：泛化能力：函数逼近：系统辨识 中图分类号：TP273文献标志码：A文章编号：1673-4785(2018)03-0331-08 中文引用格式：蒙西，乔俊飞，李文静.基于快速密度聚类的RBF神经网络设计J.智能系统学报，2018,13(3)：331-338. 英文引用格式：MENG Xi,.QIAO Junfei,.LI Wenjing.Construction of RBF neural networks via fast density clusteringJ.CAAI transactions on intelligent systems,2018,13(3):331-338. Construction of RBF neural networks via fast density clustering MENG Xi,QIAO Junfei2,LI Wenjing'2 (1.Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China;2.Beijing Key Laboratory of Com- putational Intelligence and Intelligent System,Beijing University of Technology,Beijing 100124,China) Abstract:To design a hidden layer structure in radial-basis-function(RBF)neural networks,a novel algorithm based on fast density clustering is proposed.The algorithm searches for the point with the highest density and then uses it as the neuron of the hidden layer,thereby ascertaining the number of neurons in the hidden layer and the initial parameters. Moreover,the activity of each hidden neuron is ensured by introducing the Gaussian function.An improved second-or- der algorithm is used to train the designed network,increasing the training speed and improving the generalization per- formance.In addition,two benchmark simulations-the typical nonlinear function approximation and the nonlinear dy- namic system identification experiment-are used to test the effectiveness of the proposed RBF neural network.The results suggest that the proposed RBF neural network based on fast density clustering offers improved generalization performance,has a compact structure,and requires shorter training time. Keywords:RBF neural networks;fast density clustering;structure design;neuron activity;second-order training;gener- alization performance;function approximation;system identification 径向基函数(radial basis function,.RBF)神经网网络，因其结构简单且具有良好的非线性映射能力 络是一种模拟生物神经元局部响应特性的前馈神经 而被广泛用于多个领域-6。RBF神经网络构建的 核心问题在于结构设计”。早期隐含层结构的确定 收稿日期：2017-02-24.网络出版日期：2017-07-02 基金项目：国家自然科学基金项目(61533002,61603009)：北京市白 多采用经验试凑法，但此类方法很难在保证神经网 然科学基金面上项目(4182007)：北京工业大学日新人 络精度的前提下得到一个紧凑的网络结构。因此， 才项目(2017-RX-(104). 通信作者：乔俊飞.E-mail:junfeiq@bjut.edu.cn. 许多学者针对RBF神经网络的结构设计问题展开
DOI: 10.11992/tis.201702014 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20170702.0439.024.html 基于快速密度聚类的 RBF 神经网络设计 蒙西1,2，乔俊飞1,2，李文静1,2 （1. 北京工业大学 信息学部，北京 100124; 2. 北京工业大学 计算智能与智能系统北京市重点实验室，北京 100124） 摘 要：针对径向基函数 (radial basis function，RBF) 神经网络隐含层结构难以确定的问题，提出一种基于快速密度聚 类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于 RBF 神经网络结构设计中，通过寻找密 度最大的点并将其作为隐含层神经元，进而确定隐含层神经元个数和初始参数；同时，引入高斯函数的特性，保证了 每个隐含层神经元的活性；最后，用一种改进的二阶算法对神经网络进行训练，提高了神经网络的收敛速度和泛化能 力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证，结果表明，基于快速密度聚类设计的 RBF 神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。 关键词：RBF 神经网络；快速密度聚类；结构设计；神经元活性；二阶算法；泛化能力；函数逼近；系统辨识 中图分类号：TP273 文献标志码：A 文章编号：1673−4785(2018)03−0331−08 中文引用格式：蒙西, 乔俊飞, 李文静. 基于快速密度聚类的 RBF 神经网络设计[J]. 智能系统学报, 2018, 13(3): 331–338. 英文引用格式：MENG Xi, QIAO Junfei, LI Wenjing. Construction of RBF neural networks via fast density clustering[J]. CAAI transactions on intelligent systems, 2018, 13(3): 331–338. Construction of RBF neural networks via fast density clustering MENG Xi1,2 ，QIAO Junfei1,2 ，LI Wenjing1,2 (1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China; 2. Beijing Key Laboratory of Computational Intelligence and Intelligent System, Beijing University of Technology, Beijing 100124, China) Abstract: To design a hidden layer structure in radial-basis-function (RBF) neural networks, a novel algorithm based on fast density clustering is proposed. The algorithm searches for the point with the highest density and then uses it as the neuron of the hidden layer, thereby ascertaining the number of neurons in the hidden layer and the initial parameters. Moreover, the activity of each hidden neuron is ensured by introducing the Gaussian function. An improved second-order algorithm is used to train the designed network, increasing the training speed and improving the generalization performance. In addition, two benchmark simulations—the typical nonlinear function approximation and the nonlinear dynamic system identification experiment —are used to test the effectiveness of the proposed RBF neural network. The results suggest that the proposed RBF neural network based on fast density clustering offers improved generalization performance, has a compact structure, and requires shorter training time. Keywords: RBF neural networks; fast density clustering; structure design; neuron activity; second-order training; generalization performance; function approximation; system identification 径向基函数 (radial basis function，RBF) 神经网 络是一种模拟生物神经元局部响应特性的前馈神经 网络，因其结构简单且具有良好的非线性映射能力 而被广泛用于多个领域[1-6]。RBF 神经网络构建的 核心问题在于结构设计[7]。早期隐含层结构的确定 多采用经验试凑法，但此类方法很难在保证神经网 络精度的前提下得到一个紧凑的网络结构。因此， 许多学者针对 RBF 神经网络的结构设计问题展开 收稿日期：2017−02−24. 网络出版日期：2017−07−02. 基金项目：国家自然科学基金项目 (61533002,61603009)；北京市自 然科学基金面上项目 (4182007)；北京工业大学日新人 才项目 (2017-RX-(1)-04). 通信作者：乔俊飞. E-mail:junfeiq@bjut.edu.cn. 第 13 卷第 3 期 智 能 系 统 学 报 Vol.13 No.3 2018 年 6 月 CAAI Transactions on Intelligent Systems Jun. 2018
·332· 智能系统学报 第13卷 了大量研究。 =0 聚类算法常被用来确定RBF神经网络的结构， 0,(x)=e (1) 如K-Means、Fuzzy C-Means(FCM)&.1o等，该类算法 其中：x=[1…为网络输入向量，c为第j个 能根据各聚类中心之间的距离确定隐含层神经元的 神经元的中心向量，σ，为第j个神经元的径向作用 径向作用范围，但却无法确定隐含层神经元的个 范围。输出层第m个神经元的输出ym为 数，会影响神经网络的泛化能力。因此，根据研究 ym (2) 对象自适应设计RBF神经网络中隐含层神经元的 个数，提高网络性能已成为当前RBF神经网络研究 式中：wm为第j个隐层神经元到第m个输出神经元 的一个热点。Platt首次提出了一种结构自适应调 的连接权值。 整的RBF神经网络—资源分配网络(resource al-. 输人层 隐含层 输出层 location network,RAN),该网络能根据待处理任务 动态增加RBF神经元，但容易导致网络结构过大的 问题。在RAN的基础上，Yingwei等构建了最小资 源神经网络(minimal resource allocation network, MRAN)2。在自适应增加隐含层神经元的同时， MRAN能通过删减策略去除冗余神经元，但该网络 收敛速度较慢。Huang等I1提出了一种增长修剪 型RBF神经网络(growing and pruning RBF,GAP- 图1RBF神经网络结构图 RBF),该网络基于神经元的显著性构建隐含层结 Fig.1 Structure of the RBF neural network 构。文献[14]中构建了一种自组织RBF神经网络 2 基于快速密度聚类的RBF神经网 (self-organizing RBF,SORBF),SORBF网络基于 络设计 BF神经元径向作用范围对隐含层结构进行自适 应增删。GAP-RBF网络和SORBF网络中涉及的 RBF神经网络的设计包括结构构建和参数训 算法参数较多，对算法最优参数的寻求会影响网络 练两部分。文中采用改进的快速密度聚类算法确定 的性能。Wilamowski等1s基于误差补偿算法来构 网络初始结构和初始参数，在此基础上，用一种改 建RBF神经网络(error--correction RBF,ErrCor-RBF), 进的二阶梯度算法对网络进行训练。 实验表明该方法能获得较精简的神经网络结构，但 2.1快速密度聚类算法 该网络仍然需要通过大量的迭代寻求最优结构。 聚类分析是基于相似度将样本划分成若干类 鉴于以上存在的问题，结合RBF神经元激活函 别，目前大多数聚类算法普遍存在两点不足：需要 数本身的特性，本文对一种快速密度聚类算法进行 提前确定聚类的类别数：需要通过大量迭代来寻求 了相应的改进，然后将其用于RBF神经网络的结构 最优聚类结果。 设计中。同时，针对传统梯度下降、算法收敛较慢 针对以上问题，Alex等提出了一种快速密度 且易陷入局部极小的问题，结合结构设计中确定的 聚类算法，该算法无需提前确定聚类类别数，通过 初始参数，选用改进的二阶梯度算法来训练RBF神 寻找局部密度峰值作为聚类中心从而实现对数据样 经网络，提高了网络的收敛速度和泛化能力。最 本的快速聚类。 后，通过两个基准仿真实验验证，提出的基于快速 快速密度聚类算法的核心思想在于聚类中心被 密度聚类的RBF神经网络(fast density clustering 其他密度值较小的点紧紧包围，且远离其他密度值 RBF,FDC-RBF),能够以紧凑的网络结构和较快的 较大的点。在聚类中心的寻找过程中，对于任一数 收敛速度获取较好的非线性映射能力。 据点i,需计算两个值：每个点的局部密度值和该 1RBF神经网络 点到其他密度值较大点的最小距离6：。数据点i的 局部密度值计算公式为 RBF神经网铬是一种典型的前馈型神经网络， p=∑xd-d) (3) 其网络结构如图1所示(L个输入神经元，J个隐含 层神经元，M个输出层神经元)。隐含层激活函数为 式中：当x<0时，X(x)=1;当x≥0时，X(x)=0;d为 径向基函数，常选用标准的高斯函数，即 需要提前设定的截断距离
了大量研究。 聚类算法常被用来确定 RBF 神经网络的结构， 如 K-Means、Fuzzy C-Means (FCM)[8-10]等，该类算法 能根据各聚类中心之间的距离确定隐含层神经元的 径向作用范围，但却无法确定隐含层神经元的个 数，会影响神经网络的泛化能力。因此，根据研究 对象自适应设计 RBF 神经网络中隐含层神经元的 个数，提高网络性能已成为当前 RBF 神经网络研究 的一个热点。Platt[11]首次提出了一种结构自适应调 整的 RBF 神经网络——资源分配网络 (resource allocation network，RAN)，该网络能根据待处理任务 动态增加 RBF 神经元，但容易导致网络结构过大的 问题。在 RAN 的基础上，Yingwei 等构建了最小资 源神经网络 (minimal resource allocation network， MRAN)[12]。在自适应增加隐含层神经元的同时， MRAN 能通过删减策略去除冗余神经元，但该网络 收敛速度较慢。Huang 等 [13]提出了一种增长修剪 型 RBF 神经网络 (growing and pruning RBF，GAPRBF)，该网络基于神经元的显著性构建隐含层结 构。文献[14]中构建了一种自组织 RBF 神经网络 (self-organizing RBF，SORBF)，SORBF 网络基于 RBF 神经元径向作用范围对隐含层结构进行自适 应增删。GAP-RBF 网络和 SORBF 网络中涉及的 算法参数较多，对算法最优参数的寻求会影响网络 的性能。Wilamowski 等 [15]基于误差补偿算法来构 建 RBF 神经网络 (error-correction RBF，ErrCor-RBF)， 实验表明该方法能获得较精简的神经网络结构，但 该网络仍然需要通过大量的迭代寻求最优结构。 鉴于以上存在的问题，结合 RBF 神经元激活函 数本身的特性，本文对一种快速密度聚类算法进行 了相应的改进，然后将其用于 RBF 神经网络的结构 设计中。同时，针对传统梯度下降、算法收敛较慢 且易陷入局部极小的问题，结合结构设计中确定的 初始参数，选用改进的二阶梯度算法来训练 RBF 神 经网络，提高了网络的收敛速度和泛化能力。最 后，通过两个基准仿真实验验证，提出的基于快速 密度聚类的 RBF 神经网络 (fast density clustering RBF, FDC-RBF)，能够以紧凑的网络结构和较快的 收敛速度获取较好的非线性映射能力。 1 RBF 神经网络 RBF 神经网络是一种典型的前馈型神经网络， 其网络结构如图 1 所示 (L 个输入神经元，J 个隐含 层神经元，M 个输出层神经元)。隐含层激活函数为 径向基函数，常选用标准的高斯函数，即 θj(x) = e − ∥x−c j∥ 2 σ 2 j (1) x = [x1 x2 ··· xL] T cj σj ym 其中： 为网络输入向量， 为第 j 个 神经元的中心向量， 为第 j 个神经元的径向作用 范围。输出层第 m 个神经元的输出 为 ym = ∑J j=1 wjmθj (2) 式中： wjm 为第 j 个隐层神经元到第 m 个输出神经元 的连接权值。 θ1 䒿ڑᅮ 䮼ॗᅮ 䒿ܦᅮ θ2 θj θJ x1 xL yM y1 … … … 图 1 RBF 神经网络结构图 Fig. 1 Structure of the RBF neural network 2 基于快速密度聚类的 RBF 神经网 络设计 RBF 神经网络的设计包括结构构建和参数训 练两部分。文中采用改进的快速密度聚类算法确定 网络初始结构和初始参数，在此基础上，用一种改 进的二阶梯度算法对网络进行训练。 2.1 快速密度聚类算法 聚类分析是基于相似度将样本划分成若干类 别，目前大多数聚类算法普遍存在两点不足：需要 提前确定聚类的类别数；需要通过大量迭代来寻求 最优聚类结果。 针对以上问题，Alex 等 [16]提出了一种快速密度 聚类算法，该算法无需提前确定聚类类别数，通过 寻找局部密度峰值作为聚类中心从而实现对数据样 本的快速聚类。 ρi δi 快速密度聚类算法的核心思想在于聚类中心被 其他密度值较小的点紧紧包围，且远离其他密度值 较大的点。在聚类中心的寻找过程中，对于任一数 据点 i，需计算两个值：每个点的局部密度值 和该 点到其他密度值较大点的最小距离 。数据点 i 的 局部密度值计算公式为 ρi = ∑ j χ ( di j −dc ) (3) 式中：当x < 0 时， χ(x) = 1 ；当x ⩾ 0 时， χ(x) = 0 ；dc 为 需要提前设定的截断距离。 ·332· 智 能 系 统 学 报 第 13 卷
第3期 蒙西，等：基于快速密度聚类的RBF神经网络设计 ·333· 数据点i到其他密度值较大点的最小距离6，计 过密度比较，将密度较大的点作为隐含层神经元。 算公式为 因此文中基于快速密度聚类的RBF神经网络 6;=min(di) (4) 结构设计可以分为两种情况：神经元增长机制；神 FPi2pi 选出局部密度值较大和到其他点距离较小的点 经元调节机制。 作为聚类中心，其他非中心数据样本依次分配到距 设神经网络的训练样本是由P个输入输出对 离其最近且密度值较大的聚类中心所在类，由此完 (x,y)组成，其中，x为L维输人向量，y为相对应的 成整个聚类过程。 M维期望输出。初始时刻，网络隐含层的神经元个 数为0。 可见，该算法的聚类过程是一步完成的无需通 ①神经元增长机制 过多次迭代来寻求最优结果。但其仍然存在两点不 把第一个数据样本作为第一个隐含层神经元中 足：聚类前需要获取整个数据样本，因而不利于实 心，同时设定相应的径向作用范围和输出权值。 现在线聚类；聚类的效果受到截断距离d,的影响。 C1=x1 (8) 针对以上问题，结合高斯函数的特性，对该算 01=1 (9) 法进行了一定的改进，并将其运用于RBF神经网络 w1=ya (10) 的结构设计中。 在k时刻，假设已经存在广个隐含层神经元，当 2.2基于快速密度聚类算法的RBF网络结构设计 第k个数据样本进入网络时，找到距离当前样本最 类似于快速密度聚类算法，本文通过寻找局部 近的隐含层神经元kin: 密度值较大的点作为隐含层神经元中心，进而确定 kmin arg min (dist(x.cn) (11) h(1.1 RBF神经网络的结构。针对快速密度聚类算法需 D=dist(x.c) (12) 要预先知道所有的数据样本且聚类效果受到截断距 将此距离与该隐含层神经元的径向作用范围进 离影响的问题，本文做出相应的改进。 行比较，如果D>onT,则认为当前样本不能 I)由于RBF神经元的激活函数为高斯函数，引 保证该神经元的活性，将第k个样本作为新增神经 入隐含层神经元活性评价指标如下： 元的中心，同时设定其径向作用范围和输出权值： AC=ek-efm≥V CH+I Xk (13) (5) 式中：AC,为第j个隐含层神经元被第i个样本激活 0+1=1 (14) Wi=ya (15) 后的活性，AC值越大，神经元的活性越强；V为神 ②神经元调整机制 经元活性阈值，以保证隐含层神经元的活性足够 在k时刻，若D≤onT,则认为当前网络 大。输入向量、中心向量、径向作用范围需要满足 能够对新样本进行学习，比较当前样本与该隐含层 以下关系： 神经元的局部密度值，选出密度值较大的点作为新 c 的隐含层神经元，数据点ⅰ的局部密度计算公式为 ≤vnW (6) p=∑exp(-lc,-xf1d\ (16) 即输入向量与隐含层神经元的中心向量间的距离需 CH+XI 要满足以下关系： 式中：x,是c,作用范围内所包括的样本点；d是该数 x:-c≤vn V (7) 据，点的局部作用范围。 式中神经元活性阈值V根据实验进行取值。因此 从式(16)可以看出，若一个数据，点的局部密度 截断距离与神经元的径向作用范围以及神经元的活 值越大，代表该点附近聚集的样本点越多：同理，隐 性相关。 含层神经元密度越大，则代表该神经元激活的样本 2)为了实现在线聚类，本文在确定神经网络结 数越多。 构时，训练样本依次进入神经网络对结构进行调 将当前输入样本点k的局部密度值与隐含层神 整：增加一个隐含层神经元或对已有的隐含层神经 经元km的局部密度值进行比较： 若P>P,则当前输入样本替换已有的隐含层 元进行调整。 神经元，成为新的隐含层神经元，初始参数设置为 文中隐含层结构设计的核心思想在于：判断当 Ck =Xk (17) 前样本在激活其最近隐含层神经元时是否能保证该 nkWk+ydj W= (18) 神经元具有足够的活性。如果能保证其活性则能归 nka +1 入当前隐含层神经元所在类，反之则不能；其次，通 =max(dist(c)) (19)
数据点 δi i 到其他密度值较大点的最小距离 计 算公式为 δi= min j:ρj>ρi ( di j) (4) 选出局部密度值较大和到其他点距离较小的点 作为聚类中心，其他非中心数据样本依次分配到距 离其最近且密度值较大的聚类中心所在类，由此完 成整个聚类过程。 可见，该算法的聚类过程是一步完成的无需通 过多次迭代来寻求最优结果。但其仍然存在两点不 足：聚类前需要获取整个数据样本，因而不利于实 现在线聚类；聚类的效果受到截断距离 dc 的影响。 针对以上问题，结合高斯函数的特性，对该算 法进行了一定的改进，并将其运用于 RBF 神经网络 的结构设计中。 2.2 基于快速密度聚类算法的 RBF 网络结构设计 类似于快速密度聚类算法，本文通过寻找局部 密度值较大的点作为隐含层神经元中心，进而确定 RBF 神经网络的结构。针对快速密度聚类算法需 要预先知道所有的数据样本且聚类效果受到截断距 离影响的问题，本文做出相应的改进。 1) 由于 RBF 神经元的激活函数为高斯函数，引 入隐含层神经元活性评价指标如下： ACi j=e −∥xi−cj∥ 2 /σ2 j ⩾ V (5) 式中： ACi j 为第 j 个隐含层神经元被第 i 个样本激活 后的活性，AC 值越大，神经元的活性越强；V 为神 经元活性阈值，以保证隐含层神经元的活性足够 大。输入向量、中心向量、径向作用范围需要满足 以下关系： xi − cj σj ⩽ √ ∥lnV∥ (6) 即输入向量与隐含层神经元的中心向量间的距离需 要满足以下关系： xi − cj ⩽ σj √ ∥lnV∥ (7) 式中神经元活性阈值 V 根据实验进行取值。因此 截断距离与神经元的径向作用范围以及神经元的活 性相关。 2) 为了实现在线聚类，本文在确定神经网络结 构时，训练样本依次进入神经网络对结构进行调 整：增加一个隐含层神经元或对已有的隐含层神经 元进行调整。 文中隐含层结构设计的核心思想在于：判断当 前样本在激活其最近隐含层神经元时是否能保证该 神经元具有足够的活性。如果能保证其活性则能归 入当前隐含层神经元所在类，反之则不能；其次，通 过密度比较，将密度较大的点作为隐含层神经元。 因此文中基于快速密度聚类的 RBF 神经网络 结构设计可以分为两种情况：神经元增长机制；神 经元调节机制。 (x, yd) x yd 设神经网络的训练样本是由 P 个输入输出对 组成，其中， 为 L 维输入向量， 为相对应的 M 维期望输出。初始时刻，网络隐含层的神经元个 数为 0。 ①神经元增长机制 把第一个数据样本作为第一个隐含层神经元中 心，同时设定相应的径向作用范围和输出权值。 c1 = x1 (8) σ1 = 1 (9) w1 = yd1 (10) 在 k 时刻，假设已经存在 j 个隐含层神经元，当 第 k 个数据样本进入网络时，找到距离当前样本最 近的隐含层神经元 kmin： kmin = argmin h∈[1, j] {dist(xk , ch)} (11) D= dist( xk , ckmin ) (12) D > σkmin √ ∥lnV∥ 将此距离与该隐含层神经元的径向作用范围进 行比较，如果 ，则认为当前样本不能 保证该神经元的活性，将第 k 个样本作为新增神经 元的中心，同时设定其径向作用范围和输出权值： cj+1 = xk (13) σj+1 = 1 (14) wj+1 = ydk (15) ②神经元调整机制 D ⩽ σkmin √ 在 k 时刻，若 ∥lnV∥ ，则认为当前网络 能够对新样本进行学习，比较当前样本与该隐含层 神经元的局部密度值，选出密度值较大的点作为新 的隐含层神经元，数据点 i 的局部密度计算公式为 Pi = ∑ ci,xj exp( − ci − xj 2 /di 2 ) (16) 式中： xj 是 ci作用范围内所包括的样本点；di 是该数 据点的局部作用范围。 从式 (16) 可以看出，若一个数据点的局部密度 值越大，代表该点附近聚集的样本点越多；同理，,隐 含层神经元密度越大，则代表该神经元激活的样本 数越多。 将当前输入样本点 k 的局部密度值与隐含层神 经元 kmin 的局部密度值进行比较： 若 Pk > Pkmin，则当前输入样本替换已有的隐含层 神经元，成为新的隐含层神经元，初始参数设置为 ckmin = xk (17) wkmin = nkminwkmin + yd j nkmin +1 (18) σkmin= max(dist(ckmin , xkmin )) (19) 第 3 期 蒙西，等：基于快速密度聚类的 RBF 神经网络设计 ·333·
·334· 智能系统学报 第13卷 式中：x表示第kmm个隐含层神经元激活的所有样 den ben Ben 本；表示激活的样本数量。 OA 84 OAN 反之，若P,≤P,则已有的隐含层神经元不 deM deM deiM 变，只需调整该神经元的径向作用范围以及到输出 0d1 04 OAN 层的连接权值，见式(18)~(19)。 (23) 由此，可以得到FDC-RBF神经网络结构设计 depL dep dep 算法如下： OA 04 444 OAN 1)初始时刻，隐含层神经元个数为0。 depM bepM oepM 2)当第1个样本进入网络后，将其作为第1个 0d1 0d2 OAN 隐含层神经元，并按照式(8)~(10)对其中心、径向 式中N是算法中所有参数的个数。 作用范围和连接权值进行设置。 由式(23)可以看出，在LM算法的执行过程 3)当第k个样本进入网络后，计算其与当前所 中，雅克比矩阵的计算与训练样本数量、参数个数 有隐含层神经元的距离，找出与第k个样本距离最 以及输出向量的维数都有关。当样本数量过多时， 近的隐含层神经元kmno 则会影响算法的收敛速度。 4)判断输入样本是否能保证第kmm个神经元的 针对以上问题，本文用一种改进的二阶算法对 活性，若不能保证则为网络新增加一个隐含层神经 RBF网络进行训练，提高了神经网络的收敛速度。 元，并按照式(13)~(15)赋予初始参数，然后转向 改进二阶算法的更新规则为 6)；否则，执行下一步。 4k+1=4-(Q+4IDg (24) 5)若能保证神经元活性，则比较当前样本与最 式中：仍指所有需要调整的参数（中心向量，径向 近隐含层神经元的局部密度值，选出密度值较大的 作用范围，连接权值)：Q为类海森矩阵；g为梯度向 点作为新的隐含层神经元，按照式(17)~(19)对中 量；4为学习率参数。 心、径向作用范围和权值进行更新，转向6)。 为了克服传统LM算法中存在的不足，减小存 6)若所有的样本比较完毕，则神经网络结构确 储空间，提高收敛速度，将类海森矩阵的计算转化 定；否则，=+1，转向3)。 为P×M个子矩阵的和，如式(25)、(26)所示： 该算法将快速密度聚类的思想用于RBF网络 结构设计中，并结合高斯函数特性进行相应改进， (25) p1m= 使网络具有紧凑的结构。同时，结构构建过程中设 9pm-jajpm (26) 定的较优的初始参数又能提高网络的收敛速度。 同样，将梯度向量的计算也转化为P×M个子向 2.3神经网络学习算法 量的和： 确定网络结构后，需要对网络参数进行调整。 P M 本文用一种改进的二阶算法对RBF网络进行训练， 2 g= (27) 提高了网络的收敛速度和泛化能力。传统的LM算 法更新规则如式(20)所示7： fmm-jepm (28) 这样，对类海森矩阵和梯度向量的计算就转化 A=A:-(JJ:+l)Je (20) 为对雅克比分量的计算： 式中：4指所有需要调整的参数（中心向量、径向作 用范围、连接权值)；J为雅克比矩阵；e为误差向量； jpm= de pm de pm ow im 0o… (29) OCim I是单位矩阵；4为学习率参数。 联立式(1)、(2)、(24)，对雅克比分量中每个参数的偏 误差向量计算公式为 微分计算如下： e=ten en...en...er en...eru] (21) epn ydpm -ypm (22) _ydm=-0(xp） (30) Ow jm Owim 式中：P是样本数量，M是输出向量维数，yam和 4e=-4m0,c2 ym分别是第p个样本进入时第m个输出神经元对 doi 00;(xp)oi 2wmej(xp)xp-cjl (31) 应的期望输出和实际输出。 雅克比矩阵计算公式为 0
xkmin nkmin 式中： 表示第 kmin 个隐含层神经元激活的所有样 本； 表示激活的样本数量。 Pj ⩽ Pk 反之，若 min ，则已有的隐含层神经元不 变，只需调整该神经元的径向作用范围以及到输出 层的连接权值，见式 (18)～(19)。 由此，可以得到 FDC-RBF 神经网络结构设计 算法如下： 1) 初始时刻，隐含层神经元个数为 0。 2) 当第 1 个样本进入网络后，将其作为第 1 个 隐含层神经元，并按照式 (8)～(10) 对其中心、径向 作用范围和连接权值进行设置。 3) 当第 k 个样本进入网络后，计算其与当前所 有隐含层神经元的距离，找出与第 k 个样本距离最 近的隐含层神经元 kmin。 4) 判断输入样本是否能保证第 kmin 个神经元的 活性，若不能保证则为网络新增加一个隐含层神经 元，并按照式 (13)～(15) 赋予初始参数，然后转向 6)；否则，执行下一步。 5) 若能保证神经元活性，则比较当前样本与最 近隐含层神经元的局部密度值，选出密度值较大的 点作为新的隐含层神经元，按照式 (17)～(19) 对中 心、径向作用范围和权值进行更新，转向 6)。 6) 若所有的样本比较完毕，则神经网络结构确 定；否则，k=k+1，转向 3)。 该算法将快速密度聚类的思想用于 RBF 网络 结构设计中，并结合高斯函数特性进行相应改进， 使网络具有紧凑的结构。同时，结构构建过程中设 定的较优的初始参数又能提高网络的收敛速度。 2.3 神经网络学习算法 确定网络结构后，需要对网络参数进行调整。 本文用一种改进的二阶算法对 RBF 网络进行训练， 提高了网络的收敛速度和泛化能力。传统的 LM 算 法更新规则如式 (20) 所示[17] ： ∆k+1 = ∆k −(J T k Jk +µk I) −1 J T k ek (20) 式中： ∆ 指所有需要调整的参数 (中心向量、径向作 用范围、连接权值)；J 为雅克比矩阵；e 为误差向量； I 是单位矩阵；μ 为学习率参数。 误差向量计算公式为 e = [e11 e12...e12...eP1 eP2...ePM ] T (21) epm = yd pm −ypm (22) yd pm ypm 式中：P 是样本数量，M 是输出向量维数， 和 分别是第 p 个样本进入时第 m 个输出神经元对 应的期望输出和实际输出。 雅克比矩阵计算公式为 J = ∂e11 ∂∆1 ∂e11 ∂∆2 ... ∂e11 ∂∆N . . . . . . . . . ∂e1M ∂∆1 ∂e1M ∂∆2 ... ∂e1M ∂∆N . . . . . . . . . ∂eP1 ∂∆1 ∂eP1 ∂∆2 ... ∂eP1 ∂∆N . . . . . . . . . ∂ePM ∂∆1 ∂ePM ∂∆2 ... ∂ePM ∂∆N (23) 式中 N 是算法中所有参数的个数。 由式 (23) 可以看出，在 LM 算法的执行过程 中，雅克比矩阵的计算与训练样本数量、参数个数 以及输出向量的维数都有关。当样本数量过多时， 则会影响算法的收敛速度。 针对以上问题，本文用一种改进的二阶算法对 RBF 网络进行训练，提高了神经网络的收敛速度。 改进二阶算法的更新规则为[18] ∆k+1 = ∆k −(Qk +µk I) −1 gk (24) 式中： ∆ 仍指所有需要调整的参数 (中心向量，径向 作用范围，连接权值)；Q 为类海森矩阵；g 为梯度向 量；μ 为学习率参数。 为了克服传统 LM 算法中存在的不足，减小存 储空间，提高收敛速度，将类海森矩阵的计算转化 为 P×M 个子矩阵的和，如式 (25)、(26) 所示： Q = ∑P p=1 ∑M m=1 qpm (25) qpm = j T pm jpm (26) 同样，将梯度向量的计算也转化为 P×M 个子向 量的和： g = ∑P p=1 ∑M m=1 ηpm (27) ηpm = j T pmepm (28) 这样，对类海森矩阵和梯度向量的计算就转化 为对雅克比分量的计算： jpm = [ ∂epm ∂wjm ... ∂epm ∂σj ... ∂epm ∂cjm ... ] (29) 联立式 (1)、(2)、(24)，对雅克比分量中每个参数的偏 微分计算如下： ∂epm ∂wjm = − ∂yd pm ∂wjm = −θj ( xp ) (30) ∂epm ∂σj = − ∂yd pm ∂σj = − ∂yd pm ∂θj ( xp ) ∂θj ( xp ) ∂σj = − 2wjmθj ( xp ) xp − cj 2 σ 3 j (31) ·334· 智 能 系 统 学 报 第 13 卷
第3期 蒙西，等：基于快速密度聚类的RBF神经网络设计 ·335· depm dydpm dydpm0,cp） 3c jm =-30(x)0cm 2wmej(xp)xp-cil (32) 训练过程中，学习率参数“随着误差的变化自 适应调整。如果后一时刻的误差小于前一时刻的误 差，则4值减小，并保留当前训练后的各参数值：反 之，则μ值增大，各参数值恢复到调整前的值。 020406080100120140160180200 3仿真实验 样本数 图3隐含层神经元变化曲线 文中选用非线性函数逼近和非线性动态系统辨 Fig.3 Structure construction process of the FDC-RBF net- 识两个基准实验对FDC-RBF网络进行仿真验证， work 并与其他算法进行了对比。 1.4 3.1非线性函数sinE逼近 1.2 选取的典型非线性函数sinE为 1.0 y=0.8exp(-0.2x)sin(10x) (33) 0.8 式中0≤x≤2。非线性函数sinE经常被用来检验 RBF神经网络的性能。 0.4 随机选取200个样本对神经网络进行训练， 0.2 200个样本进行测试，训练的期望均方误差(mean 0 10 15 square error,MSE)设为O.0l,神经元活性阈值V设 迭代步数 为0.55。用改进的二阶算法训练后的神经网络测试 图4二阶算法学习性能曲线 效果如图2所示，隐含层神经元数的变化如图3所 Fig.4 Performance curve of the second-order learning al- 示，二阶算法学习性能曲线如图4所示。此外，为 gorithm 1.8 了验证不同的学习算法对神经网络性能的影响，在 1.6 RBF网络初始结构确定后，又用梯度下降法对该网 1.4 络进行了训练，学习性能曲线如图5所示。 12 由图2可以看出，训练后的FDC-RBF网络能 够较好地拟合sinE曲线。从图4和图5的对比可 8 0.6 以看出，梯度下降算法需要在第45步左右才能完全 0.4 收敛，而改进的二阶算法在第13步就已完全收敛。 0.2 由此可以看出，当用改进的二阶算法训练该网络 010203040,5060708090100 迭代步数 时，收敛速度大大提高了。 图5梯度下降学习性能曲线 -期望输出 Fig.5 Performance curve of the gradient descent al- 实际输出 gorithm 同时，为了显示FDC-RBF网络的优良性，本文 02 将其与DENNI9、GAP-RBF)、SORBE4、ART-RBFO 0 进行了对比，如表1所示。结果显示，与DFNN、 0.2 GAP-RBF、SORBF相比，基于本文提出的算法设计 的网络隐含层神经元个数要少于以上网络，结构要 0.6 更为精简；同时，与其他4种网络相比，FDC-RBF网 0.8 络收敛速度更快，训练时间更短；此外，从测试误差 的对比可以看出，FDC-RBF网络的测试误差也要小 00.20.40.60.81.0121.41.61.82.0 于其他算法。因此可以得出，FDC-RBF神经网络在 图2函数逼近效果图 逼近该非线性函数时，网络结构较其他算法更为精 Fig.2 Results of the function approximation problem 简，收敛速度更快，泛化能力更好
∂epm ∂cjm = − ∂yd pm ∂cjm = − ∂yd pm ∂θj ( xp ) ∂θj ( xp ) ∂cjm = − 2wjmθj ( xp ) xp − cj σ 2 j (32) 训练过程中，学习率参数 μ 随着误差的变化自 适应调整。如果后一时刻的误差小于前一时刻的误 差，则 μ 值减小，并保留当前训练后的各参数值；反 之，则 μ 值增大，各参数值恢复到调整前的值。 3 仿真实验 文中选用非线性函数逼近和非线性动态系统辨 识两个基准实验对 FDC-RBF 网络进行仿真验证， 并与其他算法进行了对比。 3.1 非线性函数 sinE 逼近 选取的典型非线性函数 sinE 为 y = 0.8 exp(−0.2x) sin(10x) (33) 式中 0 ⩽ x ⩽ 2 。非线性函数 sinE 经常被用来检验 RBF 神经网络的性能。 随机选取 200 个样本对神经网络进行训练， 200 个样本进行测试，训练的期望均方误差 (mean square error，MSE) 设为 0.01，神经元活性阈值 V 设 为 0.55。用改进的二阶算法训练后的神经网络测试 效果如图 2 所示，隐含层神经元数的变化如图 3 所 示，二阶算法学习性能曲线如图 4 所示。此外，为 了验证不同的学习算法对神经网络性能的影响，在 RBF 网络初始结构确定后，又用梯度下降法对该网 络进行了训练，学习性能曲线如图 5 所示。 由图 2 可以看出，训练后的 FDC-RBF 网络能 够较好地拟合 sinE 曲线。从图 4 和图 5 的对比可 以看出，梯度下降算法需要在第 45 步左右才能完全 收敛，而改进的二阶算法在第 13 步就已完全收敛。 由此可以看出，当用改进的二阶算法训练该网络 时，收敛速度大大提高了。 0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 x y 期望输出 实际输出 图 2 函数逼近效果图 Fig. 2 Results of the function approximation problem 0 20 40 60 80 100 120 140 160 180 200 2 3 4 5 6 7 8 9 10 ᵣ᱘ 䮼ᅮ⺊㏻ٯ 图 3 隐含层神经元变化曲线 Fig. 3 Structure construction process of the FDC-RBF network 0 5 10 15 0.2 0.4 0.6 0.8 1.0 1.2 1.4 䔙Џₑ 䃙㏯䄛ጚ 图 4 二阶算法学习性能曲线 Fig. 4 Performance curve of the second-order learning algorithm 0 10 20 30 40 50 60 70 80 90 100 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 迭代步数 训练误差 图 5 梯度下降学习性能曲线 Fig. 5 Performance curve of the gradient descent algorithm 同时，为了显示 FDC-RBF 网络的优良性，本文 将其与 DFNN[19] 、GAP-RBF[13] 、SORBF[14] 、ART-RBF[20] 进行了对比，如表 1 所示。结果显示，与 DFNN、 GAP-RBF、SORBF 相比，基于本文提出的算法设计 的网络隐含层神经元个数要少于以上网络，结构要 更为精简；同时，与其他 4 种网络相比，FDC-RBF 网 络收敛速度更快，训练时间更短；此外，从测试误差 的对比可以看出，FDC-RBF 网络的测试误差也要小 于其他算法。因此可以得出，FDC-RBF 神经网络在 逼近该非线性函数时，网络结构较其他算法更为精 简，收敛速度更快，泛化能力更好。 第 3 期 蒙西，等：基于快速密度聚类的 RBF 神经网络设计 ·335·
·336· 智能系统学报 第13卷 表1函数逼近实验结果对比 10 Table 1 Performance comparison for the function approx- 9 imation problem 网络类型训练时间s测试MSE 隐含层神经元数/个 DFNN 62.32 0.0861 25 6 GAP-RBF 26.86 0.0415 19 SORBF 22.67 0.02418 12 ART-RBF 13.86 0.0137 10 FDC-RBF 6.52 0.0109 10 0102030405060708090100 样本数 3.2非线性系统动态辨识 图8隐含层神经元变化曲线 非线性动态系统辨识常被用来验证所设计的神 Fig.8 Structure construction process of the FDC-RBF net- work 经网络的性能，文中的非线性系统由式(34)表示： yt+1)=y0y-1)00+2.5) 由图6可以看出，FDC-RBF网络能够较好地辨 +u(t) (34) 1+y2(0+y2t-1) 识该非线性系统。同时，从图7的学习性能曲线变 式中：u()=sin(2πt/25),t∈[1,400]，y(0)=0,y(1)=0。 化可以看到，训练过程中，当迭代到第8步后网络 选取100个点作为训练样本，其中t∈[1,100，另外 完全收敛，由此可以看出，所设计网络的收敛速度 选取100个点作为测试样本，其中te[30L,400,训练 非常快。 的期望均方误差MSE设为0.01，神经元活性阈值V 此外，本文还将FDC-RBF网络的非线性系统 设为0.33。FDC-RBF网络的辨识结果如图6所示， 辨识结果与其他算法进行了对比，结果如表2所示。 其中用改进的二阶算法训练的神经网络学习性能曲 表2系统辨识实验结果对比 线如图7所示，隐含层神经元个数的变化如图8所示。 Table 2 Performance comparison for the dynamic system identification problem 网络类型训练时间s测试MSE 隐含层神经元个数 GAP-RBF 49.38 0.0212 12 DFNN 153.24 0.0264 15 SORBF 31.26 0.0112 7 ART-RBF 22.17 0.0100 7 FDC-RBF 15.26 0.0096 10 0102030405060708090100 从对比结果可以看出，与其他网络相比，FDC RBF网络的训练时间要优于其他网络。同时，即使 图6系统辨识结果 在期望的训练误差设为0.01的情况下，测试误差仍 Fig.6 Results of the system identification problem 然能达到0.0096由此可以看到，该网络的辨识效 16 果要好于其他网络。虽然隐含层神经元个数要多 14 于SORBF和ART-RBF,但网络结构却仍然要比 12 GAP-RBF与DFNN精简。由此可以得出，在用 FDC-RBF神经网络进行非线性动态系统辨识时，能 够在保证结构精简的前提下用较快的时间达到最好 6 的泛化能力。 4结束语 5101520253035404550 迭代步数 针对RBF网络的结构设计问题，本文将快速密 度聚类算法进行了相应改进，在保证神经元活性的 图7二阶算法学习性能曲线 Fig.7 Performance curve of the second-order learning al- 前提下通过寻找局部密度值较大的点来确定神经网 gorithm 络结构：同时，基于结构设计所确定的初始参数，用
表 1 函数逼近实验结果对比 Table 1 Performance comparison for the function approximation problem 网络类型 训练时间/s 测试 MSE 隐含层神经元数/个 DFNN 62.32 0.086 1 25 GAP-RBF 26.86 0.041 5 19 SORBF 22.67 0.024 18 12 ART-RBF 13.86 0.013 7 10 FDC-RBF 6.52 0.010 9 10 3.2 非线性系统动态辨识 非线性动态系统辨识常被用来验证所设计的神 经网络的性能，文中的非线性系统由式 (34) 表示： y (t+1) = y (t) y (t−1) (y (t)+2.5) 1+y 2 (t)+y 2 (t−1) +u(t) (34) u(t) = sin(2πt/25),t ∈ [1,400], y(0) = 0, y(1) = 0 t ∈ [1,100] t ∈ [301,400] 式中： 。 选取 100 个点作为训练样本，其中 ，另外 选取 100 个点作为测试样本，其中 ，训练 的期望均方误差 MSE 设为 0.01，神经元活性阈值 V 设为 0.33。FDC-RBF 网络的辨识结果如图 6 所示， 其中用改进的二阶算法训练的神经网络学习性能曲 线如图 7 所示，隐含层神经元个数的变化如图 8 所示。 0 10 20 30 40 50 60 70 80 90 100 −2 −1 0 1 2 3 4 t y 图 6 系统辨识结果 Fig. 6 Results of the system identification problem 0 5 10 15 20 25 30 35 40 45 50 2 4 6 8 10 12 14 16 䔙Џₑ 䃙㏯䄛ጚ 图 7 二阶算法学习性能曲线 Fig. 7 Performance curve of the second-order learning algorithm 0 10 20 30 40 50 60 70 80 90 100 2 3 4 5 6 7 8 9 10 样本数 隐层神经元数 图 8 隐含层神经元变化曲线 Fig. 8 Structure construction process of the FDC-RBF network 由图 6 可以看出，FDC-RBF 网络能够较好地辨 识该非线性系统。同时，从图 7 的学习性能曲线变 化可以看到，训练过程中，当迭代到第 8 步后网络 完全收敛，由此可以看出，所设计网络的收敛速度 非常快。 此外，本文还将 FDC-RBF 网络的非线性系统 辨识结果与其他算法进行了对比，结果如表 2 所示。 表 2 系统辨识实验结果对比 Table 2 Performance comparison for the dynamic system identification problem 网络类型 训练时间/s 测试 MSE 隐含层神经元个数 GAP-RBF 49.38 0.021 2 12 DFNN 153.24 0.026 4 15 SORBF 31.26 0.011 2 7 ART-RBF 22.17 0.010 0 7 FDC-RBF 15.26 0.009 6 10 从对比结果可以看出，与其他网络相比，FDCRBF 网络的训练时间要优于其他网络。同时，即使 在期望的训练误差设为 0.01 的情况下，测试误差仍 然能达到 0.009 6，由此可以看到，该网络的辨识效 果要好于其他网络。虽然隐含层神经元个数要多 于 SORBF 和 ART-RBF，但网络结构却仍然要比 GAP-RBF 与 DFNN 精简。由此可以得出，在用 FDC-RBF 神经网络进行非线性动态系统辨识时，能 够在保证结构精简的前提下用较快的时间达到最好 的泛化能力。 4 结束语 针对 RBF 网络的结构设计问题，本文将快速密 度聚类算法进行了相应改进，在保证神经元活性的 前提下通过寻找局部密度值较大的点来确定神经网 络结构；同时，基于结构设计所确定的初始参数，用 ·336· 智 能 系 统 学 报 第 13 卷
第3期 蒙西，等：基于快速密度聚类的RBF神经网络设计 ·337· 改进的二阶梯度算法对所设计的神经网络进行训 望).控制理论与应用，2010,27(3)350-357 练：最后，通过非线性函数逼近和非线性系统辨识 QIAO Junfei,HAN Honggui.Dynamic optimization struc- 两个基准实验进行仿真验证得到以下结论： ture design for neural networks:review and perspective]. I)文中提出的RBF网络结构设计算法不依赖 Control theory&applications,2010,27(3):350-357. 于全部的训练样本，能够根据实际任务自适应调整 [8]TAGLIAFERRI R,STAIANO A,SCALA D.A supervised 网络结构： fuzzy clustering for radial basis function neural networks training[C]//Proceedings of the 9th IFSA World Congress 2)通过保证神经元活性和寻求密度最大的点 and 20th NAFIPS International Conference.Vancouver,BC. 作为隐含层神经元，最终获得的RBF神经网络结构 Canada,2001:1804-1809. 精简且泛化能力好： [9]RUBIO JJ,PACHECO J.An stable online clustering fuzzy 3)结合结构设计中所确定的初始参数，用改进 neural network for nonlinear system identification[J].Neur- 的二阶梯度算法训练神经网络，大大提高了收敛速 al computing and applications,2009,18(6):633-641 度，缩短了训练时间。 [10]WANG Di,ZENG Xiaojun,KEANE J A.A clustering al- 尽管FDC-RBF网络在非线性函数逼近和非线 gorithm for radial basis function neural network initializa- 性系统动态辨识中取得了较好的效果，但其解决实 tion[J].Neurocomputing,2012,77(1):144-155 际问题的能力还有待进一步验证。 [11]PLATT J.A Resource-allocating network for function in- 参考文献： terpolation[J].Neural computation,1991,3(2):213-225. [12]LU Yingwei,SUNDARARAJAN N,SARATCHANDRAN [1]CHEN Sheng,WOLFGANG A,HARRIS C J,et al.Sym- P.A sequential learning scheme for function approxima- metric RBF classifier for nonlinear detection in multiple-an- tion using minimal radial basis function neural networks[] tenna-aided systems[J].IEEE transactions on neural net- Neural computation,1997,9(2):461-478. works.2008.19(5):737-745 [13]HUANG Guangbin,SARATCHANDRAN P,SUNDARA- [2]乔俊飞，韩红桂.RBF神经网络的结构动态优化设计)： RAJAN N.An efficient sequential learning algorithm for 自动化学报，2010,36(6)：865-872. growing and pruning RBF(GAP-RBF)networks[J].IEEE QIAO Junfei,HAN Honggui.Optimal structure design for transactions on systems,man,and cybernetics,part B(Cy- RBFNN structure[J].Acta automatica sinica,2010,36(6): bernetics),2004,346):2284-2292 865-872. [14]HAN Honggui,CHEN Qili,QIAO Junfei.Research on an [3]BARANDIARAN X,MORENO A.On the nature of neural online self-organizing radial basis function neural information:a critique of the received view 50 years later[J]. network[J].Neural computing and applications,2010, Neurocomputing,2008,71(4/5/6):681-692 19(5):667-676 [4侯远杭，黄胜，梁霄.PSO训练的弹性RBFNN在船型优 [15]YU Hao,REINER P D,XIE Tiantian,et al.An increment- 化中的应用研究.哈尔滨工程大学学报，2017,38(2)： 175-180. al design of radial basis function networks[J].IEEE trans- actions on neural networks and learning systems,2014, HOU Yuanhang,HUANG Sheng,LIANG Xiao.Ship hull 25(10)少：1793-1803 optimization based on PSO training FRBF neural network [J].Journal of Harbin engineering university,2017,38(2): [16]RODRIGUEZ A,LAIO A.Clustering by fast search and 175-180. find of density peaks[J].Science,2014,344(6191): [S蒙西，乔俊飞，韩红桂.基于ART的RBF网络结构设计 1492-1496. [).控制与决策，2014,29(10)：1876-1880 [17]HAGAN M T,MENHAJ M B.Training feedforward net- MENG Xi,QIAO Junfei,HAN Honggui.RBF neural net- works with the Marquardt algorithm[J].IEEE transactions work based on ART neural network[J].Control and de- on neural networks,1994,5(6):989-993 cision.2014,29(10):1876-1880. [18]WILAMOWSKI B M,YU Hao.Improved computation for 6]CECATI C.KOLBUSZ J.ROZYCKI P,et al.A novel RBF Levenberg-Marquardt training[J].IEEE transactions on training algorithm for short-term electric load forecasting neural networks,2010,21(6):930-937. and comparative studiesfJ].IEEE transactions on industrial [19]WU Shigian,ER M J,GAO Yang.A fast approach for electronics,2015,6210):6519-6529. automatic generation of fuzzy rules by generalized dynam- [⑦乔俊飞，韩红桂.神经网络结构动态优化设计的分析与展 ic fuzzy neural networks[J].IEEE transactions on fuzzy
改进的二阶梯度算法对所设计的神经网络进行训 练；最后，通过非线性函数逼近和非线性系统辨识 两个基准实验进行仿真验证得到以下结论： 1) 文中提出的 RBF 网络结构设计算法不依赖 于全部的训练样本，能够根据实际任务自适应调整 网络结构； 2) 通过保证神经元活性和寻求密度最大的点 作为隐含层神经元，最终获得的 RBF 神经网络结构 精简且泛化能力好； 3) 结合结构设计中所确定的初始参数，用改进 的二阶梯度算法训练神经网络，大大提高了收敛速 度，缩短了训练时间。 尽管 FDC-RBF 网络在非线性函数逼近和非线 性系统动态辨识中取得了较好的效果，但其解决实 际问题的能力还有待进一步验证。 参考文献： CHEN Sheng, WOLFGANG A, HARRIS C J, et al. Symmetric RBF classifier for nonlinear detection in multiple-antenna-aided systems[J]. IEEE transactions on neural networks, 2008, 19(5): 737–745. [1] 乔俊飞, 韩红桂. RBF 神经网络的结构动态优化设计[J]. 自动化学报, 2010, 36(6): 865–872. QIAO Junfei, HAN Honggui. Optimal structure design for RBFNN structure[J]. Acta automatica sinica, 2010, 36(6): 865–872. [2] BARANDIARAN X, MORENO A. On the nature of neural information: a critique of the received view 50 years later[J]. Neurocomputing, 2008, 71(4/5/6): 681–692. [3] 侯远杭, 黄胜, 梁霄. PSO 训练的弹性 RBFNN 在船型优 化中的应用研究[J]. 哈尔滨工程大学学报, 2017, 38(2): 175–180. HOU Yuanhang, HUANG Sheng, LIANG Xiao. Ship hull optimization based on PSO training FRBF neural network [J]. Journal of Harbin engineering university, 2017, 38(2): 175–180. [4] 蒙西, 乔俊飞, 韩红桂. 基于 ART 的 RBF 网络结构设计 [J]. 控制与决策, 2014, 29(10): 1876–1880. MENG Xi, QIAO Junfei, HAN Honggui. RBF neural network based on ART neural network[J]. Control and decision, 2014, 29(10): 1876–1880. [5] CECATI C, KOLBUSZ J, RÓŻYCKI P, et al. A novel RBF training algorithm for short-term electric load forecasting and comparative studies[J]. IEEE transactions on industrial electronics, 2015, 62(10): 6519–6529. [6] [7] 乔俊飞, 韩红桂. 神经网络结构动态优化设计的分析与展 望[J]. 控制理论与应用, 2010, 27(3): 350–357. QIAO Junfei, HAN Honggui. Dynamic optimization structure design for neural networks: review and perspective[J]. Control theory & applications, 2010, 27(3): 350–357. TAGLIAFERRI R, STAIANO A, SCALA D. A supervised fuzzy clustering for radial basis function neural networks training[C]//Proceedings of the 9th IFSA World Congress and 20th NAFIPS International Conference. Vancouver, BC, Canada, 2001: 1804–1809. [8] RUBIO J J, PACHECO J. An stable online clustering fuzzy neural network for nonlinear system identification[J]. Neural computing and applications, 2009, 18(6): 633–641. [9] WANG Di, ZENG Xiaojun, KEANE J A. A clustering algorithm for radial basis function neural network initialization[J]. Neurocomputing, 2012, 77(1): 144–155. [10] PLATT J. A Resource-allocating network for function interpolation[J]. Neural computation, 1991, 3(2): 213–225. [11] LU Yingwei, SUNDARARAJAN N, SARATCHANDRAN P. A sequential learning scheme for function approximation using minimal radial basis function neural networks[J]. Neural computation, 1997, 9(2): 461–478. [12] HUANG Guangbin, SARATCHANDRAN P, SUNDARARAJAN N. An efficient sequential learning algorithm for growing and pruning RBF (GAP-RBF) networks[J]. IEEE transactions on systems, man, and cybernetics, part B (Cybernetics), 2004, 34(6): 2284–2292. [13] HAN Honggui, CHEN Qili, QIAO Junfei. Research on an online self-organizing radial basis function neural network[J]. Neural computing and applications, 2010, 19(5): 667–676. [14] YU Hao, REINER P D, XIE Tiantian, et al. An incremental design of radial basis function networks[J]. IEEE transactions on neural networks and learning systems, 2014, 25(10): 1793–1803. [15] RODRIGUEZ A, LAIO A. Clustering by fast search and find of density peaks[J]. Science, 2014, 344(6191): 1492–1496. [16] HAGAN M T, MENHAJ M B. Training feedforward networks with the Marquardt algorithm[J]. IEEE transactions on neural networks, 1994, 5(6): 989–993. [17] WILAMOWSKI B M, YU Hao. Improved computation for Levenberg–Marquardt training[J]. IEEE transactions on neural networks, 2010, 21(6): 930–937. [18] WU Shiqian, ER M J, GAO Yang. A fast approach for automatic generation of fuzzy rules by generalized dynamic fuzzy neural networks[J]. IEEE transactions on fuzzy [19] 第 3 期 蒙西，等：基于快速密度聚类的 RBF 神经网络设计 ·337·
·338· 智能系统学报 第13卷 systems,2002,9(4):578-594. 乔俊飞，男，1968年生，教授，博 士生导师，教育部长江学者特聘教授， [20]MENG Xi,QIAO Junfei,HAN Honggui.An ART-like al- 国家杰出青年基金获得者，主要研究 gorithm for constructing RBF neural networks[C]//Pro- 方向为计算智能、智能特征建模、自组 ceedings of 2015 International Joint Conference on Neural 织控制和智能优化。在Automatica、 Networks.Killarney,Ireland,2015. IEEE Trans.刊物、自动化学报等权威 作者简介： 期刊上发表学术论文百余篇。 蒙西，女，1988年生，博士研究 李文静，女，1985年生，副教授， 生，主要研究方向为人工神经网络、类 博士，主要研究方向为神经计算、人工 脑智能模型以及智能信息处理。获得 神经网络、模式识别。申请美国发明 授权国家发明专利1项。发表学术论 专利1项。发表学术论文10余篇， 文5篇，被SCI收录2篇，EI收录 被SCI收录8篇。 3篇。 2018年第二届图像及信号处理国际会议（ICGSP2018) The 2nd International Conference on Graphics and Signal Processing (ICGSP 2018) Oct.6-8,2018,Sydney,Australia The 2nd International Conference on Graphics and Signal Processing(ICGSP 2018)aims to be a prime internation- al forum for both researchers and industry practitioners to exchange the latest fundamental advances in the state of the art and practice of graphics and signal processing,identify emerging research topics,and define the future of Signal Pro- cessing.ICGSP offers a three-day technical program including keynote speeches,hot-topic oral&poster sessions,tutori- als. Papers that present original work,validated by experimentation,simulation,or analysis,are solicited.Practical ex- periences and experimental efforts from both industry and academia,duly documenting the lessons learned from test- beds,field-trials,or real deployments,are also welcome. Accepted conference papers(full paper only)after authors'attendance will be published in the conference proceed- ings,which will be online and indexed. Important Date Abstract Submission Deadline:May 10th,2018 Full manuscript due:May 30th,2018 Acceptance notification:June 20th,2018 Camera Ready:July 30,2018 Website:http://icgsp.org/
systems, 2002, 9(4): 578–594. MENG Xi, QIAO Junfei, HAN Honggui. An ART-like algorithm for constructing RBF neural networks[C]//Proceedings of 2015 International Joint Conference on Neural Networks. Killarney, Ireland, 2015. [20] 作者简介： 蒙西，女，1988 年生，博士研究 生，主要研究方向为人工神经网络、类 脑智能模型以及智能信息处理。获得 授权国家发明专利 1 项。发表学术论 文 5 篇 ，被 SCI 收录 2 篇 ，EI 收录 3 篇。 乔俊飞，男，1968 年生，教授，博 士生导师，教育部长江学者特聘教授， 国家杰出青年基金获得者，主要研究 方向为计算智能、智能特征建模、自组 织控制和智能优化。在 Automatica、 IEEE Trans.刊物、自动化学报等权威 期刊上发表学术论文百余篇。 李文静，女，1985 年生，副教授， 博士，主要研究方向为神经计算、人工 神经网络、模式识别。申请美国发明 专利 1 项。发表学术论文 10 余篇， 被 SCI 收录 8 篇。 2018 年第二届图像及信号处理国际会议（ICGSP 2018） The 2nd International Conference on Graphics and Signal Processing (ICGSP 2018) Oct. 6-8, 2018, Sydney, Australia The 2nd International Conference on Graphics and Signal Processing (ICGSP 2018) aims to be a prime international forum for both researchers and industry practitioners to exchange the latest fundamental advances in the state of the art and practice of graphics and signal processing, identify emerging research topics, and define the future of Signal Processing. ICGSP offers a three-day technical program including keynote speeches, hot-topic oral&poster sessions, tutorials. Papers that present original work, validated by experimentation, simulation, or analysis, are solicited. Practical experiences and experimental efforts from both industry and academia, duly documenting the lessons learned from testbeds, field-trials, or real deployments, are also welcome. Accepted conference papers (full paper only) after authors’ attendance will be published in the conference proceedings, which will be online and indexed. Important Date • Abstract Submission Deadline: May 10th, 2018 • Full manuscript due: May 30th, 2018 • Acceptance notification: June 20th, 2018 • Camera Ready: July 30, 2018 Website:http://icgsp.org/ ·338· 智 能 系 统 学 报 第 13 卷