第3期 蒙西，等：基于快速密度聚类的RBF神经网络设计 ·333· 数据点i到其他密度值较大点的最小距离6，计 过密度比较，将密度较大的点作为隐含层神经元。 算公式为 因此文中基于快速密度聚类的RBF神经网络 6;=min(di) (4) 结构设计可以分为两种情况：神经元增长机制；神 FPi2pi 选出局部密度值较大和到其他点距离较小的点 经元调节机制。 作为聚类中心，其他非中心数据样本依次分配到距 设神经网络的训练样本是由P个输入输出对 离其最近且密度值较大的聚类中心所在类，由此完 (x,y)组成，其中，x为L维输人向量，y为相对应的 成整个聚类过程。 M维期望输出。初始时刻，网络隐含层的神经元个 数为0。 可见，该算法的聚类过程是一步完成的无需通 ①神经元增长机制 过多次迭代来寻求最优结果。但其仍然存在两点不 把第一个数据样本作为第一个隐含层神经元中 足：聚类前需要获取整个数据样本，因而不利于实 心，同时设定相应的径向作用范围和输出权值。 现在线聚类；聚类的效果受到截断距离d,的影响。 C1=x1 (8) 针对以上问题，结合高斯函数的特性，对该算 01=1 (9) 法进行了一定的改进，并将其运用于RBF神经网络 w1=ya (10) 的结构设计中。 在k时刻，假设已经存在广个隐含层神经元，当 2.2基于快速密度聚类算法的RBF网络结构设计 第k个数据样本进入网络时，找到距离当前样本最 类似于快速密度聚类算法，本文通过寻找局部 近的隐含层神经元kin: 密度值较大的点作为隐含层神经元中心，进而确定 kmin arg min (dist(x.cn) (11) h(1.1 RBF神经网络的结构。针对快速密度聚类算法需 D=dist(x.c) (12) 要预先知道所有的数据样本且聚类效果受到截断距 将此距离与该隐含层神经元的径向作用范围进 离影响的问题，本文做出相应的改进。 行比较，如果D>onT,则认为当前样本不能 I)由于RBF神经元的激活函数为高斯函数，引 保证该神经元的活性，将第k个样本作为新增神经 入隐含层神经元活性评价指标如下： 元的中心，同时设定其径向作用范围和输出权值： AC=ek-efm≥V CH+I Xk (13) (5) 式中：AC,为第j个隐含层神经元被第i个样本激活 0+1=1 (14) Wi=ya (15) 后的活性，AC值越大，神经元的活性越强；V为神 ②神经元调整机制 经元活性阈值，以保证隐含层神经元的活性足够 在k时刻，若D≤onT,则认为当前网络 大。输入向量、中心向量、径向作用范围需要满足 能够对新样本进行学习，比较当前样本与该隐含层 以下关系： 神经元的局部密度值，选出密度值较大的点作为新 c 的隐含层神经元，数据点ⅰ的局部密度计算公式为 ≤vnW (6) p=∑exp(-lc,-xf1d\ (16) 即输入向量与隐含层神经元的中心向量间的距离需 CH+XI 要满足以下关系： 式中：x,是c,作用范围内所包括的样本点；d是该数 x:-c≤vn V (7) 据，点的局部作用范围。 式中神经元活性阈值V根据实验进行取值。因此 从式(16)可以看出，若一个数据，点的局部密度 截断距离与神经元的径向作用范围以及神经元的活 值越大，代表该点附近聚集的样本点越多：同理，隐 性相关。 含层神经元密度越大，则代表该神经元激活的样本 2)为了实现在线聚类，本文在确定神经网络结 数越多。 构时，训练样本依次进入神经网络对结构进行调 将当前输入样本点k的局部密度值与隐含层神 整：增加一个隐含层神经元或对已有的隐含层神经 经元km的局部密度值进行比较： 若P>P,则当前输入样本替换已有的隐含层 元进行调整。 神经元，成为新的隐含层神经元，初始参数设置为 文中隐含层结构设计的核心思想在于：判断当 Ck =Xk (17) 前样本在激活其最近隐含层神经元时是否能保证该 nkWk+ydj W= (18) 神经元具有足够的活性。如果能保证其活性则能归 nka +1 入当前隐含层神经元所在类，反之则不能；其次，通 =max(dist(c)) (19)数据点 δi i 到其他密度值较大点的最小距离 计 算公式为 δi= min j:ρj>ρi ( di j) (4) 选出局部密度值较大和到其他点距离较小的点 作为聚类中心，其他非中心数据样本依次分配到距 离其最近且密度值较大的聚类中心所在类，由此完 成整个聚类过程。 可见，该算法的聚类过程是一步完成的无需通 过多次迭代来寻求最优结果。但其仍然存在两点不 足：聚类前需要获取整个数据样本，因而不利于实 现在线聚类；聚类的效果受到截断距离 dc 的影响。 针对以上问题，结合高斯函数的特性，对该算 法进行了一定的改进，并将其运用于 RBF 神经网络 的结构设计中。 2.2 基于快速密度聚类算法的 RBF 网络结构设计 类似于快速密度聚类算法，本文通过寻找局部 密度值较大的点作为隐含层神经元中心，进而确定 RBF 神经网络的结构。针对快速密度聚类算法需 要预先知道所有的数据样本且聚类效果受到截断距 离影响的问题，本文做出相应的改进。 1) 由于 RBF 神经元的激活函数为高斯函数，引 入隐含层神经元活性评价指标如下： ACi j=e −∥xi−cj∥ 2 /σ2 j ⩾ V (5) 式中： ACi j 为第 j 个隐含层神经元被第 i 个样本激活 后的活性，AC 值越大，神经元的活性越强；V 为神 经元活性阈值，以保证隐含层神经元的活性足够 大。输入向量、中心向量、径向作用范围需要满足 以下关系： xi − cj σj ⩽ √ ∥lnV∥ (6) 即输入向量与隐含层神经元的中心向量间的距离需 要满足以下关系： xi − cj ⩽ σj √ ∥lnV∥ (7) 式中神经元活性阈值 V 根据实验进行取值。因此 截断距离与神经元的径向作用范围以及神经元的活 性相关。 2) 为了实现在线聚类，本文在确定神经网络结 构时，训练样本依次进入神经网络对结构进行调 整：增加一个隐含层神经元或对已有的隐含层神经 元进行调整。 文中隐含层结构设计的核心思想在于：判断当 前样本在激活其最近隐含层神经元时是否能保证该 神经元具有足够的活性。如果能保证其活性则能归 入当前隐含层神经元所在类，反之则不能；其次，通 过密度比较，将密度较大的点作为隐含层神经元。 因此文中基于快速密度聚类的 RBF 神经网络 结构设计可以分为两种情况：神经元增长机制；神 经元调节机制。 (x, yd) x yd 设神经网络的训练样本是由 P 个输入输出对 组成，其中， 为 L 维输入向量， 为相对应的 M 维期望输出。初始时刻，网络隐含层的神经元个 数为 0。 ①神经元增长机制 把第一个数据样本作为第一个隐含层神经元中 心，同时设定相应的径向作用范围和输出权值。 c1 = x1 (8) σ1 = 1 (9) w1 = yd1 (10) 在 k 时刻，假设已经存在 j 个隐含层神经元，当 第 k 个数据样本进入网络时，找到距离当前样本最 近的隐含层神经元 kmin： kmin = argmin h∈[1, j] {dist(xk , ch)} (11) D= dist( xk , ckmin ) (12) D > σkmin √ ∥lnV∥ 将此距离与该隐含层神经元的径向作用范围进 行比较，如果 ，则认为当前样本不能 保证该神经元的活性，将第 k 个样本作为新增神经 元的中心，同时设定其径向作用范围和输出权值： cj+1 = xk (13) σj+1 = 1 (14) wj+1 = ydk (15) ②神经元调整机制 D ⩽ σkmin √ 在 k 时刻，若 ∥lnV∥ ，则认为当前网络 能够对新样本进行学习，比较当前样本与该隐含层 神经元的局部密度值，选出密度值较大的点作为新 的隐含层神经元，数据点 i 的局部密度计算公式为 Pi = ∑ ci,xj exp( − ci − xj 2 /di 2 ) (16) 式中： xj 是 ci作用范围内所包括的样本点；di 是该数 据点的局部作用范围。 从式 (16) 可以看出，若一个数据点的局部密度 值越大，代表该点附近聚集的样本点越多；同理，,隐 含层神经元密度越大，则代表该神经元激活的样本 数越多。 将当前输入样本点 k 的局部密度值与隐含层神 经元 kmin 的局部密度值进行比较： 若 Pk > Pkmin，则当前输入样本替换已有的隐含层 神经元，成为新的隐含层神经元，初始参数设置为 ckmin = xk (17) wkmin = nkminwkmin + yd j nkmin +1 (18) σkmin= max(dist(ckmin , xkmin )) (19) 第 3 期 蒙西，等：基于快速密度聚类的 RBF 神经网络设计 ·333·