第2期 乔俊飞，等：基于相对贡献指标的自组织RBF神经网络的设计 ·163· 假设：当前网络存在J个隐含层神经元，当前 则，将得到 时刻的误差为e)。 △2(t)=(Q(2(t)+A(t)D-0(t) (35) 1)当满足神经元增加条件时，分裂神经元， 现在有以下收敛定理： 此时神经元数目变为J+1个，此时网络的误差变 假设RC-RBF神经网络中的隐含层神经元数 为e'41)。新增加的神经元的参数设置按照式 为固定J,同时网络参数根据式(17)中的规则进 (12)进行设置。 行更新，如果满足以下假设： 0(2t-1) e'j(t)=yp(t)- w,0Φ(t0= IA2e训≤minllAs2t-1), (2t-1) (36) 那么，结合等式(32(34)可以得到 y,(0-（w,(0中，(0+wen0)中(0)= (29) j=1 △F2)=-2A2'rE(2)a20 (37) e(t) e0-重n 、中ew()=0 7E(△2()是正定的，当满足假设条件，于是得出： △F(2t)<0 可以看出，隐含层新增加神经元之后，其参数 (38) 设置对网络的输出误差进行了补偿，调整后误差 由此可以得出Lyapunov函数F(2()不是增 为0，一定程度上加快算法的学习速度。 加的，进一步得出当()→0，网络收敛 lime(t)=0 (39) 2)当满足删减条件时，删除第k个神经元，此 时神经元的数量变为J1,神经网络的输出误差为 综上所述，通过网路误差补偿更新神经元的 e-(①)，删减之后对临近神经元的参数更新设置如 参数，对神经元增长和删减两阶段的收敛性证 明；同时也对结构固定阶段的RBF网络的收敛性 式(16). 也进行证明，因此提出设计方法的收敛性得以验证。 可以看出，删掉神经元与输出之间的连接权 值，中心，宽度等参数，对其邻近的神经元进行参 4仿真实验 数更新，神经元调整前后，神经网络的输出误差 相等，可见结构删减对网络的误差没有产生影响。 RC-RBF神经网络能够根据研究对象的复杂 动态变化在线调整隐含层神经元的个数，提高网 e-10=y(0)-w,0速，)= 络的预测能力，为验证算法的有效性和可行性， 对Mackey-.class时间序列和污水处理关键出水参 0-( wt)速(0)+w-(t)Φ-1(t)= 数氨氨预测进行预测实验，对其算法进行验证。 1.jk.ji-1 利用均方根误差函数作为衡量网路的性能指 0-( w,(t)Φ)+ (30) 标函数，计算公式如式(40)所示。 j=ljjti-1 Φ() w(0+ w(0)重()》= ) RMSE(t)= ,y(0-on(t) (40) ya(0- w(t)速()-w2(t)-1()e(0 式中：P为样本总数，y,()为第p个样本1时刻对 j=l.ji-1 应的网络输出，o()为第p个样本1时刻对应的 3)隐节点数目不变的阶段 期望输出。 为了证明算法在固定神经元时算法的收敛 l)Mackey-Glass时间序列预测 性，定义一个Lyapunov函数： Mackey-Glass时间序列预测是一个典型的验 F2)=2e'oe0 (31) 证自组织网络性能的基准函数。其微分方程表 根据泰勒展开式可以得到，Lyapunov函数 达式如式(41)所示： F2()的变化量： bx(t-T) x(+1)=(1-a)x()++x) (41) △F(2(t0)=F(2(t+1)-F(2(t)= 式中：a=0.1,b=0.2,t=17,并且初始条件为 -7E(2(t)△2(t)+ (32) ARTOVE(Q(ARO) x(0)=1.2,p=6,△1=6。过去的4个值{x(),x(-△)， x(-2△)，x(-3△)}去预测x(什p)的值，预测模型如 VE(2()=O(2(t) (33) 式(42)所示： 72E(2(t0)=Q(2(t0)+A()1 (34) x(t+p)=f[x(),x(t-△)，x(t-2△)，x(t-3△](42) 式中：VE(△2()和VE(△2()分别为误差函数的 根据式(42)产生1000个数据，其中，1∈[136， 一阶导数、二阶导数矩阵。根据式(17)的更新规 535]产生500组作为训练数据，1e[636,1135]产假设：当前网络存在 J 个隐含层神经元，当前 时刻的误差为 eJ (t)。 e ′ J+1(t) 1) 当满足神经元增加条件时，分裂神经元， 此时神经元数目变为 J+1 个，此时网络的误差变 为 。新增加的神经元的参数设置按照式 (12) 进行设置。 e ′ J+1(t) = yp(t)− ∑J+1 j=1 wj(t)Φj(t) = yp(t)−( ∑J j=1 wj(t)Φj(t)+wnew(t)Φnew(t)) = ej(t)− ej(t) Φnew(t) Φnew(t) = 0 (29) 可以看出，隐含层新增加神经元之后，其参数 设置对网络的输出误差进行了补偿，调整后误差 为 0，一定程度上加快算法的学习速度。 e ′ J−1(t) 2) 当满足删减条件时，删除第 k 个神经元，此 时神经元的数量变为 J-1，神经网络的输出误差为 ，删减之后对临近神经元的参数更新设置如 式 (16)。 可以看出，删掉神经元与输出之间的连接权 值，中心，宽度等参数，对其邻近的神经元进行参 数更新，神经元调整前后，神经网络的输出误差 相等，可见结构删减对网络的误差没有产生影响。 e ′ J−1 (t) = yp(t)− ∑J−1 j=1 wj(t)Φj(t) = yp(t)−( ∑J j=1, j,k, j,i−1 wj(t)Φj(t)+wi−1(t)Φi−1(t)) = yd(t)−( ∑J j=1, j,k, j,i−1 wj(t)Φj(t)+ ( w ′ i−1 (t)+ Φk(t) Φ′ i−1 (t) wk(t) ) Φ′ i−1 (t)) = yd(t)− ∑J j=1, j,i−1 wj(t)Φj(t)−w ′ i−1 (t)Φi−1(t)eJ (t) (30) 3) 隐节点数目不变的阶段 为了证明算法在固定神经元时算法的收敛 性，定义一个 Lyapunov 函数： F(Ω(t)) = 1 2 e T (t)e(t) (31) 根据泰勒展开式可以得到，Lyapunov 函数 F(Ω(t)) 的变化量： ∆F(Ω(t)) = F(Ω(t+1))− F(Ω(t)) = −∇E T (Ω(t))∆Ω(t)+ 1 2 ∆Ω T (t)∇ 2E(Ω(t))∆Ω(t) (32) ∇E(Ω(t)) = Θ(Ω(t)) (33) ∇ 2E(Ω(t)) = Q(Ω(t))+λ(t)I (34) ∇E(∆Ω(t)) ∇ 2 式中： 和 E(∆Ω(t)) 分别为误差函数的 一阶导数、二阶导数矩阵。根据式 (17) 的更新规 则，将得到 ∆Ω(t) = (Q(Ω(t))+λ(t)I) −1Θ(t) (35) 现在有以下收敛定理： 假设 RC-RBF 神经网络中的隐含层神经元数 为固定 J，同时网络参数根据式 (17) 中的规则进 行更新，如果满足以下假设： ∥∆Ω(t)∥ ⩽ min{ ∥∆Ω(t−1)∥, Θ(Ω(t−1)) Q(Ω(t−1))} (36) 那么，结合等式 (32)~(34) 可以得到 ∆F(Ω(t)) = − 1 2 ∆Ω T (t)∇ 2E(Ω(t))∆Ω(t) (37) ∇ 2E(∆Ω(t)) 是正定的，当满足假设条件，于是得出： ∆F(Ω(t)) < 0 (38) 由此可以得出 Lyapunov 函数 F(Ω(t)) 不是增 加的，进一步得出当 e(t)→0,网络收敛 lim t→∞ e(t) = 0 (39) 综上所述，通过网路误差补偿更新神经元的 参数，对神经元增长和删减两阶段的收敛性证 明；同时也对结构固定阶段的 RBF 网络的收敛性 也进行证明，因此提出设计方法的收敛性得以验证。 4 仿真实验 RC-RBF 神经网络能够根据研究对象的复杂 动态变化在线调整隐含层神经元的个数，提高网 络的预测能力，为验证算法的有效性和可行性， 对 Mackey-class 时间序列和污水处理关键出水参 数氨氮预测进行预测实验，对其算法进行验证。 利用均方根误差函数作为衡量网路的性能指 标函数，计算公式如式 (40) 所示。 RMSE(t) = vut 1 2P ∑P p=1 (yp(t)−op(t))2 (40) 式中：P 为样本总数，yp (t) 为第 p 个样本 t 时刻对 应的网络输出，op (t) 为第 p 个样本 t 时刻对应的 期望输出。 1) Mackey-Glass 时间序列预测 Mackey-Glass 时间序列预测是一个典型的验 证自组织网络性能的基准函数[18]。其微分方程表 达式如式 (41) 所示： x(t+1) = (1−a)x(t)+ bx(t−τ) 1+ x 10(t−τ) (41) 式中： a=0.1 ， b=0.2 ， τ=17 ，并且初始条件 为 x(0)=1.2, p=6, Δt=6。过去的 4 个值{x(t), x(t–Δt), x(t–2Δt), x(t–3Δt)}去预测 x(t+p) 的值，预测模型如 式 (42) 所示： x (t+ p) = f [x (t), x (t−∆t), x (t−2∆t), x (t−3∆t)] (42) 根据式 (42) 产生 1 000 个数据，其中，t∈[136, 535] 产生 500 组作为训练数据，t∈[636, 1 135] 产 第 2 期 乔俊飞，等：基于相对贡献指标的自组织 RBF 神经网络的设计 ·163·