.204 北京科技大学学报 第30卷 xe(k)=x(k-1)+x(k-1) (3) 范围内随机选择；按退化概率Pb进行网络结构的 y(k)=g(wx(k)) (4) 某个神经元的删除工作，同时删除与之相关的连接 式中，f(),g()分别是隐含层和输出单元的激发 权值 函数；α是自反馈增益因子.结构单元的输出等于 (③)适应度函数，适应度函数所选择的误差型 上一时刻的隐层单元的输出与“结构”单元的上一时 目标函数为： 刻输出的a倍之和（为保证收敛，要求0<a<1),这 f一E D (5) 样可以逼近高阶系统， 之，（0a()-y(i)2 =kp十H 其中，f为k时刻的适应度值，p为辨识宽度，y和 输出层 y分别为期望输出和网络输出. (4)自适应选择操作，适应度是指导搜索的关 隐含层 键.为了避免“早熟”现象和保证种群中个体的多样 性，需要对适应度函数进行在线调整，本文通过分 析模拟退火算法4]和遗传算法的优缺点，将模拟 (k-1) 结构单元 输入层 退火算法的思想引入遗传算法，应用模拟退火算法 对适应度值按下式进行在线调整，然后再采用轮盘 图2 Elman神经网络结构 赌的方式进行选择： Fig.2 Structure of Elman ANN 基于BP算法的Elman网络可参考文献[9- f 10],它存在很大局限性.首先因为神经网络的结构 选择，也就是隐含层维数的选择对于复杂系统辨识 其中，M为种群大小；f:为第i个个体的适应度；T 的精度和速度都有很大的影响，隐含层的节点数过 为系数，T=To(0.999),T0为初始值，g为遗传 于庞大对于计算速度、网络实现都很困难，隐含层数 代数 目过小则网络收敛的速度就慢，采用BP算法的E 因为轮盘赌的思想是适应度越大被选中的概率 man网络的结构不动态地进行学习，是先确定网络 越大，所以由式(6)可以看出：在进化后期，系数T 结构再学习权值，这样有可能违反Kosmogorov定 不断下降，使适应度相近的个体适应度放大，从而使 理，没有良好的动态逼近能力，其次，BP算法本身 后期具有优势的个体的优势更明显，被选中的概率 容易陷入局部最小值并且学习速率慢，另外，自增 也就越高，从而使结果更具有全局性 益因子一般人为的选择，学习效率低，所以本文采 (5)自适应交叉和变异，交叉概率p。和变异 用一种改进的混合遗传算法(HGA)对Elman动态 概率卫m直接影响算法的收敛速度，本文采用了一 递归神经网络的权值和结构以及自反馈增益同时进 种自适应算法对交叉概率和变异概率进行优化，实 行动态学习，形成一种基于新型混合遗传算法的变 现了交叉概率和变异概率的非线性自适应调整，具 结构遗传神经网络，克服了Elman网络的上述 体公式如下所示： 缺陷 p2(f'-f) 2.2采用混合遗传算法的变结构Elman网络算法 f≥f. Pe fmfa (7) (1)编码问题，因为实数编码不存在编码和解 Pel, f∫a 码的过程，不会在编码和解码的过程中产生误差等 pm2(fmf) 二进制编码所带来的问题，所以本文采用实数编码， fm一fa f≥fa (8) 另外由于要在网络权值和结构同时进化，所以对于 Pml, f<f 个体的基因要排序，顺序为自反馈增益因子、网络结 式中，fm为种群中最大适应度值，f。为当代平均适 构和网络连接权值， 应度值，∫是要交叉的两个个体中较大的适应度值， (2)变结构，为了实现网络结构的进化，需要 f为要变异个体的适应度值，pl、pe2、Pm1和Pm?取 增加网络结构的发育和退化的操作.在进化中按照 值均小于1， 发育概率pa来决定是否增加隐层神经元，同时增加 由式(7)、(8)可以看出：对于适应度值高于平均 与之相关的连接权值，初始的连接权值可以在初始 适应度值的个体，P。和Pm取值较小，使该个体可以xc（ k）＝x（ k—1）＋αxc（ k—1） （3） y（ k）＝g（ W 3 x（ k）） （4） 式中‚f （·）‚g（·）分别是隐含层和输出单元的激发 函数；α是自反馈增益因子．结构单元的输出等于 上一时刻的隐层单元的输出与“结构”单元的上一时 刻输出的 α倍之和（为保证收敛‚要求0＜α＜1）‚这 样可以逼近高阶系统． 图2 Elman 神经网络结构 Fig．2 Structure of Elman ANN 基于 BP 算法的 Elman 网络可参考文献 ［9— 10］‚它存在很大局限性．首先因为神经网络的结构 选择‚也就是隐含层维数的选择对于复杂系统辨识 的精度和速度都有很大的影响．隐含层的节点数过 于庞大对于计算速度、网络实现都很困难‚隐含层数 目过小则网络收敛的速度就慢．采用 BP 算法的 E-l man 网络的结构不动态地进行学习‚是先确定网络 结构再学习权值‚这样有可能违反 Kosmogorov 定 理‚没有良好的动态逼近能力．其次‚BP 算法本身 容易陷入局部最小值并且学习速率慢．另外‚自增 益因子一般人为的选择‚学习效率低．所以本文采 用一种改进的混合遗传算法（HGA）对 Elman 动态 递归神经网络的权值和结构以及自反馈增益同时进 行动态学习‚形成一种基于新型混合遗传算法的变 结构遗传神经网络‚克服了 Elman 网络的上述 缺陷． 2∙2 采用混合遗传算法的变结构 Elman 网络算法 （1） 编码问题．因为实数编码不存在编码和解 码的过程‚不会在编码和解码的过程中产生误差等 二进制编码所带来的问题‚所以本文采用实数编码． 另外由于要在网络权值和结构同时进化‚所以对于 个体的基因要排序‚顺序为自反馈增益因子、网络结 构和网络连接权值． （2） 变结构．为了实现网络结构的进化‚需要 增加网络结构的发育和退化的操作．在进化中按照 发育概率 pa 来决定是否增加隐层神经元‚同时增加 与之相关的连接权值‚初始的连接权值可以在初始 范围内随机选择；按退化概率 pb 进行网络结构的 某个神经元的删除工作‚同时删除与之相关的连接 权值． （3） 适应度函数．适应度函数所选择的误差型 目标函数为： f k＝ 1 Ek ＝ p ∑ k i＝k－p＋1 （yd（ i）－ y（ i）） 2 （5） 其中‚f k 为 k 时刻的适应度值‚p 为辨识宽度‚yd 和 y 分别为期望输出和网络输出． （4） 自适应选择操作．适应度是指导搜索的关 键．为了避免“早熟”现象和保证种群中个体的多样 性‚需要对适应度函数进行在线调整．本文通过分 析模拟退火算法［11—14］和遗传算法的优缺点‚将模拟 退火算法的思想引入遗传算法．应用模拟退火算法 对适应度值按下式进行在线调整‚然后再采用轮盘 赌的方式进行选择： f i＝ e f i／T ∑ M i＝1 e f i／T （6） 其中‚M 为种群大小；f i 为第 i 个个体的适应度；T 为系数‚T ＝ T0（0∙99g —1 ）‚T0 为初始值‚g 为遗传 代数． 因为轮盘赌的思想是适应度越大被选中的概率 越大‚所以由式（6）可以看出：在进化后期‚系数 T 不断下降‚使适应度相近的个体适应度放大‚从而使 后期具有优势的个体的优势更明显‚被选中的概率 也就越高‚从而使结果更具有全局性． （5） 自适应交叉和变异．交叉概率 pc 和变异 概率 pm 直接影响算法的收敛速度．本文采用了一 种自适应算法对交叉概率和变异概率进行优化‚实 现了交叉概率和变异概率的非线性自适应调整‚具 体公式如下所示： pc＝ pc2（ f′— f a） f m— f a ‚ f′≥ f a pc1‚ f＜ f a （7） pm＝ pm2（ f m— f ） f m— f a ‚ f≥ f a pm1‚ f＜ f a （8） 式中‚f m 为种群中最大适应度值‚f a 为当代平均适 应度值‚f′是要交叉的两个个体中较大的适应度值‚ f 为要变异个体的适应度值‚pc1、pc2、pm1和 pm2取 值均小于1． 由式（7）、（8）可以看出：对于适应度值高于平均 适应度值的个体‚pc 和 pm 取值较小‚使该个体可以 ·204· 北 京 科 技 大 学 学 报 第30卷