104 北京科技大学 学 报 2004年第1期 为Gauss--Newton搜索方向，e)=[dk,a)/de]'是 张-器2=-c 网络的一步预报值对日的一阶徽分.基于上述原 理的RPE算法是： ⑦y-1 (10) e()=y)-k) a0型=VP因 肠能 (11) P-1)) M=(k)(k)Pk-1丙 其中的间接变量如下： Pr-arMwTWrk-) (7) o)=O9=fS-x+2k-1】 ∂Ws (12) (k)=@(k-1)+a(k)P(k)y(k)e(k) 0A0)=0 a()=M(k-1+(1-) G附=a9-fS6)-[1+Gk-1】 oby (13) 式中，入)为遗忘因子，为常数.由式(3（⑤）可 P-92s-ok-4r-P-14 知，RPE算法是一种利用了高阶导数信息的学习 P(0)=0 算法，在计算H()的逆矩阵上利用了递推最小 ()求出后，代入式(T)就可以迭代计算了. 二乘的方法，与仅利用了一次导数信息的基本 BP算法相比，显然RPE算法的收敛速度更快. 3仿真及应用结果 从RPE算法的原理可以看出，将RPE算法引 入对角递归网络的关键就是推导出妙阵，本文中 (1)考虑采用如下非线性系统，参考文献[5]. 的算法将神经网络的权值、域值同时进行了修 +=rt因 (15) 正.设DRNN的结构为M-H-1,即输入层、隐层和 对该系统进行辨识，设其输入为： 输出层的神经元个数分别是M,H和1个，其期望 4()=0.41sin(2km/100)+0.1sin(2km/25)+0.5(16) 输出为y,取性能指标函数为： 共产生500组输入输出数据对，前200组数据作 e=2y-外 (8) 为训练样本，后300组作为测试数据.选择DRNN =(W V,bub2 W) 的结构为(3,4,1)，即3个输入，4个隐层神经元，1 相应的(e)[dk,8)/d8]r中的元素为： 个输出.输入为4)，k-1)和k-2).各个参数选 品影张器品别 取如下：a(k0.75,P0)=0.001,2(0=0.95,=0.9.训 练300步后，结果如图2所示，图中曲线为期望输 其中，i=1,2,,Mj=1,2,,H,待求值共有[Hx 42+个品器影分别是输出y对输入 出t和模型输出y的对比.图3中曲线为用BP算法 训练300步的期望输出t和模型输出y的对比.二 层至隐层的连接权，隐层至输出层连接权， 者相比较可见，在同样的训练次数下，用RPE算 递归神经元连接权听的偏导数器分别是 法建立的非线性系统模型比用BP算法建立的模 输出y对隐层的域值bn输出层的域值b2的偏导 型精度要高，说明RPE算法较BP算法收敛速度 数.叭)阵中各元素的具体表达式如下： 快 品-%9器-%0 (2)将上述建模辨识算法应用于汽车车身磷 (9) 化处理过程中磷化槽的加热系统，对其建立对 dy =0俐 角递归神经网络模型.所谓磷化，是指把金属工 件经过含有磷酸二氢盐的酸性溶液处理，发生化 1.0 1.2 0.8 1.0 0.8 0.6 0.6 0.4 0.4 0.2 0.2 0.0 0. -0. 200250300350400450 500 200250300350400450500 步 步 图2RPE算法仿真曲线 图3BP算法仿真结果 Fig.2 Simulation curve of RPE algorithm Fig.3 Simulation curve of BP algorithm一 4 0 1 北 京 科 技 大 学 学 报 - 2 4 年 第 期 0 1 u G 为 a e s s s N e , tI o n 搜索方 向 , 试. 卜【献k, 动 /d e 1 T是 网络 的一 步预 报值 对 e 的一 阶微 分 . 基 于上 述 原 理 的 RP E 算法 是 : = 巧 碧 一 : 斋裔 武劝= y( k) .-讯k ) q (劝 ( 10 ) · 以劫 ( 11) (k)M 顶琦鼠黯 习 一 。 · 赘 一 环 其 中的 间接变量 如下 : 、少. 、少. 、户. 2 凡、ù 4 . 且. , ` . . 了J .、 ` 毛 “ 一 渝 · +(MI[ k) ` (k) “ · 玲 一 , ’ 例 k) = 口 (无一 1卜 a( k) 拭k) 诃 k) e( k) 双k) = 粼 k( 一 l) 代 1一而) ( 7 ) 碧 一 ’fs( .k() xf)[ 十阶 一 `’ 〕 以无一 l ) ] 式 中声(k) 为遗 忘 因子 ,石为常 数 . 由式 (3 曰6) 可 知 , RP E 算 法是 一种 利用 了高 阶 导数信 息 的 学 习 算 法 , 在 计 算(H e ) 的逆 矩 阵上 利用 了递推 最小 二 乘 的方 法 , 与仅 利 用 了一 次 导数 信 息 的基 本 B P 算法 相 比 , 显 然 RP E 算 法 的收 敛速 度 更快 . 从 RP E 算法 的原 理可 以看 出 , 将 RP E 算 法 引 入对 角 递 归 网络 的关键 就 是推 导 出尹阵 . 本 文 中 的算法 将 神经 网络 的权值 、 域 值 同时进 行 了修 正 . 设 D R N N 的 结构为材` 万一 1 , 即输 入层 、 隐层 和 输 出层 的神经元 个 数 分别 是城 H 和 1 个 , 其 期 望 输 出为y , 取性 能 指标 函数 为 : 一 1+) 叼 · 以无一 l刀 试e) 求 出后 , 代 入式( 7) 就 可 以迭 代计 算了 . 3 仿 真及 应 用 结 果 ( l) 考 虑采 用 如下 非 线性系统 , 参 考文献 5[ ] . 、 卜`卜 诺粉 十“ 3 `k) “ , , 。 一 如 -P] ( 8 ) e = (琳 耳 b 。 瓦 叼 ) T 相应 的拭曰 ) = 【咖仇曰 d)/ 创 T中 的元素 为 : . ` 曰 一互 立 立 互 生业 尸、 T , 、 刁巩 刁耳 刁b : ` 刁b Z 刁叼 , 其 中 , =1 1 , 2 , … , :M j = 1 , 2 , … , H , 待求值 共 有 【万* 刁v 刁v a v , 、 。 二 。 ~ … ~ 一 、 皿护 ` 夕J ` 价 百龙;面种 , 丽 方 别 足 韧 出 少刘 韧 八 层 至 隐层 的连 接 权 叫 , 隐层 至输 出层 连接权 巧 , 递 归 神经 元 连 接权 。 的偏 导 数 ;斋 , 斋 分 别 是 输 出y 对 隐层 的域 值 blj , 输 出 层 的域 值 瓦的 偏 导 数 . 试e) 阵中各 元 素 的具 体表 达式 如 下 : 一 。 · 碧 一 环 · 驯 ( 9 ) = Oj (k) 对 该系 统进 行 辨识 , 设其 输入 为 : u k() = o · 4 l s in ( 2蒯10 0 ) + o . l s in ( Zk耐 2 5网 . 5 ( 16 ) 共产 生 5 0 组输 入 输 出数 据对 , 前 2 0 组 数据 作 为 训练 样本 , 后 3 0 0 组 作 为测试 数据 . 选 择 D R N N 的结构 为 (3 ,4 , l) , 即 3 个 输入 , 4 个 隐层 神经 元 , 1 个输 出 . 输入 为 u( k) ,只k 一 l) 和 只无一 2) . 各 个参数选 取如 下 : a (k) =() . 7 5 , 烈0 ) = 0 . 00 1沐( 0 ) 二 0 . 9 5丙= 0 . 9 . 训 练 3 0 0 步 后 , 结果 如 图 2 所 示 , 图 中曲线 为期望 输 出t和模 型 输出少的对 比 . 图 3 中 曲线为用 B P 算法 训练 3 0 步 的期 望输 出r和 模型输 出y 的对 比 . 二 者相 比较可 见 , 在 同样 的 训练 次数 下 , 用 RP E 算 法建 立 的非 线性 系 统模 型 比用 B P 算法建立 的模 型精 度 要 高 , 说 明 lR, E算 法 较 B P算法 收敛速度 快 . (2 )将上 述 建模辨识 算法应 用 于汽 车车身磷 化 ` 7,处 理 过程 中磷 化槽 的加 热系 统 , 对 其建立对 角递 归 神经 网络 模型 . 所 谓磷 化 , 是指 把金属 工 件 经过 含有 磷 酸二 氢盐 的酸性溶液处理 , 发生化 裔斋 0 . 6 城 0 . 4 0 . 2 0 . 0 ` es 2 0 0 珑.2 2 5 0 3 0 0 3 5 0 4 00 4 5 0 500 刀步 图 2 RP E 算 法仿真 曲线 S 如u la Uo . c u vr e o f Rr E a lg o ir ht m 2 00 2 50 30 0 3 5 0 4 00 4 50 5 0 0 灯 步 图 3 B P 算 法仿 真结 果 F呛 . 3 5加u l a iot o e u vr e o f B P a馆o ir tb