D0I:10.13374/i.issm1001053x.2003.01.022 第25卷第1期 北京科技大学学报 Vol.25 No.1 2003年2月 Journal of University of Science and Technology Beijing Feb.2003 用简单动态递归网构造固体散料流量模型 赵林惠) 郑德玲” 尹众四 1)北京科技大学信息工程学院,北京1000832)北京航空航天大学自动化与电气工程学院,北京100083 摘要提出了用简单动态递归网来建立固体散料流量模型.针对动态递归网结构复杂,训 练算法收敛速度慢的缺点,采用一种结构十分简单的递归网.对RPE算法进行了改进和补充, 使之适用于简单递归网,用来对网络的权值和阈值进行调整.建模结果表明此方法收敛速度 快,精度高. 关键词动态递归网;RPE算法;散料流量 分类号TP183:TP273,5 神经网络由于具有理论上能逼近任意非线 f(S) 性函数的能力,而被广泛用于非线性系统建模. 传统的前馈神经网络属于静态网络,在处理非线 D 性动态系统的应用中存在很多问题,特别是常用 y fS) 于训练前馈神经网络的梯度下降法由于收敛速 度慢,而使得前馈网不适于实时应用.近年来,递 D 归神经网络的研究有了很大发展,与前馈神经网 (S 络相比,它是动态网络,利用网络的内部状态反 馈来描述系统的非线性动力学特性,能更直接地 D 反映系统的动态特性,但动态递归网络由于结构 图1 SRNN拓扑结构 Fig.1 Topological Architecture of SRNN 复杂,同样存在训练算法收敛速度慢的问题,因 此适于实时应用的动态网络必须具有简单的结 认为是一个一步时延算子,其拓扑结构与DRNN 构和较快的收敛算法 非常相似,只不过隐层单元的自反馈权值为1. 基于以上要求,本文采用一种简单递归神经 设网络的第i个外部输入为x,(),S(k)为隐 网s络(SRNN-Simple Recurrent Neural Network)", 层第j个神经元的输人和,O()为隐层第广个神 网络权值和阈值的学习采用预报误差(RPE)算 经元的输出,网络的输出为(k),b和b2分别为 法,由于SRNN具有非常简单的结构,需要调 隐层和输出层的阈值,W和V分别表示输入层 整的参数比较少,因而大大减少了计算量,缩 到隐层和隐层到输出层的连接权矩阵.则: 短了训练时间,可以很快的得到准确的散料流量 S)=∑w,xk)+Ok-1)+bk) (1) 模型. 其中O,k)=fSk) k)-ΣyO(k+b.() (2) 1简单递归神经网络 其中,f·)为Sigmoid型函数.不难看出,若用w°表 目前在实际中应用较多的是对角递归神经 示DRNN隐层的权矩阵,则DRNN的数学模型与 网络(DRNN).在此基础上,将内部权值进一步 SRNN的区别仅仅是S(k)表达式有所不同: 简化,使得隐层单元的自反馈权值为1,这样就 S(kwx()+wO,(k-1)+b附 (3) 得到了SRNN,如图1.SRNN由输入层、隐层和输 若令W为单位阵,即不加权,则DRNN的数学模 出层组成,隐层的每个神经元都带有自反馈,可 型就与SRNN相同.所以可将SRN看成是 收稿日期20020106赵林惠女,29岁,硕士 DRNN的特例.只是SRNN的结构更加简单,所
第 卷 第 期 年 月 北 京 科 技 大 学 学 报 、勺】 用 简单 动态 递 归 网构 造 固体 散料流 量模型 赵 林 惠 ” 郑德 玲 ” 尹 众 , 北京科技 大学 信息 工 程 学 院 , 北京 北 京航 空 航 天 大 学 自动化 与 电 气 工 程 学 院 , 北 京 摘 要 提 出了用 简单动 态 递 归 网来 建立 固体散料流 量 模 型 针 对 动态 递 归 网结 构 复 杂 、 训 练算法 收敛速度 慢 的缺点 , 采用一 种结构十分 简单的递归 网 对 算 法进行 了改进 和补 充 , 使之适 用 于 简单递 归 网 , 用来对 网络 的权值和 闭值进 行调 整 建模结果 表明此 方 法 收敛速 度 快 , 精度 高 关 键 词 动态递 归 网 算法 散料流量 分类 号 神 经 网络 由于 具有 理 论 上 能 逼 近 任 意 非 线 性函 数 的能 力 , 而被 广 泛 用 于 非线 性 系统 建模 传统 的前馈 神经 网络 属 于静态 网络 , 在处 理 非线 性 动态 系统 的应 用 中存在很 多 问题 , 特别是 常用 于 训 练前馈 神 经 网络 的梯 度 下 降法 由于 收 敛 速 度慢 , 而使得前馈 网不 适 于实 时应用 近 年来 , 递 归神经 网络 的研究有 了很 大发展 , 与前馈 神经 网 络相 比 , 它 是 动态 网络 , 利用 网络 的 内部 状 态 反 馈来描述 系统 的非 线性 动力 学 特性 , 能更 直接地 反 映 系统 的动态特性 但 动态递 归 网络 由于结构 复杂 , 同样存在 训 练 算法 收敛 速 度 慢 的 问题 , 因 此 适 于实 时应 用 的 动 态 网络 必 须 具 有 简 单 的结 构 和较快 的收敛 算法 基 于 以 上 要 求 , 本 文采 用 一 种 简单递归 神经 网络 一 坎 ‘,,, 网络权值和 阑值 的学 习采 用 预 报误差 算 法 由于 具 有非 常简单 的结 构 , 需 要 调 整 的参 数 比较 少 , 因而 大 大 减 少 了计算 量 , 缩 短 了训 练 时 间 , 可 以 很快 的得 到 准确 的 散料流量 模 型 图 拓 扑结 构 认 为是 一 个一 步 时延 算 子 其拓 扑结 构 与 非 常相 似 , 只不 过 隐层 单元 的 自反 馈 权 值为 设 网 络 的 第 个 外 部 输 入 为 , , 尽 为 隐 层 第 个 神 经 元 的输 入 和 , 为 隐层 第 个 神 经 元 的输 出 , 网络 的输 出为 只 , 。 和 , 分别 为 隐层 和 输 出层 的 阂值 , 砰 和 分 别 表 示 输 入 层 到 隐层 和 隐层 到输 出层 的连 接权 矩 阵 则 况 一 丢毗 · , 一 ’ 脚 其 中 凡 简单 递 归神 经 网 络 目前 在 实 际 中应 用 较 多 的是 对 角 递 归 神 经 网络 在 此基 础 上 , 将 内部权值进 一 步 简化 , 使得 隐层 单元 的 自反 馈 权值 为 , 这样 就 得 到 了 , 如 图 由输人层 、 隐层 和输 出层 组 成 , 隐层 的每个神经 元都带有 自反 馈 , 可 收稿 日期 刁 一 赵林 惠 女 , 岁 , 硕 士 艺 · 十瓦 翌 其 中 , · 为 型 函数 不难看 出 , 若用 肥表 示 隐层 的权矩 阵 , 则 的数学 模 型 与 的 区 别 仅 仅 是冬 表 达 式 有 所 不 同 冬 一蓦玛 · 兀 衅 · , 一 ‘ 仄 若令 肥 为单位阵 , 即不 加权 , 则 的数学模 型 就 与 相 同 所 以 可 将 刊 看 成 是 的特 例 只 是 的结 构 更 加 简 单 , 所 DOI :10.13374/j .issn1001-053x.2003.01.022
·804 北京科技大学学报 2003年第1期 要调整的权值数较少,因而训练网络所需的计算 量的输人,输出值作为训练样本组;③输入一个 量较少,可节省训练时间 训练样本,按式(2)计算SRNN的隐层节点输出O 和输出层节点y;④按式(6(9)构成⊙)阵;⑤按 2SRNN的RPE学习算法 式(4)求(),P),Ok),对权值和阈值进行修改; RPE算法为一种通过极小化预报误差来获 ⑥输入另一个训练样本,返回③,直到训练样本 用完,至此完成一步训练;⑦调整学习率),仍 取参数估计的方法,由于利用了高阶导数信息而 用原训练样本组返回③进行第二步训练,直到 使得该算法收敛速度较快,本文在文献[3]的基 收敛 础上,推导出SRNN的RPE算法,并进行了一些 本文的公式增加了对阈值的调整方法,可以 补充和改进.基本RPE算法如下: 同时训练网络的权值和阙值.另外,原算法虽然 1e()=y()-) 在参数的调整公式中增加了学习率(k),但没有 Pk-1)以k) M=+v(k)P(k-1g衣丙 指出a(k)在训练时应如何调整,而a(k)对于网络 (4) Pr-MwPAk-) 的收敛速度有很大的影响,因此本文在这方面做 了一些尝试.由于递归网是在前馈网的基础上增 ⊙(k)=⊙k-1)+a(k)-P(k)w)e(k) 加反馈单元构成的,而前馈网的经典算法是BP 参照图1,设SRNN的结构为(M,H,I)即输入 算法,因此本文考虑采用BP算法中对于学习率 层、隐层和输出层的神经元个数分别是M,H和1 的调整规则: 个,其期望输出为Y,取性能指标函数为 (1)若总误差E减小(即新误差比老误差小), E=r-亦 (5) 则学习速率增加(例如将实际值乘以因子 然后就可以按RPE学习算法对网络的参数 =1.05). 进行训练,求得最优权值W,V和阈值B,b,使 (2)若总误差E增加(即新误差比老误差大), 得E取得最小值.[⊙]的元素由待求的权值和阈 则学习速率诚小.当新误差与老误差之比超过一 值组成: 定值(例如1.04),则学习速率快速下降(例如将实 [⊙]=[w,,B,b]T 际值乘以因子b=0.7). 相应的⊙)=[dk⊙)/d⊙]中的元素为: dydydydy [叫=[w而, 3应用结果 其中,i=1,2,,M;广=1,2,,H.待求值共有H 随着自动化水平的不断提高,实现对固体散 (M42)+1个. 料流量在线计量控制和配比,对于散料生产、运 下面由SRNN的数学模型推导出)阵中 输和储备工艺控制和管理越来越重要. 各元素的具体表达式 固体散料流量控制器的工作原理如图2.散 0图-ye) ⑦y=⑦w 料由变截面料斗流入,经流体调整槽调整物料流 dw (6) y=O(k) 量和流动状态后,冲击冲板,流动物料的质量由 Ov, 传感器检出并转换成电信号,该信号送入控制箱 O(K=vG,(k) -=v0bv oby 的计算机系统处理显示.根据用户设定的流量 (7) 器1 值,智能流量调节系统按本系统数学模型进行调 节,并驱动板阀执行系统调节料斗截面,使流量 式中, 达到设定值.为对其进行建模,共采集250组数 e(-aOA=fS-[x(+2,k-】 (8) 据,其中200组数据作为训练样本,另外50组 00)=0 作为测试数据.为作比较,分别用本文推导出的 G肉=98-e+Gk-】 (9) RPE算法和递归网常采用的动态BP算法进行建 综上所述SRNN的RPE学习算法步骤如下: 模.在RPE算法中,还从每步训练时调节和不调 ①初始化权值、阈值和所有的其他参数W, 节学习率对建模结果进行了比较. V,B,b,P0),1(0),,a(0)为适当的值;②取一定数 为直观方便,引入EI值进行对比:
北 京 科 技 大 学 学 报 年 第 期 要 调 整的权值数较少 , 因而训练 网络所需 的计算 量 较少 , 可 节 省训 练时 间 的 学 习 算法 算 法 为 一 种 通 过 极 小 化 预 报 误 差 来 获 取参数估计 的方 法 , 由于 利用 了高 阶导数信息而 使得该算法 收敛 速度较快 本文 在 文献 的基 础 上 , 推导 出 的 算法 , 并进行 了一些 补充 和 改 进 基本 算法 如下 六 斌 二 双 十旷 劝尸 一 试 的一 渝 · 、 〕 · 一 , 酬 二 曰 一 · 试 参照 图 ,设 的结 构 为 从 , 即输 人 层 、 隐层 和输 出层 的神经元个数分 别是 , 和 个 ,其期 望输 出为 , 取性 能指标 函数为 一 粤〔卜勿 乙 然后 就 可 以按 学 习算法 对 网络 的参数 进 行训 练 , 求得 最优权值 甲 , ’ 和 阂值斌 , 从 , 使 得 取 得 最 小 值 〔剑 的元 素 由待求 的权 值和 阑 值 组 成 〔日卜 【砚 ‘ , 兀 , , 〕 相 应 的 蛾动 二 , 动 创 中的元 素为 量 的输人 、 输 出值作 为训 练样 本组 ③输人 一 个 训 练样本 , 按式 计算 的隐层 节 点输 出 和输 出层节 点 ④按 式 卜 构 成 叭曰 阵 ⑤按 式 求 , 洲幻 , 酬 , 对权值 和 阂值 进行 修 改 ⑥输 人 另 一 个训 练样本 , 返 回③ , 直 到训 练样本 用 完 , 至此完 成一 步训 练 ⑦ 调 整 学 习率 , 仍 用 原 训 练样 本 组 返 回③进 行第 二 步 训 练 , 直 到 收敛 本 文 的公式增 加 了对 阑值 的调 整 方法 , 可以 同时 训 练 网络 的权值 和 阑值 另 外 , 原算法 虽 然 在参数 的调 整公式 中增 加 了学 习率 , 但没 有 指 出 在 训 练 时应 如何 调 整 , 而 对 于 网络 的收敛速度有很 大 的影 响 , 因此 本文 在这 方 面做 了一些 尝试 由于递 归 网是在前馈 网的基 础 上增 加 反馈单元 构成 的 , 而前馈 网 的经 典算法 是 算法 , 因此本 文考 虑 采 用 算 法 中对 于 学 习 率 的调 整规 则 侈, 若 总误差 减小 即新误差 比老误 差 小 , 则 学 习 速 率 增 加 例 如 将 实 际 值 乘 以 因 子 若 总误差 增 加 即新误差 比老误差 大 , 则学 习 速率减小 当新误差 与老误差 之 比超 过 一 定值 例 如 , 则 学 习速率快 速 下 降 例 如将 实 际值乘 以 因子 、州 。 日 刁 己 己 , , 岁」 万亡丁 , 万忿 一, 飞 , 飞 片」 ’ 岭 “ 叮 目 其 中 , , , … , ’ 二 , , … , 待 求 值 共 有 几介 个 下 面 由 的数学模 型 推导 出 蛾动 阵 中 各元 素的具体表达 式· 黔 一 ,, ‘ 、 · 黔 一 、 · 、 斋 加布 加布斋 、性‘, 式 中 , “ 一 黔 一 厂低‘ , · 〔·‘ ‘ ‘ ‘ 一 ‘’〕 浅 , ‘“ 伏 一 德蓄 乙 一 况 ’ ’十 一 ‘ 综上 所述 的 即 学 习算法 步 骤 如 下 ① 初 始 化 权 值 、 阂 值 和 所 有 的 其 他 参 数 尸 , 叱丑 , ,尸 , 几 , 揭 , 为适 当的值 ②取 一 定 数 应 用 结 果 随着 自动化水平 的不 断提 高 , 实现 对 固体散 料 流 量在线计量 控制 和 配 比 , 对 于散 料 生 产 、 运 输 和储备工 艺 控制 和 管理 越 来越 重 要 固体散 料流量 控 制器 的 工作 原 理如 图 散 料 由变截 面料 斗流 人 , 经 流体调 整槽 调 整 物料 流 量 和 流 动状 态 后 , 冲击 冲板 , 流 动物 料 的质量 由 传感器检 出并转换成 电信号 , 该信号送 人控 制箱 的计算机 系统 处 理 显 示 根 据 用 户设 定 的 流 量 值 , 智能流量调 节 系统按本 系统数学 模 型进 行调 节 , 并驱 动 板 阀执 行 系统调 节料 斗 截 面 , 使 流量 达 到设定值 为对其进行 建模 , 共采 集 组 数 据 , 其 中 组 数据作 为训 练样 本 , 另外 组 作 为测试数据 为作 比较 , 分别用 本 文 推导 出的 即 算法 和递 归 网常采用 的动 态 算法 进 行建 模 在 算法 中 , 还 从 每 步训 练 时 调 节 和不 调 节 学 习率对建模结果 进 行 了 比较 为直观方便 , 引人 值进行对 比 ︸ 、少声、‘ 叹 ‘了
VoL25 No.1 赵林惠等:用简单动态递归网构造固体散料流量模型 -81 滚珠丝杠 选择SRNN的结构为(3,3,1),输人为k), 齿轮箱 板阀 k-1)和k-2),用本文推导的RPE算法来建模, 参数选取为:a(k)=0.6,im=1.05,dn=0.7,P0)F0.0001 变截面料斗 步进电机 1,0)0.95,1。=0.9.训练500步,建模结果如图3, 误差范围为-0.03-0.025,E1=0.0267.用动态BP算 法,参数选取为:a)-0.7,in=1.05,dn0.7.训练 3000步,建模结果如图4,误差范围为-0.112~ 0.03,E-0.0985.比较两种学习算法的结果可知, RPE算法可明显提高学习速度,并提高了模型精 度 控制箱传感器 冲击冲板 SRNN结构不变,输人信号也不变.不调节学 图2散料流量控制器的工作原理图 习率时,参数选取为P0)=0.001I,2(0)=0.95;= Fig.2 Operating principle of a solid granule flowrate con- 0.8.训练1500步,建模结果如图5,误差范围为 troller -0.080.125,E1=01183.比较两种情况的结果可 EI=√∑eR/EyG 知,在训练中采用BP算法中的调整规则对学习 e()-k)-k,©) 率进行调节可提高收敛速度和模型精度 0.9 0.03 L(a) (b) 0.02 0.7 0.01 0.5 0 0.3 0.01 0.02 0.1 0.0 200205.210215220225230235240245250 200205210215220225230235240245250 训练步数/步 训练步数/步 图3RPE算法建模结果.()模型输出(虚线)与实际流量(实线)对比;(b)误差曲线 Fig.3 Modeling results using the RPE algorithm 0.04 0.9(a) (b) 0.7 0.00 0.5 0.3 0.08 0.1 0.1 200205210215220225230235240245250 200205210215220225230235240245250 训练步数/步 训练步数/步 图4动态BP算法建模结果.()模型输出(虚线)与实际流量(实线)对比;(b)误差曲线 Fig.4 Modeling results using the DBP algorithm 0.9(a 0.15 (b) 0.10 0.7 0.05 0.3 -0.05 0. 0.1 200205210215220225230235240245250 200205210215220225230235240245250 训练步数/步 训练步数/步 图5RPE算法(不调节学习率)建模结果.()模型输出(虚线)与实际流量(实线)对比;(b)误差曲线 Fig.5 Modeling results using the RPE algorithm(without adjusting learning rate)
一 一 赵 林 惠 等 用 简单 动态 递 归 网构造 固体 散料流 量 模型 二二二二 ’ 二圈 图 散料流 控 制 器 的工 作 原 理 图 · 功 丫艺扩 艺犷 一 只 一只,句 选 择 的 结 构 为 , , , 输 人 为 , 只 一 和只 一 , 用 本 文 推导 的 即 算法 来 建模 , 参数选 取 为 , , 氏 , 八。 ,双 , 而二 训 练 步 , 建模 结 果 如 图 , 误差 范 围 为 一 一 , 五卜 用 动 态 算 法 , 参 数选 取 为 , 瑞 , 氏 训 练 步 , 建 模 结 果 如 图 , 误 差 范 围 为 一 一 , 了二 比较两 种 学 习算法 的结果 可 知 , 即 算法 可 明显 提 高学 习 速 度 , 并提 高 了模 型精 度 结构 不 变 , 输 入 信号 也不 变 不 调 节 学 习 率时 , 参 数选 取 为 , 又 二 褚 训 练 步 , 建模结 果 如 图 , 误 差 范 围为 一 一 , 二 比较两 种 情 况 的结 果 可 知 , 在 训 练 中采 用 算 法 中的调 整 规则 对 学 习 率进 行 调 节 可 提 高收 敛速 度 和模 型精 度 ’ 画 执 勺 刁 刁 训 练 步数 步 训 练步数 步 图 算 法 建 模结 果 模 型 输 出 虚 线 与 实 际流, 实 线 对 比 误 差 曲线 · · “ 丽 匆刁 刁 训 练步数 步 刁 一一一匕一一一‘ 训 练步 数 步 图 动 态 算 法 建 模结 果 模 型 输 出 虚 线 与 实 际 流 实 线 对 比 误 差 曲线 · 勺 刁 训 练 步数 步 训 练 步数 步 图 算法 不 调 节 学 习 率 建 模结 果 模型 输 出 虚 线 与 实 际 流 , 实 线 对 比 误 差 曲线
◆82 北京科技大学学报 2003年第1期 4结论 络建模与辨识[J).控制与决策,2000,15(4):439 3李鸿儒.递归神经网的RPE算法及其在非线性动态 本文采用结构简单的递归神经网络SRNN来 系统建模中的应用U.东北大学学报,2000,21(6): 处理复杂的非线性动态系统建模问题,可使所建 590 网络模型结构简单,需要调整的参数少,使网络 4王永骥,涂健。神经元网络控制M).北京:机械工业 适于实时应用.另外,本文推导出的RPE学习算 出版杜,1998 法实现了网络权值和阈值的同时调整,同时在训 5 Li Qing,Zheng Deling,Zhou Jianlong.Stabilization of chaotic time series by proportional pulse in the system 练中引人了BP算法中学习率的调整规则对学习 variable based on genetic algorithm [J].J of Univ Sci 率进行调整.从建模结果可以看出,两条曲线拟 Technol Beijing,1999,16(3):228 和的很好,证明用本方法对散料流量进行建模效 6 Zheng Deling,Tang Xinbei,Fang Wei.Theory,method 果非常好,建模精度高,收敛速度快 and application of a state recognition based on theory of evidence [J].J Univ Sci Technol Beijing,1999,16(1):69 参考文献 7李攀,郑德玲,杨林浩.基于单神经元自适应PSD算 1 Cenidet,Cinvestav-ipn.Simple recurrent neural network 法用于混沌镇定控制】.北京科技大学学报,2001, [J].A Neural Network Structure for Control System. 23(5)481 Neurocomputing,1998,23:277 8李攀,郑德玲.混沌时间序列神经网络拓朴结构的选 2史天运,贾利民.基于进化策略的动态递归神经网 取方法.北京科技大学学报,1999,21(1):90 Solid Granule Flowrate Modeling Using Simple Dynamic Recurrent Neural Net- works ZHAO Linhui",ZHENG Deling",YIN Zhong? 1)Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China 2)Beihang University,Beijing 100083,China ABSTRACT A solid granule flowrate model was proposed by using simple dynamic recurrent neural networks. Considering dynamic recurrent neural network's shortcomings of complex structure and low convergence speed of training algorithm,a kind of recurrent neural network was adpted.whose structure is very simple.This RPE algor- ithm was adapted to the simple recurrent network by making improvement and complementarity,and the weight and the threshold of the network can be adjusted at the same time.The results of modeling show the speediness and the high-precision of this method. KEY WORDS dynamic recurrent neural network RPE algorithm;solid granule flowrate
北 京 科 技 结 论 本文采用 结构简单 的递归 神经 网络 来 处 理 复杂 的非线性 动态 系统建模 问题 , 可使所建 网络模 型 结构 简单 , 需要 调 整 的参数少 , 使 网络 适 于 实 时应 用 另外 , 本 文 推 导 出的 学 习算 法 实现 了 网络权值和 阑值的 同时调 整 , 同时在训 练 中引人 了 算法 中学 习 率的调 整 规则对 学 习 率进 行 调 整 从建模结果 可 以看 出 , 两 条 曲线 拟 和 的很好 , 证 明用 本方法 对散料 流量进行建模效 果 非 常好 , 建模精度高 , 收敛速度快 参 考 文 献 , 一 , , 史天 运 , 贾利 民 基 于进化策略的动态递归神经 网 大 学 学 报 年 第 期 络建模与辨识 控制与决策 , , 李 鸿儒 递 归神经 网 的 算法 及其在非线性 动态 系统建模 中的应用 东北 大学学报 , , 王 永骥 , 涂健 神经元 网络控制 北京 机械 工 业 出版社 , , , 加 , , , , , , , 李 擎 ,郑德玲 ,杨林浩 基于单神经 元 自适 应 算 法用 于混沌镇定控制 北京科技 大学学 报 , , 李擎 ,郑德玲 混沌 时 间序列 神经 网络拓朴结 构 的选 取方法 北 京科技大学学报 , , 凡扭 ,, 付 , 了 褚 , , 叭 , 飞 , , , 盯 研江 飞 · , , 汀 知 , 一 朴刀 ,理