基于回归神经网络的复杂工业对象的建模

D0I:10.13374/j.issn1001-053x.1999.0M.025 第21卷第4期 北京科技大学学报 Vol.21 No.4 1999年8月 Journal of University of Science and Technology Beijing Aug.1999 基于回归神经网络的复杂工业对象的建模 魏剑平李华德余达太冯扬 北京科技大学信息工程学院北京100083) 摘要讨论一种动态神经网络一Elman回归神经网络的结构和算法.基于这一树络结构提 出了非线性时变工业对象一直流电弧的神经网络建模方法，并与用其他方法为对象建立的 模型进行了比较，结果证明回归网络模型能够很好地适配该工业对象，显示了动态神经网络 在工业对象建模中的良好应用前景. 关键词回归神经网络：建模：工业对象 分类号TP181 神经元网络方法在复杂工业过程的建模 中得到日益广泛的应用，取得了很多成果.前向 传播网络在其中担当网络结构的重要角色.但 x() 输出层 传统的前向传播神经网络在动态时序信号处 理、非线性动态系统控制等带有强时序行为系 结构单元 统的应用中存在相当大的困难.利用静态多层 隐藏层 前向传播网络对动态系统进行辨识，实际上是 x(k) 将动态时间建模问题变为一个静态空间建模问 W 输入层 题.这就必然出现诸多问题，如需要先验假定系 (k-1) 统的NARMA模型类，需要对结构模型进行定 图1基本Elman网络结构示意图 阶，特别是随着系统阶次的增加，迅速膨胀的网 络结构，将使学习收敛速度更加缓慢.此外，较 所示.Elman网除输入层、隐藏层及输出层单元 多的输入节点也使相应的辨识系统对外部噪声 外，还有…个独特的结构单元.隐层的输出通过 特别敏感.相比之下，动态回归网络提供了一种 结构单元的延迟、存储，自联到隐层的输入端， 极具潜力的选择，它能够更生动、更直接地反映 这种自联方式使网络对历史状态的数据具有敏 系统的动态特性，代表了神经网络建模、辨识与 感性，有利于动态过程的建模 控制的发展方向.回归神经网络包含了网络内 下面对Elman网络所表达的数学模型进行 部状态的反馈，利用网络内部状态反馈来描述 分析. 系统的非线性动力学行为.构成回归神经网络 如图1所示，设网络的外部输入(k一1)∈ 模型的方法有很多，总的思想都是通过对前向 R,输出为yk)ER,若记隐层的输出为x(k)∈R, 传播网络中加入一些附加的、内部的反馈通道 则有如下非线性状态空间表达式成立： 来增加网络本身处理动态信息的能力，埃曼神 x(k)=fWx.K)+Ψ(k-1) 经元网络(Elman Network)是一种典型的回归神 x(k)=x(k-1) (1) 经网络，本文即以埃曼网为网络结构建立复杂 y(k)=g(Wx(k)) 工业对象的模型 其中，W,W,W分别为结构单元到隐层、输入 层到隐层，以及隐层到输出层的连接权矩阵，∫ 1埃曼神经网络的结构和算法 (·)和g(·)分别为输出单元和隐层单元的激 基本Elman网络结构示意图如图1 发函数所组成的非线性向量函数，从上面的式 子可得： 1998-12-03收稿魏剑平男，30岁.博上 ◆国家"八五"、"九五"攻关重点课题(No.85-311-0211-04) x(k)=x(k-1)=

第 卷 第 期 年 月 北 京 科 技 大 学 学 报 、 基于 回 归神经 网络 的复杂工业对象的建模 魏剑平 李华德 余达太 冯 扬 北 京科技大学 信息 工 程 学 院 北 京 摘 要 讨论一 种动态神经 网络— 回 归神经 网络 的结构 和算法 基 上这 一 网络 结构提 出 了非线性 时变 工 业 对 象— 直流 电弧 的神经 网络 建模 方 法 ， 并与用 其他方法 为对 象建立 的 模型进行 了 比较 ， 结果证 明 回归 网络模型 能够 很好 地适 配 该工 业 对 象 ， 显 示 了动 态神经 网络 在 工 业对象建模中的 良好应 用前景 关键词 回归神经 网络 建模 工 业 对 象 分 类号 神经 元 网 络 方 法 在 复 杂工 业 过 程 的建模 中得 到 日益 广泛 的应 用 ， 取 得 了很 多成 果 前 向 传 播 网 络 在 其 中担 当 网络 结 构 的重 要 角 色 但 传 统 的 前 向传 播 神 经 网 络 在 动 态 时 序信 号 处 理 、 非 线 性 动 态 系统 控 制 等带 有 强 时序行 为 系 统 的应 用 中存 在相 当大 的 困难 利用 静 态 多层 前 向传 播 网络 对 动 态 系统 进 行辨 识 ， 实际 上 是 将动 态 时 间建模 问题变 为一 个静态 空 间建模 问 题 这 就 必 然 出现诸 多 问题 ， 如 需要 先验 假定 系 统 的 模型类 ， 需要 对 结 构模型进 行 定 阶 ， 特 别 是 随着系统 阶次 的增 加 ， 迅 速 膨胀 的 网 络 结 构 ， 将 使学 习 收敛速 度更 加 缓慢 此 外 ， 较 多 的输 入节 点 也 使相 应 的辨识 系统 对 外 部 噪 声 特别敏 感 相 比之 下 ， 动 态 回归 网络 提供 了 一 种 极具潜力 的选择 ， 它 能够 更 生动 、 更 直接地 反 映 系 统 的动 态特 性 ， 代 表 了神经 网络 建模 、 辨识 与 控 制 的发 展 方 向 回 归神经 网络 包 含 了 网 络 内 部 状 态 的反 馈 ， 利 用 网络 内部 状 态 反 馈来 描 述 系统 的 非 线 性 动 力 学 行 为 构 成 回 归 神 经 网络 模 型 的方 法 有很 多 ， 总 的思 想 都是 通 过 对 前 向 传 播 网 络 中加 入 一 些 附加 的 、 内部 的 反 馈 通 道 来增加 网络 本 身处 理 动 态 信 息 的 能 力 埃 曼 神 经元 网络 是 一 种 典 型 的 回归神 经 网络 ， ， 本文 即 以埃 曼 网为 网络 结 构 建立 复杂 工 业 对 象 的模型 埃曼神经 网络 的结构和算法 结构单元 隐藏层 图 基本 网络结构示意图 基本 网 络 结 构示 意 图如 图 一 一 收稿 魏剑 平 男 ， 岁 ， 博 士 国家 ” 八 五 ” 、 ” 九五 ” 攻 关 重 点课 题 · 一 一 一 所 示 网 除输入 层 、 隐藏层 及 输 出层 单元 外 ， 还 有 一 个 独 特 的结构单元 隐层 的输 出通过 结 构 单 元 的 延 迟 、 存储 ， 自联 到 隐层 的输 入 端 ， 这 种 自联 方式使 网络 对 历 史状态 的数据 具有 敏 感 性 ， 有 利 于 动 态 过 程 的建模 下 面 对 网络 所表 达 的数 学模型 进 行 分 析 如 图 所 示 ， 设 网络 的外 部 输 入 一 ， 输 出为只 任 ，若记 隐层 的输 出为 ， 则有 如 下 非 线 性状态 空 间表 达 式 成 立 甲 肉 甲 一 瓜 二 一 二 以平戈 其 中 ， 刚 ， 尸 ， 甲 分别为结构单元 到隐层 、 输入 层 到 隐层 ， 以及 隐层 到输 出层 的连接权矩 阵 ， · 和 · 分别 为输 出单元和 隐层 单元 的激 发 函数 所组 成 的非线 性 向量 函数 从上 面 的式 子 可 得 瓜 一 二 DOI ：10．13374／j ．issn1001—053x．1999．04．025

Vol.21 No.4 魏剑平等：基于回归神经网络的复杂工业对象的建模 ·407· f[w-x.(k-1)+w2-1uk-2)】 (2) (15) 又由于x.(k-1)=x(k-2),上式可继续展开.这 器2-f(-10+含w） dw 说明x()依赖于过去不同时刻的连接权，w-, 这里 w-2,…,也即x()是一个动态递推过程.相应 =y(k)-y(k)g() (16) 地，用于Elman网络训练的反向传播算法称为 d=(d9w)f(~) (17) =1 动态反向传播学习算法. 考虑如下总体目标函数： 2直流电弧的神经网络建模 E-∑Ep (3) 直流电弧炉炼钢过程是一个复杂的工业过 其中 程，存在着非常复杂的非线性和不确定性关系， E,=因-4因-W (4) 无法采用精确的数学建模方法给出有效的可控 对隐层到输出层的连接权矩阵W 模型，这使得基于精确数学模型的经典和现代 8骎-因-vy9器- 控制理论都难以奏效，而智能控制为解决这一 dwi 复杂不确定对象提供了新途径， -y()-y(k)]g(•)x(k) (5) 直流电弧是直流电弧炉炼钢过程中的一个 令，则=y(k)-y{k)g(·),则： 重要控制对象，电弧控制的目的是使直流电弧 8=-8xi1,2…mj=12h(6) 能按照设定功率稳定地向炉内输入热能.由于 对输入层到隐层的连接权矩阵W 炉内状况非常复杂，影响电弧稳定燃烧的因素 0E20E.0x(k) 也就非常多，有些因素之间还有很强的耦合，经 ⑦wdxR)dw听 过分析，我们以电弧电压、电弧电流、电极位置、 Σ(-w)f(·)u,(k-1) (7) 整流装置输出电压、功率因数等为输入量，建立 同样令=Σ(w)f(·),则有： 直流电弧炉的Elman网神经网络模型，各层包 E=-4,k-1) 含的神经元个数为5,12,2，为了比较不同模型 ⑦w 的辨识效果，还建立了15,25,2的BP网络模型. j=1,2,5q=1,2… (8) 类似地，从结构单元到隐层的连接权矩阵形， 2种模型隐含层神经元的激励函数均为Sigmoid 有： 型函数，输出层神经元为线性函数.由于Elman aξ-2(ws 网络的动态特性由内部的连接反映，所以它无 Owa w (9) 需直接使用状态作为输入或训练信号，使得网 j=1,2,,m1=1,2n 络输入层的神经元数量与BP网相比有较大的 注意到上面的式子，x.(k)依赖于连接权W,故 减少，这是Elman网络相对于静态前传网络的 碧U三财无因+三防ak-》= 优越之处，特别是当系统阶次较高时，这一优越 dw 方（网+宫） 性就更加突出了， 采用从某电炉炼钢厂现场采集来的数据， 方…(k-三w） (10) 经过预处理后，分别对Elman网和BP网进行训 上式实际构成了梯度ax(k)/⑦w的动态递推 练，训练中学习率自适应调整，模型拟合精度 关系 SSE小于0.01.网络训练结束后，用另一组现场 由于 数据进行检验，得到的结果如图2所示. E △wg=-nw (11) 结果显示，Elman网络经过训练后得到的模 故Elman网络的动态反向传播学习算法可 型可以较好地反映实际对象弧压、孤流的变化 情况，电弧电压相对误差为1.6%，电弧电流为 归纳如下： 2.0%,而BP网模型电弧电压误差为5.3%，电弧 △w=10x(k)i=1,2,…,m;j=1,2,…,n(12) △w%=nu,k-1)j=1,2,…,n;q=1,2,,r(13) 电流为5.8%，Elman网络模型效果明显优于BP a时-器 网模型. (14) j=1,2,",n;1=1,2,…,n

魏剑 平 等 基 于 回 归神经 网络 的 复杂工 业 对 象 的建模 一 、 一 少、 曰、 、 〔诚 、少 一 ， 。 一 凳 一 一 」 又 由于 一 一 ， 上 式 可 继 续 展 开 旦巫旦 这 日码 一 芳 ’ · ， 了 “ 一 艺司 一 刁 ， 说 明 依 赖 于 过 去 不 同 时刻 的连 接 权 ， 姿 一 ，， 诚 一 ， … ， 也 即 是一 个动态递 推过程 相 应 地 ， 用 于 网络 训 练 的反 向传播 算法 称 为 动态 反 向传播学 习 算法 考虑 如 下 总体 目标 函 数 这 里 夕 妙 ‘ 一 ， 琢 考 酬拼 弓拼 ‘ 。 人 二 艺 】 凡 其 中 一 专、 一 只 · 一 ， 〕 对 隐层 到输 出层 的连接 权矩 阵 甲 肠 。 ， ， 门 、 认 裁一 呱 一 以 塔裁 二 一 吵试 一 另 〕岁 令 ， 则拼 饥 一 另 写 。 ， 则 肠 。 ， ， 、 ， ， 诫一粼 ‘一 ‘ ， “ ，…， 一 ， ，… ，。 对 输入层 到隐层 的连接权矩 阵 尸 蛊 一 磊 · 瓣 剐一 拼 耳 ‘ 。 一 同样 令 毋 艺衅咐耳 ’ 。 ， 则有 舞， ，二 一 毋 ， 一 ， ， ，… ， 类似地 ， 从 结构单元 到隐层 的连接权矩 阵 甲 ， 有 斋 一 ， ， 艺 … ， 拼 弓瓣， ，… 注 意 到上 面 的式子 ， 依赖于 连接权 ， 故 巫 旦 止主 刁弓 刁码 〔艺 码 。 ， 艺 可 一 」 艺 、 几 、少、 、产 ︸ 一 直流 电弧 的神经 网络建模 直 流 电弧炉炼钢 过 程 是 一 个 复杂 的工 业 过 程 ， 存在着非 常 复杂 的非线性和 不确定性关系 ， 无 法采用 精确 的数 学建模方法给 出有效 的可 控 模 型 ， 这 使得基 于 精确 数学模型 的经 典和 现 代 控 制 理 论 都 难 以奏 效 ， 而 智 能控 制 为解 决这 一 复杂 不 确 定 对 象提 供 了新途径 直 流 电弧 是直 流 电弧 炉炼钢 过程 中的一 个 重 要 控 制 对 象 ， 电弧控 制 的 目的是 使直 流 电弧 能按 照 设 定 功率稳 定地 向炉 内输入 热 能 由于 炉 内状 况 非 常复杂 ， 影 响 电弧 稳 定 燃烧 的 因 素 也 就 非 常 多 ， 有些 因素之 间还有很 强 的祸合 经 过分析 ， 我们 以 电弧 电压 、 电弧 电流 、 电极位置 、 整流装 置 输 出 电压 、 功率 因数 等 为 输入 量 ， 建立 直 流 电弧 炉 的 网神经 网络 模型 ， 各层 包 含 的神经 元个数为 ， ， ， 为 了 比较不 同模 型 的辨识效果 ， 还建立 了 ， ， 的 网络模型 种模型 隐含层 神经元 的激励 函 数均为 型 函 数 ， 输 出层 神经 元 为线性 函 数 由于 网络 的动 态特性 由 内部 的连接 反 映 ， 所 以它无 需 直接 使用状态 作为输入或 训 练 信 号 ， 使得 网 络 输入 层 的神经 元 数量 与 网相 比有 较大 的 减少 ， 这 是 网络 相 对 于 静态前 传 网络 的 优越之 处 ， 特 别 是 当系统 阶 次较 高时 ， 这一 优越 性就 更 加 突 出 了 采 用 从 某 电炉 炼钢 厂 现 场 采 集 来 的数据 ， 经 过 预 处 理 后 ， 分 别 对 网 和 网进 行 训 练 ， 训 练 中学 习 率 自适 应 调 整 ， 模 型拟 合 精度 小于 网络 训 练 结 束 后 ， 用 另 一 组 现 场 数据 进行 检验 ， 得 到 的结果 如 图 所 示 结 果 显 示 ， 网络 经过 训练 后得到 的模 型 可 以较 好 地 反 映 实 际对 象 弧 压 、 弧 流 的变化 情 况 ， 电弧 电压 相 对 误 差 为 ， 电弧 电流 为 ， 而 网模型 电弧 电压 误 差 为 ， 电弧 电流 为 ， 网络模 型 效果 明显 优 于 网模 型 厂 ，恤 。 厂 。 上 式实际构成 了梯度 己， 旧可的动 态递 推 关系 由于 △ 。一 。爵 川 故 网络 的动 态 反 向传 播 学 习 算法 可 归纳 如下 △ 卜 叮瓶 ， ，… ， ， ， … ， △喊 △码 叮考 一 ， ，… ， 叮 ， ， … ， 一 。纱 委 ， ，…昭， ， ，…

·408· 北京科技大学学报 1999年第4期 650 (a) (b) 630 610 590 WWMMM 570 550 104 (c) (d) 100 ww 88 84 0 10 20 30 40 50600 10 20 30 40 50 t/℃ /℃ (a)电弧电压曲线（一实际输出，一一BP模型输出）：(b)电弧电压曲线（一实际输出，Elman模型输出） (c)电弧电流曲线（一实际输出，-一BP模型输出）：(d电弧电流曲线（一一实际输出，--Elman模型输出） 图2两种模型与实际输出对比图 4结语 参考文献 采用一种回归神经元网络为一复杂的、具 I Elman JL.Finding Structure in Time.Cognitive scien, 1990,14:179 有不确定性因素的工业对象建立了神经网络模 2 Gao X Z,Gao X M,Ovaska S J.A Modified Elman Neu- 型，经实际数据检验，该模型能较好地吻合实际 ral Network Model with Application to Dynamical Sys- 对象，文章还比较了两种网络结构的建模效果， tem Identification.In:IEEE International Conference on 说明采用动态网络更具优越性.这一结果显示 System.Beijing:Man and Cybernetics,1996.1376 了动态网络在系统建模进而在系统控制上.有很 3孙增圻，张再兴，邓志东.智能控制理论与技术.北京：清 华大学出版社，1997.190 广阔的应用前景 4南条敏夫，直流电弧炉的电弧现象乔兴武译.北京：冶 金工业出版社，1998.14 Modeling for A Complicated Industrial Object Based on Recurrent Neural Network Wei Jianping,Li Huade,Yu Datai,Feng Yang Information Engineering School.UST Beijing,Beijing 100083,China ABSTRACT The architecture and algorithm of a kind of dynamical neural network,Elman recurrent neural network(RNN)were dicussed.Based on this network,an approach of modeling for nonlinear time-varying in- dustrial object,direct current arc,was proposed.Compared with other modeling method for the object,the model based on RNN is proved to have better performance. KEY WORDS recurrent neural network;modeling;industrial object

北 京 科 技 大 学 学 报 年 第 期 轰 ， 鱼们几公” ‘抓乃盛 叨‘ 犷 岭 、 歹丫丫 萝 ‘ 护尹 飞解 比四洲 犷 ‘沙勺， 、矛社八遨 ‘︶曰亡味厂、了﹃ ﹄，奋、，月戈八曰︸ 八曰甘︸ 、︸ 连、 习， 或 ℃ 电弧 电压 曲线 — 实际输出厂 一 模型输出 电弧 电流曲线 — 实际输 出 ， 一 模型输出 ℃ 电弧 电压 曲线 — 实际输出 ，一正 模型输出 电弧 电流 曲线 — 实际输出 ， 一 模型输出 图 两种模型与实际输出对比图 结语 采用 一 种 回 归神 经 元 网络 为 一 复杂 的 、 具 有不 确 定性 因素 的工 业 对象 建立 了神经 网络模 型 ， 经实际 数据检验 ， 该 模 型 能较 好地吻合 实际 对象 文章还 比较 了两 种 网络 结构 的建模效果 ， 说 明采用 动 态 网络 更 具 优 越性 这 一 结 果 显 示 了动态 网络在 系统建模进 而 在 系统 控制 卜有很 广 阔的应用 前景 参 考 文 献 ， ， ， ， ， 孙增析 ，张再兴 ，邓志 东 智能控制理论与技术 北京 清 华大学 出版社 ， 南条敏夫 直流 电弧炉 的电弧现象 乔兴武译 北京 冶 金工业 出版社 ， 肠 ， ， 瓦 ， ， ， ， ， 一 ， ，