多层局部回归网络的非线性系统预测模型

D0I:10.13374/j.issn1001-053x.2000.02.026 第22卷第2期 北京科技大学学报 Vol.22 No.2 2000年4月 Journal of University of Science and Technology Beijing Apr.2000 多层局部回归网络的非线性系统预测模型 刘贺平张兰玲孙一康 北京科技大学信息工程学院，北京100083 摘要提出采用多层局部回归神经网络建立多变量非线性系统多步预测模型的方法，神经 网络模型可提供多步预测控制所需要的系统输出预测值及输出向量对控制向量的雅可比矩 阵.仿真试验表明这种动态神经网络的预测模型具有较高的精度， 关键词多变量非线性系统；多层局部回归神经网络；多步预测模型；雅可比矩阵 分类号TP18 预测模型主要有两类用途，一是预测系统 过建立多个网络分别获得所需信息，则网络结 的未来动态行为，掌握研究对象的未来变化规 构的多样化，每个网络分别训练学习势必导致 律，以便采取应对措施.如市场预测、河流流量 计算的复杂化. 预测、电力系统负荷预测等.另一类用途是与控 本文采用的神经网络预测模型的基本单元 制律共同构成预测控制系统，这种情况下，需要 结构如图1所示， 预测模型提供的信息要比前者复杂得多.它不 y(k) 仅要提供系统未来的输出预测值，而且往往要 提供系统的多步输出对多步控制信号的偏导矩 (k+1) 阵，即雅可比矩阵，前者只解决函数映射问题， (k) 用神经网络建立这种模型时只要将模型的输出 误差限制在允许范围内即可，而建立用于预测 u() 控制的神经网络预测模型时，模型的结构，用于 yk+1) 预测控制的各种信息的提取、计算方法等都要 Mk) 兼顾考虑.神经网络在预测模型方面的研究进 展使得基于神经网络的一步预测控制、多步预 (a)一步预测网络结构 测控制得以实现.但目前为止，采用静态网络 一步预测单元 的方案仍是主流.本文根据多输入、多输出非 u() +k+1) 线性系统对预测模型的要求，提出采用多层局 (b)一步预测网络简记符号 部回归神经网络建立多步预测模型的方法，文 图1局部回归网络一步预测模型 中对罐式搅拌器进行了预测模型的仿真试验. Fig.I One step predictive modeling of local recurrent neural networks 1动态网络预测模型的设计 图中信号向量定义为： 采用多层局部回归神经网络建立多步预测 Y(k)=v(k).v.(k] 模型可获得较理想的动态模型辩识效果，但采 U)=[u,(),,,()] (1) 用单一动态网络同时提供多步输出预测值和多 7k+1)=[,(k+1),….(k+1)]Jr 步的雅可比矩阵是比较困难的.这是因为动态 分别表示系统的输出、控制输入、一步输出预测 网络的输入信号端一般不罗列输入、输出历史 向量，设网络的第1层输出向量为： 数据，其动态机能是通过隐含层的自反馈和互 Y(k)=[y(K),…M(k)]r (2) 反馈产生的.反馈的信息是错综复杂的，如果通 综合输入向量为： X()=[xa(k),…,()]T (3) 1999-07-15收稿刘贺平男，48岁，副教授 *国家“八五”攻关项目N0.85-311-02-11-04) 则网络隐含层神经元的状态和输出方程为：

第 卷 第 期 年 月 北 京 科 技 大 学 学 报 多层局部 回 归 网络 的非线性系统预测模型 刘 贺平 张兰玲 孙一康 北京科技大学信息工程学院 ， 北京 摘 要 提 出采 用 多层 局 部 回 归神经 网络 建立 多变量 非 线性系统 多步预测 模型 的方法 ， 神经 网 络 模 型 可 提 供 多步 预 测 控制 所 需要 的系 统 输 出预测 值及 输 出 向量对 控 制 向量 的雅 可 比矩 阵 仿 真试 验 表 明这种动态神 经 网络 的预测模型 具 有较 高的精度 关键 词 多变量 非 线性 系 统 多层 局 部 回 归神经 网络 多步预 测 模 型 雅 可 比矩 阵 分 类号 预测 模 型 主 要 有 两 类用 途 ， 一 是 预 测 系统 的未 来 动 态行 为 ， 掌握 研 究 对 象 的未 来 变 化 规 律 ， 以便 采 取 应对措 施 如 市 场 预 测 、 河 流 流量 预测 、 电力系统 负荷 预 测 等 另一 类用 途是 与控 制律共 同构 成 预测 控 制 系统 ， 这种 情况 下 ， 需要 预 测 模 型提 供 的信 息 要 比前者 复杂得 多 它 不 仅 要 提 供 系 统 未 来 的输 出预测 值 ， 而 且往 往 要 提 供 系统 的多步 输 出对 多步控制 信 号 的偏 导矩 阵 ， 即 雅 可 比矩 阵 前 者 只 解 决 函 数 映 射 问题 ， 用 神经 网络 建立 这种 模型 时只 要 将模型 的输 出 误 差 限 制 在 允 许 范 围 内即 可 而 建立 用 于 预 测 控制 的神经 网络预测 模 型 时 ， 模型 的结 构 ， 用 于 预 测 控 制 的各 种 信 息 的提 取 、 计 算方 法 等 都要 兼 顾考虑 神 经 网 络在 预测 模 型 方 面 的研 究进 展 使得基 于 神 经 网络 的一 步预测 控制 「，〕 、 多步 预 测 控 制 得 以 实现 但 目前 为止 ， 采用 静态 网络 的方 案 仍 是 主 流 本文 根据 多输 入 、 多输 出非 线 性 系 统 对 预测 模 型 的要 求 ， 提 出采用 多层 局 部 回 归 神 经 网 络 建 立 多 步预 测 模 型 的 方 法 ， 文 中对 罐 式 搅 拌 器 进行 了 预 测 模 型 的仿 真 试 验 过 建立 多个 网 络 分 别 获 得所 需信息 ， 则 网 络 结 构 的 多 样 化 ， 每个 网络 分 别 训 练 学 习 势 必 导 致 计 算 的复杂 化 本 文 采用 的神经 网络 预测 模 型 的基 本单 元 结 构如 图 所 示 救曰妙 琳角 式 一步预测 网络结构 朔 一 一不东赢爵仁一 一 一匕一一一 口 班 一步预测 网络简记符号 图 局部回 归网络一步预测模型 · 动态 网络预测 模型的设计 采用 多层 局 部 回归神经 网络 建立 多步预 测 模 型 可 获得 较 理 想 的 动 态 模 型 辩 识 效 果 ， 但采 用 单一 动 态 网络 同 时提供 多步输 出预 测 值和 多 步 的雅 可 比矩 阵 是 比较 困难 的 这 是 因 为动 态 网络 的输入 信 号 端 一 般 不 罗 列 输 入 、 输 出 历 史 数 据 ， 其动 态 机 能 是通 过 隐含 层 的 自反 馈 和 互 反馈产生 的 反馈 的信 息是 错 综 复杂 的 ， 如果通 一 一 收稿 刘 贺平 男 ， 岁 ， 副 教授 国家 “ 八五 ” 攻关项 目 ‘ 一 一 一 图 中信 号 向量 定义 为 一 呱， 二 ， 二 塑 一 “ 少 一 ” ， 二 恻 沙 ，二 协铭 」 分别表示系统 的输 出 、 控制输入 、 一步输 出预测 向量 设 网络的第 层输 出向量为 以 ，… 抓 」 综合输入 向量为 戈 ， ， 、 ，… 声， ，， 〕 则 网络隐含层神经元 的状态和 输 出方程为 DOI ：10．13374／j ．issn1001－053x．2000．02．026

2000年第2期 刘贺平等：多层局部回归网络的多变量非线性系统预测模型 ·191· [Xi(k)=WLY-(k)+WuYi(k-1)+b: 2预测模型的数值校验 (4) Y(k)=(X(K) 式中，W-u为神经网络1-1层到1层的连接 实验中，我们设计了罐式搅拌反应器的神 权向量，W,为1层的自回归连接权向量，b,为1 经网络预测模型.系统原理结构如图3所示. 层神经元的阈值向量，设网络共有L层，()为 神经元的输出函数，这里取为tanh函数， 进料F 多层局部回归网络隐含层中的自反馈和同 层互反馈具有引入并记忆历史数据的动态功 反应器温度T 能，因此k+)=Y(k+)可用一步预测神经网络 反应器 冷却Q 出料CA 模型逐步迭代递推得到.多层局部回归网络的 一步预测模型可按文献[3]提供的算法进行训 图3罐式搅拌反应器原理图 练. Fig.3 Principle of stirrer tank reactor 在计算预测输出对控制的偏导信息时可按 图2进行. 此系统是非线性系统，有2个输入：进料流 量F(mh)和散热率QJh).有2个输出：流出物 U(k) k+1) Wk+2) Yk+N) 浓度Ca(molm)和反应器温度T.每个输出与各 步 步 步 个输入之间都具有较强的耦合性.辨识反应器 U(k) 测 U(+1) U(k+N-1) 的预测模型时，采样时间取为1.5min.采用文献 [3]中的算法进行辨识，学习数据是根据文献[4] 图2多步预测的串联表示 的模型得到的.多层局部回归网络的结构选为 Fig.2 Series form of multi-step predictive modeling 4层，各层的节点数分别是4,8,6,2，迭代12000 步后，网络输出预测效果如图4所示. 虽然是采用多级神经网络的串级连接形 800 式，但是，在实际训练网络时只训练一步预测网 700 络，图中各级网络无论是结构还是参数都是相 毫 600 同的一步预测网络，如图1所示. 500 回归神经网络输出 在计算多步雅可比矩阵时，有： 400 系统实际输出 a(- ∂Uk+) DYx 300 OU(K+) ox(kti oU(k+i) 560 -diaglpx(k+.,prk+川r ou(k+i) (5) 540 系统实际输出回归神经网络输出 再由状态方程(4)可求得： 520 @Y(2.w为输出) 500 ox7(kj) dUk+i) (6) 480 oUk+i) .2-所 0 100 200 300 400 500 oU(k+i) 由(5)和(6)式可知，雅可比矩阵aYTk+/ 图4罐式搅拌反应器系统输出与网络模型输出 ∂U(k+)可由前一层结果∂F,(化+/aUk+》及上 Fig.4 Output of stirrer tank reactor output of local 一步结果aYT(k+j-1)/∂Uk+i)开始迭代递推.当 recurrent neural network model j-l=1时，∂YTk+)/∂Uk+)可由一步预测网络 模型直接求出，当j-i=c>1时，用预测(k+计1)人 3结论 k+)的c个一步网络预测模型串级连接，逐级 本文针对多变量复杂非线性系统难以建 递推计算. 立预测模型的问题，提出采用多层局部回归网 每一级预测模型只是输入、输出信号在时 络建立被控对象的预测模型，为预测控制系统 间序列上有区别，网络的结构和参数完全相同， 提供所需模型信息的设计方案，仿真结果表明 因此递推算法并不复杂，只是将一步预测模型 了本文提供的预测模型的有效性， 的计算结果反复应用而已

年 第 期 刘 贺平 等 多层 局 部 回归 网络 的 多变 量 非线 性 系统预测 模型 洲 一 琳一 声一 叽另 一 ‘ 苏 价试 式 中 ， 班 一 ，，为 神经 网络 卜 层 到 层 的连 接 权 向量 ， 城 ， 为 层 的 自回 归连接权 向量 ， ， 为 层 神经元 的 闽值 向量 ， 设 网 络 共 有 层 扭 为 神 经 元 的输 出 函 数 ， 这 里 取 为 函 数 多层 局 部 回 归 网络 隐含 层 中的 自反馈和 同 层 互 反 馈 具 有 引 入 并 记 忆 历 史 数 据 的动 态 功 能 ， 因 此 致赶力一 致 ，’ 可 用 一 步预 测神 经 网络 模 型 逐 步 迭 代 递 推 得 到 多层 局 部 回归 网络 的 一 步 预 测 模 型 可 按 文 献 提 供 的算 法进行 训 练 ， 在 计算 预 测 输 出对控 制 的偏 导 信 息 时 可 按 图 进 行 预测模型 的数值校验 实验 中 ， 我 们 设 计 了罐 式搅 拌 反 应 器 的神 经 网络 预 测 模 型 系 统 原 理 结构 如 图 所 示 竺图卿国吵 渭卿 当煎 肾四 产恻 图 多步预测 的串联表示 一 任 · 一。写叮 虽 然 是 采 用 多 级 神 经 网 络 的 串级 连 接 形 式 ， 但是 ， 在 实 际 训 练 网络 时只 训 练 一 步 预 测 网 络 ， 图 中各 级 网 络 无 论 是 结 构 还 是 参 数 都 是 相 同 的 一 步 预 测 网 络 ， 如 图 所 示 在 计 算 多 步 雅 可 比矩 阵 时 ， 有 图 罐式搅拌反应器原理图 · 此 系统 是 非线性系 统 ， 有 个输入 进料 流 量 爪 和 散热 率 油 有 个 输 出 流 出物 浓 度 和 反 应 器 温度 每 个 输 出与各 个输入 之 间都具 有较 强 的藕合 性 辨 识 反 应 器 的预测 模型 时 ， 采 样 时 间取 为 采用 文 献 仁 中的算法进 行 辨识 ， 学 习 数据 是 根 据文 献 「 的模 型 得到 的 多层 局 部 回 归 网 络 的结 构选 为 层 ， 各层 的节 点 数 分别 是 ， ， ， ， 迭代 步 后 ， 网络 输 出预 测 效 果 如 图 所 示 豁 己 豁 刀 ’ 一 嗜斜摇 〕一 〔捌留嚼斜昌 〕一 洲吵卿 · 价， ， … ， 价脚 脚 」 系统实际输出 回归神经网络输 出 再 由状态方程 可求得 。二‘、 ，、 餐头豁 、 ， ， ，为输 出 ‘友衣葫 一 旦黛牛卫 、 ， 粤烈返耳 二 ， 口 十 ， 一 十 由 和 式 可 知 ， 雅 可 比矩 阵 刁砰 刁 可 由前 一 层 结 果 刁嵘 认万 刁 ，’ 及 上 一 步 结 果 刁歼伍万一 开 始 迭代 递推 当 一 时 ， 歼伏万 可 由 一 步 预 测 网 络 模 型 直接 求 出 ， 纷 一 时 ， 用 预 测只 的 个 一 步 网络 预 测 模 型 串级连接 ， 逐级 递 推 计 算 每一 级 预 测 模 型 只 是 输入 、 输 出 信 号在 时 间序列 上 有 区 别 ， 网络 的结构和 参 数完 全相 同 ， 因 此 递 推 算法 并 不 复 杂 ， 只 是 将 一 步 预测 模 型 的计 算 结 果 反 复应 用 而 已 图 罐式搅拌反应器 系统输出与网络模型输出 · 结论 本 文 针 对 多变量 复杂 非 线 性 系 统难 以建 立 预 测 模 型 的 问题 ， 提 出采用 多层 局 部 回归 网 络 建立被控 对 象 的预 钡 模 型 ， 为预测 控 制系统 提供所 需模 型 信 息 的设 计 方 案 仿真结果 表 明 了本文 提供 的预 测 模 型 的有 效性

·192· 北京科技大学学报 Vol22 No.2 参考文献 3张兰玲，刘贺平，孙一康基于多层局部回归网络的复 杂生产过程预测模型模式识别与人工智能，1998,11 1 Li J.Xu X,Xi Y.A Neural Networks Based Predictive Con- (1):75 trol.In:Int Conf Industrial Electronics Control and Instru- 4 Stephanopoulos G.Chemical Process Control-an In- mentation.1991.1405 2 Yoon T W,Clarke D W.Adaptive Predictive Control of the troduction to Theory and Practice-hall.New Jersey:Eng- lewood Cliffs,1984 Benchmark Plant.Automatica,1994,30(4):621 Multistep Predictive Modeling of Nonlinear System Based on Multilayer Local Recurrent Neural Networks LIU Heping, ZHANG Lanling, SUN Yikang Information Engineering School,UST Beijing.Beijing 100083.China ABSTRACT The multistep predictive modeling of MIMO nonlinear system based on multilayer local recur- rent neural networks is presented.The predictive outputs and Jocobian matrixs of output vecter versus input vecter are proffered by the neural networks predictive model for the multistep predictive control systems.The results of simulation show that predictive model of the dynamic neural networks can reach higher degree of accuracy. KEY WORDS multivariable nonlinear system;multilayer local recurrent neural networks;multistep pre- dictive modeling;Jocobian matrixs 米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米米 (上接第162页) 9 Marton D,Boyd K J,Al-Bayati,et al.Carbon Nitride De- 7顾有松，张永平，常香荣，等，CN硬膜的人工合成和 posited Using Energetic Species:A Two-phase System 鉴定.中国科学(A辑)，1999,8：757 Physical Review Letters,1994,73(1):118 8 Gu YS,Zhang Y P,Duan Z J,et al.Crystalline B-CN.Syn- 10 Yen T Y,Chou C P.Growth and Characterization of Car- thesized by MPCVD.Journal of Materials Science,1999, bon Nitride Films Prepared by Arc-plasma Jet Chemical 34:3117 Vapor deposition.Applied Physics Letter,1995,67:2801 Effect of Substrate Temperature on the Composition and Structure of Carbon Nitride Thin Films ZHANG Yongping",GU Yousong",CHANG Xiangrong",TIAN Zhongzhuo,SHI Dongxia,ZHANG Xiufang 1)Material Science and Engineering School,UST Beijing.Beijing 100083,China 2)Beijing Laboratory of Vacuum Physics,Institute of Physics,Chinese Academy of Sciences,Beijing00080 ABSTRACT The carbon nitride thin films have been prepared on Si substrates,using N/CH,as reactive gases, by microwave chemical vapor deposition method.The effect of substrate temperature on the composition and structure of carbon nitride thin films were studied by X-ray photoelectron spectroscopy (XPS).As the substrate temperature increased,the N/C atomic ratios increased rapidly first and then decreased a little after a crucial temperature.Fourier transform infrared(FT-IR)and Raman spectra support the existence of C-N covalent bond. KEY WORDS B-C,N,;microwave plasma chemical vapor deposition(MPCVD);thin films

北 京 科 技 大 学 学 报 叭〕 参 考 文 献 ， ， ， ， ， ， 张兰玲 ， 刘 贺平 ， 孙 一康 基 于 多层 局 部 回归 网络 的复 杂 生 产 过程 预 测 模型 模式 识别 与人 工 智能 ， ， 一 － ， 孙明 ， 朔刃 ， 乙 万 ， ， ， 勿 勿 韶 · 盯 上接第 页 顾 有 松 ， 张 永平 ， 常香荣 ， 等 汹 硬 膜 的人 工 合 成 和 鉴 定 中 国科 学 辑 ， ， ， ， ， 刀 一 ， ， ， ， 一 ， 、 产 一 ， ， ， 一 ， ， 及 乙从咬入 ， 为 ，，〔汤叼刀 聊勺 ，， 丈咬 矛褪拜 ， 汉月了 口尸， 戈 毛刀了通刃 心 ， ， ， ， 台 ， ， ， ， 礴 ， 一 ， 已 一 一 刀 一