混沌时间序列神经网络拓扑结构的选取方法

D0I:10.13374/j.isn1001-053x.1999.01.026 第21卷第1期 北京科技大学学报 VoL21 No.I 1999年2月 Journal of University of Science and Technlogy Beijing Feb.1999 混沌时间序列神经网络拓扑结构的选取方法 李擎 郑德玲 北京科技大学信息工程学院，北京100083 摘要采用3层前向神经网络描述混沌时间序列的动力学模型，给出了该网络拓扑结构的确定 方法.以及使网络泛化误差达到最小为依据确定网络的输入节点和隐含节点个数仿真结果表明： 该方法不仅优化了网络的结构，而且大大减少了网络的泛化误差. 关键词混沌时间序列：神经网络；拓扑结构：泛化误差 分类号TP18 混沌作为非线性动力学系统中的一类典型 的下限，选择最佳的n,可采用构造法来完成.选 现象，近年来得到了广大学者的高度重视.对一 取的准则是使网络具有较小的泛化误差.具体方 个混沌系统进行分析、控制时，首先要了解该系 法如下：设学习样本共有N个，将其分为2部分， 统的动力学模型.但在实际过程中获得这种模型 第1部分有N个，称为训练区样本，第2部分有 非常困推，有时甚至是不可能的.而经常得到的 N,个，称为验证区样本，N,N,满足：(I)N+N= 是一个混沌时间序列.混沌时间序列在内部有着 N;(2)N≈2N,.首先用N,个样本训练网络，所得 确定的规律性，这种规律性产生于非线性，它表 的网络用来计算另外N,个样本的泛化误差，逐渐 现出时间序列在时延状态空间中的相关性，包含 增大网络的n,值，可以发现系统的泛化误差逐渐 着几乎所有状态空间变量的痕迹.这种特性使得 减少，这恰恰说明随着嵌入维数的增加，所重建 系统似乎有着某种记忆能力，同时又难于用解析 的相空间越来越接近混沌吸引子的相空间.但当 方法把这种规律表达出来.这种信息处理方式正 n,增大到某个n,值时，系统的泛化误差不再发生 好是神经网络所具备的，多层前馈神经网络在模 显著变化，这说明嵌人维数已经饱和，这时的n, 式识别、函数逼近、数字图像处理等方面已经得 值被选为输入节点个数，n,所对应的m值就是混 到了广泛的应用.因此，我们采用3层前向神经 沌系统的饱和嵌人维数， 网络来建立混沌时间序列的动力学模型，此时称 以Lorenz系统产生的混沌时间序列为例说 该神经网络为混沌时间序列神经网络(CTSNN). 明混沌时间序列神经网络输入节点个数的选取 过程.Lorenz方程如下式所示： 1混沌时间序列神经网络拓扑结构 dx dt ox +oy 由于混沌时间序列神经网络主要用于建立 dy dt rx-y-xz (1) 时间序列的动力学模型，所以输出层神经元个数 dz dt xy-bz 为1.下面就输人层神经元个数与隐含层神经元 当o=10,r=28.0,b=8/3时，方程所代 个数的确定进行讨论， 表是一个混沌系统.将初始值取为(0,1,0)，步 2.1输入节点个数的确定 长h=0.0l,采用四阶Runge-Kutta法产生一个长 由相空间重构原理可知，混沌系统饱和嵌人 度为200的混沌时间序列. 维数m至少要等于或大于2D。+1(其中称D。为 取N=150,N=100,N2=50,将隐含层节 系统的分维数)因为只有这样，系统才能保持内 点n,固定（不妨设n,=5),输人节点个数n,先暂 在的确定性的性质，如吸引子维数、测度熵、正的 定为5（因为Lorenz系统D,的值约为2.0，所以当 Lyapunov指数等.上面给出了输入节点个数n, 建立Lorenz系统的混沌时间序列模型时，输人节 1998-05-05收稿李壁男，27岁，博士 点个数至少为5)；然后依次增大n,值，输入训练 *国家自然科学基金资助课题(N0.69772014) 区样本对网络进行训练，网络的学习误差取为

第 卷 年 第 期 月 北 京 科 技 大 学 学 报 比 七 一 混沌 时 间序 列神经网络拓扑结构 的选取方法 李 擎 郑德玲 北 京科技 大学信 息工 程学院 ， 北京 摘 要 采用 层前 向神经 网络描述混沌 时间序列 的动力学模型 ， 给 出 了该 网络拓扑结构的确定 方法 以及 使网络泛 化误差 达到最小 为依据确 定 网络 的输人节点和 隐含 节点个数 仿真结果表 明 该方法不仅优化 了 网 络 的结构 ， 而 且大大减 少 了 网络 的泛 化误差 关键词 混沌 时间序列 神经 网络 拓扑结构 泛化误差 分类号 混 沌 作 为 非 线 性 动 力 学 系 统 中 的 一 类 典 型 现 象 ， 近 年 来 得 到 了 广 大 学 者 的 高 度 重 视 对 一 个 混 沌 系 统 进 行 分 析 、 控 制 时 ， 首 先 要 了 解 该 系 统 的动 力 学模 型 但 在 实 际过 程 中获得 这 种 模 型 非 常 困 难 ， 有 时 甚 至 是 不 可 能 的 而 经 常 得 到 的 是 一 个混 沌 时 间序 列 棍 沌 时 间序 列 在 内部有 着 确 定 的 规 律 性 ， 这 种 规律 性 产 生 于 非 线 性 ， 它 表 现 出时 间序 列 在 时 延 状 态 空 间 中 的相 关性 ， 包含 着 几 乎 所 有 状态 空 间变 量 的 痕 迹 这 种 特性 使 得 系 统似 乎有 着某 种 记 忆 能 力 ， 同 时 又 难 于 用解 析 方法 把这 种规律表 达 出来 这 种 信 息处 理 方 式 正 好是 神 经 网络所具 备 的 多 层 前馈 神 经 网络 在 模 式 识 别 、 函 数 逼 近 、 数 字 图像 处 理 等 方 面 已 经 得 到 了广泛 的应 用川 因此 ， 我 们 采 用 层 前 向神 经 网络来 建立 混 沌 时 间序列 的 动 力 学模 型 ， 此 时称 该神经 网络为混沌 时间序列 神经 网络 混沌时间序 列神经 网络拓扑结构 由于 混 沌 时 间 序列 神 经 网 络 主 要 用 于 建 立 时 间序列 的动力学模 型 ， 所 以 输 出层 神 经 元 个 数 为 下 面 就 输 人 层 神 经 元 个 数 与 隐含 层 神经 元 个数的确 定进行讨论 输入节点个数 的确定 由相 空 间重 构原理 可 知 ， 混 沌 系 统饱 和 嵌 人 维数 至 少要 等 于 或 大于 。 其 中称 。 为 系 统 的分 维 数 因为 只 有这 样 ， 系 统 才能 保持 内 在 的 确 定 性 的性 质 ， 如 吸 引子 维 数 、 测 度嫡 、 正 的 指 数 等 · 上 面 给 出 了输人 节 点个 数 。 ， 的 下 限 ， 选 择 最 佳 的 。 可 采 用 构 造 法 来 完 成 选 取 的 准 则是 使 网络具 有 较小 的泛 化 误差 具 体方 法 如下 设 学 习样 本共 有 个 ， 将其分 为 部分 ， 第 部 分 有 从 个 ， 称 为 训 练 区 样 本 ， 第 部 分 有 戈 个 ， 称 为验证 区样本 · 拭 ， 满足 从 从 龙 拭 留 从 · 首先用 从 个样本训练 网络 ， 所得 的 网络 用来计算另外 从 个样本 的泛 化误差 · 逐渐 增 大 网络 的 。 ， 值 ， 可 以 发现系 统 的泛化误差 逐渐 减 少 ， 这 恰恰 说 明 随着 嵌人 维 数 的 增 加 ， 所 重 建 的相 空 间越 来 越 接 近 混沌 吸 引 子 的相 空 间 但 当 。 增大到某 个 。 值 时 ， 系 统的泛 化误差 不再发生 显 著 变 化 ， 这 说 明嵌 人 维 数 已 经 饱 和 ， 这 时 的 。 值被 选 为输人 节 点个数 ， 。 ， 所 对应 的 值就是 混 沌 系统 的饱和嵌人 维数 以 系 统 产 生 的 混 沌 时 间序 列 为 例 说 明混 沌 时 间 序 列 神 经 网 络 输 人 节 点 个 数 的 选 取 过程 方程 如下 式 所 示 山 一 即 办 二 一 一 一 一 一 收 稿 李擎 男 ， 岁 ， 博士 国 家 自然科学基金 资助 课题 当 ， ， 时 ， 方程 所代 表 是 一 个 混 沌 系 统 将 初 始 值 取 为 ， ， ， 步 长 二 ， 采 用 四 阶 一 法 产 生 一 个 长 度 为 的混沌 时 间序列 取 巧， 从 ， 从 二 ， 将 隐 含 层 节 点 固定 不 妨设 ， 输人 节 点 个 数 。 先 暂 定 为 因为 系统 。 的值 约 为 ， 所 以 当 建 立 系 统的混沌 时 间序列 模 型 时 ， 输人 节 点 个 数 至 少 为 然 后 依 次增 大 。 ， 值 ， 输入 训 练 区 样 本 对 网 络 进 行 训 练 ， 网 络 的 学 习 误 差 取 为 DOI ：10．13374／j ．issn1001－053x．1999．01．026

Vol.21 No.I 李擎等：混沌时间序列神经网络拓扑结构的选取方法 ·91 0.05,然后再输人验证区样本计算网络的泛化误 1 0.0,-0 差.当输入节点个数n,取不同值时，网络的泛化 N -;b=0,-a0,(5) 误差E如表1所示. N三.0，-0 表1不同输入节点个数下网络的泛化误差 对于输出层第k个神经元，其输人和为： 6 7 8 E 0.0605320.0504730.0424260.039540 netin,=we·O,+mg·O,+ww·l+,Σ，"g·O,= 9 10 11 12 w·O,+w·(aO,+b)+w·1+∑wu·O,= E 0.0362130.0298100.0247240.021689 13 14 15 16 (w。+awg):0,+(mu+bwg)1+,"e·O,(6) E 0.0206680.0207540.0205630.020150 从而合并算法为： 由表1可以看出：当n,≥13时，网络的泛化 We Wu+awy 误差不再发生显著变化，所以n,可取为13. (7) 2.2隐含节点个数的确定 Wu Wu bwy ()神经网络隐层自构形学习算法， 其中：w台wgw+i,)表示合并前输出层第k 有关隐含层节点个数的确定方法，雷鸣于 个神经元和隐含层第i,,l(!+i,时)个神经元之间 1994年提出了神经网络自构形学习算法0，该算 的连接权值；w表示合并后输出层第k个神经元 法的基本原理如下， 和隐含层第i个神经元之间的连接权值；w,w地 设O,。是隐节点i在学习第p个样本时的输 ,表示合并前、后输出层第k个神经元的阈值， 出，O,是隐节点i在学习完N,个样本后的平均输 规则2若S,<C,则节点i可删除 出，N为训练样本总数，则 可令O=O,对于输出层第k个神经元，其输 人和为： (2) 定义1同层隐节点i和j的相关系数为： neti恤，=w台O,+ww1+,wuO,= 1 N. 0p·0。-0,·0 (w+wH·O,)·1+∑wu·O, (8) N1p1 (3) 从而别除算法为： o,-o N W钻=W+W·O (9) 式(9)表明所谓删除是将隐元i与输出层第k个节 ,说明隐节点i和j输出相关性程度，过 点的阚值合并了， 大，说明节点i和广功能重复，需要压缩合并. (2)混沌时间序列神经网络隐含节点个数的 定义2样本分散度为： 确定， (4) 将雷鸣等人的方法应用于混沌时间序列神 经网络，首先用N,个训练样本进行训练，然后计 S,过小，说明隐节点i的输出值变化很小，它 算已训练好网络隐层间各节点之间的相关系数 对网络的训练没有起什么作用，性能类同于阈 和分散度，按（⑦）式和(9)式对隐层节点进行合并 值. 和删除，最后得到一个合适的网络结构.但在实 有了以上定义，就可以提出以下合并与删减 际应用中我们发现了一个问题，即优化后网络的 规则 学习误差、泛化误差较优化前有所减少，但优化 规则1若之C,且S,S,之C,则同层隐节 后网络的泛化误差仍然较大，出现这种误差的主 点和j可以合二为一，其中，为隐节点i和j的相 要原因是：一个隐节点和另一个隐节点线性相关 关系数，S和S,为各自的分散度.C,和C,为规定 性较大不能说明它与其他隐节点也有线性相关 的下限值，一般C取0.80.9，C,取0.001~0.01. 性.雷鸣方法的数学基础是一元线性回归.由于 令O,≈aO,+b,则 神经网络中各层神经元之间是全连接的，所以只

李擎等 混沌 时间序列 神经 网络拓扑结构 的选取方法 ， 然 后 再 输 人 验 证 区 样 本 计 算 网 络 的 泛 化 误 差 当输 人 节 点 个 数 。 ， 取 不 同值 时 ， 网 络 的 泛 化 误差 如 表 所 示 表 不 同输入节点个数下网络的泛化误差 工 登口 口一 一 口‘ · 完言 口几 一 砰 一 ， 二二二二二二二二二二二二二二二 二二二二二二二二二二二 二二二 二二二二二二二二二二 二二 二二二二二二二 刀 对于输 出层第 个神经元 ， 其输人 和 为 ， 一 、 · ， 。 · ， 肋 · ‘ ， 买 。 · ， ， 于 ‘ ， ， · ， · ， 、 区 。 · ， 百 ， 目 ‘ ，，竺竺，竺竺竺竺竺竺 。 。 ， ， 肋 、 从而合并算 法 为 艺 · ， 。 气 、 十 气 气气 由表 可 以 看 出 当 ︸ ， 七 时 ， 网络 的泛化 误差 不再 发 生 显 著变 化 ， 所 以 。 ， 可 取 为 隐含节点个数 的确定 神经 网络 隐层 自构形 学 习算法 有 关 隐含 层 节 点 个 数 的 确 定 方 法 ， 雷 鸣于 年提 出 了神 经 网络 自构 形 学 习算法 ， 该算 法 的基本原理如下 设 。 ， 是 隐节 点 在 学 习第 个样 本 时 的输 出 ， 石 ，是 隐节点 在学 习完 从 个样本后 的平均 输 出 ， 从 为训 练样本总数 ， 则 石 二 粤 拭 万 ， 口 广艺凡 一从一 一 定义 同层 隐节点 和 的相 关系数为 生 口 ， 厂 ， · 口 一 口 · ， ， 口 从 艺 一 其 中 气 ， 气 ， 、 羊 ， 表 示 合 并 前 输 出层 第 个神经元和 隐含层第 ， ， 羊 ， 个神经元之 间 的连接权值 呱表示 合并后 输 出层第 个神经元 和 隐含 层 第 个神经 元 之 间 的连 接 权值 、 ， 筋 表示 合并前 、 后 输 出层第 个神经元的阂值 规则 若况 ， 则节点 可删 除 可令 口 ， 对于输 出层第 个神经元 ， 其输 人 和 为 ， 一 。 · ， 、 · ‘ 冬 ‘ ， 、 赶 · 矛 · ‘ 冬 ， 。 · ， 从而 删 除算法 为 。 · ‘ 式 表 明所 谓 删除是 将 隐元 与 输 出层第 个节 点 的 闭值合并 了 混 沌 时 间序列 神 经 网 络 隐含 节 点 个数 的 确定 将 雷 鸣等 人 的方 法 应 用 于 混 沌 时 间序 列 神 经 网络 ， 首 先 用 个 训 练样 本 进行 训 练 ， 然 后 计 算 已 训 练好 网 络 隐层 间各 节 点 之 间 的相 关 系 数 和 分 散度 ， 按 式 和 式 对 隐层 节 点 进 行 合 并 和 删 除 ， 最 后 得 到 一 个 合 适 的 网 络 结 构 但 在 实 际 应 用 中我 们 发 现 了一 个 问题 ， 即优 化后 网络 的 学 习 误 差 、 泛 化 误差 较 优 化 前 有 所 减 少 ， 但 优 化 后 网络 的泛 化 误 差 仍 然 较 大 出现 这 种 误差 的 主 要 原 因是 一 个 隐节 点 和 另 一 个 隐节 点 线性 相 关 性较 大 不 能 说 明 它 与 其 他 隐节 点 也 有 线 性 相 关 性 雷 鸣 方 法 的 数 学 基 础 是 一 元 线 性 回 归 由于 神 经 网络 中各层 神 经元 之 间是 全 连 接 的 ， 所 以 只 去全 一凡 二 ， ， ‘ 一 。 子 ， 说 明 隐节 点 和 输 出相 关 性 程 度 ， 气 ， 过 大 ， 说 明节点 和 功 能 重复 ， 需 要 压缩 合并 定 义 样 本分散度 为 口 工、 一 一从 尸 尽过 小 ， 说 明 隐节 点 的输 出值 变 化很 小 ， 它 对 网 络 的 训 练 没 有 起 什 么 作 用 ， 性 能 类 同 于 闭 值 有 了 以 上 定 义 ， 就 可 以 提 出 以 下 合并 与删减 规则 规贝” 若 ， ， 且况 ， ， 二 贝“同层 隐节 点 和 可 以合二 为一 其 中 气 为 隐节 点 和 的相 关 系数 ， 况和 为各 自的分 散度 · 和 为规定 的下 限值 ， 一般 一 ， 取 · 一 · · 令口 刽 · 般 取。 口 ， 则

·92· 北京科技大学学报 1999年第1期 进行两隐节点间的一元线性回归分析而不考虑 N,)个学习样本时，其他隐节点输出组合后对第1 其他隐节点情况的分析方法未免有些单薄.另 个隐节点输出的逼近值， 外，有时还会出现以下情况：当隐节点2、隐节点3 在计算中有时会出现多个之C的情 和隐节点1都具有较大的相关系数时，是合并隐 况，即出现合并冲突，为使网络的泛化误差达到 节点1和隐节点2，还是合并隐节点1和隐节点3 最小，采用以下方法进行最优通近模型的选择： 呢？我们称这种情况为合并冲突.通过多次试验 将另外N,个未加训练的样本放人神经网络进行 发现：不同的合并方法会产生不同的网络结构， 推理，此时第1个隐节点的输出记为0P=1,2, 而不同的网络结构又会使网络具有不同的泛化 …,N),利用式(11)(15)计算得到的另外n,一1 能力.这就要求给出一种解决合并冲突的方法. 个隐节点组合后对第1个隐节点输出的逼近值记 基于以上2个原因，必须对雷鸣的方法进行 为00=1,2，…，2”-1-1p=1,2,…,N),计算 改进，为此我们提出以下方法确定隐层的神经元 N 个数. PRESS(0=∑(Op-Ow,} (18) p=I 设隐层共有n,个神经元，第i个隐节点输出 使PRESS()达到最小者的j。所对应的回归方程 记为0，亿=1,2，…，n),可以用另外n2-1个隐节 即为最优通近模型.确定最优逼近模型后就可以 点的任意组合来通近O,(位i=1,2,…,n,),于是可 进行节点合并，合并算法可参考式()进行. 以建立C1个不同的一元线性回归方程， 确定隐含层节点个数的具体步骤为：首先将 C-个不同的二元线性回归方程，…，C?个n 输人节点个数n,固定，赋给隐含层较多的神经 一1元线性回归方程).所有可能的回归方程共 元.输人训练区样本，对网络进行训练；然后计算 有2”-1-1个，即： 各隐节点的分散度，采用式（⑨）对隐层节点进行删 C%-1+C-1+…+C%}=2”-1-1 (10) 除，这是为了避免进行多元回归分析时发生组合 现以第1个隐层节点为例来说明这2”~1-1 爆炸；接下来计算剩余节点之间的相关系数，如 个回归方程： 果出现多个≥C,的情况，则输人验证区样 0,=a02+bu (11) 本，用来确定最优逼近模型，最后采用式（⑦）对隐 层节点进行合并，以得到新的网络结构，重复以 0i-1=a0,+b4-1 (12) 上步骤，直到隐层节点不能再进行合并和删除时 0=a昭0，+0+b (13) 为止， 我们仍应用确定输人节点个数时用到的训 可m+7=a%-0-1+a0+b+1 (14) 练区样本和验证区样本.在这里，网络的学习误 差取为0.05，当C,=0.95,C2=0.005,初始网络 0z1=a略-"0+a略-0+…+a%”0,+ 结构n1=12,n2=15时，应用一元回归分析方法 a%"0+6w-1 (15) 和多元分析方法进行隐层神经元个数的选取过 其中：T=(m2-1)(m2-2)12. 程如表2和表3所示. 为了衡量ō(0=1,2，…，2”-1-1)和0，之 表2应用一元回归分析确定隐含层节点的过程 间的相似性，给出定义. 步数 隐含层节点序号 网络泛化误差 定义可0=1,2，…，2”-1-1)和0，之间的相关 11,2,3,4,5,6,7,8,9,10,12,13,4,15 0.028873 系数： 2 0.026673 20a0a 1,2,4,5,7,8,11,12,15 3 1,2,4,7,8,11,15 0.027328 4 1,2,4,11,15 0.025457 1y (16) 5 1,2,11 0.027371 由表2和表3可以看出：采用雷鸣一元分析 (17) 方法确定的隐含层节点个数虽然比多元分析方 0,为输人第=1,2，N)个学习样本时 法确定的隐含层节点个数少1个，但后者所确定 网络的泛化误差却比前者所确定网络的泛化误 第1个隐节点的输出；0为输人第1(l=1,2

北 京 科 技 大 学 学 报 年 第 期 进 行 两 隐节 点 间 的 一 元 线 性 回 归 分 析 而 不 考 虑 其 他 隐节 点 情 况 的 分 析 方 法 未 免 有 些 单 薄 另 外 ， 有 时还 会 出现 以 下 情 况 当隐节点 、 隐节点 和 隐节点 都具有 较 大 的相 关 系 数 时 ， 是 合并 隐 节点 和 隐节 点 ， 还 是 合并 隐节点 和 隐节点 呢 我 们 称 这 种 情 况 为合 并 冲 突 通 过 多 次 试 验 发 现 不 同 的 合 并 方 法 会 产 生 不 同 的 网 络结 构 ， 而 不 同 的 网 络 结 构 又 会 使 网 络具 有 不 同 的 泛 化 能力 这就要 求给 出一种解决合并冲 突的方 法 基 于 以 上 个 原 因 ， 必 须 对雷 鸣的方 法 进 行 改 进 ， 为此 我们提 出 以 下 方 法 确 定 隐层 的神 经元 个数 设 隐层共有 个神 经元 ， 第 个 隐节 点输 出 记为口‘ ， ， 一 凡 ， 可 以 用另外 一 个 隐节 点 的 任 意 组 合来 逼 近 二 ， ， … ， 几 ， 于 是 可 以 建 立 暇 一 ， 个 不 同 的 一 元 线 性 回 归 方 程 ， 《 一 ，个不 同的二 元 线 ‘ 性回 归方 程 ， ” ’ ， 只二 个 几 一 元 线性 回 归方 程 所 有 可 能 的 回 归 方 程 共 有 ” 一 ‘ 一 个 ， 即 《 一 ， 哎 一 ， … 二卜 ” 一 ’ 一 现 以 第 个 隐层 节点 为例来说 明这 妙 一 ‘ 一 个 回归方程 瓦 梦久 ， 瓦 ， 。 一 一 七 卜 。 一 ， 瓦 ， ， 一 宫 宕 卜 。 瓦 ， 。 十 一 货工 一 ，久 一 ， 七只 卜 ， 瓦 ， · 一 ， 一 冷 一 ‘， 冷 一 ‘， … 货二」久 凭、丁 ” 久 一 ， 其 中 一 一 为 了衡量 氏 一 ， 么 一 一 ’ 一 和 口 之 间的相 似性 ， 给 出定 义 定义氏 仃一 ， ， 一 、 一 ’ 一 和 口， 之 间的相 关 系数 ， 个 学 习样 本 时 ， 其他 隐节 点 输 出组合后 对第 个 隐节 点输 出的逼 近值 在 计 算 中 有 “寸会 出 现 多 个 。 ， 的 ’ 情 况 ， 即 出现 合 并 冲 突 为 使 网 络 的泛 化 误 差 达 到 最 小 ， 采 用 以 下 方 法 进 行 最 优 逼 近 模 型 的选 择 将 另 外 从 个 未 加 训 练 的样 本放人 神经 网络进行 推理 ， 此 时第 个 隐节 点 的输出记 为口 勿 ， 么 · ‘ 一 从 ， 利 用 式 卜 计 算得 到 的另 外 一 个 隐节点组合后 对第 个 隐节点输出的逼近值记 为氏 ，，仃一 ， ， 一 ” 一 ’一 尸 仍 ， ， … ， 从，计算 氏 ， 户 ， ‘ 使 仍 达 到 最 小 者 的 所 对应 的 回 归 方 程 即 为 最 优 逼 近模 型 确定 最优逼 近模 型 后 就 可 以 进行 节点合并 ， 合并算法可参考式 进行 确 定 隐含层 节点个数 的具体步骤 为 首先将 输 人 节 点 个数 。 ， 固定 ， 赋 给隐含 层 较多 的 神 经 元 输人 训练 区样本 ， 对网络进行训 练 然后计算 各 隐节点的分散度 ， 采用式 对隐层节点进行删 除 ， 这是 为 了避 免进行多元 回归分析 时发 生 组 合 爆 炸 接 下来 计算 剩 余节 点 之 间 的 相 关 系 数 ， 如 果 出 现 多 个 卜 。 二 的情 况 ， 则 输 人 验 证 区 样 本 ， 用来 确 定 最优逼 近模 型 ， 最 后 采 用 式 对 隐 层 节 点 进 行 合并 ， 以 得 到 新 的 网 络结 构 重 复 以 上 步骤 ， 直到 隐层 节点不 能再进行合并和 删 除 时 为止 我们仍应 用 确定 输人 节点个 数时用 到 的训 练 区样 本 和 验 证 区样 本 在 这 里 ， 网 络 的 学 习 误 差 取 为 ， 当 ， ， 初 始 网 络 结构， ， ， 巧 时 ， 应 用 一元 回 归分 析方 法 和 多 元 分 析 方 法 进 行 隐层 神 经元 个数 的 选 取 过 程 如表 和表 所示 表 应用一元回归分析确定隐含层节点的过程 步数 隐含层节点序号 网络泛化误差 ，凰 ， · 氏 ， ， 一 · 氏 口乙 一 召 · 甲亏于一于万 去 艺厌 ， 一 厌 ， 一 ， ， ， ， ， ， ， ， ， ， ， ，片 ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， 一间一从艺拭 一拭 ，︸ 一拭 艺拭钊 一 口 二氏 一从 艺从钊 一 一 其 电 。 ， 为输人 第 ， 二 ， 拭 个 学 习样 本 时 第 个 隐节点 的输 出 氏 ， ，为输人 第 一 ‘ ， ， … ， 由表 和 表 可 以 看 出 采 用 雷 鸣 一 元 分 析 方 法 确 定 的 隐含 层 节 点个 数 虽 然 比多 元 分 析 方 法 确 定 的 隐含 层 节 点个 数 少 个 ， 但 后 者所确 定 网 络 的 泛 化 误 差 却 比前 者 所 确 定 网 络 的 泛 化 误

Vol21 No.I 李擎等：混沌时间序列神经网络拓扑结构的选取方法 ·93· 差要小的多. 不仅能减少神经元个数，而且能较大幅度地降低 网络的泛化误差， 表3应用多元回归分析确定德含层节点的过程 步数 隐含了点序号 网络泛化误差 表4混沌时间序列神经网络的结构及泛化误差 11,2,3,4,5,6,7,8,9,10,11,2,13,14,150.028873 网络状态 输人节 隐含节 输出节 点数/个 点数/个 点数/个 泛化误差 2 1,2,4,5,7,8,10,11,12,15 0.025048 初始网络 6 15 1 0.060387 2,4,5,7,8,11,15 0.022515 10 0.014535 2,4,5,7,11,15 结果网络 0.017692 2,4,5,11,15 0.013744 3结论 6 2,4,5,15 0.013085 网络结构确定方法不仅能快速有效地确定 23混沌时间序列神经网络拓扑结构确定方法 混沌时间序列神经网络的拓扑结构，使网络结构 的应用 达到最优化，而且成功地解决了合并冲突问题， 把2.1和2.2两部分合并，就可以进行混沌时 使网络的泛化能力有很大程度提高， 间序列神经网络拓扑结构的确定.首先将隐含层 节点个数固定，采用构造法确定合理的输人层神 参考文献 经元个数；然后再将新确定的输入层神经元个数 1 Hornik K,Stinchcombe M,White H.Multi-layered 固定，采用基于多元回归分析的删除法确定合理 Feedforward Neural Networks are Universal Approxi- 的隐含层节点个数.反复进行以上2个步骤，直到 mations.Neural Networks,1990(2):359-366 输入层节点个数和隐含层节点个数不再发生变2王东生，黄磊.混沌、分形及其应用.合肥：中国科技大 化为止 学出版社，1995.403~411 仍以Lorenz方程为例说明混沌时间序列 3仪垂样，非线性科学及其在地学中的应用，北京：气象 神经网络拓扑结构的确定方法：取N=50, 出版社，1995.211~216 N,=100,N2=50,C=0.95,C,=0.005.初始网络结 4雷鸣，尹申明，杨叔子.神经网络自适应学习研究.系统 构为6-15-1，学习误差设为0.05.利用以上步骤 工程与电子技术，1994(3)：19~27 5周纪芗.回归分析.上海：华东师范大学出版社，1993. 确定的网络结构及网络的泛化误差如表4所示. 118~126 由表4可以看出：采用的网络结构确定算法 Determining Topology Architecture for Chaotic Time Series Neural Network Li Oing,Zheng Deling Information Engineering School.UST Beijing,Beijing 100083,China ABATRACT Three-layered feed-forward neural network is used to establish the model for chaotic time series dynamic systems.Determination method of topology architecture for network is given. The size of the input node and hidden node is determined by the minimization the generalization error of the network.The simulation results show that the network architecture is optimized and the generalization error is dramatically decreased when this method is used. KEY WORDS chaotic time series neural network;topology architecture;generalization error

李擎等 混沌 时间序列神经 网络拓扑结构的选取方法 差要 小 的多 表 应用 多元回归分析确定隐含层节点的过程 不 仅能减 少 神经元 个数 ， 而 且 能较大 幅度 地 降低 网络的泛 化误差 步数 隐含 了点序号 网络泛化误差 衰 混沌时间序列神经网络的结构及泛化误差 ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， ， 网络状态 初始网络 结果 网络 输人节 点数 个 隐含节 点数 个 输出节 点数 个 泛化误差 混 沌 时 间序 列 神经 网 络 拓 扑 结 构 确 定 方 法 的应用 把 和 两部分合并 ， 就 可 以进行混沌 时 间序 列 神 经 网络拓 扑 结 构 的确 定 首 先 将 隐含 层 节点个 数 固定 ， 采 用 构造 法 确 定 合理 的输 人 层 神 经元 个数 然 后 再将新 确 定 的输 人 层 神 经元 个 数 固定 ， 采 用基 于 多元 回 归分 析 的删 除法 确定合理 的隐含层 节 点个数 反 复进行 以 上 个步骤 ， 直到 输 人 层 节 点 个 数 和 隐含 层 节 点 个 数 不 再 发 生 变 化 为止 仍 以 方 程 为 例 说 明 混 沌 时 间 序 列 神 经 网 络 拓 扑 结 构 的 确 定 方 法 取 ， 戈一 ， 从一 ， 厅 ， 二 · 初 始 网络 结 构 为 一 巧 一 ， 学 习误 差 设 为 利 用 以 上 步 骤 确定 的网络结构及 网络 的泛化 误差 如表 所示 由表 可 以 看 出 采 用 的 网 络结 构 确定算法 结论 网络 结 构 确 定 方 法 不 仅能 快 速 有 效地 确 定 混 沌 时 间序列 神 经 网络 的拓 扑结 构 ， 使 网络结 构 达 到 最 优 化 ， 而 且 成 功 地 解 决 了 合 并 冲 突 问题 ， 使 网络 的泛化能力有很大程度提高 参 考 文 献 议 ， ， 一 ， 一 王 东生 ， 黄磊 混沌 、 分 形及其 应 用 合肥 中国科技 大 学 出版社 ， 仪垂 祥 非 线性科 学及 其在 地 学 中的应用 北 京 气象 出版社 ， 一 雷鸣 ， 尹 申明 ， 杨叔子 神经 网络 自适应学 习研究 系统 工程 与 电子技术 ， 周 纪萝 回归 分析 上 海 华东 师 范大 学 出版社 ， 而 ， ， ， ， 一 一 勿 泣 讼