Vol.19 No.5 王克成等：2种改进的神经网络结构学习算法 ·493 表5XOR问题 表6正弦函数逼近问题 状态隐元数原样本(MSE) 新样本(MSE 状态隐元数原样本(MSE)新样本(MSE) 网优化前8 0.008801 0.088242 网优化前10 0.008522 0.013886 网优化后4 0.007569 0.091116 网优化后2 0.020504 0.032192 利用上述算法对XOR和正弦函数逼近问题的实验结果如表5和表6所示 从实验结果可以看出，用这种方法优化后的网络对训练过的样本效果很好，但对未训练 过的新样本误差较大这说明它使网络的泛化能力降低了. 分析雷鸣的方法，发现它在合并规则中采用一元线性回归式(8)导出合并算法.但实际 上，在输人样本较多时，0和O很难满足线性关系.笔者认为采用多项式回归处理O和O的 关系更符合实际，一方面可以精确地反映O和O的关系，另一方面也可以通过调节回归多项 式的阶次来提高网络的性能因此，提出了如下修改的合并算法，令： 0,=a。+a,0.+a,0+…+anO (13) 且取O,≈0，则输出神经元k的输入为 neim=o,0,+a,0,+w×1+Aa,0,= [a=a,+a,0+…+a,0a,0,+aw+aa)x1+a,0 (14) 从而合并算法为： a=an+(a1+a,0+…an0,)a (15) a=aih aoag 式(13)中的a。,a,a,…,a,利用最小二乘法求得.利用式(13)，(14)和(15)形成的改进的自构 形学习算法的实验结果见表7和表8. 表7XOR问题 表8正弦函数逼近问题 状态隐元数原样本(MSE)新样本(MSE) 状态隐元数原样本(MSE)新样本(MSE) 网优化前8 0.009071 0.092468 网优化前 10 0.008504 0.013426 网优化后4 0.004782 0.082173 网优化后2 0.007513 0.013563 实验中分别采用了3次和5次回归多项式实验结果表明改进后的自构形学习算法形成 的网络较未改进的算法形成的网络泛化能力有较大的提高，对旧样本的拟合能力也有很大的 提高. 4结论 (I)对灵敏度法，采用直接灵敏度计算，具有简单、直观、不需附加计算的特点.实验证明 对分类问题，可使网络的泛化能力有较大提高 (2)对自构形算法，采用多项式非线性回归导出神经元合并算法，更切实际，网络的泛化 能力有很大提高王 克成等 种 改进 的神经 网络结构学 习算法 · · 表 ’ 题 状态 隐元数 原样本 新样本 表 正弦函数逼近 问题 状态 隐元数 原样本 新样 本 网优化前 网优化后 网优化前 网优化后 乃 利 用 上 述算法 对 和正 弦 函数逼 近 问题 的实验结果 如 表 和 表 所 示 从 实验 结 果 可 以 看 出 ， 用这 种 方 法 优化 后 的 网络对训 练过 的样 本 效果 很 好 ， 但 对未 训 练 过 的新 样 本误差 较大 这说 明它使 网络 的泛 化 能力 降低 了 分 析 雷 鸣的方 法 ， 发 现 它 在 合 并 规则 中采 用 一 元 线性 回 归 式 导 出合 并 算 法 但 实 际 上 ， 在输 人 样 本 较多 时 ， ，和 ，很 难 满足 线性 关 系 · 笔者认 为采 用多 项式 回 归处理 口 和 的 关系更符合实 际 ， 一方 面 可 以精 确地反 映 ， 和 的关系 ， 另 一 方 面也 可 以通 过 调 节 回 归多项 式 的 阶次来提 高网络 的性 能 因此 ， 提 出了如下 修改 的合并算法 ， 令 。 ‘ 且取 口 七 口 ， 则 输 出神经元 的输人 为 气气气口 口 十 口 “ 又 民 ， ， “ 附 ， 勺 八逮 ， － 月 手 ‘ ， 、 ， … ” 酬 一 ， 、 ‘ 。 艺 ， 从而 合并算法 为 ‘ 。 一 、 乙 ， …… ” 云 一 ’ 、 肋 肪 勺 式 中的 。 ， 。 ， ， ， 一 “ 。 利 用 最小 二乘法求得 利 用 式 ， 和 形 成 的改进 的 自构 形学 习算 法 的实验 结果 见 表 和 表 表 问题 表 正弦 函数逼近 问题 状态 隐元数 原样本 新样本 状态 隐元数 原样本 新样 本 网优化前 网优化后 ， 网优化前 网优化后 刀 刀 实验 中分别采 用 了 次和 次 回 归多项 式 实验 结果 表 明改 进 后 的 自构 形学 习算 法 形成 的 网络 较未 改进 的算 法 形 成 的 网络泛化 能 力有 较 大 的提 高 ， 对旧 样 本 的拟 合能 力 也有很 大 的 提 高 结论 对灵 敏 度 法 ， 采 用 直 接 灵 敏 度 计 算 ， 具 有 简 单 、 直 观 、 不 需 附加 计算 的特 点 实验 证 明 对分类 问题 ， 可使 网络 的泛 化 能力有较 大提 高 对 自构形 算 法 ， 采 用 多 项 式 非线性 回 归 导 出神 经 元 合并 算 法 ， 更 切 实 际 ， 网络 的泛 化 能力有很大 提 高