0I:10.13374/j.1ssn1001-053x.1997.05.016 Vol.19 No.5 北京科技大学·学报 第19卷第5期 0ct.1997 Journal of University of Science and Technology Beijing 1997年10月 2种改进的神经网络结构学习算法 王克成) 王科俊) 余达太) 1)北京科技大学信息工程学院，北京100083 2)哈尔滨工程大学自控系，哈尔滨150001 摘要针对已提出的灵敏度计算和自构形2种神经网络结构学习算法，提出2种改进的算法，实 验证明改进的算法比原算法有更好的泛化能力. 关键词神经网络，结构学习算法，灵敏度 中图书分类号TP13 多层前向神经网络结构的确定是神经网络理论研究的热点之一，已提出了一些结构学习 算法由于在理论上很难给出网络结构的最佳值，所以结构学习算法都是以启发式方法剪 除过大网络或增长过小网络进行的， Mozer和Smokensky提出的灵敏度计算法是一种典型的剪除式结构学习算法.笔者利 用它对异或(XOR)问题和正弦函数逼近问题的实验表明，这种算法对逼近问题优化产生的网 络结构有较强的泛化能力；而对分类问题，泛化问题能力大大下降因而笔者提出了一种新的 灵敏度计算法，并用XOR和正弦通近问题验证了新算法的有效性 雷鸣提出的神经网络自构形学习算法也是一种剪除式结构学习算法作者的实验表明， 经这种算法优化产生的网络泛化能力下降.分析自构形算法，发现算法在神经元合并时采用 一阶线性回归计算，而实际上样本增加后，神经元输出不满足线性关系基于此笔者提出采用 多项式回归导出合并算法对XOR和正弦函数逼近问题的实验表明，采用新的合并算法后自 构形学习算法的泛化能力有很大提高， 1灵敏度计算型结构学习算法及其改进 Mozer和Smolensky在1989年提出了一种以灵敏度计算为基础的剪除式结构学习算 法，其方法是在网络中的每一神经元内引人一名义参数，即： 1=0 (1) +(0=g"+”(+”(0) 其中：”+”，+分别为第1+1层的第个神经元的状态和输出；g+”()为神经元的作用函 数；a+)为第1+1层第i个神经元与第1层第j个神经元间的连接权；u为名义参数，如果 4=0该神经元对网络无影响，“=】则该神经元为常规神经元 199610-08收稿第一作者男41岁副教授现在鞍山钢铁学院工作《 北 京 科 技 大 学 ’ 学 报 第 卷 年 第 期 月 种改进 的神经 网络结构学 习算法 王 克成 ’ 王 科俊 余达太 北 京科技大 学信息工 程学 院 ， 北京 哈尔滨工 程 大学 自控 系 ， 哈尔滨 摘要 针 对已 提 出的灵敏度计算和 自构形 种神经 网络结构学 习算法 ， 提 出 种 改进 的算法 实 验证 明改进 的算法 比原算法有更好的泛化能力 关键词 神经 网络 ， 结构学 习算法 ， 灵敏度 中图书分类号 即 多 层 前 向神经 网络结 构 的确定是 神经 网络理 论研究 的热点之 一 ， 已 提 出了一些 结构学 习 算 法 由于 在 理 论上 很 难 给 出 网络 结 构 的最 佳值 ， 所 以 结 构 学 习 算 法 都是 以 启 发式 方 法 剪 除过大 网络 或增 长过小 网络进行 的 和 提 出的灵 敏 度 计算 法 是 一 种 典 型 的剪 除 式 结 构 学 习 算法 笔 者 利 用 它 对异 或 问题 和正 弦 函数逼近 问题 的实验 表 明 ， 这 种算 法 对逼 近 问题 优 化 产生 的网 络结 构有 较强 的泛 化 能力 而 对分类 问题 ， 泛 化 问题 能力 大 大 下 降 因而 笔 者提 出了 一 种新 的 灵敏 度 计算法 ， 并 用 和 正 弦逼 近 问题 验证 了新 算法 的有效性 雷 鸣提 出的神经 网络 自构形 学 习算法 也是 一种 剪 除式结 构学 习算 法 作者 的实验 表 明 ， 经 这 种 算 法 优化 产生 的 网络 泛 化 能力下 降 分 析 自构形 算 法 ， 发 现 算 法 在 神 经 元 合 并 时采 用 一 阶线性 回归计算 ， 而 实 际上 样 本 增加 后 ， 神经元 输 出不 满足 线性 关 系 基 于 此 笔者提 出采 用 多 项 式 回 归 导 出合并算法 对 和 正 弦 函数逼 近 问题 的实 验 表 明 ， 采 用 新 的合并算法 后 自 构形 学 习算法 的泛化能力有很 大提 高 灵敏度计算型结构学 习算法及其改进 和 在 年 提 出 了 一 种 以 灵 敏 度 计算 为基 础 的剪 除 式 结 构 学 习算 法 ， 其方 法是 在 网络 中的每 一 神经元 内引人 一 名义 参数 ， 即 拜 “ ” 一 ， 瓦 “ ” 呵“ ‘，。 、 丫 十 ” 一 “ ” 衬 ‘ ” 其 中 邓 十 ” ， 川 ‘ ” 分别 为第 十 层 的第 个神经元 的状态 和 输 出 犷 十 ” · 为神经元 的作 用 函 数 。 咒 ” 为 第 十 ，层 第 ‘ 个 神 经 元 与第 层 第 个 神 经 元 间 的 连 接 权 。 为 名 义 参 数 ， 如 果 二 该神经元 对网络无 影 响 ， 二 则该神经元 为常规神经元 一 一 收稿 第一 作者 男 岁 副教授 现在 鞍 山钢铁学 院工 作 DOI ：10．13374／j ．issn1001－053x．1997．05．016