·492· 北京科技大学学报 1997年第5期 定义1 同层隐神经元i和j的相关函数： 1200。-00, n台 (6) Visooi-6viso.d-8 式中，”说明隐层神经元i和j输出的相关程度.，，过大，说明神经元i和j功能重复，需要压缩 合并 定义2 样本分散度 =2.0,-6 (7) 式中，S实质上是隐层神经元i输出的方差，如它过小，说明隐元i的输出变化很小，它对网络 的训练没有起什么作用，性能类同于阀值 根据以上定义，有如下动态合并和删除规则 合并规则：若|，≥C,且S,S,之C2,则同层隐元i和j可以合二为一其中r,为2个神经 元的相关系数，S,S,为各自的分散度.C,和C,为规定的下限值，一般C,取0.8~0.9，C,取 0.0010.01 令O≈aO,+b,则 a= 200。-00 b=0-a0 (8) 120-0 n台， 其中O,O.分别为同层隐元i和j对应第p个样本的输出，而0和O则是学习总共n个样本 后的平均输出 对于输出层第k个神经元，其输人和为： netin,=a0,+a0,+au×1+∑aw·0,=(aa+aa,0,+(a贴+bag)×】+∑a,0,(9) I本， 其中，a,0,a,分别为隐层的第i,j,l神经元与输出层第k个神经元的连接权，a为输出层第 k个神经元的阀值. 由(9)式可以看出隐层第1和第j个神经元已被合二为一，从而合并算法为： a,=as+adg (10) a=ah+b加为 删除规则：若S<C,则隐层i可删除 可令0=0则 nein,a0,+duxd =(au+d)xI+d (11) 所以删除算法为： a兰a:h+0,Au (12) 式(12)表明所谓删除是将隐元i与阀值节点合并了.北 京 科 技 大 学 学 报 年 第 期 定 义 同层 隐神 经元 和 的相 关 函数 口 · 口 一 口 ，忿 生女口 口 一 歹 、 工夕 口 一 歹 气廿 ‘ 伟丁 式 中 ， 气说 明 隐层 神经元 和 输 出 的相 关 程度 · ， 过 大 ， 说 明神经元 和 功能重复 ， 需要 压缩 合并 定 义 样 本分 散度 一 工夕口 一 澎 刀忿 式 中 ， ， 实质 上是 隐层 神经元 输 出的方差 ， 如它过 小 ， 说 明隐元 的输 出变化很 小 ， 它 对 网络 的训 练没有起什 么 作 用 ， 性 能类 同于 阀值 根 据 以 上定 义 ， 有 如下 动态合并 和删 除规则 合并规则 若 叼 七 ， 且导 凡之 ， 则 同层 隐元 和 可 以合二 为一其 中 ， 为 个神经 元 的 相 关 系 数 ， ，， ，为 各 自的分 散 度 · ，和 为规定 的 下 限 值 ， 一 般 ，取 一 ， 取 令 刘 口， 十 ， 则 拄 口， · 、 一 云 ， · 互 棋 ，口二 一 乙 二 一 口团 其 中 口。 ， 气 分别 为 同层 隐元 和 对应第 个样本 的输 出 ， 而 ， 和 则是学 习总共 。 个样 本 后 的平均 输 出 对于 输 出层第 个 神经元 ， 其输人 和 为 “ 、 一 、 团 才 、 肋 “ ，买尸二 口 一 · 十 、 ， 肋 “ 、 又 ‘ ，买 。 、 其 中 ， “ 。 ， 、 ， 、 ，分别 为 隐层 的第 ’， ， 神经元 与输 出层第 个神经元 的连接权 ， 。 为输 出层第 个 神经元 的 阀值 由 式可 以 看 出隐层第 和 第 个神经元 已 被合二 为一 ， 从而合并算法 为 删 除规则 若 尽 可 令 口 一 ， 则 女‘ 一 “ · · “ “ 一 “ ‘“ 十 口 、 ， 则 隐层 可 删 除 、声户 山二， 曰，盈 理、了了‘、 、 所 以 删 除算法 为 一 、 工 、 ， ， 一 。 ‘ ’ 军 ， 肪 、 。 、 ， 式 表 明所 谓删 除是 将 隐元 与 阀值 节点合 并 了