单层线性网络与多层线性网络具有同样的能力,即对于每一个多层线性网络,都 具有一个等效的单层线性网络与之对应。在反向传播法产生以后,威德罗又将其 自适应线性网络扩展成多层,甚至将激活函数也扩展成非线性的了。 5.2W一H学习规则 H学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则,所以 用他们两人姓氏的第一个字母来命名。采用W一H学习规则可以用来训练一定 网络的权值和偏差使之线性地逼近一个函数式而进行模式联想( Pattern Association) 定义一个线性网络的输出误差函数为 E(W,B)=[T-A]=T-WP] (5.1) I(5.1)式可以看出:线性网络具有抛物线型误差函数所形成的误差表面 所以只有一个误差最小值。通过W一H学习规则来计算权值和偏差的变化,并 使网络误差的平方和最小化,总能够训练一个网络的误差趋于这个最小值。另外 很显然,E(W,B)只取决于网络的权值及目标矢量。我们的目的是通过调节权矢 量,使E(W,B达到最小值。所以在给定E(W,B)后,利用W-H学习规则修 正权矢量和偏差矢量,使E(W,B)从误差空间的某一点开始,沿着E(W,B)的 斜面向下滑行。根据梯度下降法,权矢量的修正值正比于当前位置上E(W,B) 的梯度,对于第i个输出节点有 dE wij dw=n[=; lp (52) 或表示为 △w=n △b;=n6 (53) 这里δ定义为第i个输出节点的误差:2 单层线性网络与多层线性网络具有同样的能力，即对于每一个多层线性网络，都 具有一个等效的单层线性网络与之对应。在反向传播法产生以后，威德罗又将其 自适应线性网络扩展成多层，甚至将激活函数也扩展成非线性的了。 5．2 W－H 学习规则 W—H 学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则，所以 用他们两人姓氏的第一个字母来命名。采用 W—H 学习规则可以用来训练一定 网 络 的 权值 和偏 差 使之 线 性地 逼 近一 个 函数 式而 进 行模 式 联想 (Pattern Association)。 定义一个线性网络的输出误差函数为： （5. 1） 由(5．1)式可以看出：线性网络具有抛物线型误差函数所形成的误差表面， 所以只有一个误差最小值。通过 W—H 学习规则来计算权值和偏差的变化，并 使网络误差的平方和最小化，总能够训练一个网络的误差趋于这个最小值。另外 很显然，E(W，B)只取决于网络的权值及目标矢量。我们的目的是通过调节权矢 量，使 E(W，B)达到最小值。所以在给定 E(W，B)后，利用 W—H 学习规则修 正权矢量和偏差矢量，使 E(W，B)从误差空间的某一点开始，沿着 E(W，B)的 斜面向下滑行。根据梯度下降法，权矢量的修正值正比于当前位置上 E(W，B) 的梯度，对于第 i 个输出节点有： （5.2） 或表示为： （5.3） 这里 定义为第 i 个输出节点的误差：