标的结果。这是因为一个线性网络的误差表面是抛物线型的,既然抛物线只有唯 ˉ最小值,基于梯度下降法的W-H规则肯定在其最小值处产生结果。 自适应线性网络还有另一个潜在的困难,当学习速率取得较大时,可导致训 练过程的不稳定。 [例5.5]在网络设计训练中,学习速率的选择是影响收敛速度甚至结果的一 个很重要的因素。只要学习速率足够小,采用W-H规则总可以训练出一个使 其输出误差为最小的线性网络。这里展现一个采用大于所建议的 maxlinIrm学习 速率进行训练情况的例子 输入/目标矢量与例5.1]相同。我们将以不同的学习速率训练两次网络以展 现两种不希望的学习速率带来的影响 为了能够清楚地观察到网络训练过程中权值的修正所带来的误差的变化情 况,我们在程序中加入误差等高线图,并在其中显示每一次权值修正后的误差值 位置,如图5.5所示。其中图5.5(a)为由权值w和偏差b所决定的线性网络误 差曲面,可以看到它是一个抛物线型的。图5.5(b)为图5.5(a)的从上往下的投 影图,图中的曲线称为等高线,线上的点具有相同的误差值。图中的记号“o 代表用函数 solvelin. m求出的误差最小值;而记号“十”为训练前的初始值点。 Error Surface Graph 0 10 (a)线性网络的误差曲面图 (b)对应于图36(a)的误差等高线 图5.5线性网络的误差图形 1)对于第一个尝试,学习速率Ir取 Ir=1.7"maxlinlr(P); 图5.6给出了网络在此学习速率下的权值训练及其误差的记录13 标的结果。这是因为一个线性网络的误差表面是抛物线型的，既然抛物线只有唯 一最小值，基于梯度下降法的 W—H 规则肯定在其最小值处产生结果。 自适应线性网络还有另一个潜在的困难，当学习速率取得较大时，可导致训 练过程的不稳定。 [例 5．5]在网络设计训练中，学习速率的选择是影响收敛速度甚至结果的一 个很重要的因素。只要学习速率足够小，采用 W—H 规则总可以训练出一个使 其输出误差为最小的线性网络。这里展现一个采用大于所建议的 maxlinlr.m 学习 速率进行训练情况的例子。 输入/目标矢量与[例 5．1]相同。我们将以不同的学习速率训练两次网络以展 现两种不希望的学习速率带来的影响。 为了能够清楚地观察到网络训练过程中权值的修正所带来的误差的变化情 况，我们在程序中加入误差等高线图，并在其中显示每一次权值修正后的误差值 位置，如图 5．5 所示。其中图 5．5(a)为由权值 w 和偏差 b 所决定的线性网络误 差曲面，可以看到它是一个抛物线型的。图 5．5(b)为图 5．5(a)的从上往下的投 影图，图中的曲线称为等高线，线上的点具有相同的误差值。图中的记号“o” 代表用函数 solvelin.m 求出的误差最小值；而记号“十”为训练前的初始值点。 图 5. 5 线性网络的误差图形 1)对于第一个尝试，学习速率 lr 取： 1r＝1.7*maxlinlr(P)； 图 5．6 给出了网络在此学习速率下的权值训练及其误差的记录