0° 10 (a)权矢量修正的变化过程 (b)网络训练过程中的误差记录 图5.61r=17* maxlinlr(P时的网络训练过程 正如所看到的,由于学习速率太大,虽然能够使权值得到较大的修正,但由 于过量而产生了振荡。不过误差在其权值振荡过程中仍然能够直线下降,所以在 经过14次循环后(注意在例5.1中只用了12次达到了误差的最小值。如果学 习速率再加大,可能就不是这么幸运了 2)第二个尝试是选用更大学习速率: r=2.5*maxlinlr(P) 图5.7同样给出了网络的权值训练及其误差的记录。从中可以看出,由于 其学习速率太大,网络的权值修正过程总是在最小误差方向上运动,但每一次都 由于过大的调整使其偏离期望日标越来越远,其误差是向增加而不是减少的方向 移动。由此可以得出结论:应选取较小的学习速率以保证网络收敛,而不应选太 大的学习速率而使其发散。14 图 5. 6 1r＝1.7*maxlinlr(P)时的网络训练过程 正如所看到的，由于学习速率太大，虽然能够使权值得到较大的修正，但由 于过量而产生了振荡。不过误差在其权值振荡过程中仍然能够直线下降，所以在 经过 14 次循环后(注意在[例 5．1]中只用了 12 次)达到了误差的最小值。如果学 习速率再加大，可能就不是这么幸运了。 2)第二个尝试是选用更大学习速率： 1r＝2.5*maxlinlr(P); 图 5．7 同样给出了网络的权值训练及其误差的记录。从中可以看出，由于 其学习速率太大，网络的权值修正过程总是在最小误差方向上运动，但每一次都 由于过大的调整使其偏离期望日标越来越远，其误差是向增加而不是减少的方向 移动。由此可以得出结论：应选取较小的学习速率以保证网络收敛，而不应选太 大的学习速率而使其发散