如果两个神经元同时兴奋(即同时被激活),则它们之间的突触连接加强。如 果用ν、v,表示神经元i和j的激活值输出),可表示两个神经元之间的连接权, 则Hebb学习规则可以表示为: , 这里a表示学习速率。Hebb学习规则是人工神经网络学习的基本规则,几 乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 2.δ学习规则这种方法是用己知样本作为教师对网络进行学习,又称误 差校正规则。设(X,Ykk=1,2,…,p)为输入、输出样本对,Yk=by,y,…, ym,Xk=[x,x,…,x。把ⅹ作为网络的输入,在连接权的作用下,可得 网络的实际输出Y=[y1,y2,y3,yn]。设神经元i到神经元j的连接权为an, 则权的调整量为 △vi;=a;; 8,=F y (3-9) 式中,a为学习速率:y-y)为误差(即期望输出与实际输出之差):n,为 第i个神经元的输出。 函数F(·)根据具体情况而定。当它为线性函数F(x)=x时,=y-y。式 (3-8)和式(3-9)的学习规则可由二次误差函数的梯度法导出,故δ学习规则实 际上是一种梯度方法。 δ学习规则已在许多神经网络中得到应用,例如,前馈网络的BP算法即是。 3.相近学习规则设可为从神经元i到神经元j的连接权,v为神经元i 的输出,则连接权的调整为: Δ (v-n) 在这种学习中,是使可趋近于ν的值。例如,在ART和SOFM等自组织竞 争型网络中就采用了这种学习规则 1111 如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如 果用 i v 、 j v 表示神经元 i 和 j 的激活值(输出)， ij 表示两个神经元之间的连接权， 则 Hebb 学习规则可以表示为： (3—7) 这里  表示学习速率。Hebb 学习规则是人工神经网络学习的基本规则，几 乎所有神经网络的学习规则都可以看作 Hebb 学习规则的变形。 2． 学习规则 这种方法是用已知样本作为教师对网络进行学习，又称误 差校正规则。设(Xk，Yk )(k＝1，2，…，p)为输入、输出样本对，Yk＝[yl，y2，…， ym] T，Xk＝[xl，x2，…，xn] T。把 Xk 作为网络的输入，在连接权的作用下，可得 网络的实际输出 T m Y [ y , y , y ,..., y ] 1 2 3 k = 。设神经元 i 到神经元 j 的连接权为  ij ， 则权的调整量为： (3—8) (3—9) 式中，  为学习速率； 为误差(即期望输出与实际输出之差)； i v 为 第 i 个神经元的输出。 函数 F(·)根据具体情况而定。当它为线性函数 F(x)＝x 时，  j ＝ i i y − y 。式 (3—8)和式(3—9)的学习规则可由二次误差函数的梯度法导出，故  学习规则实 际上是一种梯度方法。  学习规则已在许多神经网络中得到应用，例如，前馈网络的 BP 算法即是。 3．相近学习规则 设  ij 为从神经元 i 到神经元 j 的连接权， i v 为神经元 i 的输出，则连接权的调整为： ( ) ij i ij  =  v − (3—10) 在这种学习中，是使  ij 趋近于 i v 的值。例如，在 ART 和 SOFM 等自组织竞 争型网络中就采用了这种学习规则