2.反馈型神经网络 反馈型神经网络( Feedback NN)的结构如图所示。如果总节点(神经元)数为N,那么每个节点有N个输 入和一个输出,所有节点都是一样的,它们之间都可相互连接。 反馈神经网络是一种反馈动力学系统,它需要工作一段时间才能达到稳定。 Hopfield神经网络是反馈网络中 最简单且应用广泛的模型,它具有联想记忆的功能,如果将 Lyapunov函数定义为寻优函数, Hopfield神经网络 还可以用来解决快速寻优问题。 614神经网络的学习方法 学习方法是体现人工神经网络智能特性的主要标志,正是由于有学习算法,人工神经网络就具有了自适应、 自组织和自学习的能力。目前神经网络的学习方法有多种,按有无导师来分类,可分为有教师学习( Supervised Learning)、无教师学习( Unsupervised Learning)和再励学习( Reinforcement Learning)等几大类。在有教师的 学习方式中,网络的输出和期望的输出(即教师信号)进行比较,然后根据两者之间的差异调整网络的权值,最 终使差异变小。在无教师的学习方式中,输入模式进人网络后,网络按照预先设定的规则(如竞争规则)自动调 整权值,使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。 下面介绍神经网络中常用的几种最基本的学习方法。 1.Hebb学习规则 Heb学习规则是一种联想式学习方法。联想是人脑形象思维过程的一种表现形式。例如,在空间和时间上 相互接近的事物间,在性质上相似(或相反)的事物间都容易在人脑中引起联想。生物学家 D O. Hebbian基于 对生物学和心理学的研究,提出了学习行为的突触联系和神经群理论。他认为突触前与突触后二者同时兴奋,即 两个神经元同时处于激发状态时,它们之间的连接强度将得到加强,这一论述的数学描述被称为Hebb学习规则, 其中,w(k)为连接从神经元i到神经元j的当前权值;,l为神经元的激活水平。 Heb学习规则是一种无教师的学习方法,它只根据神经元连接间的激活水平改变权值,因此这种方法又称 为相关学习或并联学习。 当神经元由下式描述时, 1=∑ y1=f(1)=1/(1+exp(-l1) Hebb学习规则可写成如下: k+1)=(k)+yy 另外,根据神经元状态变化来调整权值的Hebb学习方法称为微分Hebb学习方法,可描述为 W(k+1)=wn(k)+Dy(k)-y(k-1)y(k)-y(k-1)2. 反馈型神经网络 反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为 N，那么每个节点有 N 个输 入和一个输出，所有节点都是一样的，它们之间都可相互连接。 反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield 神经网络是反馈网络中 最简单且应用广泛的模型，它具有联想记忆的功能，如果将 Lyapunov 函数定义为寻优函数，Hopfie1d 神经网络 还可以用来解决快速寻优问题。 6.1.4 神经网络的学习方法 学习方法是体现人工神经网络智能特性的主要标志，正是由于有学习算法，人工神经网络就具有了自适应、 自组织和自学习的能力。目前神经网络的学习方法有多种，按有无导师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。在有教师的 学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最 终使差异变小。在无教师的学习方式中，输入模式进人网络后，网络按照预先设定的规则（如竞争规则）自动调 整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。 下面介绍神经网络中常用的几种最基本的学习方法。 1．Hebb 学习规则 Hebb 学习规则是一种联想式学习方法。联想是人脑形象思维过程的一种表现形式。例如，在空间和时间上 相互接近的事物间，在性质上相似（或相反）的事物间都容易在人脑中引起联想。生物学家 D.○.Hebbian 基于 对生物学和心理学的研究，提出了学习行为的突触联系和神经群理论。他认为突触前与突触后二者同时兴奋，即 两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为 Hebb 学习规则， 即 ij ij i j w (k +1) = w (k) + I I 其中， w (k) ij 为连接从神经元 i 到神经元 j 的当前权值； i I ， j I 为神经元的激活水平。 Hebb 学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称 为相关学习或并联学习。 当神经元由下式描述时， ( ) 1/(1 exp( )) i i i i ij j j y f I I I w x = = + − = ∑ −θ Hebb 学习规则可写成如下： ij ij i j w (k +1) = w (k) + y y 另外，根据神经元状态变化来调整权值的 Hebb 学习方法称为微分 Hebb 学习方法，可描述为 w (k +1) = w (k) + [ y (k) − y (k −1)][y (k) − y (k −1)] ij ij i i j j