对神经元,j间的连接权值进行调整的过程。式中,7为学习速率:P表示网络受到学习样本的约束且系统达 到平衡状态时第i个和第j个神经元同时为1的概率;PG表示系统为自由运转状态且达到平衡状态时第i个和第 j个神经元同时为1的概率 调整权值的原则是:当P>P时,则权值增加,否则减少权值。这种权值调整公式称为 boltzmann机学习 规则,即 W(k+1)=n(k)+0(P-P2,7>0 当Pg-P小于一定容限时,学习结束 由于模拟退火过程要求高温使系统达到平衡状态,而冷却(即退火)过程又必须缓慢地进行,否则容易造成 局部最小,所以这种学习规则的学习收敛速度较慢。 4.竞争式学习 竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接,以及同一层内距离 很近的神经元间发生同样的兴奋性联接,而距离较远的神经元产生抑制性联接。在这种联接机制中引人竞争机制 的学习方式称为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识 竞争式机制的思想来源于人脑的自组织能力。大脑能够及时地调整自身结构,自动地向环境学习,完成所需 执行的功能,而并不需要教师训练。竞争式神经网络亦是如此,所以,又把这一类网络称为自组织神经网络(自 适应共振网络模型 Adaptive Resonance Theory ART) 自组织神经网络要求识别与输入最匹配的节点,定义距离d,为接近距离测度,即 d1=∑(u1-)2 其中,u为N维输入向量,具有最短距离的节点选作胜者,它的权向量经修正使该节点对输入更敏感。 定义N,其半径逐渐减小至接近于零,权值的学习规则为 a(u i∈N 0 N 在这类学习规则中,关键不在于实节点的输出怎样与外部的期望输出相一致,而在于调整权向量以反映观察 事件的分布,提供基于检测特性空间的活动规律的性能描写 从上述几种学习规则可见,要使人工神经网络具有学习能力,就是使神经网络的知识结构变化,即使神经元 间的结合模式变化,这同把连接权向量用什么方法变化是等价的。所以,所谓神经网络的学习,目前主要是指通 过一定的学习算法实现对突触结合强度(权值)的调整,使其达到具有记忆、识别、分类、信息处理和问题优化 求解等功能,这是一个正在发展中的研究课题。 62前向神经网络 621感知器网络 感知器( perceptron)是一个具有单层神经元的神经网络,并由线性阈值元件组成,是最简单的前向网络 它主要用于模式分类,单层的感知器网络结构如下图所示。对神经元 i，j 间的连接权值进行调整的过程。式中，η 为学习速率； pij 表示网络受到学习样本的约束且系统达 到平衡状态时第 i 个和第 j 个神经元同时为 1 的概率； ' ij p 表示系统为自由运转状态且达到平衡状态时第 i 个和第 j 个神经元同时为 1 的概率。 调整权值的原则是：当 ' ij ij p > p 时，则权值增加，否则减少权值。这种权值调整公式称为 Boltzmann 机学习 规则，即 ( 1) ( ) ( ), 0 ' Wij k + = wij k +η pij − pij η > 当 ' ij ij p − p 小于一定容限时，学习结束。 由于模拟退火过程要求高温使系统达到平衡状态，而冷却（即退火）过程又必须缓慢地进行，否则容易造成 局部最小，所以这种学习规则的学习收敛速度较慢。 4．竞争式学习 竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离 很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引人竞争机制 的学习方式称为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识 别。 竞争式机制的思想来源于人脑的自组织能力。大脑能够及时地调整自身结构，自动地向环境学习，完成所需 执行的功能，而并不需要教师训练。竞争式神经网络亦是如此，所以，又把这一类网络称为自组织神经网络（自 适应共振网络模型 Adaptive Resonance Theory ART）。 自组织神经网络要求识别与输入最匹配的节点，定义距离 d j 为接近距离测度，即 ∑ − = = − 1 0 2 ( ) N i d j ui wij 其中，u 为 N 维输入向量，具有最短距离的节点选作胜者，它的权向量经修正使该节点对输入u 更敏感。 定义 Nc ，其半径逐渐减小至接近于零，权值的学习规则为 ⎩ ⎨ ⎧ ∉ − ∈ Δ = c i ij c ij i N u w i N w 0 α( ) 在这类学习规则中，关键不在于实节点的输出怎样与外部的期望输出相一致，而在于调整权向量以反映观察 事件的分布，提供基于检测特性空间的活动规律的性能描写。 从上述几种学习规则可见，要使人工神经网络具有学习能力，就是使神经网络的知识结构变化，即使神经元 间的结合模式变化，这同把连接权向量用什么方法变化是等价的。所以，所谓神经网络的学习，目前主要是指通 过一定的学习算法实现对突触结合强度（权值）的调整，使其达到具有记忆、识别、分类、信息处理和问题优化 求解等功能，这是一个正在发展中的研究课题。 6.2 前向神经网络 6.2.1 感知器网络 感知器（perceptron）是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。 它主要用于模式分类，单层的感知器网络结构如下图所示