(k+1)=w,(k)+nd(k)-y(k)]x i=0,1,2……,n 其中,w1(k)为当前的权值;d(k)为导师信号;y(k)为感知器的输出值;n为学习速率(0<n<1),刀选取太 小学习太慢,η太大会影响的稳定,即引起震荡。 5)选取另外一组样本,重复上述2)~4)的过程,直到权值对一切样本均稳定不变为止,学习过程结束 上述的单层感知器能解决一阶谓词逻辑问题,如逻辑“与”、逻辑“或”问题,但不能解决像异或问题的二 阶谓词逻辑问题。感知器的学习算法保证收敛的条件是,要求函数是线性可分的(即输入样本函数类成员可分别 位于直线分界线的两侧),当输入函数不满足线性可分条件时,上述算法受到了限制,也不能推广到一般的前向 网络中去,其主要原因是由于激发函数是阈值函数。为此,人们用可微函数,如 Sigmoid曲线来代替阈值函数 然后用梯度法来修正权值。BP网络就是这种算法的典型网络。 622BP网络 误差反向传播神经网络,简称BP网络( Back Propagation),是一种单向传播的多层前向网络。在模式识别 图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。如图是BP网 络的示意图。 误差反传(学习算法) 隐含层 输出层 误差反向传播的BP算法简称BP算法,其基本思想是最小二乘算法。它采用梯度搜索技术,以期使网络的 实际输出值与期望输出值的误差均方值为最小。 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中,输入信息从输入层经隐含层逐层处理, 并传向输出层,每层神经元(节点)的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则 转人反向传播,将误差信号沿原来的连接通路返回,通过修改各层神经元的权值,使误差信号最小。 设BP网络的结构如图所示,有M个输入节点,输入层节点的输出等于其输入。输出层有L个输出节点, 网络的隐含层有q个节点,Wn是输入层和隐含层节点之间的连接权值。wk是隐含层和输出层节点之间的连接 权值,隐含层和输出层节点的输入是前一层节点的输出的加权和,每个节点的激励程度由它的激发函数来决定。 1.BP网络的前馈计算 在训练该网络的学习阶段,设有N个训练样本,先假定用其中的某一固定样本中的输入输出模式X,和{dmk} 对网络进行训练。若网络输出与期望输出值dk不一致,则将其误差信号从输出端反向传播,并在传播过程中对 加权系数不断修正,使在输出层节点上得到的输出结果尽可能接近期望输出值dk。对样本P(P=1,2…,P)完 成网络加权系数的调整后,再送人另一样本模式对,进行类似学习,直到完成P个样本的训练学习为止 2.BP网络权值的调整规则i n w k w k d k y k x i i i 0,1,2, , ( 1) ( ) [ ( ) ( )] = ⋅⋅⋅ + = +η − 其中， w (k) i 为当前的权值；d(k) 为导师信号； y(k)为感知器的输出值；η 为学习速率(0 <η < 1)，η 选取太 小学习太慢，η 太大会影响的稳定，即引起震荡。 5). 选取另外一组样本，重复上述 2）～4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。 上述的单层感知器能解决一阶谓词逻辑问题，如逻辑“与”、逻辑“或”问题，但不能解决像异或问题的二 阶谓词逻辑问题。感知器的学习算法保证收敛的条件是，要求函数是线性可分的（即输入样本函数类成员可分别 位于直线分界线的两侧），当输入函数不满足线性可分条件时，上述算法受到了限制，也不能推广到一般的前向 网络中去，其主要原因是由于激发函数是阈值函数。为此，人们用可微函数，如 Sigmoid 曲线来代替阈值函数， 然后用梯度法来修正权值。BP 网络就是这种算法的典型网络。 6.2.2 BP 网络 误差反向传播神经网络，简称 BP 网络（Back Propagation），是一种单向传播的多层前向网络。在模式识别、 图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。如图是 BP 网 络的示意图。 误差反向传播的 BP 算法简称 BP 算法，其基本思想是最小二乘算法。它采用梯度搜索技术，以期使网络的 实际输出值与期望输出值的误差均方值为最小。 BP 算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理， 并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则 转人反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最小。 设 BP 网络的结构如图所示，有 M 个输入节点，输入层节点的输出等于其输入。输出层有 L 个输出节点， 网络的隐含层有 q 个节点， wij 是输入层和隐含层节点之间的连接权值。 wjk 是隐含层和输出层节点之间的连接 权值，隐含层和输出层节点的输入是前一层节点的输出的加权和，每个节点的激励程度由它的激发函数来决定。 1．BP 网络的前馈计算 在训练该网络的学习阶段，设有N个训练样本，先假定用其中的某一固定样本中的输入输出模式 X p 和{ } d pk 对网络进行训练。若网络输出与期望输出值 dk 不一致，则将其误差信号从输出端反向传播，并在传播过程中对 加权系数不断修正，使在输出层节点上得到的输出结果尽可能接近期望输出值 dk 。对样本 p ( p = 1,2,⋅⋅⋅, P) 完 成网络加权系数的调整后，再送人另一样本模式对，进行类似学习，直到完成 P 个样本的训练学习为止。 2．BP 网络权值的调整规则