隐层,第3层称为输出层。在多层感知器网络中,隐层的个数可以不止一个。隐层元的输出 函数应该是 Sigmoid函数。 多层感知器的训练算法相对于感知器算法要复杂得多,一般称为BP算法 (Back- Propogation),或称为反向传播算法,多层感知器网络也称为BP网络。下面简单介绍 下BP算法的主要思想。 在感知器算法中我们实际上是在利用理想输出与实际输出之间的误差作为增量来修正 权值,然而在多层感知器中,我们只能计算出输出层的误差,中间层的误差无法得到。BP 算法的主要思想是从后先前反向逐层传播输出层的误差,以间接计算隐层的误差。算法可以 分为两个阶段:第一阶段是一个正向过程,输入信息从输入层经隐层逐层计算个单元的输出 值:第二阶段是一个反向传播过程,输出层的误差逐层向前传播,算出隐层个单元的误差, 并用误差修正权值。 BP算法的严格推导比较复杂,下面直接给出具体算法: 1、选定所有神经元权系数的初始值 2、重复下述过程直到收敛为止; 1)从前向后计算各层神经元的实际输出: ∑"()j 2)对输出层计算增量 6=(V-)(1-) 3)从前向后计算隐层神经元的增量6: 6=j,(1-)∑k()6 4)修正个神经元的权值: (+1)=v()+70 多层感知器网络的识别过程就相当于一个正向过程,输入信息从输入层经隐层逐层计算 个单元的输出值,直到计算出输出层的输出为止 例6.1BP网络学习XOR问题 例6.2BP网络进行函数拟合 BP算法的缺点是对初始值的依赖性比较强,容易收敛到局部最小点:算法的收敛速度 较慢 63自组织特征映射网络 生物神经学的研究发现,人的大脑皮层中神经网络的功能是分区的,每个区域完成各自 的功能。记忆也是一样,一个特定区域记忆一类特殊的事务,另一个区域记忆另外一些事务 同时在记忆的过程中,相近的神经元之间共同兴奋,而对较远的神经元则存在着侧向抑制的 现象,抑制其兴奋隐层，第 3 层称为输出层。在多层感知器网络中，隐层的个数可以不止一个。隐层元的输出 函数应该是 Sigmoid 函数。 多层感 知器 的训 练算 法相 对于 感知 器算 法要 复杂 得多 ，一 般称 为 BP 算法 (Back-Propogation)，或称为反向传播算法，多层感知器网络也称为 BP 网络。下面简单介绍 一下 BP 算法的主要思想。 在感知器算法中我们实际上是在利用理想输出与实际输出之间的误差作为增量来修正 权值，然而在多层感知器中，我们只能计算出输出层的误差，中间层的误差无法得到。BP 算法的主要思想是从后先前反向逐层传播输出层的误差，以间接计算隐层的误差。算法可以 分为两个阶段：第一阶段是一个正向过程，输入信息从输入层经隐层逐层计算个单元的输出 值；第二阶段是一个反向传播过程，输出层的误差逐层向前传播，算出隐层个单元的误差， 并用误差修正权值。 BP 算法的严格推导比较复杂，下面直接给出具体算法： 1、 选定所有神经元权系数的初始值； 2、 重复下述过程直到收敛为止； 1) 从前向后计算各层神经元的实际输出： j ij i ( ) i u w t y =  ， 1 1 i j u y e − = + 2) 对输出层计算增量 j  ：  j j j j j = − − ( y y y y ) (1 ) 3) 从前向后计算隐层神经元的增量 j  ： j j j jk k (1 ) ( ) k   = − y y w t  4) 修正个神经元的权值： w t w t y ij ij j i ( + = + 1) ( )  多层感知器网络的识别过程就相当于一个正向过程，输入信息从输入层经隐层逐层计算 个单元的输出值，直到计算出输出层的输出为止。 例 6.1 BP 网络学习 XOR 问题 例 6.2 BP 网络进行函数拟合 BP 算法的缺点是对初始值的依赖性比较强，容易收敛到局部最小点；算法的收敛速度 较慢。 6.3 自组织特征映射网络 生物神经学的研究发现，人的大脑皮层中神经网络的功能是分区的，每个区域完成各自 的功能。记忆也是一样，一个特定区域记忆一类特殊的事务，另一个区域记忆另外一些事务。 同时在记忆的过程中，相近的神经元之间共同兴奋，而对较远的神经元则存在着侧向抑制的 现象，抑制其兴奋