第06讲反向传播网络 给定任意E>0和任意La函数f:[0,1∈R→Rm,存在一个三层BP网络,可以在 任意E平方误差精度内逼近∫ 实现任意N个输入向量构成的任何布尔函数的前向网络所需权系数数目为 1+log, N 我们前面讲到的感知器神经网络和线性神经元网络均为单层网络结构,其传递函数都十 分简单,感知器为单边符号函数,线性神经网络为纯线性函数。在此,我们将上面网络结构 进行推广,推广到多层网络,并且将传递函数变为非线性可微分函数,这就是BP网络。 反向传播网络( Back-Propagation Network,简称BP网络)是将W-H学习规则一般化, 对非线性可微分函数进行权值训练的多层网络。 由于感知器神经网络中神经元的变换函数采用符号函数,其输出为二值量,因此它主要 用于模式分类。BP网络是一种多层前向反馈神经网络,其神经元的变换函数是S型函数, 因此输出量为0到1之间的连续量,它可以实现从输入到输出的任意的非线性映射。由于其 权值的调整采用反向传播( Backpropagation)的学习算法,因此被称为BP网络 BP网络主要用于 1)函数逼近:用输入矢量和相应的输出矢量训练一个网络逼近一个函数 2)模式识别:用一个特定的输出矢量将它与输入矢量联系起来 3)分类:把输入矢量以所定义的合适方式进行分类 4)数据压缩:减少输出矢量维数以便于传输或存储。 在人工神经网络的实际应用中,80%~90%的人工神经网络模型是采用BP网络或它的 变化形式,它也是前向网络的核心部分,体现了人工神经网络最精华的部分。在人们掌握反 向传播网络的设计之前,感知器和自适应线性元件都只能适用于对单层网络模型的训练,只 是后来才得到了进一步拓展1 第 06 讲 反向传播网络 给定任意   0 和任意 L2 函数 :[0,1]n n m f R R  → ，存在一个三层 BP 网络，可以在 任意  平方误差精度内逼近 f 。 实现任意 N 个输入向量构成的任何布尔函数的前向网络所需权系数数目为： 2 1 log N W N  + 我们前面讲到的感知器神经网络和线性神经元网络均为单层网络结构，其传递函数都十 分简单，感知器为单边符号函数，线性神经网络为纯线性函数。在此，我们将上面网络结构 进行推广，推广到多层网络，并且将传递函数变为非线性可微分函数，这就是 BP 网络。 反向传播网络(Back—Propagation Network，简称 BP 网络)是将 W—H 学习规则一般化， 对非线性可微分函数进行权值训练的多层网络。 由于感知器神经网络中神经元的变换函数采用符号函数，其输出为二值量，因此它主要 用于模式分类。BP 网络是一种多层前向反馈神经网络，其神经元的变换函数是 S 型函数， 因此输出量为 0 到 1 之间的连续量，它可以实现从输入到输出的任意的非线性映射。由于其 权值的调整采用反向传播（Backpropagation）的学习算法，因此被称为 BP 网络。 BP 网络主要用于： 1)函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近—个函数； 2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来； 3)分类：把输入矢量以所定义的合适方式进行分类； 4)数据压缩：减少输出矢量维数以便于传输或存储。 在人工神经网络的实际应用中，80％～90％的人工神经网络模型是采用 BP 网络或它的 变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。在人们掌握反 向传播网络的设计之前，感知器和自适应线性元件都只能适用于对单层网络模型的训练，只 是后来才得到了进一步拓展