连续量,它可以实现从输入到输出的任意的非线性映射, 由于其权值的调整釆用反向传播( Backpropagation)的学习算法,因此被称为BP网络。 BP网络的特点 1、输入和输岀是并行的模拟量 2、网络的输入输出关系是各层连接的权因子决定,没有固定的算法; 3、权因子是通过学习信号调节的,这样学习越多,网络越聪明; 4、隐含层越多,网络输出精度越高,且个别权因子的损坏不会对网络输出产生大的影响 BP算法是由两部分组成:信息的正向传递与误差的反向传播。 在正向传播过程中,输入信息从输入经隐含层逐层计算传向输出层,每一层神经元的状态只影响下 层神经元的状态。如果在输岀层没有得到期望的输岀,则计算输出层的误差变化值,然后转向反向传播, 通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。BP网络的主 要优点是 只要有足够多的隐层和隐节点,BP网络可以逼近任意的非线性映射 2.BP网络的学习算法属于全局逼近的方法,因而它具有较好的泛化能力 BP网络的主要缺点是: A.收敛速度慢 B.局部极值 C.难以确定隐层和隐节点的个数。 523BP网络学习算法的改进 BP网络的一个严重的缺点是收敛太慢,它影响了该网络在许多方面的实际应用。为此,许多人对BP 网络的学习算法进行了广泛的研究,提出了许多改进的算法,主要目标是为了加快训练速度,避免陷入局 部极小值。主要有 1.引入动量项 利用附加动量的作用则有可能滑过局部极小值。该方法所加入的动量实质上相当于阻尼项,它减小了 学习过程的振荡趋势,改善了收敛性,这是目前应用比较广泛的一种改进算法 2.变尺度法 标准的BP学习算法所采用的是一阶梯度法,因而收敛较慢。若采用二阶梯度法,则可以大大改善收敛 性,但是计算量较大。所以,一般不直接采用二阶梯度法,而常常采用变尺度法或共轭梯度法,它们具有 如二阶梯度法收敛较快的优点 3.变步长法 在使用该算法时,由于步长在迭代过程中自适应进行调整,因此对于不同的连接权系数实际采用了不 同的学习率。 524神经网络的训练 为了训练一个BP网络,需要计算网络加权输入矢量以及网络输出和误差矢量,然后求得误差平方和。 当所训练矢量的误差平方和小于误差目标,训练则停止,否则在输出层计算误差变化,且采用反向传 播学习规则来调整权值,并重复此过程。 当网络完成训练后,对网络输入一个不是训练集合中的矢量,网络将以泛化方式给出输出结果。 训练神经网络的具体步骤: 产生数据样本集 2.确定网络的类型和结构; 3.训练和测试 PDF文件使用" pdffactory Pro"试用版本创建ww, fineprint,com,cn连续量，它可以实现从输入到输出的任意的非线性映射。 由于其权值的调整采用反向传播（Backpropagation）的学习算法，因此被称为 BP 网络。 BP 网络的特点： 1、输入和输出是并行的模拟量； 2、网络的输入输出关系是各层连接的权因子决定，没有固定的算法； 3、权因子是通过学习信号调节的，这样学习越多，网络越聪明； 4、隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响 BP 算法是由两部分组成：信息的正向传递与误差的反向传播。 在正向传播过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一 层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播， 通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。 BP 网络的主 要优点是： 1.只要有足够多的隐层和隐节点，BP 网络可以逼近任意的非线性映射； 2.BP 网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力。 BP 网络的主要缺点是： A. 收敛速度慢； B. 局部极值 C. 难以确定隐层和隐节点的个数。 5.2.3 BP 网络学习算法的改进 BP 网络的一个严重的缺点是收敛太慢，它影响了该网络在许多方面的实际应用。为此，许多人对 BP 网络的学习算法进行了广泛的研究，提出了许多改进的算法，主要目标是为了加快训练速度，避免陷入局 部极小值。主要有： 1. 引入动量项 利用附加动量的作用则有可能滑过局部极小值。该方法所加入的动量实质上相当于阻尼项，它减小了 学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。 2. 变尺度法 标准的 BP 学习算法所采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大改善收敛 性，但是计算量较大。所以，一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有 如二阶梯度法收敛较快的优点。 3. 变步长法 在使用该算法时，由于步长在迭代过程中自适应进行调整，因此对于不同的连接权系数实际采用了不 同的学习率。 5.2.4 神经网络的训练 为了训练一个 BP 网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求得误差平方和。 当所训练矢量的误差平方和小于误差目标，训练则停止，否则在输出层计算误差变化，且采用反向传 播学习规则来调整权值，并重复此过程。 当网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果。 训练神经网络的具体步骤： 1. 产生数据样本集； 2. 确定网络的类型和结构； 3. 训练和测试。 PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn