·124· 北京科技大学学报 2001年第2期 R(p,》= 当连续2次迭代其梯度方向相同时，表明 1-(D)-y()1f(net(p,当p为输出层 下降太慢，这时可使步长加倍；当连续2次迭代 2R.p+1,m.,i)f(neup,),当p为隐层（④ 其梯度方向相反时，表明下降过头，这时可使步 式中f为s状函数，如signmaid函数： 长减半. 1 fx)=1+exp(-习 (5) Levenberg-Marquardt优化方法使学习时间 更短，但对于复杂的问题，这种方法需要很大的 fx)是节点函数fx)的导数 存储空间.Levenberg-Marquardt优化方法的权值 按照以上各式，输入训练样本对网络进行 调整率选为： 训练，并调整网络的权值，直到误差E最小. △W=(TJ+0-Te (10) 预测结果的准确性取决于网络结构、建模 其中，J为误差对权值微分的Jacobian矩阵，e为 参数以及样本的数量和准确性.由于不同的地 误差向量；4为一个标量，当“很大时，上式就 区影响因素不同，使建模的精度受到大气因素 接近于梯度法，当4很小时，上式就变成了Ga- 提取准确程度的影响.另外神经网络在计算中 uss-Newton法，在这种方法中，4也是自适应调 会产生过拟合现象，在某个样本欠准确时仍依 整的. 赖标准样本的数值有时会导致错误的结论 1.2模型的构建 BP算法的主要缺点是：收敛速度慢，局部 以碳钢、低合金钢大气网站，即北京、青岛、 极值难以确定隐层和隐节点的个数.主要改进 武汉、江津、广州、琼海、万宁地区，06 CuPCrNi- 目标是如何提高训练速度，其中网络结构和训 Mo,09CuPCrNiA,09CuPCrNi,09CuPTiRE,10 练算法是改进BP算法的2个方面；可以尝试的 CrCuSiV,10CrMoAl,15MnMoVN,14MnMo 途径有改变目标函数、修改作用函数、改变搜索 NbB,12CrMnCu,D36,16MnQ,3C,A3,09MnNb 方向和步长、改进训练策略等.动量法和学习率 (S),16Mm,20及081等17种钢种.1,2,4,8的腐 自适应调整策略是提高学习速率并增加算法的 蚀率为训练样本分别对各地区金属进行训练. 可靠性的2种改进方法. 预测大气腐蚀率采用3层BP网络，第1层 动量法降低了网络对于误差曲面局部的敏 为输人层，中间为隐层，第3层为输出层.由于 感性，有效地抑制网络陷于局部极小.标准BP 我国各大气网站大气条件不同，各金属的性质 算法实质上是一种简单的最速下降静态寻优算 也不相同，所以需要对每个地区每个金属分别 法，在修正W时，只是按照第k个样的负梯度 构建网络模型.本网络输入为腐蚀试验时间，输 方式进行修正，而没有考虑到以前积累的经验， 出为腐蚀率.采用的网络结构随不同地区、不同 即以前时刻的梯度方向，从而常常使学习过程 金属发生变化.现以北京、青岛、广州、琼海地区 发生振荡，收敛缓慢.为此有人提出了改进算法： 为例给出我们采用的网络结构. W,=W+a[(1-)D+nDk-](6) (1)北京地区.所有材料均使用传统的BP算 其中：W既可以表示单个的权值，也可以表 示权值向量，D-=为第k个样本的负梯度； 法，网络结构相同，均为16-1. (2)青岛地区.06 CuPCrNiMo,09 CuPCrNiA, Dk-1为第k-1个样本负梯度；a为学习速率，a>0； 09CuPCrNi,09CuPTiRE,10CrCuSiV,10CrMoAl, n为动量因子0≤1.这种方法所加入的动量项 15 MnMoVN,l4 MnMoNbB使用传统的BP算法， 实质上相当于阻尼项，它减少了学习过程的振 网络结构为1-6-1. 荡趋势，从而改善了收敛性.自适应调整学习率 12CrMnCu,D36,16MnQ,3C,A3,09MnNb(s), 有利于缩短学习时间.标准BP算法收敛速度慢 16Mn,20,08A1使用传统的BP算法，网络结构为 的一个重要原因是学习率选择不当.学习率选 1-7-1. 得太小，收敛太慢；学习率选得太大，则有可能 (3)广州地区.所有材料均使用传统的BP算 修正过头，导致振荡甚至发散.因此出现了自适 法，网络结构相同，均为1-7-1. 应调整学习率的改进算法： (4)琼海地区.O6 CuPCrNiMo使用传统的BP W=Wi+aD (7) 算法，网络结构为1-5-1. a=2a-i (8) 10 CrCuSiV,10 CrMoAl使用传统的BP算 =sign(D:D-1] (9) 法，网络结构为16-1.一 12 4 - 北 京 科 技 大 学 学 报 2 0 1 年 第 2 期 凡勿 , j) = 。 {〔1一 田刀) , 刀 )) f] ,( en咖’v) ) , 当p 为输 出层 l干咏加 , , ” 、 勿 , i )J 。 、 en 咖’v) ) , 当 , 为隐层 ( 4 , 式 中 f 为 s 状 函 数 ,如 is g n m ia d 函数 : 八劝= l 1 + e xP ( 一x) ( 5) f x,() 是节点 函数了认 )的导数 . 按 照以 上各式 , 输 人训练样本对 网络进行 训 练 , 并 调整 网络 的权值 , 直 到误差 E 最小 . 预测结果 的准确性取决 于 网络结构 、 建模 参数 以 及样本 的数量 和准确 性 . 由于不 同的地 区 影响 因素不 同 , 使建模 的精度受 到大气 因素 提 取准确程度 的影 响 . 另外神经 网络在计 算 中 会 产生 过拟合现象 , 在某个样本欠准确 时仍依 赖 标准样本 的数值有 时会导致错误 的结论 . B P 算法 的主要缺 点是 : 收敛 速度慢 , 局部 极 值难 以确定隐层和 隐节 点的个数 . 主要 改进 目标是 如何提高训练速度 , 其 中网络结 构和训 练算法 是改进 B P 算法的 2 个方面 ; 可以 尝试的 途径有改变 目标函数 、 修改作用函数 、 改变搜索 方 向和步长 、 改进训练策略等 . 动量法和学 习率 自适应调整策略是提高学习速率并增加算法的 可靠性 的 2 种 改进方法 . 动量法 降低 了 网络对于误差 曲面局部 的敏 感 性 , 有效地抑制 网络 陷于局部极小 . 标准 B P 算法实质上是一种简单 的最速下 降静态寻优算 法 , 在修正 夙 时 , 只是按 照第 k 个样 的负梯度 方式进行修正 , 而没有考虑到 以前积 累的经验 , 即以前 时刻 的梯度方 向 , 从而常常使学 习 过程 发生振荡 , 收敛缓慢 . 为此有人提 出了改进算法: 呱 : = 矶+ a [( 1一 叮)D 计叮D 花一 , ] ( 6 ) 其 中 : 磷 既 可 以 表 示单 个 的权 值 , 也 可 以 表 一 ~ 、 一 二 一 一 a E 、 , 一 , 人 ~ 一 一 , 一 * 不 仪但 !叫垦 从一 币丽不刀用 K / ! 一忏小 阴 贝 饰反 ; D 卜 , 为第 k一 1个样本负梯度 ; a 为学习 速率 刀闭 ; 叮为动量 因子 0 ` 叮l< ` 这种方法所加人 的动量项 实质上 相当于阻尼 项 , 它减少 了学 习过程 的振 荡趋势 , 从 而改善 了收敛性 . 自适应调整学习 率 有利于缩短学 习时 间 . 标准 B P 算法收敛速度慢 的一个 重要原 因是学 习率选择 不当 . 学 习 率选 得 太小 , 收敛太慢 ; 学 习 率选 得太大 , 则有 可能 修正过头 , 导致振荡甚至发散 . 因此 出现 了自适 应调整 学习 率的改进算法 : 琳 = 爪+ 久几 (7 ) ak = 才价 一 l - 一 (8) 又= 5 1即 D[, 众 一 , ] ( 9 ) 当连续 2 次迭代其梯度方 向相 同时 , 表 明 下降太慢 , 这时可使步长加倍 ; 当连续 2 次迭代 其梯度方 向相反时 , 表 明下降过头 , 这时可使步 长减半 . L e v e n b er g . M aqr u ar d t 优化方法 使学 习时 间 更短 , 但对 于 复杂 的问题 , 这种方法需要很 大的 存储空间 . L ve e n b e gr 一 M a r q 猫ar dt 优化方法的权值 ` 调整率选 为: △砰二 (不肠叨 一 ,尹 · e ( 10 ) 其 中 , J 为误差对 权值微分 的 J ac ob ian 矩阵 , e 为 误差 向量 ; 产 为一个标 量 , 当产很 大时 , 上式就 接近 于梯度 法 , 当产很 小时 , 上式就 变成 了 G a - us s 一 N e v 八o n 法 , 在这种方法 中 , 产也是 自适应调 整 的 . 1 .2 模型的构建 以碳钢 、 低合金钢大气 网站 , 即北京 、 青 岛 、 武汉 、 江津 、 广 州 、 琼海 、 万宁地 区 , 06 c uP c Nr i - M o , 0 9 C uP C r] 呵认 , 0 9C uP C r] 呵i , 0 9C uP IT RE , 10 C r C u s iV , 10 C r M o A I , 15 M n M o V N , 1 4M n M o N b B , 12 C r N n[ C u , D 3 6 , 16M n Q , 3 C , A 3 , 0 9M址化 ( s ) , 16M h , 2 0 及 0 8A I等 17 种钢种 . 1 , 2 , 4 , 8 的腐 蚀率为训练样本 分别对各地 区 金属进行训 练 , 预测大气 腐蚀率采用 3 层 B P 网络 , 第 1 层 为输人层 , 中间为隐层 , 第 3 层 为输 出层 . 由于 我 国各大气 网站大气条件不 同 , 各金 属的性质 也不相 同 , 所 以需要对 每个地 区 每个 金属分别 构建 网络模 型 . 本 网络输人为腐蚀 试验时间 , 输 出为腐蚀率 . 采用 的网络结构随不 同地区 、 不 同 金属发生变化 . 现 以北京 、 青 岛 、 广州 、 琼海地 区 为例给 出我 们采 用的 网络结 构 . ( l) 北京 地区 . 所有材料均使用传统 的 B P 算 法 , 网络结构相 同 , 均 为 l e 6 - 1 . ( 2 ) 青岛地 区 . o 6 C叨e 州汉 。 , o g e 沙e 困认 , 0 9 C uP C rN i , 0 9 C uP IT R E , 1 0 C尤u s iv, 10 C rM o A I , 15M n M o V N , 14 M n M d Nb B 使用传 统的 B P 算法 , 网络结构 为 1 - 6一 1 . 1 2C r N n[ C u , D 3 6 , 1 6N ln Q , 3 C , A 3 , 0 9M l lN b ( s ) , 16M n , 2 0, 08 A I使用传统 的 B P算 法 , 网络结构 为 1一7一 1 . (3 )广州地区 . 所有材料均使用传统 的 B P 算 法 , 网络结构相 同 , 均 为 1 - 7 - 1 . (4 )琼海地 区 , 06 C uP CNr IM o 使用传统的 B P 算法 , 网络结构 为 1一 1 . 10C汇u s iV , 10C以OA I 使 用传统 的 B P 算 法 , 网络结构为 1 . 巧- 1