说明对局部来说下降最快的方向相对整体来说就不一定是下降最快的方向,可能走许多弯路。 为了克服梯度正交的现象,人们曾采用缩小A2(乘以0.9)的作法,也常用 s4=x2-x22(称为加速步)来代替-Vf(x)的方向(称为平行切线法或 Partan方法)。这种搜 索方向的混合使用效果较好。 2° Newton法 把求一元函数极值的 Newton选代公式(7用于多元函数,即选择搜索方向为 S=-lVfx Vf(x) 称为 Newton方向,便有 x-a [Vf(x]- vf(x') f(x+Ag5)=min f(x+2s") (18) 此即 Newton法的迭代公式 若v2f(x)正定,则可证 Newton法产生的点列收敛到极小点。 3°变尺度法 (I)基本原理 最速下降法和 Newton法可统一成 "=x-nHkV(x) 其中H是n阶对称矩阵,Ak是最优步长。当Hk=时,(19)为最速下降法(16)。当 H4=3(x)时,则得NMm法(8,前者收敛太慢,后者要计算二阶导数和求逆,工作量 太大,在变量较多或因次较高时,几乎不能应用。因此,如能做到H的选取既不需要计算二阶导 数矩阵和求逆,又能逐步逼近[V2f(x),那么由(19)确定的算法可能会收敛得快,而计算也简 单,变尺度法就是由这样的考虑而构造出来的 首先,希望算法具有下降性质,即 83183 说明对局部来说下降最快的方向相对整体来说就不一定是下降最快的方向，可能走许多弯路。 为了克服梯度正交的现象，人们曾采用缩小 k （乘以 0.9）的作法，也常用 −2 = − k k k s x x （称为加速步）来代替 ( ) k − f x 的方向（称为平行切线法或 Partan 方法）。这种搜 索方向的混合使用效果较好。 2° Newton 法 把求一元函数极值的 Newton 迭代公式(7)用于多元函数，即选择搜索方向为 [ ( )] ( ) k 2 k 1 k s = −  f x f x − （17） 称为 Newton 方向，便有     + = + = −   + − ( ) min ( ) [ ( )] ( ) 1 2 1 k k k k k k k k k k f x s f x s x x f x f x     （18） 此即 Newton 法的迭代公式。 若 ( ) 2  f x 正定，则可证 Newton 法产生的点列收敛到极小点。 3° 变尺度法 （Ⅰ）基本原理 最速下降法和 Newton 法可统一成 ( ) 1 k k k k k x = x − H f x +  （19） 其中 Hk 是 n 阶对称矩阵， k 是最优步长。当 H I K = 时，（19）为最速下降法（16）。当  ( ) 1 2 − =  k k H f x 时，则得 Newton 法（18）。前者收敛太慢，后者要计算二阶导数和求逆，工作量 太大，在变量较多或因次较高时，几乎不能应用。因此，如能做到 Hk 的选取既不需要计算二阶导 数矩阵和求逆，又能逐步逼近 2 1 [ ( )]−  f x ，那么由（19）确定的算法可能会收敛得快，而计算也简 单，变尺度法就是由这样的考虑而构造出来的。 首先，希望算法具有下降性质，即