第二章无约束最优化 §1一维搜索 对于无约束问题 mIn (x ∈R 的求解思路,根据上一章最优性条件的分析可有两条: 1°、若f(x)可微,则可考虑求稳定点 Vf(x=0 (2)是一非线性方程组,可以动用求解非线性方程组的手段处理,不过这也是相当复杂的问题,何 况若∫(x)不可微,此路便行不通,故通常都采用使目标函数逐次下降的搜索方法 °、搜索方法是从某一初始点x°出发,先选择一个下降方向s°,然后于方向s上找一点 x=x+As"(4>0),使f(x)<f(x°),如此进行下去会得到点列{x},满足 f(x)>f(x3)>…>f(x3)>…。设x*→>x,若于x处已无下降方向,则x即为局部最小点 关于收敛速度有如下定义: 定义1:对于收敛于最优解x的序列{x},若存在与k无关的数B>0,和a≥1,当k从某个 k开始后,有 k+1-x (3) 则称序列{x}是α阶收敛的。当a=1,B<1时,称为线性收敛,a>1时称为超线性收敛,超线 性收敛的另一种形式是,1"-x|sAB2-x且m=0.a=2时称为二阶收敛,还有所 谓二次收敛,它是指当一个算法用于具有对称正定矩阵的二次函数时,在有限步内可以获得它的极 小点。一般说来,具有二次收敛的算法,往往具有超线性收敛性,因而属于比较好的算法之列。 对于预先给定的精度要求E>0,作为计算结束的检验条件可采取以下几种办法之 k+1-x4<E i、(x)-f(x)<E 7(x)<E iy、|/(x)b,其中b是一个可接受的目标值 一般的,从x2出发,沿着下降方向s4(称为搜索方向)找一x,使得f(x#)<f(x),则x可 173173 第二章 无约束最优化 §1 一维搜索 对于无约束问题 ( ) n min f x x R  (1) 的求解思路，根据上一章最优性条件的分析可有两条： 1°、若 f x( ) 可微，则可考虑求稳定点 f (x) = 0 (2) （2）是一非线性方程组，可以动用求解非线性方程组的手段处理，不过这也是相当复杂的问题，何 况若 f x( ) 不可微，此路便行不通，故通常都采用使目标函数逐次下降的搜索方法。 2°、搜索方法是从某一初始点 0 x 出发，先选择一个下降方向 0 s ，然后于方向 0 s 上找一点 1 0 0 x x s = +  ( 0)   ， 使 1 0 f x f x ( ) ( )  ， 如 此 进 行 下 去 会 得 到 点 列 { }k x ， 满 足 0 1 ( ) ( ) ( ) k f x f x f x     。设 k x x →  ，若于 x  处已无下降方向，则 x  即为局部最小点。 关于收敛速度有如下定义： 定义 1：对于收敛于最优解 x  的序列 { }k x ，若存在与 k 无关的数   0 ，和  1 ，当 k 从某个 0 k 开始后，有 k k 1 x x x x   +   −  − （3） 则称序列 { }k x 是  阶收敛的。当  =1，  1 时，称为线性收敛，  1 时称为超线性收敛，超线 性收敛的另一种形式是， k k 1 k x x x x  +   −  − 且 lim 0 k k  → = 。 = 2 时称为二阶收敛，还有所 谓二次收敛，它是指当一个算法用于具有对称正定矩阵的二次函数时，在有限步内可以获得它的极 小点。一般说来，具有二次收敛的算法，往往具有超线性收敛性，因而属于比较好的算法之列。 对于预先给定的精度要求   0 ，作为计算结束的检验条件可采取以下几种办法之一： i、 k k 1 x x  + −  ii、 1 ( ) ( ) k k f x f x  + −  iii、 1 ( ) k f x  +   ⅳ、 1 ( k + f x ) b ，其中 b 是一个可接受的目标值 一般的，从 k x 出发，沿着下降方向 k s （称为搜索方向）找一 k 1 x + ，使得 1 ( ) ( ) k k f x f x +  ，则 k 1 x + 可