第五章无约束最优化 52最速下降法(续) 特点:全局收敛,线性收敛,易产生扭摆现象而造成 早停。 (当x距最优点较远时,速度快,而接近最优点时, 速度下降) 原因:f(x)=x(6)+Vx1)(x)+ol|x-x 当x接近Lop时V(x1)→0,于是高阶项 o|rx61的影购可能超过)(xx 53 Newton法及其修正 Newton法: 设f(x)二阶可微,取(x)在x点附近的二阶ayor近似函数 坐Ax()+Vx1x16+1/2(x-x1)n=x 驻点 qkl)=Vf(rl)+ Vf(x k)(-x(k)第五章 无约束最优化 5.2 最速下降法（续） 特点：全局收敛，线性收敛，易产生扭摆现象而造成 早停。 （当x (k)距最优点较远时，速度快，而接近最优点时， 速度下降） 原因：f(x)=f(x(k))+▽Tf(x(k))(x-x (k)) + o||x-x (k)|| 当 x (k)接近 l.opt.时 ▽f(x(k) ) →0，于是高阶项 o||x-x (k)||的影响可能超过▽Tf(x(k))(x-x (k)) 。 5.3 Newton法及其修正 一、 Newton法： 设f(x)二阶可微，取f(x)在x (k)点附近的二阶Taylor近似函数： qk (x)=f(x(k))+ ▽T f(x(k))(x-x (k)) +1／2 (x-x (k)) T▽2 f(x(k)) (x-x (k)) 求驻点： ▽ qk (x)= ▽f(x(k))+ ▽2 f(x(k)) (x-x (k))=0