第四章无约束优化方法 54-1最速下降法(梯度法) 54-2牛顿类方法 54-3变尺度法 54-4共轭方向法 54-5鲍威尔方法 54-6其它方法(如坐标轮换法、单纯形法)
第四章 无约束优化方法 §4-1 最速下降法（梯度法） §4-2 牛顿类方法 §4-3 变尺度法 §4-4 共轭方向法 §4-5 鲍威尔方法 §4-6 其它方法（如坐标轮换法、单纯形法）
第1章所列举的机械优化设计问题,都是在一定的 限制条件下追求某一指标为最小,它们都属于约束优 化问题。工程问题大都如此。 为什么要研究无约束优化问题? (1)有些实际问题,其数学模型本身就是一个无约束 优化问题。 (2)通过熟悉它的解法可以为研究约束优化问题打下 良好的基础。 (3)约束优化问题的求解可以通过一系列无约束优化 方法来达到。所以无约束优化问题的解法是优化设计 方法的基本组成部分,也是优化方法的基础
第1章所列举的机械优化设计问题，都是在一定的 限制条件下追求某一指标为最小，它们都属于约束优 化问题。工程问题大都如此。 为什么要研究无约束优化问题? （1）有些实际问题，其数学模型本身就是一个无约束 优化问题。 （2）通过熟悉它的解法可以为研究约束优化问题打下 良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化 方法来达到。所以无约束优化问题的解法是优化设计 方法的基本组成部分，也是优化方法的基础
(4)对于多维无约束问题来说,古典极值理论中令 阶导数为零,但要求二阶可微,且要判断海赛矩 阵为正定才能求得极小点,这种方法有理论意义, 但无实用价值。和一维问题一样,若多元函数F(X) 不可微,亦无法求解。但古典极值理论是无约束优 化方法发展的基础
（4）对于多维无约束问题来说，古典极值理论中令 一阶导数为零，但要求二阶可微，且要判断海赛矩 阵为正定才能求得极小点，这种方法有理论意义， 但无实用价值。和一维问题一样，若多元函数F(X) 不可微，亦无法求解。但古典极值理论是无约束优 化方法发展的基础
无约束优化问题是: 求n维设计变量x=[x1x2…xn 使目标函数f(x)→min min t(r )x∈R 目前已研究出很多种无约束优化方法,它们的 主要不同点在于构造搜索方向上的差别。 (1)间接法要使用导数,如梯度法、(阻尼) 牛顿法、变尺度法、共轭梯度法等。 (2)直接法不使用导数信息,如坐标轮换法、 鲍威尔法、单纯形法等
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。 min ( ) n f R x x （1）间接法——要使用导数，如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。 （2）直接法——不使用导数信息，如坐标轮换法、 鲍威尔法、单纯形法等。 无约束优化问题是： 1 2 [ ]T n 求n维设计变量 x = x x x 使目标函数 f ( ) min x →
用直接法寻找极小点时,不必求函数的导数,只要计 算目标函数值。这类方法较适用于解决变量个数较少的 (n≤20)问题,一般情况下比间接法效率低。间接法除 要计算目标函数值外,还要计算目标函数的梯度,有的 还要计算其海赛矩阵 x=x+as(k=0,1,2,…) 搜索方向的构成问题乃是无约束优化方法的关键
1 ( 0,1,2, ) k k k k s k + x x = + = 搜索方向的构成问题乃是无约束优化方法的关键。 用直接法寻找极小点时，不必求函数的导数，只要计 算目标函数值。这类方法较适用于解决变量个数较少的 （n ≤20）问题，一般情况下比间接法效率低。间接法除 要计算目标函数值外，还要计算目标函数的梯度，有的 还要计算其海赛矩阵
4-1梯度法 基本思想:函数的负梯度方向是函数值在该点 下降最快的方向。将n维问题转化为一系列沿负梯度 方向用一维搜索方法寻优的问题,利用负梯度作为 搜索方向,故称最速下降法或梯度法。 搜索方向取该点的负梯度方向Vf(x)(最速下降方 向),使函数值在该点附近的范围内下降最快。 k+1 x'+a s k (k=0,1,2,…) x=x4-aVf(x)(k=0,1,2,…)
4-1 梯度法 1 ( 0,1,2, ) k k k k s k + x x = + = 1 ( ) ( 0,1,2, ) k k k k a f k + x x x = − = 基本思想：函数的负梯度方向是函数值在该点 下降最快的方向。将n维问题转化为一系列沿负梯度 方向用一维搜索方法寻优的问题，利用负梯度作为 搜索方向，故称最速下降法或梯度法。 搜索方向s取该点的负梯度方向 −f ( ) x (最速下降方 向) ，使函数值在该点附近的范围内下降最快
为了使目标函数值沿搜索方向Vf(x)能够获得 最大的下降值,其步长因子,应取一维搜索的最佳 步长。即有 f(x)=fix-a, vf(r=min flx-avf(x)] min(a) 根据一元函数极值的必要条件和多元复合 函数求导公式,得 g(a)=-{Vx4-aV(x)}v(x)=0 IVf(xi' vf(x=o k+1 0
为了使目标函数值沿搜索方向 能够获得 最大的下降值，其步长因子 应取一维搜索的最佳 步长。即有 ( )k −f x k 1 ( ) [ ( )] min [ ( )] min ( ) k k k k k k a a f f a f f a f + = − = − = x x x x x 根据一元函数极值的必要条件和多元复合 函数求导公式，得 '( ) [ ( )] ( ) 0 T k k k k = − − = f f f x x x 1 [ ( )] ( ) 0 k T k f f + = x x 1 ( ) 0 k T k s s + =
在最速下降法中, 相邻两个迭代点上的函 数梯度相互垂直。而搜 索方向就是负梯度方向, 因此相邻两个搜索方向 互相垂直。这就是说在 迭代点向函数极小点靠 近的过程,走的是曲折 的路线。形成“之”字 形的锯齿现象,而且越 接近极小点锯齿越细。 图4-2最速下降法的搜索路径
在最速下降法中， 相邻两个迭代点上的函 数梯度相互垂直。而搜 索方向就是负梯度方向， 因此相邻两个搜索方向 互相垂直。这就是说在 迭代点向函数极小点靠 近的过程，走的是曲折 的路线。形成“之”字 形的锯齿现象，而且越 接近极小点锯齿越细。 图4-2 最速下降法的搜索路径
X2 f(x=ar sx S k+1 (k) (k+2 0 X1 梯度法的迭代过程
方法特点 (1)初始点可任选,每次迭代计算量小,存储 量少,程序简短。即使从一个不好的初始点出 发,开始的几步迭代,目标函数值下降很快, 然后慢慢逼近局部极小点 (2)任意相邻两点的搜索方向是正交的,它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时,步长变得很小,越走越慢
方法特点 （1）初始点可任选，每次迭代计算量小，存储 量少，程序简短。即使从一个不好的初始点出 发，开始的几步迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。 （2）任意相邻两点的搜索方向是正交的，它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时，步长变得很小，越走越慢