深圳大学管理学院：《运筹学与最优化方法》课程教学资源（PPT课件讲稿）第5章 无约束最优化方法

梯度法和共轭梯度法 1.无约束最优化问题 2.梯度法 3.共轭梯度法

基本思想 设法将约束问题求解转化为无约束问题求解． 具体说：根据约束的特点，构造某种惩罚函数， 然后把它加到目标函数中去，将约束问题的 求解化为一系列无约束问题的求解． 惩罚策略：企图违反约束的迭代点给予很大的 目标函数值．迫使一系列无约束问题的极小点或 者无限地靠近可行域，或者一直保持在可行域 内移动，直到收敛到极小点．

1、线性规划 2、线性整数规划 4、无约束规划 3、运输问题 5、多目标规划 6、非线性规划 7、动态规划

非线性规划建模——引例 非线性规划模型、基本概念、性质 非线性规划重要算法 用MATLAB解无约束规划

第四章无约束优化方法 1.概述 2.最速下降法 3.牛顿型方法 4.梯度法及共轭梯度法; 5.DFP变尺度法 6.坐标轮换法; 7.鲍威尔法;

5.1 最优性条件 5.2 最速下降法 5.3 Newton法及其修正 5.4 共轭梯度法 5.5 变尺度法 5.6 直接算法

是一非线性方程组，可以动用求解非线性方程组的手段处理，不过这也是相当复杂的问题，何 况若 f x( ) 不可微，此路便行不通，故通常都采用使目标函数逐次下降的搜索方法

第1章 最优化绪论 第2章 线性规划 第3章 网络流与动态规划 第4章 无约束最优化 第5章 有约束最优化 第6章 凸优化 第7章 大数据中的优化 第8章 总结

§4-1 最速下降法（梯度法） §4-2 牛顿类方法 §4-3 变尺度法 §4-4 共轭方向法 §4-5 鲍威尔方法 §4-6 其它方法（如坐标轮换法、单纯形法）