• 非线性规划及其最优性条件 • 对偶理论 • 外点罚函数法 • 内点罚函数法

本章对目前常用的几种智能优化计算算法作简单介绍，以使读者对它们有个基本认识。内容包括神经网络、遗传算法、模拟退火算法和神经网络混合优化学习策略。 10.1 人工神经网络与神经网络优化算法 10.2 遗传算法 10.3 模拟退火算法（simulated annealing，SA） 10.4 神经网络权值的混合优化学习策略

【学术论文】粒子群优化方法在动态优化中的研究现状

《数值最优化方法》课程教学课件（讲稿，打印版）最优化理论基础

梯度法和共轭梯度法 1.无约束最优化问题 2.梯度法 3.共轭梯度法

本章对目前常用的几种智能优化计算算法作简单介绍，以使读者对它们有个基本认识。内容包括神经网络、遗传算法、模拟退火算法和神经网络混合优化学习策略

一般地，线性搜索算法分成两个阶段： 第一阶段确定包含理想的步长因子（或问题最优解）的搜索区间； 第二阶段采用某种分割技术或插值方法缩小这个区间

动态规划是一类多阶段决策过程的最优化方法。 基本方法是：按阶段把一个大问题化成一系列相互有联系的子问题，建立相应的递推公式，解一系列的子问题，最后求得整个问题的最优解

一、最小二乘问题的概念 二、线性最小二乘法 三、非线性最小二乘法 四、最小二乘问题的Matlab求解

§4.1 最速下降法(Cauchy法) §4.2 Newton法（二阶方法） §4.3 共轭方向法 §4.4 共轭梯度法 §4.5 拟Newton法（变尺度法）