1.前言 ·本课程由数学系开设，旨在讲述求解数学问题的各种最优化方法。 ·本博客仅对课程中的如下内容进详细介绍： 。凸集、凸函数、凸规划 。线性提划际准无式 ·单纯形法 。无约束最优化方法 ·最优性条件 ·最速下降法 ·牛顿法 。约束最优化方法 ·Kuhn-Tucker条件 ·罚函数法 ·闸函数法 2.凸集、凸函数、凸规划 2.1凸集 ·凸焦的定义： 。设SSR",若xD,x∈S,入∈0,1，必有.x+(1-)x2四∈S,则称S为凸集. ·形式化理解凸集的定义，即集合中任意两点连线上的点都在集合内. ·对于凸集的证明，往往利用定义进行证明。 2.2凸函数 ·凸函数的定义 。设集合ScR为凸集，函数f:S一R若x0x2ES.1∈(0.1)，恒有 f(x+(1-2)x2≤f(x+(1-)f(x2,则麻f为凸集S上的凸函数 。如果上面不等式以严格不等式成立，则称(x)为凸集S上的严格凸函数 。二阶征 ·f在$上凸，等价于，S中任意一点，其对应的海塞矩阵半正定。 ·f在$上严格凸，等价于，S中任意一点，其对应的海塞矩阵正定， ·凸函数是定义在凸集上的函数，如果要证明凸函数，首先要说明定义域为凸集 2.3凸规划 ·凸规划的定义： 。如果问题(S)中，S为凸集，为凸函数，则称这个问题是凸规划 ·凸规划的定理： 。在凸规划问题中，局部最优解也是全局最优解。 。如果为严格凸函数，则该局部最优解是唯一全局最优解 1. 前言 本课程由数学系开设，旨在讲述求解数学问题的各种最优化方法。 本博客仅对课程中的如下内容进行详细介绍： 凸集、凸函数、凸规划 线性规划 线性规划标准形式 单纯形法 无约束最优化方法 最优性条件 最速下降法 牛顿法 约束最优化方法 Kuhn-Tucker 条件 罚函数法 闸函数法 2. 凸集、凸函数、凸规划 2.1 凸集 凸集的定义： 设 ，若 ，必有 ，则称 为凸集。 形式化理解凸集的定义，即集合中任意两点连线上的点都在集合内。 对于凸集的证明，往往利用定义进行证明。 2.2 凸函数 凸函数的定义： 设集合 为凸集，函数 。若 ，恒有 ，则称 为凸集 上的凸函数。 如果上面不等式以严格不等式成立，则称 为凸集 上的严格凸函数。 凸函数的证明： 凸函数与一阶特征、二阶特征互为充要条件，往往利用二阶特征进行证明， 二阶特征： 在 上凸，等价于， 中任意一点，其对应的海塞矩阵半正定。 在 上严格凸，等价于， 中任意一点，其对应的海塞矩阵正定。 凸函数是定义在凸集上的函数，如果要证明凸函数，首先要说明定义域为凸集。 2.3 凸规划 凸规划的定义： 如果问题 中， 为凸集， 为凸函数，则称这个问题是凸规划。 凸规划的定理： 在凸规划问题中，局部最优解也是全局最优解。 如果 为严格凸函数，则该局部最优解是唯一全局最优解。 S ⊆ R n ∀x (1) , x (2) ∈ S, λ ∈ [0, 1] λx (1) + (1 − λ)x (2) ∈ S S S ⊆ R n f : S → R ∀x (1) , x (2) ∈ S, λ ∈ (0, 1) f (x (1) + (1 − λ)x (2) ) ≤ λf (x (1) ) + (1 − λ)f (x (2) ) f S f(x) S f S S f S S (fS) S f f