o(x)0(x)20=1.n 从而(1)式右边第三项亦是|-的高阶无穷小故(1)可写成 f(x)=f(x)+ 2 (x)+ (12) ax 其中第二项由于假定0(xmil,故其不是|-x的高阶无穷小且由于(10)成立故必有 f(x)<f(x),x∈O(x,o)/x∩s 这说明x是问题(1)的严格局部最优解,即在上述条件下、10)是取极值的充分条件 §2、可行方向法 最早的可行方向法是1960年由G、 Zoutendijk提出的,现在可行方向法已发展成求解约束优化 问题的一类重要方法。其基本思想是:在给定一个可行点x之后,用某种办法确定一个改进的可行 方向S,然后沿S求解一个有约束的线搜索问题,得极小点2,令x41=x+AS。若x仍不 是最优解,则重复上述步骤。各种不同的可行方向法的主要区别在于:选择可行方向sk的策略不同 大体可分为三类 1)用求解一个线性规划问题来确定S,如 Frank--Wole方法, Zoutendijk方法等 2)利用投影矩阵直接来构造一个改进可行方向S,如 Rosen投影梯度法 3)利用既约梯度直接构造出一个改进的可行方向Sk,如 Wolfe既约梯度法及其各种改进。 下面介绍其中的几种: 1° Frank-Wolfe方法 考虑非线性规划问题 min f(x) st.Ax≤b (13) Bx= d 其中A和B分别是m×n和×n阶矩阵,且B是行满秩的 b和d分别是m和1维列向量,令204 lim * x→x i i i x f x x f x   −   ( ) ( ) ( ) =0,i=1, n 从而(11)式右边第三项亦是 x − x * 的高阶无穷小,故(11)可写成 ( ) ( ) ( ) ( ) (x ) * n ( ) i 1 * i * x x x f x f x f x x i i i + −   = +  − =  (12) 其中第二项由于假定 0 ) (   * lim → x f x x ,故其不是 x − x * 的高阶无穷小,且由于(10)成立,故必有 ( ) ( ), * f x  f x x * * (x , )/ x  S 这说明 * x 是问题(1)的严格局部最优解,即在上述条件下,(10)是取极值的充分条件. §2、可行方向法 最早的可行方向法是 1960 年由 G、Zoutendijk 提出的，现在可行方向法已发展成求解约束优化 问题的一类重要方法。其基本思想是：在给定一个可行点 x k 之后，用某种办法确定一个改进的可行 方向 S k，然后沿 S k 求解一个有约束的线搜索问题，得极小点 k  ,令 k k k k x = x +  S +1 。若 k+1 x 仍不 是最优解，则重复上述步骤。各种不同的可行方向法的主要区别在于：选择可行方向 S k 的策略不同， 大体可分为三类： 1) 用求解一个线性规划问题来确定 S k，如 Frank---Wolfe 方法，Zoutendijk 方法等。 2） 利用投影矩阵直接来构造一个改进可行方向 S k ,如 Rosen 投影梯度法。 3） 利用既约梯度直接构造出一个改进的可行方向 S k ,如 Wolfe 既约梯度法及其各种改进。 下面介绍其中的几种： 1°Frank—Wolfe 方法 考虑非线性规划问题      =  Bx d st Ax b f x . . min ( ) （13） 其中 A 和 B 分别是 m n和l  n 阶矩阵，且 B 是行满秩的。 b 和 d 分别是 m 和 l 维列向量，令