试验优化设计-数学建模非线性规划.ppt

1,非线性规划（Nonlinear Programming）,第六章 一般的非线性规划问题6.1 问题概论（模型）min f(x)s.t,2,（两类问题）无约束极值问题与约束极值问题,（一些基本定义）梯度 Hesse矩阵 Jaccobi矩阵,3,6.2 最优解分类（注：不一定存在）,定义6.2.1 整体（全局）最优解 定义6.2.2 局部最优解（已有算法基本都是求局部最优解的）6.3 凸集与凸函数定义6.3.1 凸集定义6.3.2（严格）凸函数 称定义在凸集K上的实值函数f(x)为凸函数，若 定义6.3.3 凹函数,4,定义6.3.4 凸规划（图集上凸函数的极小化问题）定理 设、均为凸集，则 也是凸集，对任意实数，是凸集。（证明）（推广）定理 有限个凸集的交集必是凸集定理（分离定理）K为闭凸集，则 定理6.3.4（支撑超平面定理）,5,定理6.3.5 若 均为凸集K上的凸函数，则 也是K上的凸函数。（请证明）定理 设f(x)是凸集K上的凸函数，则 实数C，水平集 必为凸集。定理6.3.7 若f(x)在开集K 中可微，则f 是K上的（严格）凸函数当且仅当,6,证明（充分性）任取，记由条件，（必要性）,7,令此即需证。若 f(x)两阶可微，则有以下的定理：定理6.3.8 设f(x)在开凸集K中二阶连续可微，f 为凸函数的充要条件为：证明：（充分性）,8,此处从而，(必要性)任取将 在 x 处展开：,9,令 得定理1.3.9 证明,10,此即说明f 是严格凸函数。定理证明 当 充分小时 在 的邻域中，从而导出矛盾，证毕,11,6.4 最优性条件,无约束极小化问题（模型）min s.t（6.4.1)定理6.4.1（一阶必要条件）若 是可微函数，是问题（6.4.1)的一个局部最小点的必要条件为：（无约束极小化问题求解）等价于（方程组求解）定理6.4.2（二阶必要条件）设 为 中的二阶连续可微函数，如果 是 的一个局部极小点，则,12,证明：由定理，。对任意的由于 是局部极小点，故对于充分小的 必有此式成立必须有，证毕。,13,定理6.4.3（二阶充分条件）设 两阶可微，若 满足则点 的一个严格局部极小点，这里 是 的两阶Hesse矩阵定理（两阶充分条件）设 两阶连续可微，若 满足 证明：任取显然，由假设，由 的任意性，是,14,定理证毕,15,具有等式与不等式约束的极小化问题(NP)min s.t 定义 6.4.1 设x是满足(NP)约束条件的点，记 称I 为x处不等式约束中的积极约束的下标集合 定义6.4.2（积极约束）称约束为x处的积极约束定义6.4.3（正则点）若向量组线性无关，则称x为约束条件的一个正则点。,16,定理6.4.5（Kuhn-Tucker条件）设 是(NP)的局部极小点且 其中,17,例 求下面问题的 K-T 点 min s.t 解：本问题的 K-T条件为,18,（1）若（舍去）若（舍去）（2）（舍去）（3）,19,故有 求得,20,6.5 迭代算法及收敛速度,迭代算法 记满足要求的点集为（如 K-T 点集，最优解集等）。算法一般采用迭代方法，即：任给一个初始点步1步2 定义1.5.1（全局收敛性）设A是求解问题的一个算法，若对任意初始点 在用算法A进行迭代时，或能在有限步求得最优解，或求得一无穷点列，该点列的任意聚点均为需求的点。,21,例1 求解问题 min s.t 算法 迭代点列例2 求解 min 算法,22,迭代点列 若 若定义（闭映射）设X何Y分别是两个非空闭集，A是从X到Y的一个点到集的映射，即对任意 有 设，且 若（例1种的映射是闭的，而例2中的映射则是非闭的）显然，例2的最优解为 取算法A为X到X的一个映射：定理 若对任意取定的：（1）（2）存在，（3）算法 A 在 外是闭的则算法 A 必定是全局收敛的。（证明从略）,23,收敛速度定义6.5.2 设实数列 除有限个 外 除有限个 外 其他 被称为商收敛因子定理1.5.2 仅有以下三种情况之一发生：（1）（2）（3），,24,定义6.5.3 设，我们称 为 收敛到 的阶。也称 阶收敛到（对情况1，令，对情况2，令）显然，收敛的阶越大，收敛速度越快。当数列具有一阶收敛速度时 越小数列收敛得越快。定义6.5.4 若 则称数列 超线性收敛于例2（1）（2）,