《附录非线性规划》PPT课件.ppt
《《附录非线性规划》PPT课件.ppt》由会员分享,可在线阅读,更多相关《《附录非线性规划》PPT课件.ppt(120页珍藏版)》请在三一办公上搜索。
1、1,非线性规划(Nonlinear Programming),第一章 一般的非线性规划问题 1.1 问题概论(模型)min f(x)s.t,2,(两类问题)无约束极值问题与约束极值问题,(一些基本定义)梯度 Hesse矩阵 Jaccobi矩阵,3,1.2 最优解分类(注:不一定存在),定义1.2.1 整体(全局)最优解 定义1.2.2 局部最优解(已有算法基本都是求局部最优解的)1.3 凸集与凸函数定义1.3.1 凸集定义1.3.2(严格)凸函数 称定义在凸集K上的实值函数f(x)为凸函数,若 定义1.3.3 凹函数,4,定义1.3.4 凸规划(图集上凸函数的极小化问题)定理 设、均为凸集,则
2、 也是凸集,对任意实数,是凸集。(证明)(推广)定理 有限个凸集的交集必是凸集定理(分离定理)K为闭凸集,则 定理1.3.4(支撑超平面定理),5,定理1.3.5 若 均为凸集K上的凸函数,则 也是K上的凸函数。(请证明)定理 设f(x)是凸集K上的凸函数,则 实数C,水平集 必为凸集。(请证明)定理1.3.7 若f(x)在开集K 中可微,则f 是K上的(严格)凸函数当且仅当,6,证明(充分性)任取,记由条件,(必要性),7,令此即需证。若 f(x)两阶可微,则有以下的定理:定理1.3.8 设f(x)在开凸集K中二阶连续可微,f 为凸函数的充要条件为:证明:(充分性),8,此处从而,(必要性)
3、任取将 在 x 处展开:,9,令 得定理1.3.9 证明,10,此即说明f 是严格凸函数。定理证明 当 充分小时 在 的邻域中,从而导出矛盾,证毕,11,1.4 最优性条件,无约束极小化问题(模型)min s.t(1.4.1)定理1.4.1(一阶必要条件)若 是可微函数,是问题(1.4.1)的一个局部最小点的必要条件为:(无约束极小化问题求解)等价于(方程组求解)定理1.4.2(二阶必要条件)设 为 中的二阶连续可微函数,如果 是 的一个局部极小点,则,12,证明:由定理,。对任意的由于 是局部极小点,故对于充分小的 必有此式成立必须有,证毕。,13,定理1.4.3(二阶充分条件)设 两阶可微
4、,若 满足则点 的一个严格局部极小点,这里 是 的两阶Hesse矩阵定理(两阶充分条件)设 两阶连续可微,若 满足 证明:任取显然,由假设,由 的任意性,是,14,定理证毕,15,具有等式与不等式约束的极小化问题(NP)min s.t 定义 1.4.1 设x是满足(NP)约束条件的点,记 称I 为x处不等式约束中的积极约束的下标集合 定义1.4.2(积极约束)称约束为x处的积极约束定义1.4.3(正则点)若向量组线性无关,则称x为约束条件的一个正则点。,16,定理1.4.5(Kuhn-Tucker条件)设 是(NP)的局部极小点且 其中,17,例 求下面问题的 K-T 点 min s.t 解:
5、本问题的 K-T条件为,18,(1)若(舍去)若(舍去)(2)(舍去)(3),19,故有 求得,20,1.5 迭代算法及收敛速度,迭代算法 记满足要求的点集为(如 K-T 点集,最优解集等)。算法一般采用迭代方法,即:任给一个初始点步1步2 定义1.5.1(全局收敛性)设A是求解问题的一个算法,若对任意初始点 在用算法A进行迭代时,或能在有限步求得最优解,或求得一无穷点列,该点列的任意聚点均为需求的点。,21,例1 求解问题 min s.t 算法 迭代点列例2 求解 min 算法,22,迭代点列 若 若定义(闭映射)设X何Y分别是两个非空闭集,A是从X到Y的一个点到集的映射,即对任意 有。设,
6、且 若(例1种的映射是闭的,而例2中的映射则是非闭的)显然,例2的最优解为 取算法A为X到X的一个映射:定理 若对任意取定的:(1)(2)存在,(3)算法 A 在 外是闭的则算法 A 必定是全局收敛的。(证明从略),23,收敛速度定义1.5.2 设实数列 除有限个 外 除有限个 外 其他 被称为商收敛因子定理1.5.2 仅有以下三种情况之一发生:(1)(2)(3),,24,定义1.5.3 设,我们称 为 收敛到 的阶。也称 阶收敛到(对情况1,令,对情况2,令)显然,收敛的阶越大,收敛速度越快。当数列具有一阶收敛速度时 越小数列收敛得越快。定义1.5.4 若 则称数列 超线性收敛于例2(1)(
7、2),25,第二章 一维极值问题的最优化方法,在求解极值问题时我们经常会反复采用如下的一元函数求极值步骤:先求出一个搜索方向 d,然后沿方向 d 作一维搜索。为此,我们先来介绍一下一维搜索的一些技巧和方法。问题:min s.t本问题实际上是一个一元函数求极值的问题,为方便起见,以下我们讨论问题:min s.t这里 a 可以是,b 可以是。,26,2.1 仅比较函数值的最优化方法,定义2.1(下单峰函数)定义2.2(不定区间)包含下单峰函数最小点的区间a,b方法:按一定的方法在 a,b 区间中取若干个点,比较这些点上的函数值,不断缩小不定区间。定义2.3(最优搜索策略)总点数相同而能使不定区间缩
8、得最小的搜索方法。(Fibonacci 方法)Fibonacci数 1,1,2,3,5,8,13,21,34,,27,方法:设目前的不定区间为 a,b,尚有 r 个试验点。令比较(1)若(2)若(3)若最后,当只剩下还有一个试验点时,不定区间的中点 为一试验点,最后一个试验点可取,28,定理2.1 利用Fibonacci法作一维搜索,经过 n 次试验后,最后的不定区间长度不超过步骤:先根据Fibonacci 法的近似方法0.618法 设初始不定区间为 a,b,取,29,例(1)(2)(3)取从头开始。2.1 牛顿方法,30,2.2 牛顿方法,迭代公式:步1若,31,定理2.2 设 是a,b上的
9、两阶连续可导函数,且则任取,由迭代公式产生的点列 收敛到(证明从略),32,第三章 无约束极值问题的最优化方法,问题 min s.t3.1 最速下降法 步骤1 取初始点,令k=0 步骤2 计算 步骤3 若 停,输出 否则进入下一步 步骤4 求 使得 步骤5 令,33,定理3.1 设 一阶连续可导,集合有界,则由上述算法求得的点列 有如下的性质(1)严格单调下降(2)的任一极限点 处必有 令 定理3.2 设 是由最速下降法产生的点列,则对每一步 k,成立:其中A与a为Q的最大特征值与最小特征值,34,据此可知(1)若A=a,即目标函数的等值面为园,则用最速下降法一步就可求得最优解。(2)A与a的
10、差越小,则用最速下降法求得的点列收敛得越慢。3.2 牛顿法先看二次严格凸函数 解得:对一般的函数 有:,35,牛顿法迭代步骤定理3.3,36,3.3 共轭方向法定理3.4 若,37,(设计具有二次有限终止性的共轭方向法)仍取取初始点定理3.5 则迭代可在至多n步内终止并求得 的极小点。(共轭方向法的一种实现方法)步1 设已有,38,步2 若 作一维搜索:定理3.4 用上面方法构造出来的向量组为 共轭的。(用于一般函数的共轭方向法)令Step 1.取初始点,允许误差 2.检验是否满足,若满足,停;否则到下一步 3.令,39,4.5.6.检验,若满足,停;否则检查若是,令 7.(算法完),40,定
11、理3.5 设 是具有一阶连续偏导数的凸函数,是由上述算法产生的无穷点列,水平集(1)为严格单调下降数列(2)的任意聚点均为问题的最优解3.4 变尺度法(略)3.5 直接法(略),41,第四章 有约束极值问题,问题 min s.t求解约束极值问题的主要途径:(1)可行下降法(无约束问题下降方向法的推广)(2)罚函数法或障碍函数法(将约束加入目标)(3)解一系列线性规划(4)直接法,42,4.1 zoutendijk可行方向法 问题 min s.t 定义4.1(不等式约束中的积极约束的下标集合)设 为问题的可行解,称为不等式约束中的积极约束集合。定义4.2(积极约束)此问题的积极约束有:,43,定
12、义4.3(可行方向)设 x 是 min s.t(4.1)的可行点,即,称方向 d 为 x 处的可行方向,若存在定理4.1 设 x 是(4.1)的一个可行解,则 d 为 x 处的一个可行方向的充要条件为:(证明),44,定义4.4(下降方向)设 x 是(4.1)的可行解,称非零向量 d 为 x 处的一个下降方向,若存在 定理4.2 设 则 d 为 x 处的一个下降方向的充要条件为:(证明)定义4.5(可行下降方向)既可行又下降的方向,45,具体算法算法1 求解线性规划 min s.t(4.2)算法2 求解 min s.t(4.3),46,算法3 min s.t(4.4)定理 4.3 设(证明),
13、47,(zoutendijk算法)任取初始点(2)求解对应若(3)令(4)求解,48,例4.1用Zoutendijk方法求解 min s.t(取初始点 迭代一次)s.t,49,50,Zoutendijk方法不具有全局收敛性(例从略)4.2 带非线性约束的问题(问题)min s.t(4.5)定义4.4(积极约束的指标集)定理4.4 设 x 是(4.5)的可行解,I(x)是 x 处的积极约束集合,d是一个非零向量,称 d 为 x 处的一个可行下降方向,如果:,51,(Zoutendijk可行方向法)根据定理4.4,求 x 处的可行下降方向可求解 求解此式又等价于求解 min s.t为此求解 min
14、 s.t(4.6),52,定理4.5 设 x 是问题(4.5)的可行解,I(x)是x处的积极约束的下标集,注:当算法综述:任取一初始可行解步1.记 求解 min s.t,53,得最优解与线性情况一样,Zoutendijk算法不具有全局收敛性,54,Frank-Wolfe算法问题 min s.t(4.7)(算法思想)求解 min s.t(4.8)设解为。因为可行域是凸集,是此凸集的一个极点,故又因为,必有,55,Frank-Wolfe算法任取一初始基本可行解步1.求解线性规划 min s.t 得,若步2,56,定理4.6 证明:,57,定理4.7 设对任意可行解 线性规划 均有解,则用Frank
15、-Wolfe算法或能在有限步内求得一个K-T点,或求得一个无穷点列,它的任一聚点均为问题的K-T点。证明:设 有聚点,不妨就设,设,58,这与例 用Frank-Wolfe算法求解 min s.t解:,59,求解 min s.t解得,60,一般讲Frank-Wolfe方法的收敛速度是比较慢的,其优点是求解的线性规划的可行域均相同,若这些线性规划很以求节,则可用此方法求解。既约梯度法 问题 min s.t(4.9)其中,61,是n-m维向量。,62,定理4.8 注(4.9)的,63,代入第1式得定理4.9定理4.10,64,证明:,65,66,67,Rosen梯度投影法(1960)定义(投影矩阵)
16、一个n阶方阵P被称为投影矩阵,若,68,问题 min s.t,69,70,算法,71,例 min s.t,72,5.序列无约束极小化方法,5.1惩罚函数法(问题)min s,t(此问题的K-T条件为)引入Lagrange乘子,构造无约束极值问题 min(惩罚函数法)问题 min s.t设法构造一个函数,73,其中例如,可取,74,对给定的 定义函数,75,引理5.1,76,77,78,79,80,例5.1用惩罚函数法求解 min s.t,81,82,5.2 障碍函数法(问题)min s.t,83,84,85,86,例2 min s.t 第六章 附录(一)优化模型实例,87,库存问题,库存管理在
17、企业管理中占有很重要的地位。工厂定期购入原料,存入仓库以备生产之用;商店成批购入各种商品,放在货柜上以备零售;水库在雨季蓄水,以备旱季的灌溉和发电;但是,细心的读者会发现,这些情况下都有一个如何使库存量最优的问题,即库存量应取多大才最为合适?存储量过大,存储费太高;存储量过小,会导致一次性订购的费用增加,或不能及时满足需求而遭到损失。为了保证生产的连续性和均衡性,需要确定一个合理、经济的库存量,并定期订货加以补充,按需求发放,以达到压缩库存物资、加速资金周转的目的。,88,瞬时送货的确定型库存问题(不允许缺货的情况)首先考虑最简单的库存问题。假设某工厂生产需求速率稳定,库存下降到零时,再定购进
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 附录非线性规划 附录 非线性 规划 PPT 课件
链接地址:https://www.31ppt.com/p-5654044.html