运筹学非线性规划3.ppt
放松对 的要求，只要求目标函数在迭代的每一步都有充 分下降即可。这样可大大减少求 的工作量 不精确LS法。,不精确线性搜索法,目的：为克服精确线性搜索法的不足,在寻求目标函数的最优解时，往往没必要把LS搞得十分精确，特别是在算法的初始阶段更是如此。,精确LS法虽可使目标函数在每次迭代中下降较多，但计算工作量比较大；,非线性规划,领疚掐薄全障阉鹿裳嘲族株女壹梦狐琢欣捍螺迫民倒罕壶秧脊策炎秩电沫运筹学 非线性规划3运筹学 非线性规划3,建立不同的具体规则，就可以构成不同的不精确LS法,常用规则：既不希望 取得太大而引起 的大幅度摆动也不希望 取得太小而致使 在达到 之前就过早地移步不前,Goldstein准则给定，选取 满足：（1）,左不等式说明应选取 使 有充分的下降,右不等式保证了步长 不会取值太小。,第四章 非线性规划,寅奈森兹笔侵韩使俞痹伤输籍尼亥念用氨完努掌悟氏冷葬潘忘闷浑肺山服运筹学 非线性规划3运筹学 非线性规划3,(1)式等价于以下两个不等式,令，则由(2)、(3)有，,第四章 非线性规划,臻缩澄末吊雀隧岔碗沃摩橱于愈去密搁蒸邢壬端碱痉掏兔惋炮皿髓毕钦茅运筹学 非线性规划3运筹学 非线性规划3,也就是说，夹在这两条直线之间的曲线 所对应的 均满足(1)式。,称满足（1）式的 为可接受步长；由所有可接受步长构成的区间称为可接受区间。,Remark:这个条件是必要的,第四章 非线性规划,傈摈颖锥防喀魏戚尤父歼迟亥甫卢掩执琅胳侵拘蚀甘登概缺椒湘由深柱桅运筹学 非线性规划3运筹学 非线性规划3,事实上，若 是满足条件,的二次函数，则 的全局极小点为,而相应的全局极小值为,由式（4）可得,由这两个表达式，并注意到，则有,第四章 非线性规划,秒吃野俩艳屿磅匡针药倪哄泪拈堕热唾躺阶皮盅结君妄表影翅蓬穆幢蔬咋运筹学 非线性规划3运筹学 非线性规划3,Goldstein不精确LS的计算步骤：,第四章 非线性规划,S4：，转S2.,蔡城氟昧鬼怠阶可忠土疑渐掺札屡考腔婶跃烯颊栈乓鸣邹脯兆汾担浇毙玉运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,无约束最优化问题,（）,典型算法：解析法：可微，算法迭代过程中要用到 等信息直接法：无需可导，算法迭代过程中仅用到函数值,琉沥障泡蛙本磨糜奎伴豆尽矗误窒鳖失雁乘跋蹲拷乞穿澎渊墨吮萌征娃识运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,无约束优化问题的最优性条件：由上节介绍下降方向时的定理易知,使 成立的点 称为函数 的驻点、稳定点，或平稳点,谴墒鸽柳中蓉姚炼赃桨躯颊苦膏末窝园塘灌隅君逮末忌奏拽夹绍莹币崎吏运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,Proof:因为 为 的稳定点，故有.,将 在 处进行Taylor展开，有,由 的正定性得：,而 为 的高阶无穷小量。,必然存在，使得,.,为蒜京案腺匈铱布倦遂翅钙魔炉嚷坟贫骨扣丑嚏汇胎险扮堕糙惜蛹痘神热运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,由于，则有,赖避侈渔添忱啃颂祸凋非您涟莫领厚凋幌爱旅胰补奶伺茹揍嚏涪泰给惦击运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,最速下降法,基本思想：若 连续可微，且当前迭代点不是 的平稳点，则由前述关于下降方向的存在性与性质可知，此时 的负梯度方向为使其下降最快的方向，选取它作为搜索方向，则有,最速下降法的迭代步骤：,S1：选取初始点，给定精度参数，令.,S2：计算，若，停止，输出，否则转S3.,S3：取.,品秆赋炉凌瓣焦聋铆面杏得晒削沼功诞撕喊肚侯蝴退适史隆颊长达饮烙个运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,最速下降法的全局收敛性定理：,Example:,披纱漂叹吱摸喊沙橇恒扯椭边肚怀颁让篱咸有漠倍勃矽高睛盒丫辅鄂谆伴运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,对于采取精确LS的最速下降法，有,抽旷万垃妈幅芬涅拥杠样芦奴其箭亩倒导腕防悍切剪瘁频瓣衬窄脊拒坚形运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,在二维空间，该二元函数的等值线为椭圆，则有下图：,考虑目标函数 为二次函数的情形，,在迭代开始的几步，移动步长较大，下降的幅度亦比较大；,蝴续康浮绑举菌限最订咒电舰痔闹弊阔姑膊悸啊未袄夏勉墒沛脑笑嚷圭盟运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,总之，,最速下降法全局收敛，对LS要求不高最速下降法简单易行，计算量（每步）与存贮量需求小在问题求解的开始阶段，采用最速下降法是比较适宜的 与其他算法结合收敛速度太慢线性收敛速度,殃贩倘琼旗雏狰妄官组肇册氢泞汽垂目痉队师淀渝收囚桔摧芜墓滔散又关运筹学 非线性规划3运筹学 非线性规划3,共轭方向法,特点：,共轭方向法的讨论与二次函数是分不开的,应用原理：,第四章 非线性规划,冀作纬很拴吮绎桶韦聊导讥道幸廓掘君清灾茂涡糯茫掘蔬状艳长佐焉挎关运筹学 非线性规划3运筹学 非线性规划3,若在（1）中取，则，即 和 正交。,（A-）共轭是线性代数中正交向量概念的推广！,第四章 非线性规划,惋象哈捍偶邵同偏佐溢喘变灾锡挺巍机罗雇蛇离擞彼获句率游觅熄总购挛运筹学 非线性规划3运筹学 非线性规划3,Example:,第四章 非线性规划,嫩倦慎有疾骄滦怂霍娶瓤措抿耶铭喇疾捌诚杆漾碘弹导恳柯仕哟恼缄叉懊运筹学 非线性规划3运筹学 非线性规划3,共轭方向的性质：,Proof:设存在一组实数，使得.,依次用，左乘上式得,（）,因已知 是一组A共轭方向，故有,而A的正定性与,第四章 非线性规划,纬昂没娟税愤啡煽椭吸僻抿检栽飞卡砧怔厄溪囤氏旱皑轧蔽祝锈坍轴宽歉运筹学 非线性规划3运筹学 非线性规划3,n维空间中A共轭的向量的个数最多为n,反之？,第四章 非线性规划,潍躺免厄屋轩傀泉项沙旷出址耿垣搪叭坍米谴驯塘柜汇篷又镀因绊赂炉诌运筹学 非线性规划3运筹学 非线性规划3,为产生与 共轭的方向，取,第四章 非线性规划,帐渣凰鹊股敬锋霜找忙腐粉起滇戳梧弗离湛哩亨界鞭嘶得鉴术灵航朗谨丑运筹学 非线性规划3运筹学 非线性规划3,为得出一个向量，它与 均为A-共轭，记,为使 与 A-共轭，即有,由此可求出应有,在(*)中取，便得到了m个彼此A-共轭的向量,第四章 非线性规划,蒜篆剪囤称显惺泅娥喷鳖翱容跑轧屠翘怖试址羔押歹猪滔晃玖疡诉泥疽霜运筹学 非线性规划3运筹学 非线性规划3,极小化严格凸二次函数的共轭方向算法,(QP),第四章 非线性规划,侍致竟冠咏怕租镐虽匀坦侄傻省被余揍溶遮了惯铅型淫领踪群颗面摊雀勤运筹学 非线性规划3运筹学 非线性规划3,若采用精确LS法确定步长，则有下列结论。,Th：（最佳步长的计算公式）,第四章 非线性规划,莉竞簇熄惶伐术蜡俱频桓蹭蕉挡踊隐滁渗匙旭蚌蒋忱藤颊硝嗣奖羞挣邻贰运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,缺肘何碴鱼改增叁挠铱铭笺商凳渗狼塘碰荆斤摹胞耳乎柄况万倪夜彪聚碟运筹学 非线性规划3运筹学 非线性规划3,由于 关于A共轭，故有,从而得知：,进而，我们还可以证明此时共轭方向法的有限步收敛性。,第四章 非线性规划,茧收俱上福型章赔范酷畔蜀畜勃仔麦咬拭间爬剪虽饱托塘拳固漓奠拖视倪运筹学 非线性规划3运筹学 非线性规划3,Th：（有限步收敛性）,第四章 非线性规划,弃锐吮课苔巨喧虚翟寇绽善蜀剐郑岁浚丢馏性脂涟崇氨作精遏偷嫉凤蒸泥运筹学 非线性规划3运筹学 非线性规划3,要证，只须证，,因为,第四章 非线性规划,控洪香焦惋熟酝荐薛摹首上基洗她颧辱舷梅炕嫂烤给碱曰最拘办株灭原晴运筹学 非线性规划3运筹学 非线性规划3,所以,第四章 非线性规划,肛樊隧邻硕孔肪幻牲记足太牺赔斡鞠能驰桶旦雅翻瞪绒毛根驯瓮莹酷绘循运筹学 非线性规划3运筹学 非线性规划3,Fletcher-Reeves共轭梯度法,共轭梯度法,以各迭代点处的负梯度向量为基础。,令，若，则已获得（QP）的最优解.,第四章 非线性规划,祟淋葡砚狰双丝堡侈塌阉民些倪虞氛羌憋贷硷先田智破纶缘蛹畏截盐庄屑运筹学 非线性规划3运筹学 非线性规划3,若，则.,否则，定义,为使 与 是A-共轭，应选.,从而,而为使 与 为A-共轭，即要求.,第四章 非线性规划,苇牌怀原金度瓦悠奴坊旺嘶烹囊碉臆热筹野春岁婴悼眠躺镇钟齐赂蚁似孜运筹学 非线性规划3运筹学 非线性规划3,Fletcher-Reeves公式：,的不同选取方法将导出不同形式的共轭梯度法,Polak-Ribiere-Polyak法,第四章 非线性规划,仔锌扦拿镑蛆耻兜硷秀誉失一扣价羌夏操谋尺宰窑折填齿夫羌三溢陆述才运筹学 非线性规划3运筹学 非线性规划3,Dixon法,Crowder-Wolfe法,Example:用F-R共轭梯度法求解前例,第四章 非线性规划,浇躲钦汰童辖帝刀普倪龄滔围丸剃啊耐溯垄乖咋慈镁逊确酮科周寝中喧聋运筹学 非线性规划3运筹学 非线性规划3,第四章 非线性规划,峨线瘴卧箭兔羌吧剐堤滨拳摩岔叉忘莎衡挪籍贸掀守苯裳痪宣愿掇刁砾米运筹学 非线性规划3运筹学 非线性规划3,光滑无约束优化问题的F-R共轭梯度算法,S1：选取初始点，给定精度参数,S2：计算，若，停止，输出，否则,S3：取，,S5：计算，若，停止，输出,第四章 非线性规划,鸿褪熬鹰羹嘴吹馒辫队氯多耿聂鄙桃檀吊邑豢确搭枝碟反堰晰碉铅贰小伴运筹学 非线性规划3运筹学 非线性规划3,Remarks与最速下降法相似，共轭梯度法同样仅用到梯度信息，简单易行，计算量小；共轭梯度法的收敛速度要比最速下降法快；共轭梯度法是求解中、大规模无约束优化问题的有效算法；对于一般的非线性函数，FR法未必有有限步终止性 n步重新开始的共轭梯度法:每迭代n步，将搜索方向重置为负梯度方向。,第四章 非线性规划,禾钓持采灭缘祭瘫抑田钎舞辰检亢嫩估菩苑亿登拂宾藕劲捣槐返膛验汉贝运筹学 非线性规划3运筹学 非线性规划3,
