无约束最优化工研.ppt

,无约束问题的最优化方法,最速下降法,步长因子,搜索方向,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法收敛吗？若收敛，收敛速度是多少？,Questions,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,最速下降法,缺点：在极小点附近，出现锯齿现象，收敛较慢。,最速下降法,最速下降法,优点：对初始点要求不高，可以比较快地达到极小点附近。,共轭方向法,共轭方向法,Remark,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,(*),共轭方向法,共轭方向法,Remark,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,共轭方向法,利用梯度产生共轭方向的共轭方向法，称为共轭梯度法，如何由梯度构造共轭方向呢？,Questions,共轭方向的公式推导,共轭方向的确定公式,F-R共轭梯 度法(Fletcher&Reeves 1964),非二次函数的共轭梯度法,牛顿法,牛顿法,牛顿法,牛顿法,牛顿法,牛顿法,修正牛顿法,修正牛顿法,牛顿法,优点：具备二次终止性 应用于正定二次函数时，只需一次迭代 即可达到无约束全局极小点，表明 Newton法具备二次终止性。收敛速度快 当初始点接近于极小点时，Newton法 很有效，产生的点列收敛于平稳点，且收敛速度是2阶。,牛顿法,缺点：进行Hesse矩阵、矩阵求逆的运算。当初始点离极小点较远时，Hesse矩阵 常常是奇异的，Newton方向不存在。,拟牛顿法,基本思想(Davidon-1959),拟牛顿法,DFP变尺度法,计算步骤,解：,BFGS变尺度法（Broyden Fletcher Goldfarb Shanno）1970,DFP变尺度法 和BFGS变尺度法的比较,BFGS变尺度法具有DFP变尺度法的所有优点；数值稳定性要比DFP变尺度法。,被公认为目前最好的一种算法之一,无约束最优化算法比较,Powell 方法（1964）(方向加速法）,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,Powell 方法,改进的Powell方法,Powell 方法的方向调整原理,Powell 方法的方向调整原理,搜索方向替换的判别准则,证明：,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,Questions,当函数为非二次函数时，判别准则是什么呢？,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,Example,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,搜索方向替换的判别准则,