第三章_优化设计问题的若干理论基础.ppt

《第三章_优化设计问题的若干理论基础.ppt》由会员分享，可在线阅读，更多相关《第三章_优化设计问题的若干理论基础.ppt（137页珍藏版）》请在三一办公上搜索。

1、优化设计问题实际上就是极值问题。,工程设计问题一般可以归结为多变量、多约束的非线性优,化问题。,高等数学中的极值理论是求解优化设计问题的基础，但在大多数情况下，却不能用来直接求解他们的最优解。,因此，有必要对多变量约束优化问题的求解方法所涉及的,数学概念及有关理论进行补充和扩展。,第三章 优化设计问题的若干理论基础,3.1优化设计问题的几何意义,目标函数是n维变量的函数，它的函数图像只能在n+1维空间中描述出来。为了在n维设计空间中反映目标函数的变化情况，常采用目标函数等值面的方法。,对可计算的函数f(x)，给定设计点,X(k)(x1(k),x2(k),xn(k)，f(x)总有一个定值c与之对

2、应；而当f(x)取定值c时，则有无限多个设计点X(i)(x1(i),x2(i),xn(i),（i=1,2,）与之对应，这些点集构成一个曲面，称为等值面。,当c取c1,c2,等值时，就获得一族曲面族，称为等值面族。,当f(x)是二维时，获得一族等值线族；当f(x)是三维时，获得一族等值面族；当f(x)大于三维时，获得一族超等值面族。,等值面和等值线(优化问题的图解方法)对于简单的问题，可用等值线或等值面来描述函数的变化趋势，还可以直观地给出极值点的位置。,1）目标函数的等值面，其数学表达式为,f(x)=c。,在这种线或面上所有点的函数值均相,等，因此，这种线或面就称为函数的等值线或等值面。,当c

3、取一系列不同的常数值时，可以得到一组形态相似的等值线或等值面，称为函数的等值线簇或等值面簇。,x,y,z,o,条曲线，称为等高线。,以二维优化为例。设目标函数为 z=f(x,y)，它的图形是三维空间中的一个曲面。,1.等值线的概念,等高线,用一个 z=f(x,y)=c 的平面去切这个平面，得到一,x,将等高线投影到xoy平面，得到的曲线称为目标函数的等值线，改变常数c为c1、c2,，可得到由一系列等值线构成的等值线族。y,o,O,x1,x2,c1,c3c2,F(X)F(X)=c1,F(X)=c2F(X)=c3,F(X)=f(x1,x2),有心等值线族,X*,f(X)=Ci,Ci(i=1,2L)

4、“一系列常数”,等值线（面）：具有相同目标函数值的点集在设计空间形成的曲线和曲面其数学表达式：,总结：(2维问题3维、n维）在极值处，函数的等值线聚成一点，并位于等值线族的中心。当该中心为极小值时，离中心线愈远，函数值愈大。当目标函数值的变化范围一定时，等值线越稀疏，说明函数值的变化愈平缓,等值线的分布情,况，反映了目标函数值的变化情况；,等值线越向里，目,标函数值越小；,等值线越密的地,方，其目标函数值的变化率也越大；,对于有心的等值线族来说，等值线族的中心就是一个相对极小点。,f(X)=ax+2bx1 2+cx=x1 2,b c x2,二维高次函数：在极值点附近，等值线也呈近似椭圆形状。,

5、等值线的性态,当,a 0,ac b 2 0时，等值线为同心椭圆族。,2 2 a b x1,1 x 2,x,二维二次函数：,一个“心”：是单峰函数的极（小）值点，是全局极（小）值点。没有“心”：例，线性函数的等值线是平行的，无“心”，认为极,值点在无穷远处。,多个“心”：不是单峰函数，每个极（小）值点只是局部极（小）值点，必须通过比较各个极值点和“鞍点”（须正确判别）的值，才能确定极（小）值点。,等值线的“心”（以二维为例）,等值线的形状：,同心圆族、椭圆族，近似椭圆族；,等值线的疏密：,沿等值线密的方向，函数值变,化快；,沿等值线疏的方向，函数值变,化慢。,等值线的疏密定性反应函数值,变化率。

6、,严重非线性函数病态函数的等值线族是严重偏心和扭曲、分布疏密严重不一的曲线族。,图,函数的等值线簇,0,40302010,10,20,30,40,50,60,f(X)=3600f(X)=2400f(X)=1200f(X)=0,x1,目标函数f(x)一60 x1一120 x2的等值线族。这是一组相互平行的直线，函数值沿箭头所指方间逐渐下降。如图所示。f(X)=60 x1 120 x2x2,函数f(x)xl2十x22一4x1十4的图形(旋转抛,物面)，以及用平面f(X)c切割该抛物面所得交线在设计空间中的投影。,函数的等值面簇,二、约束最优解和无约束最优解,：最优点,X,则称：最优点,X,min

7、f(X)=f(X)X R n,(),s.t.g u X*0 u=1,2,L,m,(),hv X*=0 v=1,2,L,p,1.无约束最优解,min f(X)=f(X*),X R n,若在整个设计空间内所得点,X*，使：,则称：,*f(X*)：最优值,无约束最优解,*约束最优解,2.约束最优解若设计空间内点 X*，使：*f(X*)：最优值,无约束优化设计问题最优解：,约束优化设计问题最优解：,不受约束条件限制，使目标函数达到最小值的一组设计变,量，即最优点 x*=x1*,x2*,xn*和最优值 f(x*)构成无,约束问题最优解。,满足约束条件，使目标函数达到最小值的一组设计变量，即最优点,x*=

8、x1*,x2*,xn*,和最优值 f(x*)构成约束问题最优解。,()=+min 4 412221f X x x x,()=X x x,+.2 01 1 2s t g,()=X x,02 1g,()=X x,03 2g,()=+1 0224 1g X x x,【例】用图解法求解下列优化问题：,-2,-1,0,1,2,1,2,43,3,4,5,x25,x1,g 2(X)=0,g 4(X)=0,g1(X)=0,f(X)=1f(X)=3.8,f(X)=9,X*=0.58，1.34T,最优解是等值线在函数值下降方向上,与可行域的最后一,个交点。,g3(x)=0,()=+min 4 412221f X

9、x x x,()=X x x,+.2 01 1 2s t g,()=X x,02 1g,()=X x,03 2g,()=+1 0224 1g X x x,无约束最优解:,()=0,f X,约束最优解:,()=3.812,f X,例：min f(X)=x12+x22 4 x1+4,*,X*=2,0 T,*,X*=0.58,1.34 T,非线性问题的最优解要么是一个内点，要么是一,个边界点；,非线性问题的最优解如果是一个边界点，那么它必定是等值线（面）在函数值下降方向上与可行域的最后一个交点；,线性问题的最优解必定是等值线（面）在函数值,下降方向上与可行域的最后一个交点；,一般情况下：,三、局部最

10、优点和全域最优点,l等值线,l极值点,值点，如图：有两个极值点：X()和,情况a):情况b):,对于无约束优化问题:当目标函数不是单峰函数时，则会有多个极1*X(2)，它们称为局部最优点。对于约束优化问题:极值点不仅与目标函数的性质有关，还与约束集,合的性质有关。如图：目标函数是凸函数，约束集合为非凸集，则有1 整个可行域内的最小点称为全域最优点。,只有当目标函数在可行域内是凸函数，并且可行域,是凸集时，所得最优点才是全域最优点。,结论:,当目标函数是非凸函数，或者约束集合是非凸集时，,则有可能存在多个最优点，这些点都称为局部最优点。,3.2 无约束目标函数的极值点存在条件无约束优化问题的极值

11、只决定于目标函数本身的性态，而约束优化问题的极值不仅与目标函数的性态有关，而且还与所有约束函数的构成密切相关。,一、函数的极值与极值点,极大值,极小值,必要条件：充分条件：,f(xk)=0f(xk)0,当当,时取极小值时取极大值,f(xk)0f(xk)0,（一）一元函数（即单变量函数）的情况：l（1）极值点存在的必要条件一元函数 f(x)在点 xk 取极值的条件为（对于连续可微的一元函数）,f(X(k)f(X(k),)=,xn,f(X(k),f(X(k),f(X(k),)=+L+,xn,x2,x1,补 梯度1、梯度的定义n维函数的梯度是函数各维一阶偏导数组成的向量,T,f(X,f(X(k),x

12、1 x2,(k),L,梯度的模是函数各维一阶偏导数平方和的开方,2,2 2,(k),f(X,梯度与它的模的比值称为梯度的单位向量f(X(k)f(X(k),f(x)f(x),f(x)=,f(x),xn,f(x)=(,f(x(0)2,x1,f(x(0)2,x2,xn,),2、函数梯度的性质：1、函数的梯度 f(X(k)是函数在点 X(k)的最速上升方向，而负梯度 f(X(k)是函数在点 X(k)的最快下降方向。函数的梯度随着点 X(k)在设计空间的位置不同而异，这只是反映了函数在点X(k)邻域内函数的局部性质，仅在该点附近具有这种性质。由于梯度的模因点而异，即函数在不同点的最大增加率是不同的。故函

13、数在某点的梯度向量只是指出了在该点极小领域内函数的最速上升方向，是函数的一种局部性质。,T,(k),(k)(k)x1 x2,(k),(0),f(x(0)2),)+(,)+(,2、函数梯度的模 是在点 处函数变化率的最大值。()()kf X(kX,4、当梯度 与方向 之间的()()kf X,当梯度 与方向 之间的夹()()kf X S,),3、函数的梯度 f(X(k)与在点 X(k)的函数等值面正交（函数在任意点处的梯度向量与过该点的等值线的切线正交。即，任意点的梯度方向是等值线在该点的法线方向）。与点 X(k)的函数等值面相切方向的函数变化率为零。,夹角介于090之间时，该区域内的任意方向都是

14、使函数值,角介于90180之间时，该区域内的任意方向都是使函数值减小的方向，即函数下降方向。,S,增大的方向，即函数上升方向；,5、函数f（x1，x2）的梯度是一个向量，它在坐标轴x1、x2的分量是f/x1、f/x2，梯度的符号是：f(X)f(x1，x2)，或gradf(X)gradf(x1，x2),6、函数的方向导数函数的梯度与方向S的单位向量的标量积7、梯度方向是函数具有最大变化率的方向。即：函数值沿正,梯度方向增加最快，沿负梯度方向下降最快。,8、梯度的模就是函数的最大变化率。,9、对于优化设计问题，为了尽快取得最优解，希望每一次迭代的搜索方向S等于或者接近于目标函数的负梯度方向。这样才

15、能使得函数值的下降速度最快，尽快收敛于最优点。,f(X)S,=f(X(k)S,f(X(k),10、函数在给定点 X(k)的梯度方向是函数等值线或等值面在该点的法线方向。,x2,x1,f(x1，x2)=CiX(k),f(X(k)上升方向,下降方向,T,fS,X(k),=f(X(k)S cosf(X(k)，S=0,(k),S,f()=b X,X,f()=X X,X,f()=X QX,X,几个常用的梯度公式：,(1).(2).(3).(4).,则，f(X)=0则，f(X)=b则，f(X)=2 XT,f(X)=C(常数)TTQ对称矩阵。,即，C=0.则，f(X)=2QX,x 2x1 4,f 2x2,f

16、(x)=1=,(3,2),f x2,2 x1 4 2 2 x2,例1：求二次函数,2,f(x1,x2)=x1+x2 4 x1+4 在点(3,2)T,处的梯度。,解：,在点,T,处的梯度为：,x=0,1 处的最速下降方向为,x,P=f(x)=,1,=,x=0=2,例2：试求二次函数,2,f(x1,x2)=3x1 4 x1 x2+x2 在点 x0=(0,1)T,处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。,解：,=6x1 4x2,fx1,=4x1+2x2,fx2,0,x2=1,6 x1+4 x2 4 4 x1 2 x2 1,f f x2 x1=0 x2=1,0 T,则函数在

17、,f(x),f(x),4+(2),5,x,0 5 5 5 5,x=x+e=+=1,1,5 1,5,f(x)=3x 4 x1 2+x,x,=2 5,该方向上的单位向量为,=,5 5,2=1 5,4 22 2,00,e=,2 2 1 5 5,1 0,1,新点,265,1,1 2,22 x1,该点函数值,f(x0)=,x 2 x1 4,=,2 x2 2 x,=,2,f,f,f(x0)=+=,2,5,4,0,f 1 f x2 x0,2 2,(4)2+(2)2,=2 5,x1 x2,例3 求二元函数2 21 2 1 2 1 2在x0=0 0T处函数变化率最大的方向和数值。解：由于函数变化率最大的方向是梯

18、度方向，这里用单位向量p表示，函数变化率最大的数值是梯度的模|f(x0)|。求f(x1,x2)在x0点处的梯度方向和数值，如下,2 1 5,4=2 5,f(x0)f(x0),p=,()0f X,=(2x 4)1,0,1rx,=2(2x 2)()()00 r rf Xf X,=0X X,例4求二元函数f(x1,x2)x12+x22-4x1-2x2+5在X0,2,2处函数下降最快的方向。,解：梯度方向是函数变化率最大的方向。负梯度方向则,是函数下降最快的方向。,2,rr,x2,f(X)=,2 x2 2 3,=,)=,=,和点 X,(2),(1),=2，2 T 的梯度，并作图表示。,求函数 f(X)

19、=(x1 2)2+(x 2 1)2 在点 X,=3,2 T,【例】,2,(2),解：根据定义，梯度=,(1)2 x1 4,22,0 2,f(X,2 x1 4 2 x2 2 2,2,f(X)2 2,2/2,=,2 1,f(X,2,梯度的模f(X(1)=22+22=2 2f(X(2)=02+22=2单位梯度向量,(1)(2),SS,f(X(1)1 2 2/2=(1)f(X(2)1 0 0(2),连得到向量 2，和 0，。,x1,0,1,2,3,4,5,x24321,X(1),f(X(2)X(2),f(X(1),点X(1)和X(2),所得新的向量就是点X(1)和X(2)的梯度。,在设计平面x1ox2

20、内标出点(2，2)和点(0，2)，并将此两点分别与原点相T T2 2将这两个向量各自平移至,)+f(x,f,+,1n!,12,(n),(x(k)(x x(k)n+R n,f(x)=f(x(k)+f/(x(k)(x x(k)+,f/(x(k)(x x(k)2+.,/,12,(k),(k),f(x)f(x,)x+,f/(x(k)x 2,式中,x=x x(k),*在实际计算中,常取前三项(二次函数)来近似原函数:,(n+1),f,1(n+1)!,R n=,()(x x(k)n+1,(点在x(k)与x之间),式中,补2 函数的Taylor展开式一.一元函数的Taylor展开式,)+,(,),xi ix

21、(k)+,f(X)=f(X(k)+,(,),ji!2,=1 x x,xi i(k)+,x,同理，n维函数在 X 0点处的Taylor展开式为：,i j,(xi x(k)(x j x(k)+.+Rn,f(X)=f(X,ni=1,f(X(k)1 n 2 f(X(k)xi 2!i,j=1 xi x j,(k),其二阶近似式为：,),i j,(xi x(k)(x j x(k),ni=1,f(X(k)1 n 2 f(X(k)xi i j,k,)+f(X()X,k,+12 X X()H(X()X X(),k,k,x x x 2,(k),),2 f,2 f,H(X,(k)2(k),f(X)f(X f,),其

22、中：f(X)=,.,2 f 2 f,x1 2,x,x2 1,)=f(X,)=2M M O,x n,2 f,x1x n,x2 xn,2 f,xn,即，n维函数的二阶Taylor展开式可写成：,(k),2,(k)(k)x1 x 22 f 2 f1 M M K xn x1 xn x2,T 2 f MO M 2,K,(XKK,T,(k),T,(k),f(X)f(X,X,H(X(k)就称为Hesse矩阵，是一个实对称方阵。,f(X)=f(X(k)+,(,),ji!2,=1 x x,xi ix(k)+,f(X(k)1 n 2 f(X(k),xi,)+,(,),xi ix(k)+,(xi xi)(x j(k

23、),x,(二)多元函数 f(X)在点 X(k)取极值的条件为：,i j,i j,(xi x(k)(x j x(k)+.+Rn,ni=1,),(k),ni=1,(k),f(X(k)1 n 2 f(X(k)xi 2!i,j=1 xi x j,f(X)f(X,f(X)=&f(x,1 f(X,x12,(x1 x),(x1 x)(x2 x),(X)(x2 x)+,二元函数：,),2,2,(k)21,(k)(k),2(k),+,fx2,(,(k)1,(k)2,x,)+,(X(k)(x1 x1 k),fx1,2,),),(k)2,(k),+,(x 2 x,2 f(X x 22,(k)(k)1 2,2 f(X

24、(k)x1x2,+2,x),(x2 x),f(X,f(X,x,x 2 x 2,1 1(k),x x(k),x 2,x 2 1x,2 f(X(k),),2 f(X,x12,(k),2 f(X(k)x1 x 2 2 f(X(k)2,(,),),)+,(k),x1 x1 k)(k)x 2 2,(k)x 2,(k)x1,f(X)=&f(X,12,(k)(k)1 2,(x1,+,上式的向量矩阵式：,f(X,),x2,)X+,X H(X,X=,x,H(X)=f(X)=2 f(X(k),x x,(,T,(k),f(X(k)x 2,f(X(k)x1,f(X,)=,T,)X,(k),12,x1 x1 k)(k)

25、x 2 2 f(X)=f(x1，x2),T,)+f(X,(k),(k),=&f(X,2,2 f(X(k)x1x22(k)2,2 f(X(k)(k)2(k)x12 1,12!,+,X X(k)T 2 f(X(k)X X(k),为了便于数学问题的分析和求解，往往需要将一个复杂的非线性函数简化成线性函数或二次函数。简化的方法可以采用泰勒展开式。一元函数的泰勒展开式：12!当只取前两项时简化为线性函数，如取前三项则为二次函数。多元函数的泰勒展开式（一般取前三项）：f(X)f(X(k)+f(X(k)T X X(k),x12,H(x(k)=,x1 2,x,x),2 f 2 f x 22,2 f 2 f x

26、 2 x1,（k）数组成的方阵。由于函数的二次连续性，有：2 2=x2x1 x1x2所以H(（k）矩阵为对阵方阵。,)f(X,)+f(X)X X(),X X H X X X(k),+,2 f,xn,x2xn,f(X,)=,x1xn,x2,f(X,2 f,x2,=,2 f,x x,x1,即，n维函数的二阶Taylor展开式可写成：,(k),f(X)f(X,(k)T(k)1(k)T(k)2,T,),.,),f(X,(k)xn,(k),(k)x1,(k),其中：,),H(X(k)=2 f(X(k),2 f 2 2 f2 1M M xn x1,2 fx1x2 2 f2MM 2 fxn x2,K K 2

27、 f O MO M K K2,f(x)=x Hx,矩阵形式,f(x)=x Hx 0,x,若将函数的泰勒展开式只取到线性项，即取 T 则 f(x)是过点 x 和函数 f()所代表的超曲面相切的切平面。若将函数的泰勒展开式取到二次项时，则得到二次函数形式，在线性代数中将二次齐次函数称为二次型。,T当对任何非零向量x使,H-对称矩阵T,则二次型函数正定，H为正定矩阵。,=lim,二元函数,x0,d 0,fd,f(x10+x1,x20+x2)f(x10,x20)d,方向导数,补、多元函数的方向导数1、方向导数,f(x1,x2)在 x0(x10,x20)点处的偏导数的定义是：,=limx1 0 x0fx

28、2 0 x0二元函数 f(x1,x2)在 x0,x 点处沿某一方向 d的变化率，其定义为,f(x10+x1,x20+x2)f(x10,x20),d,=lim,cos 2,x2,2,Xd 2X0X1 1X1X10,X20O,d,图1二维空间中的方向,fd x0=fx1,x0 x0X2,f,d 0cos1+,偏导数与方向导数的关系,f f(x10+x1,x20+x2)f(x10,x20),d d,称其为该函数沿此方向的方向导数。偏导数 x1,一个二元函数 f(x1,x2)在x0(x10,x20)处的偏导数定义为,x0,fx2,x0,f(x10+x1,x20)f(x10,x20)x1,=lim,fx

29、1,x2 x0fx1 0 x0 x110 20 2 10 20 x02,x,x 01,(x)f 20d,变化率如图所示，其定义为=limdfx0=lim 010+x1,x20+x2)f(x10,xdd 0 x0f、x0可以看成是该函数分别沿x1和x2方向的方向导数。,0,0,cos 2,fx2 x,cos1+,fx1 x,=,d 0,方向导数和偏导数之间的关系，从下述推导可知10 1 20 2 10 20d 0 x0d f(x10+x1,x20+x2)f(x10+x1,x20)x2lim,cos1+,cos 2+,0,cos 3,x0,f f fx1 x0 x2 x0 x3 x,=,fd,类似

30、的，一个三元函数 f(x1,x2,x3)在 x0(x10,x20,x30)点处沿d方向的方向导数和偏导数的关系如下所示，见图,=,推广到 n元函数：,cosi,X 0,X 0,X 0,X 0,cos n,f x n,f x 2,cos 1+,f x1,=,f S,cos 2+L+,fxi,ni=1,X 0,cos i,0,式中：f xi X,函数 f(X)对坐标轴 xi 在 X0 处的偏导数。,S与坐标轴 ix 方向之间夹角的余弦。,f,可看成是函数,分别沿各坐标轴方向的方向导数。也即：方向导数是偏导数概念的推广；偏导数是方向导数的特例,X 0,X 0,X 0,fxn,fx1,L,；x2,；,

31、f(X),x2,f(X,f(X,)=,)f(X,沿任意方向,的变化率可用该点的方,向导数表示：,(k),多元函数 f(X)在某点 X,d,f(Xd,),f(X(k)+S)f(X(k)d,=limd 0,(k),的梯度为：,(k),多元函数 f(X)在某点 X,T,),),f(X,(k)xn,(k),(k)x1,(k),L,如方向 d 的单位向量为：T则：,=f(X,)T d,(k),f(X(k)d,=1+(0 2),+,1 x 1 2,2 2,T,2 0 x 1 2 0 2 x 2 2,2 x 2 2,x 1 2 x 2 2,例 5 求二元函数f(x1,x2)x12+x22-4x1-2x2+5

32、 在X02,2处的海赛二阶泰勒展开式。r解：f(X 0)=22+22 4*2 2*2+5=1rr f(X 0)2x 2 2 2 x2 r rX 2 f X2 0 2 2r r r2,)=,+2 x,4 x1 2,X=X(k),=,x1 2x 2,10 4 x1 1,x 2,+14 8 1,+17,14 8,(k),10 x1+4 x2 4,F(X,2 10 4,2,F(X)=5x1+4x1x2+x2 4x1+4,12,4 2 2,=,1,x 1x2 2,故,解：,2,例6：将函数 F(X)=5 x1+4 x1 x2+x 2 4 x1+4 写成在点T,F(X(k)=5 12+4 1 2+22 4

33、 1+4=17,H(X)=2,V(X),x2 1,x,x1 2,V(X),x2 2,=,4 x2 1,2 4 x2 2 8 4 x 8 4,2V(X)x12,2V(X)x2,2,1 T2!1 x2 8 4=8 8 x1 8 x2+x1+8 x1 x2+2 x2,2展开式 V x 2 x1+2 x2 10 1V x 8 x2 则V在X0处的二阶泰勒展式为,+x+x 2x x 2x x+3x,x1 2 3 1 2 2 3 3,f(X),解：因为=2 x1 2 x2,(X)=2x 2x2,2x2 2x 2x+3 2x 2x,x1,x2,=0,=2,x3,2 2 0 2 f(X)=2 2 2 0 2

34、2,=2,=2,=2,=2,2 fx1x3 2 f2,2 fx1x2 2 fx2 x3,2 f2 2 f2,=2 x2 2 x1 2 x3+3,f(X)x2=2 x3 2 x2,2 2 2,例：求目标函数f（X）=,的梯度和Hesse矩阵。x1f(X)x3,则又因为：,T故Hesse阵为：,X=,A=,B=,12,2,f(X)=,(a11 x1+a12 x1 x 2+a 21 x1 x 2+a 22 x 2),+b1 x1+b2 x 2+c,(a12=a 21),补 函数的二次型与矩阵的正定,若令：,x1 x 2,b1 b 2,a11 a12 a21 a22,X=,x 2,A=,B=,b 2,

35、X AX+B X+C,若令：,n,则按矩阵运算法则，上面函数的矩阵表达式：,x1,b1,a11 a12 a21 a22,式中：A一对称方阵（a12=a21）,T T,12,f(X)=,（）,x,a a,21 22 2n,b,（）式同样也是多元二次函数的矩阵表达式,A=,a11 a12 L a1n L a M M an1 an2 L ann nn,X=,x1 2 M x n,B=,b1 2 M bn,其中：A nn阶对称方阵(aij=aji),f(X)=X AX=x1,x2,a11a21,a12 x1 a22 x2,T,一、函数的二次型：对于二元函数的二次型：2 211 1 2(a12 21)上

36、式写成矩阵形式：,此式也是“多元函数的二次型”的矩阵形式,f(X)=X AX,xn,(aij=a ji),T,T,L,x2,X=x1,函数的二次型:,式中：An阶对称方阵A与f一一对应！,X 0,总有 X AX 0,类似地，若对于任何矢量,T,，则称A为负定矩阵。相应的函数 f(X)为“负定二次型函数”,二、正定矩阵及其判别法1、正定的概念设有二次型 f(X)=X T AX，若对于任意不为“0”T应的系数对称矩阵A称为正定矩阵相应的函数 f(X)为“正定二次型函数”,如对于某些矢量 X 有 f(X)0，另一些矢量 X 又有 f(X)0，则称矩阵A 为不定矩阵，相应的函数 f(X)为“不定二次型

37、函数”2、正定性的判别（1）若对称矩阵 A 正定，其充要条件是矩阵行列式A 的各阶主子式值均大于0,0,0,a n1,a n 2,a nn,a 22,a11,a12,a1 n,a11a 21,a12a 22,a11,L,a 21M,a 2 nM,L,L,0,L,如 A=a21,0,*矩阵A为正定的充要条件-A的各阶主子式均大于零。,a11a31,a12a22a32,a13 a23 为正定，则必有：a33 a11 0a11 a12a21 a22a11 a12 a13a21 a22 a23 0a31 a32 a33,1 0,6=6 0,=3 0,6 33 2,6 3 13 2 0=10 01 0

38、4,解：对称矩阵Q的三个主子式依次为：,6 3例：判定矩阵Q=3 2,1 0 是否正定4,一个nn对称矩阵Q是正定矩阵的充要条件是矩阵Q的各阶主子式都是正的。一个nn对称矩阵Q是负定矩阵的充要条件是矩阵Q的各阶主子式的值负、正相间。,因此知矩阵Q是正定的。,a11 0,a21a31,a12a22a32,a13a23 0,L。a33,a11a21,a12a22,a11 0,（2）、若矩阵A负定，其充要条件是矩阵行列式A 的各阶主子式值负、正相间。即：,三、正定二次型函数的性质,Y T aY+b T Y+c,12,f(Y)=,f(X)=X T AX,（坐标平移变换）,=X,x 2,1、正定二元二次

39、型函数的等值线是同心椭圆族，椭圆的中心就是以该函数为目标函数的极小点,设:,二元二次型函数,22,f(x)=ax 12+2 bx 1 x 2+cx,AX,a b,b x 1 c x 2,=x 1T,a 0，c 0，ac b2 0 时，矩阵,正定,A,ac b 2 0 f(X)椭圆抛物面(n+1维空间),=x 1 2=0，0,，x,c x,1,f(x1,x2),f(X),x2,x1,0,椭圆抛物面,(0),f(X)=c1 c2 c3 L,T T,X,*,*,f,=f min=0,2,f(X)=c,i,1,cc,2,3c,4,0,(*),X,“正定二元二次型函数的这个概念完全可以推广到n=3及多维

40、的设计问题的分析中去”,只不过对于3维问题,在设计空间对应的应是,球面的中心正好是极值(小)点,高于3维的问题（n3）,在设计空间中将是“超椭球面”（多维正定二次函数的超等值面），无法用三维图形表示，是一个抽象的概念。,目标函数的“等值面”“同心椭球面族”；椭,总结:,X,X,2、过同心椭圆族中心,作任意直线与椭圆族中任意两椭圆相交，通过交点所作的椭圆的切线必相互平行,x2,c3,f(X)=ci,2 1,(2),(1),1,0,S1l1l2,x2=mx1c1c x,2,X、X,过此两点的直线必通过椭圆族的,点,1),意 义:根据这一性质，如果沿两条与给定方向平行的直线,求出两直线与椭圆族中某两

41、椭圆的切,中心，即函数的极小点换句话说：若沿着 X(1)、X(2)两点连线方向搜索,就可以找到 f(X)的极小点。这一特性在建立了共轭方向的概念之后就知道,它对产生某些优化算法有着重大意义。,正定函数的性质：,称正定函数。,如果二次型矩阵 H 是正定的，则函数,f(X),（1）正定二次函数的等值线或等值面是一族同心椭圆或同心椭球，椭圆族或椭球族的中心就是该二次函数的极小点。（2）正定二次函数在极小点附近的等值线或等值面近似于椭圆或椭球。,X AX+B X+C,式中 X AX 称二次型，,a,x i j,x,.a2 n x2,a a,x2.xn 21 22=X T AX,二次函数是最简单的非线性

42、函数，在最优化理论中具有重要的意义，其向量形式为：,T T,12,f(X)=,T,A称二次型矩阵,ij,ni,j=1,F(X)=x1,系数矩阵 a11 a12.a1n x1.an1 an 2.ann xn,（5）X AX=0，,b,矩阵的正定和负定的定义：对所有非零的向量 XTTTT,T,A 矩阵是不定的,2,x 1 x 2,b c,=x 1,ax 2,例：,2,F(X)=ax1+2bx1 x2+cx2=ax 1+bx 1 x 2+bx 1 x 2+cx 2,X=,A=,b 2c,B=,二次函数用向量及矩阵的表示方法：f(X)=f(x1,x2)=ax12+bx1 x2+cx22+dx1+ex2

43、+f令：,x1 x2,2a b,de,C=f,则二元函数可写成f(X)=ax12+bx1x2+cx22+dx1+ex2+f1 T T2,f(X)=f(x1 2,L,xn)=,ij i jx+bk kx+c,x,X=2,a,A=21,b,B=2,对多元函数：,a x,ni=1,n nj=1 k=1,x,T T,x1 L xn,a11 L an1,a12a22an 2,L a1n L a2n L ann,b1 L bn,C=c,f(x)=x1 x2+3x1+3x2 9 x1,3x1+6 x1 9,f(x)=,3x2+6 x2 x(1),=,f(x)=,=,12 00 0,2(1)6x1+6 0 0

44、 6x2+6 x(1),例题:,2,(1),2,03,3 3 2 2,l用泰勒展开将函数,(1),在点 x,=1,1 T 简化成线性函数与二次函数。,解：函数在点 x(1)的函数值、梯度和二阶导数矩阵：f(x(1)=3,=,x2 x2 1,f(x)f(x)+f(x)x x,(1),x1 1 x1 11,x x,ll,简化的线性函数(1)(1)T(1)=3+3(x2 1)=3x2 6简化的二次函数,(1)(1)T(1)1(1)T 2(1)(1)2221,1求函数 f(X)=x1+x2 6x1 在点 X,X1x(1)6=1,1T 4X,2,x1,1=2,f(X)=,f(X),2x2,x2,)=(4

45、)2+2,例题分析,的梯度及其模。,解：,(1),=1,1T,(1),f(X(1)(1)1,2,1,(1),2,=4.472,f(X,47,2 2,(1),=1,1T,x1,f(X(1)=,f(X),x2,(x2+1)+2 x2 2+1)1,2,=,H(X)=2(1),x1,x1 2,x,x2,=1,=,0 16,的泰勒展开二次式。,2 函数解：,(1),=1,2 T,f(X)=x1(x1 2)2+x2(x2+1)2 在点 X)=19(1)f(X,1 21,(x1 2)2+2 x1(x1 2)2(x,f(X(1)(2),2 0,(1),6 x 8 0 0 6 x2+4 1 2,2 f(X(1)

46、2 f(X(1)2,2 f(X(1)2 f(X)x1x2,(1)T 121 x11x,=x,x2,H(X)=,x1 2,x,2x1,f(X)f(X),x x,x2,X(0),=,驻点为,再由充分条件,2 2值还是极小值。解：由必要条件，求驻点f(X)1+2x x2,X,(0)T,(0)1,(0),=39,18T,2 11 2,(0),2 f(X)2 f(X)2 22 1 249,均大于零。故,为极小,H(X(0)的一阶主子式A1=2 0二阶主子式,2 11 2,=4 1=3 0,A2=,H(X(0)为正定矩阵，则 X,(0),=39,18 T,点，相应的极值为f(X(0)=392+39 18+

47、182 60 39+3 18=114350,x1 2 6x1+6 0,x2,1,3 x1 2+6 x1 9,x1,)=,f(X)3 x 2+6 x 2)1,x 2,1,=,2 f(X(1),6x2+6 1,x,x1,H(X(1)=2(1),=,=,3 3 2 2简化成线性函数和二次函数。(1),(1),)=3,f(X,0 3,(1),f(X(1)(2)2,f(X,=,12 0 0 0,0,2 f(X(1)2,2 f(X(1)2 f(X)x1x2,(1),x1 1 x1 1 x2 1 x2 1,X X,()()()(1)(1)(1)+f X f X f X X X,3 0,3=+,(1)(1)(

48、1)()()()()f X f X f X X X X X H X X XT+,线性函数,二次函数,=3x2 6,x2 1,x1 1,T,2,2,(1)(1)T(1)1,=3x2 6+6(x1 1)2=6x1 12x1+3x2,(x)=,)0 则 x 为极小值点,(x,(),则 x 是极大点,f x,0,(x)=,则 x 是拐点,f,0,x,必要条件：f(X)=M,=0,(f X),n1：必要条件：,0,f,f,无约束优化问题最优解的极值条件min f(X)X R n,充分条件：,n2：多元函数,f(X)在点X 处取得极值的条件为：,f(X)1 xn,充分条件：H(X)为正定阵H(X)为负定阵

49、，则 X 是极大点H(X)为不定阵，则 X 是鞍点负定：奇数阶主子式0。,f(X,)=,)f(X,x2,f(X,),无约束优化问题的极值条件(1)f(x)在 x*处取得极值，其必要条件是:,即在极值点处函数的梯度为n维零向量。,.,),T=0,(k),(k),(k)xn,(k)x1,f(X,f(X)f(X)+f(X)(),X X+,X X H X X X,f(X)f(X),X X H(X)X X,H(X)X X 0,Q f(X)f(X)0 X X,f(X)f(X)0 X X,H(X)X X 0,X 为极大值点,(2)f(x)在 x*处取得极值，其充分要条件是:,T 1 T 2 T,Q X 为驻

50、点，f(X)=0 1 T 2反之：,T,(xi i)(j)0,x x x,f(X),()(),xi i j j 0,x x x,ni,j=1,2 f(X)xi x j,根据最小值的充分条件：,根据最大值的充分条件：,H(X)为负定矩阵,ni,j=1,2 xi x j,(xi i)(j)=0,x x x,H(X)既不是负定矩阵，也不是正定矩阵，在此处无极值。,ni,j=1,2 f(X)xi x j,3.3 函数的凸性,下凸,上凸,单峰函数,当极值点x*能使f(x*)在整个可行域中为最小值时，即在整个可行域中对任一x都有f(x)=f(x*),则x*为全域最优点（全域极小点）。若f(x*)为局部可行