工程矩阵理论(第6章-矩阵的广义逆).ppt

主讲:张小向,http:/,工程矩阵理论,东南大学硕士研究生学位课程,第六章 矩阵的广义逆,第一节 广义逆及其性质 第二节 A+的求法 第三节 广义逆的一个 应用,第六章 矩阵的广义逆,6.1 广义逆及其性质,6.1 广义逆及其性质,一.Penrose方程与MP-逆,定义,Penrose方程,设A sn.,若存在G ns满足,(1)AGA=A;(2)GAG=G;(3)(AG)H=AG;(4)(GA)H=GA,则称G为A的广义逆(或Moore-Penrose逆,简称MP-逆).,第六章 矩阵的广义逆,6.1 广义逆及其性质,二.存在性与唯一性,定理,设A sn,则A有唯一的广义逆.,证明:,(存在性),根据定理4.2.6(奇值分解),存在酉矩阵U与V使得,1,r 0为AHA的特征值.,则可直接验证G为A的广义逆.,第六章 矩阵的广义逆,6.1 广义逆及其性质,设X,Y满足(1)AXA=A=AYA;(2)XAX=X,YAY=Y;(3)(AX)H=AX,(AY)H=AY;(4)(XA)H=XA,(YA)H=YA,则X=XAX,=X(AX)H,=XXHAH,=XXH(AYA)H,=XXHAH(AY)H,=X(AX)H(AY)H,=XAXAY,=XAY,=XAYAY,=(XA)H(YA)HY,=(YAXA)HY,=(YA)HY,=YAY,=Y.,(唯一性),第六章 矩阵的广义逆,6.1 广义逆及其性质,注:,A的广义逆记为A+.,例1,(1)若A为可逆阵,则A+=A1.(2)O+=OT.,例2,(1),(2),=(A+,O),(A,O)+,第六章 矩阵的广义逆,6.1 广义逆及其性质,1 1 0 0,例3,设A=,求A+.,解:,令B=(1,1),则,BB+B=B,=(1,1),(x+y)(1,1)=,(B+B)H=B+B,由此可得x=y=1/2.,A+=,=(B+,O),第六章 矩阵的广义逆,6.1 广义逆及其性质,定理,设A sn,则,(1)(A+)+=A;(2)(AH)+=(A+)H;(3)(AT)+=(A+)T;(4)(kA)+=k+A+,三.A+的性质,其中k,k1,k 0,0,k=0;,证明:,根据Penrose方程直接验证.,第六章 矩阵的广义逆,6.1 广义逆及其性质,(5)AH=AHAA+=A+AAH;(6)(AHA)+=A+(AH)+,(AAH)+=(AH)+A+;,证明:,(5)AHAA+=AH(AA+)H=(AA+A)H=AH.A+AAH=(A+A)HAH=(AA+A)H=AH.(6)利用定理(奇值分解),或根据Penrose方程直接验证.,(AHA)A+(AH)+(AHA)=AHAA+(A+)HAHA,=AHAA+AA+A,=AHAA+(AA+)HA,=AHAA+A,=AHA;,第六章 矩阵的广义逆,6.1 广义逆及其性质,A+(AH)+(AHA)A+(AH)+=A+(A+)HAHAA+(AH)+,=A+AA+AA+(AH)+,=A+(AA+)HAA+(AH)+,=A+AA+(AH)+,=A+(AH)+;,(AHA)A+(AH)+H=(AH)+H(A+)HAH(AH)H,=A+(AA+)HA,=A+(A+)HAHA,=(A+A)H,=A+(AA+)AH,=A+AA+A,=A+A,=AH(AA+)H(A+)H,=AHAA+(A+)H,=(AHA)A+(AH)+;,A+(AH)+(AHA)H=AH(AH)H(AH)+H(A+)H,=AH(AA+)H(A+)H,=AHAA+(A+)H,=(A+A)H,=A+(AA+)A,=A+(AA+)AH,=A+(AA+)HA,=A+(A+)HAHA,=A+(AH)+(AHA).,=A+A,第六章 矩阵的广义逆,6.1 广义逆及其性质,(7)A+=(AHA)+AH=AH(AAH)+;(8)(UAV)+=VHA+UH,其中U,V为酉矩阵;(9)A+AB=A+AC AB=AC.,证明:,(7)(AHA)+AH=A+(AH)+AH=A+(A+)HAH,=A+AA+,=A+(AA+)H,=A+.,AH(AAH)+=AH(AH)+A+=AH(A+)HA+=,(8)利用定理4.2.6(奇值分解),(9)()A+AB=A+AC,AB=AA+AB=AA+AC=AC.,第六章 矩阵的广义逆,6.1 广义逆及其性质,证明:,X R(A),定理,设A sn,则,(1)AA+X=,X,X R(A),0,X K(AH);,Y n s.t.X=AY,AA+X=AA+AY=AY=X.,X K(AH),AHX=0,AA+X=(AA+)HX,=(A+)HAHX,=0.,第六章 矩阵的广义逆,6.1 广义逆及其性质,(2)A+AX=,X,X R(AH),0,X K(A);,证明:,X R(AH),Y s s.t.X=AHY,A+AX=A+AAHY,X K(A),AX=0,A+AX=0.,=(A+A)HAHY=(AA+A)HY=AHY=X.,第六章 矩阵的广义逆,6.1 广义逆及其性质,(3)R(A)=R(AA+)=R(AAH)=K(IAA+);,证明:,X R(A),Y n s.t.X=AY,X=AA+AY R(AA+),可见R(A)R(AA+),X R(AA+),Y s s.t.X=AA+Y,X R(A),可见R(AA+)R(A),综合上述两个方面可得R(A)=R(AA+).,第六章 矩阵的广义逆,6.1 广义逆及其性质,又因为 dimR(AAH)=r(AAH),可见R(AAH)=R(A).,X R(AAH),Y s s.t.X=AAHY,X R(A),可见R(AAH)R(A),=r(A),=dimR(A).,第六章 矩阵的广义逆,6.1 广义逆及其性质,X R(A),X=AA+X(IAA+)X=0 X K(IAA+),可见R(A)K(IAA+),X K(IAA+),(IAA+)X=0 X=AA+X R(A),可见K(IAA+)R(A),综合上述两个方面可得R(A)=K(IAA+).,第六章 矩阵的广义逆,6.1 广义逆及其性质,(4)R(A+)=R(A+A)=R(AH)=R(AHA),证明:,用A+替换(3)中的A得 R(A+)=R(A+A)=RA+(A+)H,=K(IA+A);,=K(IA+A).,用AH替换(3)中的A得 R(AH)=RAH(AH)+=R(AHA).同时有 RAH(AH)+=R(A+A)H=R(A+A).,第六章 矩阵的广义逆,6.1 广义逆及其性质,(5)R(A)=R(IAA+)=K(AA+)=K(AH),证明:,对(3)中的每一项取正交补得 R(A)=R(AA+)=K(AA+)=R(IAA+),R(A)=R(AAH)=K(AAH).在2.2中已经得到R(A)=K(AH).最后由 K(A+)K(AA+)K(A+AA+)=K(A+)可得 K(A+)=K(AA+).,=K(A+)=K(AAH);,第六章 矩阵的广义逆,6.1 广义逆及其性质,(6)R(A+)=R(IA+A)=K(A+A),证明:,用A+替换(5)中的A得 R(A+)=R(IA+A)=K(A+A)=K(A).又因为K(A)K(AHA)而且 dimK(A)=n r(A)=n r(AHA)=dimK(A+A),故K(A)=K(AHA).在2.2中已经得到R(AH)=K(A).,=K(A)=K(AHA)=R(AH);,第六章 矩阵的广义逆,6.1 广义逆及其性质,定理,AGX=,X,X R(A),0,X R(A);,设A sn,G ns,则G=A+的充要条件为,GAX=,X,X R(G),0,X R(G).,以及,第六章 矩阵的广义逆,6.1 广义逆及其性质,证明:(),X R(A),Y n s.t.X=AY,AGX=AGAY,X R(A)=K(AH)AGX=(AG)HX=GHAHX=0.这就证明了,=AY=X.,AGX=,X,X R(A),0,X R(A);,GAX=,X,X R(G),0,X R(G).,类似地,可以证明,第六章 矩阵的广义逆,6.1 广义逆及其性质,()对于e1=(1,0,0)T,e2=(0,1,0)T,en=(0,0,1)T,有Aei R(A),i=1,2,n,故AGA=AGA(e1,en),=(AGAe1,AGAen)=(Ae1,Aen)=A(e1,en)=A,类似地,可以证明GAG=G.下面证明AG为Hermite阵,即(AG)H=AG.,第六章 矩阵的广义逆,6.1 广义逆及其性质,事实上,s=R(A)R(A).,分别取R(A)和R(A)的标准正交基 X1,Xr和Xr+1,Xs,则,令P=(X1,Xs),则P1=PH,类似地,可以证明GA为Hermite阵.,第六章 矩阵的广义逆,6.2 A+的求法,6.2 A+的求法,一.利用矩阵的满秩分解,定理,设A sn,r(A)=r 1.,若A=BC为A的满秩分解,则A+=CH(CCH)1(BHB)1BH.特别地,若r(A)=n,则A+=(AHA)1AH.若r(A)=s,则A+=AH(AAH)1.,证明:,直接代入Penrose方程加以验证.,第六章 矩阵的广义逆,6.2 A+的求法,1 2 3 2 4 6,例1,设A=,求A+.,解:,C=(1,2,3),则A=BC为A的满秩分解,BHB=5,(BHB)1=1/5,CCH=14,(CCH)1=1/14,A+=CH(CCH)1(BHB)1BH,根据定理可知,第六章 矩阵的广义逆,6.2 A+的求法,二.利用R(AH)和K(AH)的基,定理,设A sn,r(A)=r 1.,若X1,Xr为R(AH)的一组基,Yr+1,Ys为K(AH)的一组基,令B=(X1,Xr,0,0)ns,C=(AX1,AXr,Yr+1,Ys),则A+=BC1.,第六章 矩阵的广义逆,6.2 A+的求法,证明:,根据定理(5)和(2)可知,A+Yj=0(j=r+1,s),A+AXi=Xi(i=1,r).于是有 A+C=A+(AX1,AXr,Yr+1,Ys)=(X1,Xr,0,0)ns=B.注意到 r(AX1,AXr)r(A+AX1,A+AXr)=r(X1,Xr)=r,可见AX1,AXr构成R(A)的一组基.,第六章 矩阵的广义逆,6.2 A+的求法,又因为 s=R(A)K(AH),故AX1,AXr,Yr+1,Ys构成 s的一组基.,因而C=(AX1,AXr,Yr+1,Ys)可逆,于是由A+C=B得A+=BC1.,第六章 矩阵的广义逆,6.2 A+的求法,例2,设A=,求A+.,解:,B=(X1,X2)=AH,1 1 2 2 1 3,为R(AH)的一组基,K(AH)=0,取法不唯一,第六章 矩阵的广义逆,6.2 A+的求法,例3,设M=,其中A=,解:,A O O B,1 1 2 2 1 3,第六章 矩阵的广义逆,6.3 广义逆的一个应用,6.3 广义逆的一个应用,一.最小二乘解的概念,定义,设A sn,b s.,若X0 n 满足,则称X=X0为方程组AX=b的最小 二乘解.,|AX0b|2=min|AXb|2|X n,AX=b的最小二乘解中,长度最小的叫做极小最小二乘解.,第六章 矩阵的广义逆,6.3 广义逆的一个应用,二.正规方程,r(AHA)=r(A),=r(AH),r(AH(A,b)r(AH),r(AHA,AHb)=,r(AHA,AHb)r(AHA),r(AHA),r(AHA,AHb)=r(AHA),AHAx=AHb有解,Ax=b的正规方程,定理,设A sn,b s,则TFAE:,(1)X0是AX=b的最小二乘解;(2)AX0 b R(A);(3)AHAX0=AHb.,第六章 矩阵的广义逆,6.3 广义逆的一个应用,证明:,所以b可以唯一地分解为,因为 s=R(A)R(A),b=AY0+(b AY0),其中AY0 R(A),b AY0 R(A).,于是对于任意的X n,有,由此可见,第六章 矩阵的广义逆,6.3 广义逆的一个应用,(1)X0是AX=b的最小二乘解|AX0 b|2=|AY0 b|2|AX0 AY0|2=0 AX0=AY0(2)AX0 b=AY0 b R(A).(2)AX0 b R(A)AX0=AY0(1)X0是AX=b的最小二乘解.(2)AX0 b R(A)AX0 b K(AH)AH(AX0 b)=0(3)AHAX0=AHb.,第六章 矩阵的广义逆,6.3 广义逆的一个应用,三.最小二乘解的表达式,定理,设A sn,则AX=b的最小二乘解的通式为,X=A+b+(IA+A)Y(Y n),其中X=A+b是AX=b的唯一的 极小最小二乘解.,b s,第六章 矩阵的广义逆,6.3 广义逆的一个应用,(2)根据定理(6),故(IA+A)Y(Y n),K(AHA)=R(IA+A),所以AX=b的最小二乘解的通式为,X=A+b+(IA+A)Y(Y n),证明:,(1)A+b是AHAx=AHb的解.,事实上,根据定理(5),AHAA+=AH,故AHAA+b=AHb.,是AHAx=0的通解.,第六章 矩阵的广义逆,6.3 广义逆的一个应用,(3)根据定理(6),R(IA+A)=R(A+).,因为A+b R(A+),所以,(IA+A)Y R(IA+A),其中等号成立当且仅当(IA+A)Y=0.,可见X=A+b是AX=b的唯一的极小最小 二乘解.,第六章 矩阵的广义逆,6.3 广义逆的一个应用,注:,设A sn,则AX=b的最小二乘解就是AX=b的解,X=A+b+(IA+A)Y(Y n).,此时,AX=b的通解为,若AX=b有解,b s.,