矩阵的奇异值分解.docx

§2矩阵的奇异值分解定义设A是秩为厂的mX复矩阵，ATA的特征值为4A2r>r+l='=n=O.那么称bj=J=l,2,)为A的奇异值.易见，零矩阵的奇异值都是零，矩阵4的奇异值的个数等于A的列数，A的非零奇异值的个数等于其秩.矩阵的奇异值具有如下性质：(1) 4为正规矩阵时，A的奇异值是A的特征值的模；(2) A为半正定的Hermite矩阵时，A的奇异值是A的特征值；(3)假设存在酉矩阵UC""',VC"",矩阵Bw1.,使UAy=B,那么称A和5酉等价.酉等价的矩阵A和B有相同的奇异值.奇异值分解定理设A是秩为“。0)的m复矩阵，那么存在机阶酉矩阵U与阶酉矩阵V,使得UuAV=ZO=A.OO其中E=diag(b,b2,，6(i=l,2,厂)为矩阵A的全部非零奇异值.证明设Hermite矩阵AHA的n个特征值按大小排列为42-r>r+1=n=0.那么存在阶酉矩阵V,使得41.To-Vh(AuA)V=.2OO1.J将y分块为v=(ylv2),其中匕，匕分别是，的前/列与后-r列.并改写式为AilAV=2OOO那么有AhAVi=Vi2,2,AhAV2=O.®由的第一式可得V1hAhAV1=2f或者(4Kz)HGAKN)=%.由的第二式可得(AV2)h(AV2)=O或者A%=O.令=4KE”,那么UTq=Erf即a的个列是两两正交的单位向量.记作q=(%,%,wr),因此可将,对扩充成C'的标准正交基，记增添的向量为川,，心,并构造矩阵q=(%w，%)，那么是机阶酉矩阵,且有=Er,u；q=o.于是可得UHAV=UH(A匕av2)=/(UKo)=W°o由式可得0A=U0Vh=lwlvih+2w2vj1+rwrv"称式为矩阵A的奇异值分解.值得注意的是：在奇异值分解中,%，“，川，,”是44H的特征向量，而V的列向量是AHA的特征向量，并且44H与AHA的非零特征值完全相同.但矩阵A的奇异值分解不惟一.证明2设Hermite矩阵AHA的n个特征值按大小排列为l2>r>r+1=n=0.那么存在阶酉矩阵V,使得4Ho-Vh(AhA)V=J0.2OO1.n将V分块为V=(%，乙)，它的n个列、，乙是对应于特征值4,4,4的标准正交的特征向量.为了得到酉矩阵U,首先考察C桁中的向量组4匕,4%，A5，由于当i不等于/时有所以向量组Au,A%，,A匕是C'"中的正交向量组.又Ilvi|2=vihAhAv.=匕H匕=,所以IIA匕I1.=.令=-4匕=1,2,r,那么得到C"中的标准正交向量组%,%，”，把它扩充成为C'"中的标准正交基%,八山，明,令那么U是机阶酉矩阵.由及前面的推导可得Avi=iui,z=1,2,r；Avi=O,z=r+l,；从而AV=A(v1,v2,vh)=(Av1,Avr,O,0)故有AV=UA,即UHAy=A.12O例1求矩阵A=的奇异值分解.2O2_524解ATA=240的特征值为4=9,4=4,4=0,404单位特征向量依次为匕=或(5,2,4)丁。(O,-l),v3=l(-2,1,2).所以于是可得计算U=AKET=r（八）=2,122-150-252654-32530=02,那么4的奇异值分解为V.在A的奇异值分解中，酉矩阵，的列向量称为A的右奇异向量，的前列是AHA的个非零特征值所对应的特征向量，将他们取为矩阵那么，=(匕,匕).酉矩阵U的列向量被称为A的左奇异向量，将U从前一列处分块为U=(U“5),由分块运算，有从而AV2=O,AV=Ul.因此，有以下结果(1)匕的列向量组是矩阵A的零空间N（八）=耳Ax=0的一组标准正交基；(2)%的列向量组是矩阵A的列空间R（八）=Ax的一组标准正交基；(I)V1的歹IJ向量组是矩阵A的零空间N（八）=xAx=0正交补R(AH)的一组标准正交基；(1)U?的列向量组是矩阵A的列空间R（八）=Ax正交补N(AH)的一组标准正交基.在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多重要信息.更进一步，由于u=(%,%,%)，V=(v,v2,v11),可借助于奇异值分解，将A表示为归纳这一结果，有如下定理.定理设AC"x",A的非零奇异值为5%5,%是应于奇异值的左奇异向量，是应于奇异值的右奇异向量，那么A=1u1vl,+2u1y+rurv'r.上式给出的形式被称为矩阵A的奇异值展开式，对一个攵略去A的一些小的奇异值对应的项，去矩阵4为Ak=1Mlv1,+2u2vl+kui,vl.那么A是一个秩为k的m×n矩阵.可以证明，AA是在所有秩为k的m×n矩阵中，从FrobeniUS范数的意义下，与矩阵A距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个阳X阶像素矩阵来储存，存储量mx是个数.如果利用矩阵的奇异值展开式，那么只要存储A的奇异值,奇异向量%,匕的分量，总计r(n+l)个数.取利=1000,片100作一个比拟，n×n=1000000,rtm+n+)=100(1000+1000+1)=200100.取A的奇异值展开式，存储量较A的元素情形减少了80%.另外，可取女<小用&逼近A,能够到达既压缩图像的存储量，又保持图像不失真的目的.由矩阵A的奇异值分解可得可见，A是矩阵科,尺，的加权和，其中权系数按递减排列12r>0.显然，权系数大的那些项对矩阵A的奉献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵4,这一点在数字图像处理方面非常有用.矩阵的秩女逼近定义为秩逼近就精确等于A,而秩1逼近的误差最大.矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书,如StevenJ.1.eon的线性代数.3矩阵/的奇异值分解与线性变换图设A是一个秩为r的小复矩阵，即AGCE,rank（八）=r,那么由=T（八）=Aa可以定义线性变换7；:CMC/w.设矩阵A有奇异值分解A=UVh,那么将矩阵VCgf的列向量组v1,v2,vn取作空间C"的标准正交基；那么将矩阵UC冈"的列向量组%,%，川取作空间C"的标准正交基，那么在所取的基下，线性变换7；对应的变换矩阵就是W.设以wC”,在基匕,%，与下坐标向量为X=(X,%，%)二Q=V<r那么在线性变换7；下的像尸具有形式：=7；（八）=Aa=(uvil)V=u()=ur.<°>其中5,%,，5是A的非零奇异值，所以，的像2=43)在C'"中基,%,um下的坐标是y=x=(1x1rxr0O)1.从中可以看出，当rank（八）=r时，在取定的基下，线性变换7；()的作用是将原像坐标中的前，个分量分别乘以A的非零奇异值?,。2,，巴，后(-分量化为零.如果原像坐标满足条件：那么像坐标满足条件:(e)2+(含2+件)2<J在rank（八）=厂=时，等式成立.因此，有如下定理.定理设A=UiyH是机X实矩阵A的奇异值分解，rank（八）=r,那么R中的单位圆球面在线性变换北下的像集合是：(1)假设厂=，那么像集合是R”'中的椭球面;(2)假设r<，那么像集合是R”'中的椭球体.12O例2设矩阵A二,求R3中的单位圆球面在线性变换：y=Ax下的_2O2像的几何图形.解由例1,矩阵A有如下奇异值分解rank（八）=2<3=%由定理，单位球面的像满足不等式犬+必<1系+U即单位球面的像是实心椭圆"+1.94奇异值分解在下1O求矩阵A=O111OO的奇异值分解.O