第五章范数及其应用ppt课件.ppt

《第五章范数及其应用ppt课件.ppt》由会员分享，可在线阅读，更多相关《第五章范数及其应用ppt课件.ppt（112页珍藏版）》请在三一办公上搜索。

1、第五章 范数及其应用,虽然在微积分开端时期贝克莱将无穷小称为“上帝的幽灵”，进而导致“第二次数学危机”，直到柯西的“极限论”和戴德金等的“实数理论”的出现危机才算彻底解决。但微积分在近代社会的巨大作用我们早已深有体会，将微积分中的极限、导数、积分、级数等分析思想和方法应用于矩阵的研究，自然就在情理之中。,对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。,对于 维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长

2、度的概念推广到范数。,1、从向量范数到矩阵范数,一、 从向量的长度或模谈起,，当且仅当 时，等号成立。,例 1复数 的长度或模指的是量,显然复数 的模 具有下列三条性质：,，当且仅当 时，等号成立。,显然向量 的模 也具有下列三条性质：,例 2 维欧氏空间 中向量 的长度或范数定义为,定义3如果 是数域 上的线性空间，对 中的任意向量 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：,则称 是向量 的向量范数，称定义了范数的线性空间 为赋范线性空间。,例 4 设 是内积空间，则由,定义的 是 上的向量范数，称为由内积 导出的范数。这说明有内积必有范数，有范数则

3、未必有内积，即范数未必都可由内积导出。例如后面介绍的 范数 和 都不是由内积导出的范数。,拓扑空间,线性空间,Hausdorff空间,赋范空间,距离空间(度量空间),拓扑线性空间,完备距离线性空间,距离线性空间,内积空间,Hilbert空间,Banach空间,欧氏空间 和,各类空间的层次关系,二、 常用的向量范数,例 7 对任意 ，由,定义的 是 上的向量范数，称为p -范数或 范数或Holder范数。,定义的 是 上的向量范数，称为1-范数或 范数或和范数，也被风趣地称为Manhattan范数。,特别地，p = 1 时，有,例 8 对任意 ，由,A,B,C,遗憾的是，当 时，由,定义的 不是

4、 上的向量范数。,因为 时，取 ，则,定义的 是 上的向量范数，称为 -范数或 范数或极大范数。,在广义实数（即将“无穷”看成数）范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？,例 9 对任意 ，由,（1）正定性：,（2）正齐性：,（3）三角不等式：,令,解 ：,%exm501.m a=3*i,-4*i,0，-12; norm(a),norm(a,1),norm(a,inf),ans = 13ans = 19ans = 12,这些范数在几何上如何理解呢？,例11 对任意 ，对应于 四种范数的闭单位圆 的图形分别为,对于任意 ，有,当 时， ；当 时由 知 ，即 。,由于 ，故存在

5、酉矩阵 ，使得,从而有,这里 的特征值 都为正数。,因此对任意 ，,即定理2.4.9,从几何上可以理解成求可逆变换 的像 的“长度” 。这说明只要运算 成立即可，因此对矩阵 的要求可放宽为列满秩矩阵。,如果 ，此时这就是加权范数或椭圆范数名称的由来。,为李雅普诺夫（Lyapunov）函数，这里 是正定Hermite矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。,在现代控制理论中，称二次型函数,例 13 （模式识别中的模式分类问题）,模式分类的问题指的是根据已知类型属性的观测样本的模式向量 ，判断未知类型属性的模式向量 归属于哪一类模式。其基本思想是根据 与模式样本向量 的相

6、似度大小作出判断。,最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离,其他距离测度还包括,以及与椭圆范数类似的Mahalanobis距离：,这里 是从正态总体 中抽取的两个样本。,特别地， 范数、 范数和 范数分别为,定理15 设线性空间 中任意向量 在基下的坐标向量为 ，则是 上的向量范数。,三、 向量范数的几个性质,定理16 Euclid范数是酉不变的，即对任意酉矩阵 以及任意 ，均有,这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。,注意这个结论对无限维未必成立。

7、另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。,定理17 有限维线性空间 上的不同范数是等价的，即对 上定义的任意两种向量范数 ，必存在两个任意正常数 ，使得,向量是特殊的矩阵， 矩阵可以看成一个 维向量，因此自然想到将向量范数推广到矩阵范数。,2、矩阵范数,定义1 对 中的任意矩阵 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：,则称 是矩阵 的（广义）矩阵范数。,一、 矩阵范数的概念,例 2 对任意 ，由,定义的 是 上的矩阵范数，称为 范数。,时退化为 中的1范数；,时退化为 中的

8、1范数。,例 3 对任意 ，由,定义的 是 上的（广义）矩阵范数，称为 范数。,时退化为 中的 范数；,时退化为 中的 范数。,例 4 对任意 ，由,定义的 是 上的矩阵范数，称为 范数或Euclid 范数或Schur范数或Frobenius范数(F范数)或Hibert-Schmidt范数。,时退化为 中的2范数；,时退化为 中的2范数。,二、 算子范数和范数的相容性,矩阵不仅仅是向量，它还可以看成变换或算子。 实际中，从算子或变换的角度来定义范数更加有用。,定义5 对 中的任意矩阵 ，用一个非负实数 表示对于任意向量 ， 可以“拉伸”向量 的最大倍数，即使得不等式成立的最小的数 。称 为范数

9、 和 诱导出的矩阵范数或算子范数。,由矩阵范数的正齐性可知 的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在 下的像来定义算子范数，即,从几何上看，算子范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例 的上界。,而且考虑到矩阵乘法的重要地位，因此讨论矩阵范数时一般附加“范数相容性”条件（这里的范数一般要求是同类的）：,注意到即,例6 证明：前面给出的矩阵范数 都满足“相容性条件”，即成立,但是矩阵范数 不满足“相容性条件”。例如对于矩阵,就有,要使矩阵范数 满足“相容性条件”，则可以修正其定义为：,在“相容性条件”中，如果 而且范数 与范数 相同时，即如果有

10、则称矩阵范数 与向量范数 是相容的。,证明：,定理7 上的矩阵F-范数与 上的向量2-范数相容。,(柯西不等式),根据算子范数的定义，当向量范数 分别为 时，我们可诱导出相应的相容矩阵范数 。,三个诱导范数,设任意矩阵 ，则1-范数单位球,在 下的像中的任意向量 满足,从而,如果 ，则选取 ，此时由 ，得,因此,类似地可得，,实际上，这些诱导矩阵范数具有如下的表示定理。,定理8 对 中的任意矩阵 ，有,最大列和,最大行和,最大谱,证明：,所以 ,因此其特征值全部为非负实数，设为,并设对应的两两互相正交且2-范数都为1的特征向量为 ，那么，对于任意的单位2-范数向量 ，必成立,所以,因此成立,另

11、外，由于 ，而且,同样给出这些范数在几何上的理解。,例 9 求矩阵的 范数（ ），并考察对应于 的三种向量范数的闭单位球在矩阵 作用下的效果。,%exm502.m A=1 2;0 2; norm(A),norm(A,1),norm(A,inf),ans = 2.9208ans = 4ans = 3,定理10 有限维线性空间 上的不同范数是等价的，即对 上定义的任意两种矩阵范数 ，必存在两个任意正常数 ，使得,三、矩阵范数的一些性质,定理11 上的谱范数具有下列性质：,(1),设有 使 ，令 ，则有,证明：,(2),(3),设有 使 ，则,定理12 上的矩阵F-范数和谱范数都是酉不变的，即对任意

12、酉矩阵 ，恒有,令,则,即,对于谱范数的情形，利用定义即可。,对于谱范数， 这个定理的结论可以推广到半酉矩阵，即的情形，此时仍然成立,利用定理26可以证明这个推广结论。,定理13 对矩阵 ， 表示矩阵 的 个非零奇异值，则,%exm503.m H=hilb(20); /Hilbert矩阵 norm(H,2)； /计算H的2范数max(svd(H)； /计算H的2范数,ans = 1.9071,长度和距离在实分析和复分析中的应用，我们已经有充分认识，而范数是长度和距离的推广，因此范数作为一种推广的度量，由于其抽象性和概括性，其应用范围自然也随之扩展。至少在矩阵分析和数值线性代数领域，范数有着深刻

13、的应用。,3、范数的几个应用,一、谱半径与矩阵范数,根据矩阵的诱导范数的含义，结合特征值，,设 为 的任意特征对，则,从而,这说明矩阵特征值的模都不超过它的范数。,定义1 设 的特征值为 ，称,为矩阵 的谱半径。,定理2 对 的任意矩阵范数 ，恒有,当 是正规矩阵时，等号对2-范数成立。,当 是正规阵时，有特征值分解,从而,证明：,%exm505.mA=-1 1 0;-4 3 0; 1 0 2;%方法一 r=vrho(A) %使用内置函数vrho%方法二 r=max(abs(eig(A) %使用内置函数vrho的定义%方法三D=jordan(A)r=norm(D,inf) /最大特征值,r =

14、 2,定理4 对 ，存在 上矩阵范数 ，对任意 ，恒有,定理2给出了方阵谱半径的的一个上界，那么矩阵谱半径的下界呢？,注意这里的矩阵范数与矩阵 有关。,对任意矩阵 ，存在Jordan标准型,其中 ，,证明：,令 ，则,从而,易证函数 是 上的矩阵范数，这里,例5 设 为 的单位列向量 ,令 ， 则(1) ；(2) ；(3),(1) 因为 ，所以,(2) 因为秩 ，并且 是对称矩阵，所以1是矩阵 唯一的非零特征值，因此矩阵 的特征值为 ，从而,(3),二、矩阵逆和线性方程组解的扰动分析,例 6 线性方程组,的精确解为,如果系数矩阵和常数项分别有一个扰动,则扰动后的线性方程组为,它的精确解为,显然

15、，由于原方程组本身的固有性质导致原始数据的小扰动引起解的很大变化，我们称这样的问题是病态的（敏感的）或不稳定的。,下面定量分析系数矩阵和常数项的扰动对线性方程组解的影响。,设非奇异线性方程组 ，经扰动后仍有唯一解 ，即成立,因此,两边取范数，并缩放，得,如果有 ，则,绝对误差估计式,再由 ，可得,即,因此,这里,相对误差估计式,显然在相对误差估计式中，系数 反映了方程组解 的相对误差对于系数矩阵 和常数项 的相对误差的依赖程度。 越大，方程组解的相对误差也越大。,定义 7 对非奇异线性方程组 ，称数,为求解此线性方程组的条件数。,问题是非奇异线性方程组 经过扰动后未必有唯一解，也即非奇异矩阵

16、经过什么样的扰动后得到的矩阵 仍然是可逆的呢？扰动对逆矩阵又有何影响？,由于,两边取范数，并缩放，得,因此,下一步需要缩放 ，由于,假定 可逆，两边取范数，并缩放，得,因此,令 ，由于,即,两边取范数，并缩放，得,如果有 ，则,下一步需要缩放 。,并且 的任意特征值 ，从而 的特征值 均不为零，因此矩阵 可逆。,定理8 对 ，若 ，则矩阵 非奇异，且,从而由定理34，得,由于 ，将条件 修改为 ，此时仍有,绝对误差估计式,即,相对误差估计式,定义9称数,为可逆矩阵 关于求逆的条件数。,定理36 设 非奇异，且 。如果扰动矩阵 满足条件,则扰动后的矩阵 为非奇异矩阵，并且,定理37 设 非奇异，

17、且 。如果扰动矩阵 满足条件,则非齐次线性方程组 经过扰动后的方程组 有唯一解有唯一解 ，并且,%exm506.m A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001; %扰动 k=cond(A1) %矩阵A的条件数 Ab1=A1 b1; UC1,ip1=rref(Ab1) %内置函数rref化矩阵为最简形 UC(:,ip1)=; %删掉主元列 x1=UC1 %余下的就是原方程组的解 A2=A1+dA;b2=b1+db; Ab2=A2 b2;UC2,ip2=rref(Ab2);UC2(:,ip2)=; x2=UC2 %扰动后的方程组的

18、解dx=x2-x1;rx=100*norm(dx)/norm(x1) %解的绝对误差和相对误差,k = 3.9206e+004 x1 = 100 -100 x2 = -0.1000 1.1111rx = 100.6068,%exm504.m(续) A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001;%扰动 k=cond(A1) %矩阵A的条件数 IA1=inv(A1) %原矩阵的逆 IA2=inv(A2) %扰动后的逆 dIA=IA2-IA1; rIA=100*norm(dIA)/norm(IA1) %逆的绝对误差和相对误差,k =

19、3.9206e+004 IA1 = 1.0e+004 * -0.9800 0.9900 0.9900 -1.0000IA2 = 100.0000 -100.0000 -100.0000 101.0101rIA = 101.0126,则有,这就是矩阵 的秩1 分解 。,这里,如果将矩阵 的SVD中的对角阵 分解为,三、矩阵的低秩逼近及其应用,根据矩阵 的秩1 分解，可以证明，在所有秩为 的矩阵中，以矩阵离矩阵 的“距离”最近，也即矩阵 是矩阵 的最佳秩 逼近，也就是包含 中的“能量”最多的秩 矩阵。,定理38对任意矩阵 ， 为矩阵 的SVD， ，且这里 为 的非零奇异值，则,证明：由 知,所以,

20、对任意满足 的矩阵 ，存在单位正交向量 ，使得其零空间为,由维数可知，存在2范数单位向量 ，使得,设 ，则,注意到 ，因此,从几何上看，用 为长、短轴作成的椭圆是所有椭圆中离矩阵 对应的超椭圆“距离”最近的；如果使用 为轴作成椭球体，则得到所有椭球体中离矩阵 对应的超椭圆“距离”最近的椭球体。按这种方式， 步之后，就得到了 的全部信息。但即使到了第 步，我们也只利用了 个数据，即矩阵的奇异值和对应的左右奇异向量。,例 39 （图像压缩）,对于一幅用 像素矩阵 表示的图像，如果传送所有 个数据，显然数据量太大。因此我们希望传送少一些的数据，并且在接收端还能重构原图像。如果我们从矩阵 的SVD中选择 个奇异三元组 来逼近原图像，即用 个数值代替像素矩阵 。那么在接收端，我们可得到,从而在接收端近似地重构出原图像。此时，图像的压缩比为,% exm507.mload clown.mat; % clown是内置的200X320像素的图像U,S,V=svd(X);colormap(gray);k=3; %修改k值即可X1=U(:,1:k)*S(1:k,1:k)*V(:,1:k)image(X1),