矩阵分析及其应用.ppt

第六章 矩阵分析及其应用,虽然在微积分开端时期贝克莱将无穷小称为“上帝的幽灵”，进而导致“第二次数学危机”，直到柯西的“极限论”和戴德金等的“实数理论”的出现危机才算彻底解决。但微积分在近代社会的巨大作用我们早已深有体会，将微积分中的极限、导数、积分、级数等分析思想和方法应用于矩阵的研究，自然就在情理之中。,1、矩阵序列与矩阵级数,微积分的基础是数列极限的收敛理论及其衍生出来的级数理论。矩阵可看成一个“超数”，因此类比可得矩阵序列与矩阵级数，只要找到度量两个“超数”距离的适当工具。在矩阵里，这就是范数。尽管使用给定基下的分量和元素等也可以，但明显用范数记号简洁明晰，且有助于证明。,一、矩阵序列的收敛性,定义1 设有 中的矩阵序列,这里。,如果，则称此矩阵序列收敛，其极限为，记为,根据矩阵序列收敛性的定义，可证明下列性质。,定理2 中的矩阵序列 分别收敛于，则,定理3 中的矩阵系列 分别收敛于，则,定理4 中的矩阵序列 收敛于，且所有 和 都可逆，则,注意定理中条件“所有 和 都可逆”必不可少，例如下面的 不可逆，虽然 可逆，且,用矩阵的范数理论来研究矩阵序列的收敛性是最常用、最简洁的方法。,特别地，若，则 的充要条件是,定理5 中的矩阵序列 收敛于 的充要条件是对任意一种矩阵范数，都有,证明：,所以,由范数的等价性，对于 上任意一个范数，必存在正常数，使,由于向量是特殊的矩阵，因此我们有,推论1 中的向量序列 收敛于 的充要条件是对任意一种向量范数，都有,联想到等比数列 收敛当且仅当，类似地，我们有,最常见的矩阵序列是方阵的幂构成的矩阵序列。,定理6 中的矩阵 是收敛矩阵，即,的充要条件是矩阵 的谱半径小于1，即,证明：,设矩阵 的Jordan分解为,则,从而由定理3可知，,这里规定 时，,由于谱半径不易计算，联系到谱半径不超过任何一种矩阵范数，实际常用范数来判断矩阵是否是收敛矩阵。只有很难找到这样的范数，才计算出矩阵的所有特征值，进而得到谱半径。,定理7 中的矩阵 是收敛矩阵的充分条件是存在一种矩阵范数，使得,二、矩阵级数,定义8 设有 中的矩阵序列，矩阵级数指的是无穷和,称矩阵级数收敛，且其和为，如果其部分和序列收敛于，即,这是因为,显然，矩阵级数 收敛时其通项 是收敛矩阵，即,这个结果与数项级数一致。,定义9 中的矩阵级数 称为绝对收敛的，如果数项级数,都绝对收敛。这里,定理10 中的矩阵级数 绝对收敛的充要条件是正项级数 收敛，这里矩阵范数是任意的。,同数项级数相吻合的是，判定矩阵级数是否绝对收敛可借助范数理论转化为判定正项级数的敛散性。,证明：必要性。,从而,若级数 绝对收敛，则 都收敛，故,所以正项级数 收敛。,根据范数的等价性，对任意矩阵范数，正项级数 收敛。,证明：充分性。,若级数 收敛，则由矩阵范数的等价性可知，正项级数 收敛，故,所以 都收敛，即 绝对收敛，因此矩阵级数 绝对收敛。,定义11 中的矩阵级数,称为矩阵 的幂级数。这里.,由前可知矩阵的幂级数是实变量的幂级数 以及复变量的幂级数 的推广，因此讨论矩阵幂级数的收敛性问题自然就与复变量的幂级数的收敛半径联系起来。,定理12 设幂级数的收敛半径为，则,当 时幂级数 收敛；,当 时幂级数 发散。,证明：,设矩阵 的Jordan分解为,则,从而,其中,这里规定 时，,绝对收敛，故矩阵幂级数 绝对收敛。,则当 时幂级数,当 时矩阵 必有某个特征值，从而幂级数 发散，因此矩阵幂级数 发散。,绝对收敛，故矩阵幂级数 绝对收敛。,最后讨论最特殊的诺伊曼(Neumann)级数,即,幂级数 的收敛半径是，并且收敛于,所以我们通过类比可以得到,定理13 上的诺伊曼(Neumann)级数收敛的充要条件是。并且诺伊曼(Neumann)级数收敛于,定理14 对 上满足 的相容矩阵范数。如果，则有误差估计式,定理14的证明需要用到上一章的引理6，即：,引理6 对，若，则矩阵 非奇异，且,证明：,所以Neumann级数收敛。则,由于，由题知,两边取范数，并利用引理6，得,2、矩阵函数及其计算,矩阵函数在力学、控制理论及信号处理等学科中具有重要应用。类比普通函数，矩阵函数的特殊之处在于其自变量与因变量都是方阵。对应于矩阵函数的多种表示方式(幂级数、Jordan表示、多项式表示、积分表示等)，定义矩阵函数的方式也很多。,一、矩阵函数的定义及性质,定义1 设一元函数 可展开为收敛半径为 的幂级数，即,矩阵 的谱半径，则矩阵函数 即为相应的矩阵幂级数(收敛时)的和，即,在高等数学和复变函数中，有幂级数展开式：,相应地，我们有矩阵函数：,以及含参数的矩阵函数：,根据欧拉公式，可以推出：,遗憾的是，指数运算规则一般不成立：,例如，令,有,则,可以验证 确实两两不等。,那么什么条件下指数运算规则成立呢？,定理2 如果，那么,证明：,而,推论 设，则,二、矩阵函数的计算,由矩阵函数的定义，矩阵函数的计算转化为矩阵幂级数和的计算，主要就是矩阵幂的计算。,首先联想到矩阵的对角化问题，即希望利用特征值分解来计算矩阵函数。由于对角矩阵的对角元就是矩阵的特征值，而相似矩阵就是相应的特征向量构成的矩阵。这样对任意矩阵，则可以使用Jordan分解。这两种方法的计算都比较复杂，因此最后我们给出待定系数法。,特征值分解法,计算原理 设可对角化矩阵 的特征值分解为,则有,例 3 求矩阵函数 和，其中,解：矩阵 的特征值为,对应的特征向量为,对应的特征向量为,因此相似矩阵为,从而,利用幂级数求矩阵函数，要求相应的函数必须能够展开成收敛的幂级数，这个条件一般不容易满足。而根据特征值分解法，我们可以根据矩阵的谱即矩阵的特征值的集合来定义矩阵函数，这样就拓宽了矩阵函数的定义范围，尤其是对那些不能展开成收敛的幂级数的函数也可以定义出相应的矩阵函数。,三、基于Jordan分解的矩阵函数的定义,设任意矩阵 的Jordan分解为,则对于任意复系数多项式，有,其中,一般地，如果矩阵 的最小多项式为,则对于任意复值函数，只要,有意义，我们就说函数 在矩阵 的谱 上有定义。,则定义任意复值函数 的矩阵函数为,定义4 设复值函数 在矩阵 的谱上有定义，矩阵 有Jordan分解,其中,Jordan分解法,计算原理 设任意矩阵 的Jordan分解为,则有,其中,例 5 求矩阵函数 和，其中,解：求得 的Jordan分解为,其中,当 时，则,当 时,例 6 求矩阵函数，其中,解：求得 的Jordan分解为,其中,例 7 求矩阵函数，其中,解：求得 的Jordan分解为,其中,在定义4中，矩阵函数 只与函数 在 上的值有关，这启发我们，如果能够求出一个尽可能简单的函数（比如复系数多项式），使得两者在 上等值，那么便有。此就是著名的Hermite多项式插值问题。,则存在唯一的复值多项式函数，使得,定理8 设复值函数 在矩阵 的谱上有定义，矩阵 有最小多项式,以及,待定系数法,计算原理 设矩阵 的特征多项式为,由带余除法，设有,确定出余式,再根据Cayley-Hamilton定理，有,从而,则可由,例 9 求矩阵函数，其中,解：矩阵 的特征多项式为,因此设,则,解得,因此,四、矩阵函数的最完美定义(不要求掌握),定义10 设复值函数 在闭曲线 的内部解析，且 包围了，则矩阵函数为,显然这是复变函数中Cauchy积分定理的矩阵形式。,需要指出的是，数值软件Matlab中使用expm、logm、sqrtm等计算相应的矩阵函数。其中涉及到的算法主要分为特征值方法（特征值分解、Jordan分解、Schur分解等）和逼近方法（泰勒逼近、pade逼近等）。考虑到计算复杂性及稳定性，实现时前者使用的是Schur分解法，后者是Pade逼近法。详见Golub&Van Loan矩阵计算。,3、矩阵的微分与积分,实际使用时，矩阵函数与函数矩阵的微分、积分常常同时出现。研究矩阵函数和函数矩阵的微分、积分，这对研究微分方程组以及优化问题等都非常重要。其中尤为重要的是梯度分析的方法，张贤达在矩阵分析及应用中将之列为矩阵分析的五大分析方法之首，并有详细介绍。,一、一元函数矩阵的微积分,定义1 设有函数矩阵。称矩阵 可微，如果其每个元素 都是可微函数，且微分为,定义2 设有函数矩阵。称矩阵 的微分为满足下式的矩阵：,联想到普通函数 的微分 也满足下式：,定理 3 设 和 都是可微矩阵，则,这里 为可微矩阵。,遗憾的是，链氏法则对矩阵值函数并不成立。例如对矩阵多项式函数 显然,上式中，要使法则成立，显然需要补充条件,如此，对多项式函数，才能成立链式法则,定义4 设有函数矩阵。称矩阵 二阶可微，如果其每个元素 都是二阶可微函数，且二阶微分为,一般地，不难给出矩阵的高阶导数。,定义5 设有函数矩阵。称矩阵 在 上可积，如果其每个元素 都在 上可积，且积分为,容易验证矩阵积分具有下列性质：,这里 为常量矩阵。,定理 6 设 和 都在 上可积，则,定理 7 设 在 上连续，则成立微积分基本定理：,定理 8 设 在 上连续，则成立牛顿-莱布尼兹公式：,例 9 矩阵 为任意常量方阵，证明,例10 设矩阵，证明,因为矩阵的迹是线性函数，即,例10说明对函数矩阵A(t)而言，求导和A(t)的线性函数l(A(t)可以交换运算次序，即,二、函数对向量的微分,定义11 设有多元函数。定义函数 对 的微分(即梯度)为向量,显然，梯度的各分量给出了标量函数在该分量上的变化率，从而指出了此函数的最大增长率。,例12 对双线性型,有,特别地，有,例13 对二次型,有,特别地，当 对称时，有,有,例14 当 对称时，对二次泛函,因此求二次泛函 的极值问题转化为求方程组 的解，即二次泛函 的稳定(Stationary)点是可能的极值点。,定义15 设有多元函数。定义函数 对 的微分(即行梯度)为行向量,定义16 行向量值函数 对列向量 的微分为Jacobi矩阵（行对列）,将梯度推广到向量值函数，我们有,定义17 列向量值函数 对行向量 的微分为Jacobi矩阵（列对行）,特别地，当 时，有Jacobi行列式,例18 对，有,例19 对，有,都是行对列,例20 推广例13的结论。对,有,例21 链式法则,例 22（二重积分的坐标变换）,直角坐标系下的二重积分,变成相应的极坐标下的二重积分,经过变换,定义23 多元函数 对列向量 的二阶微分为Hessian矩阵,其Hessian矩阵为,例 24 当 对称时，对二次泛函,如果矩阵 还是正定的，并且存在，使得，则由 可知 是二次泛函的局部极小点。,实际应用中经常要考虑诸如矩阵的迹、矩阵的行列式等矩阵标量函数与矩阵元素值变化之间的关系，比如扰动分析中某个矩阵元素值的变化对矩阵的迹的影响等。矩阵标量函数显然可理解为 元的函数，即,因此有必要将梯度推广到矩阵标量函数。,三、矩阵标量函数对矩阵的微分,定义25 设有矩阵标量函数。函数 对 的微分为梯度矩阵,例 27 对双线性型,有,例 26 对矩阵的迹,有,因此,例 28 对矩阵乘积的迹,有,四、矩阵对矩阵的微分,定义28 设矩阵值函数 的元素 都是矩阵标量函数。矩阵函数 对 的微分指的是 矩阵,其中,例 29 已知，设，求,解：因为,所以,4、矩阵函数的应用,矩阵函数经常与函数矩阵（包括向量值函数及 矩阵）联系在一起。而“线性化”是处理问题的一种思维方式，比如控制中的线性系统理论。两者的结晶最典型的就是线性微分方程组在线性系统中的应用。“非线性问题”目前主要还是通过“线性化近似”来解决的。,一、线性齐次微分方程组,齐次微分方程,的通解为,将 推广到向量，将系数 推广到对角矩阵以及块对角矩阵，结论仍然成立,此时有,对于任意系数矩阵，注意到Jordan分解,令，则方程组的最简解耦为,因此,从而,定理1 线性常系数齐次微分方程组,的通解为,这里，是常数矩阵，,证明 由于,两边积分得,因此,例 2 求常系数线性齐次微分方程组,在下列初始条件下的解：,解：方程组的矩阵形式为,这里,根据定理1，其解为,矩阵 的Jordan分解为，这里,这时,因此所求微分方程组的解为,二、线性非齐次微分方程组,非齐次微分方程,的通解为,将 推广到向量，将系数 推广到任意矩阵，结论仍然成立。,定理 3 线性常系数非齐次微分方程组,的通解为,这里，其他与定理1相同。,两边积分得,即,证明 用 乘方程两边，并整理得,再用 乘方程两边，并整理即得结果。,例 4 求常系数线性非齐次微分方程组,满足初始条件 的解，这里,解：矩阵 的特征值分解为，这里,因此,因此所求微分方程组的解为,线性定常连续系统的状态方程为,其通解为,三、应用：线性定常系统的状态转移矩阵,这里第一项(零输入响应)是由初始状态引起的系统自由运动，第二项(零状态响应)是由控制输入 所产生的受控运动。,由于变换矩阵 起着一种状态转移的作用，称为状态转移矩阵。显然它表征了从初始状态 到当前状态 的转移关系。而且从本质上看，无论是初始状态引起的运动（第一项），还是由输入引起的运动（第二项），都是一种状态转移，都可用状态转移矩阵来表示。实际上,根据定义可以证明，状态转移矩阵满足,以及,这与下列关系显然吻合：,四、矩阵微分方程,很容易验证，矩阵微分方程,的解为,这里 是未知函数矩阵。,而且，可以成立Jacobi恒等式：,因此，当 为非奇异矩阵时，方程 的解都是非奇异的。,特别地，当 时，方程 的解 称为 的基本解矩阵。,Jacobi恒等式的证明：,注意到,这说明方程 的解 都可以用基本解矩阵 来表示，即,令，则,那么基本解矩阵 又如何表示呢？,先退到常系数线性齐次微分方程组,它的解为,因此我们猜测：,令，则,将 展开成矩阵幂级数：,又因为,因此只有当 时，才有,并且在该条件下，方程 的解为,根据矩阵微分方程理论，线性时变系统齐次状态方程,的通解应为,五、应用：线性时变系统的状态转移矩阵,这里基本解矩阵 为下列方程的解：,基本解矩阵 仍然起到状态转移的效果，那么它是否还具有 的性质呢？,将方程 的通解记为，则很容易验证此通解对初始条件是线性的，即,因此，线性无关当且仅当 也线性无关,注意到,因此,这里矩阵 满足方程，因此就是基本解矩阵。,如果以方程 的 个线性无关解为列构成矩阵，那么容易验证,由此出发，显然也可以证明,对线性时变连续系统非齐次状态方程,类比可知，其通解应为,通解中，第一项(零输入响应)仍是由初始状态 引起的系统自由运动，第二项(零状态响应)仍是由控制输入 所产生的受控运动。,前已提及，只有当 时，线性时变系统的状态响应才具有上述封闭形式。但此条件一般不成立。因此这种统一的表示更具有理论意义。,设，则,证明：,因此,两边积分，得,对一个控制系统，存在kalman提出的两个基本问题：1）在有限时间内，控制作用能否使系统从初始状态转移到要求的状态？此即控制作用对状态变量的支配能力（状态的能控性问题）。2）在有限时间内，能否通过对系统输出的测定来估计系统的初始状态？此即系统的输出量能否反映状态变量（状态的能观测性问题）。,六、应用：线性时变系统的能控性和能观测性,定义5 对于线性时变系统,如果在任意有限时间区间 内，存在控制向量，将系统从初始状态 转移到任意终端状态，则称此系统是能控的。,定理6 线性时变系统 在定义时间区间 内状态完全能控的充要条件是Gram矩阵,如何判定系统的能控性呢？,定理6从理论上给出了系统是否完全能控的统一判别准则，但用于实际则要计算状态转移矩阵，显然困难。,非奇异。我们称矩阵 为能控性矩阵。,构造控制向量,则,因此,这说明任何初始状态 在时间 内都可以被转移到零状态。,对于线性定常系统,假设 且，则,(Cayley-Hamilton定理),即有方程组,因此，如果 矩阵 行满秩，则从方程组 可得控制信号。,行满秩。,定理7 线性定常系统 在定义时间区间 内状态完全能控的充要条件是能控性矩阵,定义8 对于线性时变系统,如果在任意有限时间区间 内，能通过观察系统的输出向量 而唯一地确定系统的初始状态，则称此系统是能观测的。,定理9 线性时变系统 在定义时间区间 内状态完全能观测的充要条件是Gram矩阵,如何判定系统的能观测性呢？,定理9也从理论上给出了系统是否完全能观测的统一判别准则，但用于实际也要计算状态转移矩阵，显然困难。,非奇异。我们称矩阵 为能观测性矩阵,因为,所以,从而,所以当 非奇异时可唯一确定,对于线性定常系统,假设，则，从而,(Cayley-Hamilton定理),即有方程组,由于矩阵 非奇异，因此当矩阵 列满秩时，由输出向量 可得初始状态,列满秩。,定理10线性定常系统 在定义时间区间 内状态完全能观测的充要条件是能观测性矩阵,