毕业设计（论文）矩阵方程AX+XB=D的极小范数最小二乘解.doc

题目：矩阵方程AX+XB=D的极小范数最小二乘解姓 名 学 号 指导教师 专 业 学 院 摘 要矩阵理论既是学习经典数学的基础，又是一门最有实用价值的数学理论。它不仅是数学的一个重要的分支，而且也已经成为现代各科技领域处理大量有限维空间形式与数量关系的强有力的工具。特别是计算机的广泛应用，为矩阵论的应用开辟了广阔的前景。例如，系统工程、优化方法以及稳定性理论等，都与矩阵论有着密切的联系。当前，在矩阵理论领域，对矩阵方程解的研究一直是最热点的问题之一，矩阵方程及其解的问题在生物学、电学、光子光谱学、振动理论、线性最优控制等很多领域都有重要的应用。矩阵方程解的研究与探索更是没有间断过，可见该方程的求解问题确实是一个非常重要的课题。本文将围绕该命题展开讨论，利用矩阵的直积（Kronecker积）、按行拉直和矩阵的满秩分解等算法解出矩阵方程的极小范数最小二乘解，并且它可由Moore-Penrose逆表出。关键词：矩阵方程 极小范数最小二乘解 矩阵的直积（Kroneck积） 满秩分解算法 Moore-Penrose逆ABSTRACTMatrix theory is the foundation of learning classical mathematics, as well as one of the most meaningful mathematical theories. It is not only an important branch of mathematics, but also has become a powerful tool of handling many relationships between the finite dimension space structures and quantities in varity fields of modern technology. The extensive use of computer has brought a bright prospect to the application of matrix theory. Many problem have close relation with matrix theory, such as system engineering, optimization method, stability theory, and so on.Nowadays, the research on matrix equations has been turning into one of the hottest topics in matrix theory . It is widely used in different areas, for example, biology, electrics, spectroscopy, vibration theory, linear optimal control, etc. And people have researched and explored the solution of matrix equation all the time, which means the subject study is absolutely crucial. This paper discusses the available solutions of matrix equation, using Kronecker product, full rank decomposition of matrix to obtain the minimal norm least squares solution of matrix equation . And it can be expressed by Moore-Penrose inverse.Key words: matrix equation; the minimum norm least squares solution; Kronecker product; full rank factorization algorithm; Moore-Penrose inverse 目 录摘 要1ABSTRACT21 绪论41.1李雅普诺夫矩阵方程应用背景及研究现状51.2 本文的主要工作51.3 符号说明62 预备知识72.1 矩阵的范数72.1.1 矩阵范数的定义82.1.2 矩阵范数的性质82.2 矩阵的直积及其应用102.2.1 直积的概念102.2.2 矩阵直积的性质112.2.3 线性矩阵方程的可解性112.3 矩阵的满秩分解122.3.1 矩阵满秩分解的定义122.3.2 矩阵满秩分解的性质122.4 广义逆矩阵的存在和性质142.4.1 Penrose的广义逆矩阵定义142.4.2 广义逆矩阵的性质142.4.3 Moore-Penrose逆矩阵的计算153 矩阵方程的极小范数最小二乘解163.1 广义逆矩阵与线性方程组的求解163.1.1 线性方程组极小范数最小二乘解的定义163.1.2 矩阵方程转化为线性代数方程组173.2 矩阵方程的求解183.2.1 矩阵方程在相容条件下解的情况193.2.2矩阵方程不相容时解的情况21结论22致谢23参考文献241 绪论矩阵理论既是学习经典数学的基础，又是一门最有实用价值的数学理论。它不仅是数学的一个重要的分支，而且也已经成为现代各科技领域处理大量有限维空间形式与数量关系的强有力的工具。在矩阵理论领域，对矩阵方程解的研究一直是最热点的问题之一，而矩阵方程解的研究与探索更是没有间断过，但几乎所有的结论要么基于矩阵为特殊矩阵（如对称矩阵等）的情形，要么解的表达形式过于繁琐。此外，还有一些文献仅仅只是讨论了解的存在性。而在力学以及控制论等诸多领域利亚普诺夫方程都有着很重要的应用。可见该方程的求解问题确实是一个非常重要的课题，所以，考虑给出该方程的极小范数最小二乘解的表达式也是很有必要的。本文将围绕该命题展开讨论，并且最终给出它的重要应用矩阵方程的最小二乘解以及极小范数最小二乘解。1.1李雅普诺夫矩阵方程应用背景及研究现状在科学与工程中，经常会遇到求解线性方程组的问题。矩阵是描述和求解线性方程组最基本和最有用的数学工具。矩阵有很多基本的数学运算，如转置、内积、外积、逆矩阵、广义逆矩阵等。矩阵方程及其解的问题在生物学、电学、光子光谱学、振动理论、有限元、结构设计、参数识别、自动控制理论、线性最优控制等很多领域都有重要的应用，正是这些领域提出了许多不同类型的线性矩阵方程的模型问题刺激了理论的快速发展,使得线性矩阵方程的求解问题成为当今计算数学领域的热门研究课题之一，经过国内外的专家和学者的不断探索, 迄今为止，线性矩阵方程问题的研究已取得了一系列丰硕的成果。对于矩阵方程, 1955年, Penrose得到了它有一般解的充要条件和通解表达式；1994年，黄礼平博士研究了四元数体上方阵的标准形与矩阵方程的问题； 2002年，马飞博士研究了矩阵方程的迭代解法问题, 得出方程在不同精度下的解并给出迭代所需步数；2004年, 袁永新教授研究了矩阵方程的最优解问题。1.2 本文的主要工作论文第一章简要的介绍了利亚普诺夫方程研究的实际背景及研究现状；第二章介绍了已有的主要结果、范数理论、矩阵的直积（Kronecker积）、按行拉直和矩阵的满秩分解算法等。第三章为本文的主要工作，本文根据直积的定义及性质可以将矩阵方程拉直为一般的线性方程组，以此为基础，求解经过按行向量拉直转化得到的线性方程组，解出该方程的极小范数解和最小二乘解，虽然最小二乘解一般不是唯一的，但是极小范数最小二乘解确实唯一的，并且它可由Moore-Penrose逆表出。若矩阵方程不相容，则它的极小范数最小二乘解需满足求出的即为矩阵方程极小范数最小二乘解。第四章给出了结论，最后是本文的参考文献与致谢。1.3 符号说明 实数域 实维向量空间 实矩阵空间 秩为的实矩阵的集合 复数域 复维向量空间 复矩阵空间 秩为的复矩阵的集合 矩阵的行列式 维线性空间 矩阵的值域，的列空间 矩阵的秩 单位变换 向量与向量的内积 向量生成的子空间 矩阵的转置 矩阵的共轭转置 矩阵的行列处的元素 矩阵的任意范数 矩阵的Frobenius范数 矩阵的条件数 向量的-范数 矩阵的第个特征值 矩阵与矩阵的直积 矩阵按行拉直所得到的列向量 矩阵的Moore-Penrose逆 矩阵的群逆 2 预备知识2.1 矩阵的范数在计算数学中，特别是在数值代数中，研究数值方法的收敛性、稳定性及误差分析等问题时，范数理论都显得十分重要。本章主要讨论矩阵空间中的矩阵范数的理论及其性质。矩阵空间是一个维的线性空间，将矩阵A看做线性空间中的“向量”，可以按照定义-范数的方式定义A的范数。但是，矩阵之间还有乘法运算，它应该在定义范数时予以体现。2.1.1 矩阵范数的定义定义2.1 设，定义一个实值函数, 它满足以下三个条件（1） 非负性：当时，>0; 当时，;（2） 齐次性：;（3） 三角不等式：, ,则称为A的广义矩阵范数。若对，及上的同类广义矩阵范数，有（4） 相容性： , 则称为的矩阵范数。2.1.2 矩阵范数的性质同向量的情况一样，对于矩阵序列也有极限的概念：设有一个矩阵序列，其中，。用记的第行第列的元素，且都有极限，则称有极限，或称收敛于矩阵,记为= 或 不收敛的矩阵序列称为发散的。于是可以证明：的充要条件是。由定义2.1的条件（3），可以证明下列不等式| |由此可以证明矩阵范数的连续性，即由可以推出事实上，由上面的论述知，当时，,但是 |于是当时，便有。推论2.1 已知A=（，可证明下面二函数 ，都是上的矩阵范数。证 对于函数而言，它显然具有非负性与齐次性，现仅就三角不等式与相容性加以验证于下 + 因此，是A的矩阵范数。 同理可证，也是A的矩阵范数。如同向量范数一样，矩阵范数也是多种多样的。但是，在数值方法中进行某种估计时，遇到的多数情况是，矩阵范数常与向量范数混合在一起使用，而矩阵经常是作为两个线性空间上的线性映射（变换）出现的。因此，考虑一些矩阵范数时，应该使他能与向量范数联系起来。这可由矩阵范数与向量范数相容的概念来实现。下面引入这一概念。定义2.2 对于上的矩阵范数和与上的同类向量范数, 如果 , （2.1）则称矩阵范数与向量范数是相容的。定理2.1 设A，且与都是酉矩阵，则即给A左乘或右乘以酉矩阵后其值不变（在时，和Q都是正交矩阵）。证 若记A的第j列为，则有 即。于是推论2.2 和A酉（或正交）相似的矩阵的F-范数是相同的，即若,则, 其中Q是酉矩阵。2.2 矩阵的直积及其应用矩阵的直积（Kronecker积）在矩阵的理论研究和计算方法中都有十分重要的应用。特别地，运用矩阵的直积运算，能够将线性矩阵方程转化为线性代数方程组进行讨论或计算。2.2.1 直积的概念首先从简单的例子开始。设有二元向量和三元向量,他们分别经过二阶矩阵和三阶矩阵，即 ，的变换，变成向量和，即有 ， 现在考虑以这两个向量的分量乘积为分量的六元向量经过怎样的线性变换可以变成六元向量由假设故有 + （）于是所求变换的矩阵为六阶矩阵一般地，引进以下的定义。定义2.3 设则称如下的分块矩阵 （2.2）为的直积（Kronecker积）。是一个块的分块矩阵，所以式（2.2.1）还可简写为 = （2.3）2.2.2 矩阵直积的性质矩阵的直积具有以下性质。（1）（2）设为同阶矩阵，则 （3）（4）设，且，则。（5） 设都可逆，则（6）设都是上三角（下三角）矩阵，则也是上三角（下三角）矩阵。（7）（8）设与都是正交（酉）矩阵，则也是正交（酉）矩阵。2.2.3 线性矩阵方程的可解性在系统控制等工程领域，经常遇到矩阵方程 AX+XB=D （2.4）的求解问题，其中，为以知矩阵，而,为未知矩阵，一般地线性矩阵方程可表示为 （2.5）其中为已知矩阵，而为未知矩阵。下面利用矩阵直积的性质，研究矩阵方程（2.5）的可解性问题。设，并记的第行为及则有从而 =定理2.2 方程（2.5）有解的充要条件是，这里，表示矩阵A的列空间。定理2.3 设的特征值为，的特征值为，则方程有惟一解的充要条件。2.3 矩阵的满秩分解本节论述将非零矩阵分解为列满秩矩阵与行满秩矩阵的乘积问题。2.3.1 矩阵满秩分解的定义定义2.4 设，如果存在矩阵和，使得 (2.6)则称式（2.6）为矩阵的满秩分解。当是满秩（列满秩或行满秩）矩阵时，可分解为一个因子是单位矩阵，另一个因子是本身，称此满秩矩阵分解为平凡分解。2.3.2 矩阵满秩分解的性质矩阵的满秩分解有下列性质：定理2.4 设，则有满秩分解（2.6）。证 当时，根据矩阵的初等变换理论，对进行初等变换，可将化为阶梯形矩阵，即 于是存在有限个阶初等矩阵的乘积，记作,使得 或者 将分块为, ,则有其中是列满秩矩阵，是行满秩矩阵。 证毕需要指出的是，矩阵的满秩分解（2.6）不是唯一的。这是因为若取是任意一个阶非奇异矩阵，则式（2.6）可改写为这是的另一个满秩分解。在求列满秩矩阵时，需要求出矩阵及其逆矩阵，这是十分麻烦的。为了避免这些运算，引入下面的定义。定义2.5 设, 且满足（1）的前行中每一行至少含一个非零元素，且第一个非零元素是1，而后行元素均为零;（2）若中第行的第一个非零元素1在第列（），则；（3）中的列为单位矩阵的前列，那么就称为Hermite标准形。定义2.6 以阶单位矩阵的个列向量为列构成的阶矩阵 （2.7）称为置换矩阵，这里是1,2，的一个排列。定理2.5 设的Hermite标准形为（如定义2.5），那么，在的满秩分解（2.6）中，可取为的列构成的矩阵，为的前行构成的矩阵。证 由知，存在阶可逆矩阵，使得 或者 根据定理，将分块为, ,可得满秩分解，其中为的前行构成的矩阵。下面确定列满秩矩阵。参照的Hermite标准形，作阶置换矩阵划分 ， ，则有其中。再由可得即为的前列构成的矩阵，也就是的列构成的矩阵。 证毕 2.4 广义逆矩阵的存在和性质2.4.1 Penrose的广义逆矩阵定义定义2.7 设矩阵，若矩阵满足如下四个Penrose方程(i) (ii) (iii) (iv) 则称为的Moore-Penrose逆，记为。定理2.6 对任意，存在且唯一。证 先证存在性 设。若，则是零矩阵，可以验证零矩阵满足四个Penrose方程。若，由定理知，可进行奇异值分解 , 其中是的奇异值，和分别是阶和阶酉矩阵。容易验证满足四个Penrose方程。可见，总是存在的。唯一性 设均满足方程(i)(iv),则 证毕2.4.2 广义逆矩阵的性质广义逆矩阵有以下性质定理2.7 设 ，则（1）（2）;（3）若和非奇异，则;（4）;（5）和均为幂等矩阵且与同秩；（6）定理2.8 给定矩阵和,则的充要条件是证 充分性 显然, 若，由定理2.6之（5）得所以，即存在矩阵使得从而 必要性 因为和互为1,2-逆，有定理（2.4.2）之（4）即得。 证毕定理2.9 设矩阵给定，则（1）（2）（3）;（4）;（5）;（6）推论2.2 若，则 (2.8)若，则 (2.9)推论2.3 设为维列向量，且，则 (2.10)而 (2.11)2.4.3 Moore-Penrose逆矩阵的计算假定矩阵的秩为，其中，下面介绍求Moore-Penrose逆矩阵的一种方法，满秩分解法。前面已经介绍过矩阵的满秩分解的概念，并给出了用初等变换进行满秩分解的方法。设的满秩分解为 (2.12)其中，那么可以按照下述定理给出的结论计算广义逆矩阵。定理2.10 设的满秩分解为式（2.12），则（1）（2）（3）（4）（5） 证 由定理知根据定义容易验证（1），（2）成立。（3）可由（1），（2）直接得到。（其中分别换成时，结论仍成立。）（4）由（3）知，,又因为所以另一式可类似的证明。（5）由（4）知，,载根据式和可推得其他结论。3 矩阵方程的极小范数最小二乘解3.1 广义逆矩阵与线性方程组的求解3.1.1 线性方程组极小范数最小二乘解的定义考虑非齐次线性方程组 （3.1）其中给定，而为待定向量。如果存在向量使方程组（3.1）成立，则称方程组相容，否则称为不相容或矛盾方程组。关于线性方程组的求解问题，常见的有以下几种情形。（1）方程组（3.1）相容的条件是什么？在相容时求出其通解（若解不唯一的话）。 （2）如果方程组（3.1）相容，其解可能有无穷多个，求出具有极小范数的解，即 （3.2）其中是欧氏范数。可以证明，满足该条件的解是唯一的，称之为极小范数解。 （3）如果方程组（3.1）不相容，则不存在通常意义下的解。但在许多实际问题中，需要求出极值问题 （3.3）的解,其中是欧氏范数。称这个极值问题为求矛盾方程的最小二乘问题，相应的称为矛盾方程的最小二乘解。 （4）一般说来，矛盾方程的最小二乘解是不唯一的，但在最小二乘解得集合中，具有极小范数的解 （3.4）是唯一的，称之为极小范数最小二乘解。广义逆矩阵与线性方程的求解有着极为密切的关系。利用广义逆矩阵可以给出上述诸多问题的解，反之由线性方程的解又可以确定广义逆矩阵。3.1.2 矩阵方程转化为线性代数方程组对比较复杂的矩阵方程的求解，我们通常要用按行向量拉直的方法将矩阵方程转化为线性方程组，把矩阵方程化成的形式，然后再讨论矩阵方程解的情况。设，的第行为,则可表示为 由此可得 所以 由上面推理可得即矩阵方程按行向量拉直后为令为, ，则矩阵方程可写成等价形式3.2 矩阵方程的求解考虑将矩阵方程（其中），按行向量拉直后有，即这里表示的第行，表示的第行。经整理得3.2.1 矩阵方程在相容条件下解的情况在本节主要考虑矩阵方程在相容条件下解的情况，并且其中与。由前面分析知道，这时矩阵方程成为可知该矩阵相容的条件是,它有唯一解当且仅当矩阵为非奇异矩阵。定理3.1 设与，则当且仅当,其中分别是的特征值，矩阵方程有唯一解。证明 矩阵方程有唯一解 有唯一解有唯一解令，并注意与的特征值完全相同，由的特征值为 ，故其中。 证毕 推论3.1设的特征值为，的特征值为，则齐次方程有非零解的充要条件是存在使。虽然上述定理给出了矩阵方程有唯一解的充分与必要条件，但要写出它们解矩阵的明显表达式一般是不容易的。若与为稳定矩阵，即所有特征值的实部小于零的矩阵，则的解有明显的表达式。定理3.2 设与为稳定矩阵，且给定。则线性矩阵方程有唯一解，并且， （3.5）证 本定理的假定保证了与-没有相同的特征值，因而按定理3.1，有唯一解。现考虑初值问题 （3.6）式中，为定义在上的矩阵值函数。直接验证可得，为问题（3.6）的解。自对方程（3.6）的两端求积分便有,即有.因此，为了证明由（3.5）式确定的为的解，只需验证上式中。为此只要证明：对任意稳定矩阵成立。但按普分确定理，我们有 ， ，式中，为不同的特征值， 分别为它们的指标，为的分量。现令，分别为的实部和虚部。按为稳定矩阵的假设，因而.于是，。所以结论成立。前面我们讨论了有解与有唯一解的条件，现在讨论当此方程有解时，解的结构形式。具体步骤如下。首先取,我们得到如下特殊的矩阵方程： , （3.7）求解方程（3.7）等价于寻求与可交换的所有矩阵。显然，方程（3.7）有无限多个解。事实上，为复系数多项式）总是它的解。在下面定理3.3中将给出方程（3.7）的解的表达式，接着，应用这个结果讨论解的表达式与它的解空间的构造。由于的解可以表示为齐次方程的同解与非齐次方程某个特解之和，故最后我们只要讨论有解的条件即可。定理3.3 设有形式,这里为的Jordan正规形式，分别是对应于的特征值的Jordan块。则为方程（3.7）解的充分与必要条件为,其中，是与有相同分块形式的分块矩阵。接着考虑齐次线性矩阵方程 （3.8）的解的形式。主要的技巧是将它归结为前面讨论过的问题。显然，方程（3.8）有解。假定为它的解，则可以验证 （3.9）可交换，反之，若（3.9）式中两个阶矩阵可交换，则必定为方程（3.8）的解。因此，对（3.9）式中这两个矩阵应用定理3.3的结果，我们有，则矩阵方程（3.8）的任意解有形式,其中（）是矩阵方程的一般解。类似地，将推论应用到矩阵方程 （3.10）我们有如下结果推论3.2 矩阵方程（3.8）的一般解呈如下形式： ， （3.11）式中，为方程（3.8）的线性无关解，而 ， （3.12）这里，为的初等因子的初等因子的最大公因式的次数。 我们顺便指出，（3.12）式中恰为（3.8）解空间的维数，因而也等于,其中。最后考虑一般非齐次矩阵方程 （3.13）它等价于线性代数方程组，于是，因此，若方程（3.10）可解，则它的解或是唯一的，或有无限多个，且一般解为方程（3.8）的一般解与方程（3.10）的某个特解之和。下面的基本结果应用非构造性办法给出方程（3.10）有解得充分与必要条件。显然，它相当于3.2.2矩阵方程不相容时解的情况 当即相当于时，称矩阵方程不相容，此方程组为矛盾方程组。当矩阵方程不相容时可求出该方程的最小二乘解一般说来，矛盾方程的最小二乘解是不唯一的，但在最小二乘解的集合中，具有极小范数的解 是唯一的，称之为极小范数最小二乘解。要求解上述矩阵方程的极小范数最小二乘解，需用到下列两个引理。引理3.1 设，则是线性方程组的最小二乘解。反之，设，是的极小范数最小二乘解，则引理3.2 设 则有定理3.4 如果矩阵方程不相容，且满足则矩阵方程的极小范数最小二乘解，即满足的唯一解是。证 将按行向量拉直后，得从而将该矩阵方程转化为等价形式由引理3.1，当上述线性放重组不相容时，其极小范数最小二乘解为由已知，得即得 所以 证毕结论线性矩阵方程问题的求解在生物学、电学、光子光谱学、振动理论、有限元、结构设计、固体力学、参数识别、自动控制理论、线性最优控制等领域都有重要应用。正是这些领域提出了许多不同类型的线性矩阵方程的模型问题刺激了它理论的快速发展，使得线性矩阵方程问题成为当今计算数学领域的热门研究课题之一。经过国内外的专家和学者的不断探索，迄今为止，线性矩阵方程问题的研究已取得了一系列丰硕的成果。本文根据矩阵直积的性质及其应用，将矩阵方程按行向量拉直转化成了可解的线性方程组的形式。以此为基础分别讨论该矩阵方程在相容和不相容条件下得到解的情况，最终得到该矩阵方程的极小范数最小二乘解。最后通过计算结果表明，这些算法在实际中是可行的。致谢略参考文献1程云鹏，张凯院，徐仲 .矩阵论M .西安：西北工业大学出版,2001：108-360.2陈景良,陈向晖.特殊矩阵M.北京:清华大学出版社,2001：168-768.3周树荃,戴华.代数特征值反问题M.河南:河南科学技术出版社,1991：6-93.4邱海明，付明义.关于矩阵方程AX+XB=C的解法J .控制与决策，1989,4（2）：38-40.5(日)须田信英,等.自动控制中的矩阵理论M.曹长修,译.北京:科学出版社,1979：58-150.6蒙世奎.多节点多重数插值多项式的构造J.广西大学学报,1992.7韩俊林,刘建州.关于几类矩阵的Kronecker和J.数学理论与应 用,2002,22(1):17-20.8彭亚新求解约束矩阵方程及其最佳逼近的迭代法的研究D长沙：湖南大学20049谢邦杰.体上矩阵的特征根与标准形式的应用M.数学学报，1980，23(4):522-533.10袁永新.矩阵方程的最优解.J.南京大学学报数学半年刊，2001，18(l):114一120.11张贤达.矩阵分析与应用M.出版社：清华大学出版社，2004.12FLANDERS H，WIMMER H KOn the matrix equation AX-XB=C and AX-YB=CJ .SAM J Appl Math,1977，32：707 710 13BAKSAI ARY J K，KAI A RThe matrix equation AX-YB=CJLinear Algebra App11979，25：414314CHANG X W ，WANG J SThe symmetric solution of the matrix equations AX+YA=C，AXA +BYB =C and (AXA，BXB)一(C，D)JLinear Algebra App11993，179：171189