矩阵基础及多元线性回归模型.ppt

《矩阵基础及多元线性回归模型.ppt》由会员分享，可在线阅读，更多相关《矩阵基础及多元线性回归模型.ppt（45页珍藏版）》请在三一办公上搜索。

1、1,矩阵代数概述,2,矩阵(matrix)就是一个矩形数组。mn矩阵就有m行和n列。m称为行维数，n称为列维数。可表示为：,矩阵,3,方阵：具有相同的行数和列数的矩阵。一个方阵的维数就是其行数或列数。行向量：一个1m的矩阵被称为一个(m维)行向量。列向量：一个n1的矩阵被称为一个(n维)列向量。,方阵、行向量、列向量,4,对角矩阵、单位矩阵和零矩阵,对角矩阵,单位矩阵,零矩阵,5,矩阵的运算,加法：,数乘：,两矩阵相乘：,A为mn阶矩阵B为np阶矩阵,6,矩阵运算的性质（1）,和是实数，矩阵A、B、C具有运算所需的维数,7,矩阵运算的性质（2）,和是实数，矩阵A、B、C具有运算所需的维数,8,

2、矩阵A的行与列互换称为A的转置矩阵，用A表示,矩阵的转置、对称矩阵,转置矩阵的性质：,x是n1维向量,一个方阵A是对称矩阵的充要条件A=A,9,对任意一个nn的矩阵A，A的迹tr(A)定义为其主对角线元素之和。迹的性质：,迹,其中，A为nm矩阵，B为mn矩阵,10,对一个nn的矩阵A，如果存在矩阵B，使得 BA=AB=In 则称B为矩阵A的逆，用A-1表示。如果A有逆矩阵，则称A是可逆的或非奇异的；否则，称A是不可逆的或奇异的。,矩阵的逆,11,(1)如果一个矩阵的逆存在，则它是唯一的(2)若0且A可逆，则(3)如果A和B都是nn可逆矩阵，则(4),矩阵逆的性质,12,给定一个nn的方阵，A的

3、行列式，记为|A|，定义为：|A|=(-1)ta1p1a2p2anpn其中，t为p1p2.pn的逆序数。,矩阵的行列式,13,例：求下列矩阵A的行列式,因此，|A|=21-4+16-10+15-42=-4,解：根据行列式定义，可得：,14,求方阵的逆矩阵（1）,余子式：将nn的方阵A的第i行和第j列去掉，所剩下的子矩阵的行列式叫做元素aij的余子式，记为|Mij|例如：,15,求方阵的逆矩阵（2）,余因子(代数余子式)：将nn的方阵A的元素aij的余因子，记为cij，定义为 cij=(-1)i+j|Mij|,余因子矩阵：将方阵A的元素aij代之以其余因子，则得到A的余因子矩阵，记为cof A。

4、伴随矩阵：余因子矩阵的转置矩阵称为A的伴随矩阵，记为adj A adj A=(cof A),16,求方阵的逆矩阵（3）,如果A是方阵且是非退化的矩阵（即|A|0），则A的逆矩阵的计算公式为：,17,例：求下列矩阵A的逆阵,18,Step1:求|A|A|=-24Step2:求A的余因子矩阵cStep3:求A的伴随矩阵，即cStep4:,解：,19,(1)令 x1,x2,xr是一组维数相同的向量，若存在不全为零的实数1,2,r使得 则称向量组x1,x2,xr是线性相关的；否则，称x1,x2,xr是线性无关的。,向量组的线性相关,20,令A是一个nm的矩阵，则A中线性无关的最大列向量称为A的秩，即为

5、rank(A)。若rank(A)=m，则称为列满秩 秩的性质：(1)行秩列秩=rank(A)(即：rank(A)=rank(A)(2)如果A是一个nk矩阵，则 rank(A)min(n,k),矩阵的秩,21,令A为nn对称矩阵。(1)如果对除x=0外的所有n1向量x，都有xAx0，则称A为正定的。(2)如果对除x=0外的所有n1向量x，都有xAx0，则称A为半正定的。正定和半正定矩阵的性质：(1)正定矩阵的主对角元素都严格为正，半正定矩阵的主对角元素都非负；(2)A是正定的，则A-1存在并正定；(3)如果X是一个nk矩阵，则XX和XX都是半正定的；,正定和半正定矩阵,22,令A为nn对称矩阵。

6、如果AA=A，则称A是幂等矩阵。幂等矩阵的性质：令A为nn幂等矩阵(1)rank(A)=tr(A)(2)A是半正定的。,幂等矩阵,23,(1)对于一个给定的n1向量a，对所有n1向量x，定义线性函数 f(x)=ax，则f 对x的导数是1n阶偏导数向量a，即：(2)对一个nn的对称矩阵A，定义 则,矩阵微分,why?,why?,24,如果y是一个n1随机向量，用var(y)（或cov-var(y)）表示的y的方差-协方差矩阵定义为：其中j2=var(yj),ij=var(yi,yj)显然，ij=var(yi,yj)=var(yj,yi)=ji，故var(y)对称。,方差-协方差矩阵,25,第三章

7、 经典单方程计量经济学模型：多元回归,多元线性回归模型 多元线性回归模型的参数估计多元线性回归模型的统计检验多元线性回归模型的预测回归模型的其他形式回归模型的参数约束,26,3.1 多元线性回归模型,一、多元线性回归模型 二、多元线性回归模型的基本假定,27,多元线性回归模型的引入,一元（双变量）线性回归模型在实践中对许多情况往往无法描述。例如：对某商品的需求很可能不仅依赖于它本身的价格，而且还依赖于其他相互竞争(互替)或相互补充(互补)的产品价格。此外，还有消费者的收人、社会地位，等等。因此，我们需要讨论因变量或回归子Y，依赖于两个或更多个解释变量或回归元的模型。,28,一、多元线性回归模型

8、,多元线性回归模型:有多个解释变量的线性回归模型。也称为多变量线性回归模型。总体回归函数：意为：给定X1,X2,Xk的值时Y的期望值。,i=1,2,n,Y是被解释变量Xji为解释变量，i指第i次观测,增加随机干扰项的随机表达式：,为随机干扰项i为偏回归系数,习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：型中解释变量的数目为k+1,29,截距项和偏回归系数,(1)j(j1)称为 偏回归系数 表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的条件均值 的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。(2)0(j1)称为 截

9、距项，它给出了所有未包含到模型中的变量对Y的平均影响。,总体回归函数的随机表达式：,30,总体回归模型的n个随机方程（1）,若有n组观测值，则可得n个联立方程：,31,令,总体回归模型的n个随机方程的矩阵表示,则有，总体回归方程的矩阵表示为：,32,样本回归函数：根据样本估计的总体回归函数,其随机表示式:,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。,样本回归函数,33,样本回归模型的n个随机方程（1）,或,若有n组观测值，则可得n个联立方程：,34,令,样本回归模型的n个随机方程的矩阵表示,则有，样本回归方程的矩阵表示为：,或,或,35,经典线性

10、回归模型的基本假设的引入,在回归分析中我们的目的不仅仅是获得参数的估计值，而且要对参数估计值做出推断。例如：和 离它们相应的真实值有多远？与其期望值E(Yi|Xi)多接近？由PRF：可知，Yi依赖于Xi 和ui，除非我们明确Xi 和ui的产生方式，否则我们将无法对Yi 作任何推断。同时，为了使得使用OLS方法的估计量具有良好的性质，我们做出了如下假设。,36,线性回归模型的基本假设（1）,假设1、(1)解释变量X1,X2,Xk是确定性变量，不是随机变量；即在重复抽样中，X1,X2,Xk的值被认为是固定的。(2)解释变量X0（虚拟）,X1,X2,Xk相互之间无多重共线性,等价于,的列向量组的秩为

11、k+1，即列满秩。,37,线性回归模型的基本假设（2-1）,假设2、随机误差项具有零均值、同方差和不序列相关：(2.1)零均值：E(i|X1,X2,Xk)=0 i=1,2,n 用矩阵表示为：意为：对给定的解释变量的值，随机干扰项ui的均值（条件期望）为0。即凡是模型不含的因而归属于ui的因素，对Y的均值都没有系统的影响。,38,线性回归模型的基本假设（2-2）,假设2、随机误差项具有零均值、同方差和不自相关性：(2.2)同方差 Var(i|X1,X2,Xk)=2 i=1,2,n或表示为：Var(i)=2 i=1,2,n意为：对给定的X值，随机干扰项ui的条件方差是恒定的。同方差假设表明：对应于

12、不同X值的全部Y值具有同样的重要性或对应于不同的X值，Y围绕均值的分散程度是相同的。,39,线性回归模型的基本假设（2-3）,假设2、随机误差项具有零均值、同方差和不序列相关性(不自相关)：(2.3)不序列相关：Cov(i,j)=0 ij i,j=1,2,n等价于 E(uiuj)=0 意为：相关系数为0，i,j非线性相关。,40,线性回归模型的基本假设（2-4）,假设2、随机误差项具有零均值、同方差和不序列相关性(不自相关)Var(i)=2 Cov(i,j)=0 ij i,j=1,2,n 的矩阵表示为：,41,线性回归模型的基本假设（3）,假设3、随机误差项与解释变量Xj之间不相关：Cov(X

13、ji,i)=0 i=1,2,n，j=1,2,k E(Xjiui)=0 可推出:E(X)=0，即,作此假设的理由：当我们把PRF表述为 时，我们假定了Xj和u(后者代表所有被省略的变量的影响)对Y有各自的(并且可加的)影响。但若X和u是相关的，就不可能评估它们各自对Y的影响。,42,线性回归模型的基本假设（4）,假设4、服从零均值、同方差、零协方差的正态分布 iN(0,2)i=1,2,n意为：ui服从正态分布且相互独立。对两个正态分布的变量来说，零协方差或零相关意为这两个变量独立。矩阵表示为：，其中，=1,2,n作该假设的理由：i代表回归模型中末明显引进的许多解释变量的总影响，利用统计学中著名的

14、中心极限定理：如果存在大量独立且相同分布的随机变量，那么，除了少数例外情形，随着这些变量的个数无限地增大，它们的总和将趋向正态分布。,43,线性回归模型的基本假设（5）,假设5、各解释变量的方差var(Xj)必须是一个有限的正数。即：其中：Q为一非奇异固定矩阵（即主对角线全为非零元素），矩阵x是由各解释变量的离差为元素组成的nk阶矩阵 意为：在一个给定的样本中，Xj的取值不可以全相同,或,44,线性回归模型的基本假设（6）,假设6、回归模型是正确设定的。模型的正确设定表现为以下几个方面：（1）模型应包括哪些变量（2）模型的函数形式如何（线性？非线性？）（3）对进入模型的变量要做些什么概率上的假定(Xi,Yi,i),45,线性回归模型的基本假设(7),补充两个假设 假设7、回归模型是线性模型。（对参数而言为线性）假设8、观测次数大于待估计参数个数,