第5章多元线性回归分析ppt课件.ppt

《第5章多元线性回归分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第5章多元线性回归分析ppt课件.ppt（74页珍藏版）》请在三一办公上搜索。

1、1,第5章 多元线性回归分析（ Multivariate Linear Regression Analysis）,2,3,例如：各种回归分析的比较,4,Multivariate linear regression,5,6,一元线性回归分析的数学模型,模型： yi=+ xi + i (i=1,2n),i x y- 1 x1 y1 2 x2 y2 i xi yi n xn yn,。,。,。,。,。,。,。,。,。,。,。,x,y,0,。,。,。,一元线性回归模型,(xi, yi),i,7,模型： (i=1,2n),8,9,二元线性回归分析的数学模型,多元回归方程,10,复相关系数 复相关系数又称多

2、重相关系数（multiple correlation coefficient），用于度量因变量的观测值与预测值（计算值）之间的关系的强度，或者说用于反映模型的总体拟合效果。复相关系数包含了所有自变量与因变量的相关信息，其定义类似于一元线性回归中的相关系数，计算公式为,多元回归分析中的几个相关系数,11,简单相关系数 简单相关系数（simple correlation coefficient）分别反映各个自变量与因变量的相关关系。对于二变量的情形，计算公式为,12,偏相关系数 简单相关系数旨在反映变量之间两两线性关系，但实际上，每一个简单相关系数不可能绝对不包括其他因素的相关成分。为了克服简单相

3、关系数的间接相关信息，提出另一种检验指标偏相关系数（partial correlation coefficient）。偏相关系数旨在排除其它因素的影响，单纯反映某个自变量与因变量之间的密切程度。对于二变量的情形，计算公式如下,13,14,部分相关系数 复相关系数反映模型总体上的拟合效果，无法看出每个变量对拟合效果的贡献大小。为了反映每个变量对模型拟合效果的影响程度，人们定义了部分相关系数（part correlation coefficient）。部分相关系数的计算公式,15,式中 为相应于xi的部分相关系数，Rm为复相关系数，即全部自变量参与回归的总体相关系数，Rmxi 为去掉xi 的复相关

4、系数。可见部分相关系数的平方是在总体拟合效果中扣除了其他变量综合拟合效果之后剩余部分。,16,17,多元线性回归模型,多元线性回归模型及古典假定 多元线性回归模型的估计 多元线性回归模型的检验,18,5.1多元线性回归模型及古典假定,一、多元线性回归模型的意义 二、多元线性回归模型的矩阵表示 三、多元线性回归中的基本假定,19,一、多元线性回归模型的意义,例如:有两个解释变量的电力消费模型 其中: 为各地区电力消费量； 为各地区国内生产总值（GDP）； 为各地区电力价格变动。模型中参数的意义是什么呢?,20,多元线性回归模型的一般形式,一般形式：对于有 个解释变量的线性回归模型 模型中参数 是

5、偏回归系数，样本容量为偏回归系数：控制其它解释量不变的条件下，第 个解释变量的单位变动对应变量平均值的影响。,21,指对各个回归系数而言是“线性”的，对变量则可是线性的，也可是非线性的例如：生产函数取自然对数,多元线性回归,22,的总体条件均值表示为多个解释变量的函数 总体回归函数也可表示为:,多元总体回归函数,23,的样本条件均值表示为多个解释变量的函数或其中 回归剩余（残差）：,多元样本回归函数,24,二、多元线性回归模型的矩阵表示,个解释变量的多元线性回归模型的 个观测样本，可表示为,25,用矩阵表示,26,总体回归函数 或样本回归函数 或 其中： 都是有 个元素的列向量 是有 个元素的

6、列向量 是第一列为1的 阶解释变量 数据矩阵 (截距项可视为解释变量 取值为1),27,三、多元线性回归中的基本假定,假定1：零均值假定 或 假定2和假定3：同方差和无自相关假定 假定4：随机扰动项与解释变量不相关,28,假定5:无多重共线性假定 (多元中) 假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值矩阵 列满秩( 列)。 即 可逆假定6：正态性假定,29,5.2多元线性回归模型的估计, 普通最小二乘法（OLS） OLS估计式的性质 OLS估计的分布性质 随机扰动项方差 的估计 回归系数的区间估计,30,一、普通最小二乘法（OLS）,最小二乘原则 剩余

7、平方和最小： 求偏导,令其为0:,31,即 注意到,32,用矩阵表示因为样本回归函数为 两边左乘 有：因为 ，则正规方程为：,33,34,二、OLS估计式的性质,OLS估计式 1.线性特征: 是 的线性函数，因 是非随机 或取固定值的矩阵 2.无偏特性:,35,3.最小方差特性 在 所有的线性无偏估计中，OLS估计 具有最小方差 结论：在古典假定下，多元线性回归的 OLS估计式是最佳线性无偏估计式（BLUE）,36,三、OLS估计的分布性质,基本思想 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 是服从正态分布的随机变量, 决定了 也是服从正态分布的随机变量 是 的线性函数，决定

8、了 也是服从正态分布的随机变量,37,的期望 (由无偏性) 的方差和标准误差： 可以证明 的方差-协方差矩阵为 这里是 矩阵 中第 行第 列的元素,38,四、随机扰动项方差 的估计,多元回归中 的无偏估计为： 或表示为 将 作标准化变换：,39,因 是未知的，可用 代替 去估计参数 的标准误差: 当为大样本时，用估计的参数标准误差对 作标准化变换，所得Z统计量仍可视为服从正态分布当为小样本时，用估计的参数标准误差对 作标准化变换，所得的t统计量服从t分布：,40,五、回归系数的区间估计,由于给定 ，查t分布表的自由度为 的临界值或:或表示为:,41,5.3多元线性回归模型的检验,本节基本内容:

9、 多元回归的拟合优度检验 回归方程的显著性检验（F检验） 各回归系数的显著性检验（t检验）,42,一、多元回归的拟合优度检验,多重可决系数：在多元回归模型中，由各个解释变量联合解释了的 的变差，在 的总变差中占的比重，用 表示与简单线性回归中可决系数 的区别只是 不同，多元回归中多重可决系数也可表示为,43,特点：多重可决系数是模型中解释变量个数的不减函数，这给对比不同模型的多重可决系数带来缺陷，所以需要修正。,多重可决系数的矩阵表示,44,思想可决系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。自由度统计量的自由度指可自由变化的样本观测值

10、个数，它等于所用样本观测值的个数减去对观测值的约束个数。,修正的可决系数,45,46,47,二、回归方程显著性检验(F检验),方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。,F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS,48,基本思想 在多元回归中有多个解释变量，需要说明所有解释变量联合起来对应变量影响的总显著性,或整个方程总的联合显著性。对方程总显著性检验需要在方差分析的基础上进行F检验。,49,总变差 自由度 模型解释了的变差 自由度 剩余变差 自由度,变差来源 平方和 自由度 方差归于回归模型归于剩余总变差,方差分析表,

11、50,51,如果 (小概率事件发生了) 则拒绝 ，说明回归模型有显著意义，即所有解释变量联合起来对 有显著影响。如果 (大概率事件发生了) 则接受 ，说明回归模型没有显著意义，即所有解释变量联合起来对 没有显著影响。,52,53,关于拟合优度检验与方程显著性检验关系的讨论,由,54,55,三、回归系数的显著性检验（t检验）,方程的总体线性关系显著每个解释变量对被解释变量的影响都是显著的。 因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。 这一检验是由对变量的 t 检验完成的。,56,目的： 在多元回归中，分别检验当其他解释变量保持不变时，各个解释变量 对应变量 是

12、否有显著影响。 方法： 原假设 备择假设 统计量为：,57,58,如果 就拒绝 而不拒绝 即认为 所对应的解释变量 对应变量 的影响 是显著的。 在多元回归中，可分别对每个回归系数逐个地进 行t检验。 注意:在一元回归中F检验与t检验等价,且 但在多元回归中F检验与t检验作用不同。,59,案例：中国税收增长的分析提出问题 改革开放以来，随着经济体制改革的深化和经济的快速增长，中国的财政收支状况发生很大变化，为了研究影响中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中国税收未来的增长趋势，需要建立计量经济模型。,60,理论分析影响中国税收收入增长的主要因素可能有：（1）从宏观

13、经济看，经济整体增长是税收增长的基本源泉。（2）社会经济的发展和社会保障等都对公共财政提出要求，公共财政的需求对当年的税收收入可能会有一定的影响。（3）物价水平。中国的税制结构以流转税为主，以现行价格计算的GDP和经营者的收入水平都与物价水平有关。（4）税收政策因素。,61,以各项税收收入Y 作为被解释变量 以GDP表示经济整体增长水平 以财政支出表示公共财政的需求 以商品零售价格指数表示物价水平 税收政策因素较难用数量表示,暂时不予考虑,建立模型,62,模型设定为:其中： 各项税收收入（亿元） 国内生产总值（亿元） 财政支出（亿元） 商品零售价格指数（%）,63,数据来源：中国统计年鉴其中:

14、 各项税收收入（亿元） 国内生产总值（亿元） 财政支出（亿元） 商品零售价格指数（%）,数据收集,64,假定模型中随机项满足基本假定，可用OLS法估计其参数。具体操作：用EViews软件，估计结果为：,参数估计,65,模型估计的结果可表示为,66,显著性检验,F检验： 针对 , 取 查自由度为 和 的临界值 。由于 , 应拒绝 ，说明回归方程显著，即“国内生产总值”、“财政支出”、“商品零售物价指数”等变量联合起来确实对“税收收入”有显著影响。,67,68,本模型中所估计的参数的符号与经济理论分析一致，说明在其他因素不变的情况下，国内生产总值每增加1亿元，平均说来财政收入将增加220.67万元

15、；财政支出每增加1亿元，平均说来财政收入将增加7021.04万元;商品零售物价指数每增加1%,平均说来财政收入将增加23.98541亿元。,经济意义检验,69,1.多元线性回归模型是将总体回归函数描述为一 个被解释变量与多个解释变量之间线性关系的 模型。 通常多元线性回归模型可以用矩阵形式表示： 2.多元线性回归模型中对随机扰动项u的假定:零 均值假定、同方差假定、无自相关假定、随机 扰动与解释变量不相关假定、正态性假定、无 多重共线性假定。,第5章 小结,70,3.多元线性回归模型参数的最小二乘估计式及期 望、方差和标准误差： 4.在基本假定满足的条件下，多元线性回归模型 最小二乘估计式是最佳线性无偏估计式。,71,5. 多元线性回归模型中参数区间估计的方法。6. 多重可决系数的意义和计算方法： 修正可决系数的作用和方法：,72,7. F检验是对多元线性回归模型中所有解释变量联 合显著性的检验，F检验是在方差分析基础上进 行的。,73,8. 多元回归分析中，为了分别检验当其它解释变量不变时，各个解释变量是否对被解释变量有显著影响，需要分别对所估计的各个回归系数作t检验。,74,9.利用多元线性回归模型作被解释变量平均值预 测与个别值预测的方法。 点预测： 平均值： 个别值：,