统计学第六版贾俊平第12章ppt课件.ppt

《统计学第六版贾俊平第12章ppt课件.ppt》由会员分享，可在线阅读，更多相关《统计学第六版贾俊平第12章ppt课件.ppt（53页珍藏版）》请在三一办公上搜索。

1、第 12 章 多元线性回归,第12章 多元线性回归,12.1 多元线性回归模型 12.2 回归方程的拟合优度12.3 显著性检验12.4 多重共线性12.5 利用回归方程进行估计和预测12.6 虚拟自变量的回归,学习目标,1.回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的显著性检验多重共线性问题及其处理利用回归方程进行估计和预测虚拟自变量的回归问题用 Excel 进行回归分析,12.1 多元线性回归模型,多元回归模型与回归方程估计的多元回归方程参数的最小二乘估计,多元回归模型与回归方程,多元回归模型 (multiple regression model),一个因变量与两个及

2、两个以上自变量的回归描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程，称为多元回归模型涉及 p 个自变量的多元回归模型可表示为,b0 ，b1，b2 ，bp是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 包含在y里面但不能被p个自变量的线性关系所解释的变异性,多元回归模型(基本假定),误差项是一个期望值为0的随机变量，即E()=0对于自变量x1，x2，xp的所有值，的方差2都相同误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立,多元回归方程 (multiple regression equation),描述因变量

3、y 的平均值或期望值如何依赖于自变量 x1， x2 ，xp的方程多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + p xp,b1，b2，bp称为偏回归系数 bi 表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均平均变动值,二元回归方程的直观解释,估计的多元回归方程,估计的多元回归的方程(estimated multiple regression equation),是 估计值 是 y 的估计值,用样本统计量 估计回归方程中的 参数 时得到的方程由最小二乘法求得一般形式为,参数的最小二乘估计,参数的最小二乘法,求解各回归参数的标准方程如下,使因变量的观察值

4、与估计值之间的离差平方和达到最小来求得 。即,参数的最小二乘法(例题分析),【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程，并解释各回归系数的含义 用Excel进行回归,12.2 回归方程的拟合优度,多重判定系数估计标准误差,多重判定系数,多重判定系数(multiple coefficient of determination),回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元

5、回归方程所解释的比例,修正多重判定系数(adjusted multiple coefficient of determination),用样本容量n和自变量的个数p去修正R2得到 计算公式为避免增加自变量而高估 R2意义与 R2类似数值小于R2,Excel 输出结果的分析,估计标准误差 Sy,对误差项的标准差的一个估计值衡量多元回归方的程拟合优度计算公式为,Excel 输出结果的分析,12.3 显著性检验,线性关系检验回归系数检验和推断,线性关系检验,线性关系检验,检验因变量与所有自变量之间的是否显著也被称为总体的显著性检验检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较

6、，应用 F 检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系,线性关系检验,提出假设H0：12p=0 线性关系不显著H1：1，2，p至少有一个不等于0,2. 计算检验统计量F,3. 确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F 4. 作出决策：若FF ，拒绝H0,Excel 输出结果的分析,回归系数检验和推断,回归系数的检验,线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第一类错误(弃真

7、错误) 对每一个自变量都要单独进行检验应用 t 检验统计量,回归系数的检验(步骤),提出假设H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t,确定显著性水平，并进行决策 tt，拒绝H0； tt，不能拒绝H0,Excel 输出结果的分析,回归系数的推断 (置信区间),回归系数在(1-)%置信水平下的置信区间为,回归系数的抽样标准差,Excel 输出结果的分析,12.4 多重共线性,多重共线性及其所产生的问题多重共线性的判别多重共线性问题的处理,多重共线性及其产生的问题,多重共线性(multic

8、ollinearity),回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有 可能会使回归的结果造成混乱，甚至会把分析引入歧途 可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同我们与其的正负号相反,Excel 输出结果的分析,多重共线性的识别,多重共线性的识别,检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关。当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不

9、显著 回归系数的正负号与其的相反。,Excel 输出结果的分析,多重共线性(例题分析),【例】判别各自变量之间是否存在多重共线性,贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵,多重共线性(例题分析),【例】判别各自变量之间是否存在多重共线性,相关矩阵系数的检验统计量,多重共线性(例题分析),t(25-2)=2.0687，所有统计量tt(25-2)=2.0687，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F1.03539E-06=0.05) 。这也暗示了模型中存在多重共线性固定资产投资

10、额的回归系数为负号(-0.029193) ，与预期的不一致,多重共线性问题的处理,多重共线性(问题的处理),将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据 t 统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内,Excel 输出结果的分析,12.5 利用回归方程进行估计和预测,软件应用,置信区间估计(例题分析),STATISTICA输出的不良贷款的置信区间,预测区间估计(例题分析),STATISTICA输出的不良贷款的预测区间,12.6 虚拟自变量的回归,含有一个虚拟自变量的回归用虚拟自变量回归解决方

11、差分析问题,含有一个虚拟自变量的回归,虚拟自变量(dummy variable),用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女) 有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他) 虚拟变量的取值为0，1,虚拟自变量的回归,回归模型中使用虚拟自变量时，称为虚拟自变量的回归当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女) 一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个虚拟变量,虚拟自变量的回归(例题分析),【例】为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市

12、场营销学课程的考试成绩如下表,虚拟自变量的回归(例题分析),散点图,y与x的回归,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写：E(y) =0+ 1x男( x=0)：E(y) =0男学生考试成绩的期望值女(x=0 )：E(y) =0+ 11女学生考试成绩的期望值注意：当指定虚拟变量01时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1,虚拟自变量的回归(例题分析),【例】为研究工资水平与工作年限和性别之间的关系，在

13、某行业中随机抽取10名职工，所得数据如下表,y与x1的回归及分析,y与x1、 x2的回归及分析,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写： E(y) =0+ 1x1+ 2x2女( x2=0)：E(y|女性) =0 +1x1男(x2=1)：E(y|男性) =(0 + 2 ) +1x10的含义表示：女性职工的期望月工资收入 (0+ 2)的含义表示：男性职工的期望月工资收入 1含义表示：工作年限每增加1年，男性或女性工资的平均增加值 2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 (0+ 2) - 0= 2,用虚拟自变量回归解决方差分析问题,方差分析的回归方法 (例题分析),引进虚拟变量建立回归方程：E(Y)=0+ 1x1+ 2x2+3x3用Excel进行回归0家电制造业投诉次数的平均值 (0+ 1)零售业投诉次数的平均值 (0+ 2)旅游业投诉次数的平均值 (0+ 3)航空公司投诉次数的平均值,本章小结,多元回归模型、回归方程、估计方程回归方程的拟合优度显著性检验多重共线性利用回归方程进行估计和预测虚拟自变量的回归方差分析的回归方法,结 束,