第3章多元线性回归模型.ppt
《第3章多元线性回归模型.ppt》由会员分享,可在线阅读,更多相关《第3章多元线性回归模型.ppt(166页珍藏版)》请在三一办公上搜索。
1、第3章 多元线性回归模型,“多元”回归模型,在现实的计量经济分析中,事实上影响被解释变量的因素不止一个,通常会有多个影响因素。即使我们的分析目的是考察某一个因素对被解释变量的影响,但为了得到该因素对被解释变量的“净影响”,也需要将其他影响因素作为“控制变量”,使其以显性形式出现在模型中,以提高模型估计精度。因此,需要建立包含两个及以上解释变量的多元回归模型。,基本内容,第一节 多元线性回归模型的概念(重点)第二节 多元线性回归模型的参数估计(掌握)第三节 多元线性回归模型的统计检验(掌握)第四节 非线性回归模型(重点)第五节 案例 生产函数的应用,本章要点,第一节 多元线性回归模型的概念,重点
2、:1.对多元线性回归模型参数意义的理解 2.对无多重共线性假定的理解,第一节 多元线性回归模型的概念,一、总体线性回归模型二、样本线性回归模型三、多元线性回归模型的基本假定,多元:含有两个以上解释变量 线性:对参数而言线性 如果总体回归函数描述了一个被解释变量与多个解释变量之间的线性关系,由此而设定的回归模型就称为多元线性回归模型。,一、总体线性回归模型,假定被解释变量Y与K个解释变量X1,X2,Xk存在线性相关关系:(i=1,2,,n)称为总体线性回归模型。,一、总体线性回归模型,其中:,为截距项,代表排除在模型之外的所有因素对被解释变量Y的平均影响;(j=1,2k)为偏回归系数,反映了在其
3、它解释变量保持不变的情况下,解释变量Xj变化一个单位时,对被解释变量Y的影响程度。ui为随机扰动项,因此,对应于解释变量的每一组观察值(X1i,X2i,Xki),被解释变量Yi的值是随机的。,多元线性回归模型的参数与一元线性回归模型的参数有重要区别。在多元线性回归模型中,解释变量对应的参数是偏回归系数,表达的是控制其他解释变量不变的条件下,该解释变量的单位变动对被解释变量平均值的“净影响”。这个独特性质使多元回归中不但能够引入多个解释变量,而且能够“分离”出每个解释变量对被解释变量的影响。,注意:,总体线性回归函数,把被解释变量Yi的总体条件期望与解释变量X1,X2,Xk存在的线性关系式:E(
4、Y/X1i,X2i,Xki)=称为K元线性总体回归函数。特别的,当K=2时,二元线性总体回归模型的形式为:二元线性总体回归函数形式为:,第一节 多元线性回归模型的概念,一、总体线性回归模型二、样本线性回归模型三、多元线性回归模型的基本假定,二、样本线性回归模型,K元线性样本回归函数表达式为:其中,是总体均值 的估计 多元线性样本回归模型表达式为:其中,残差项ei是随机扰动项ui的估计。,二、样本线性回归模型,特别地,当K=2时,二元线性样本回归函数为二元线性样本回归模型为:,二元线性样本回归函数几何图形表示,回归平面示意图,第一节 多元线性回归模型的概念,一、总体线性回归模型二、样本线性回归模
5、型三、多元线性回归模型的基本假定,三、多元线性回归模型的基本假定,假定1:线性回归模型,或模型是参数的线性函数。假定2:X值固定或独立于误差项。这意味着随机扰动项和 每个X变量之间的协方差为0。假定3:零均值假定,即干扰项均值为0。E(ui)=0(i=1,2,n)假定4:同方差假定,即干扰项的方差保持不变。i=1,2,n,三、多元线性回归模型的基本假定,假定5:无自相关假定,干扰项之间无自相关或序列相关。cov(ui,uj)=0,(ij;i,j=1,2,n)假定6:观测次数n必须大于待估计参数个数。假定7:X变量值必须存在变异。,三、多元线性回归模型的基本假定,另外两个要求假定8:无设定偏误,
6、模型被正确地设定。假定9:解释变量之间不存在完全共线性,没有精确的线性 关系。,无多重共线性假定:各解释变量之间不存在严格的线性关系,或者说各解释变量之间线性无关;亦即解释变量之间不存在精确的线性关系,即是说不存在一列不全为0的数,能使下式成立:反之,如果仅当,上式才成立,就说变量是线性无关的。,三、多元线性回归模型的基本假定,注意:无多重共线性假定是针对解释变量之间的关系而设定,根本目的是保证模型可以估计。如果解释变量之间存在完全多重共线性,会造成数据观测矩阵X非列满秩,模型参数将无法估计。在实际做计量经济分析时,很多经济变量虽然不存在完全的线性关系,却通常都存在一定的相关性,不一定满足多重
7、共线性的假定,模型的估计可能会受到影响。,三、多元线性回归模型的基本假定,假定10:正态性 进行假设检验时,干扰项服从均值为0,方差为 的正态分布。,三、多元线性回归模型的基本假定,本章要点,第二节 多元线性回归模型的参数估计,重点:1.多元线性回归参数的最小二乘估计 2.参数最小二乘估计式的数值性质 3.参数最小二乘估计式的统计性质,第二节 多元线性回归模型的参数估计,一、多元线性回归参数的最小二乘估计二、最小二乘估计量的数值性质三、最小二乘估计量的统计性质四、参数的估计误差与置信区间,总体线性回归模型 样本线性回归模型 OLS方法是要选择未知参数值,使残差平方和尽可能小,一、多元线性回归参
8、数的最小二乘估计,以二元线性回归模型为例 做最小二乘估计:,一、多元线性回归参数的最小二乘估计,OLS要求回归平面能使Y与该平面的离差平方和为最小,1.先对三个未知参数求偏导数,并令所得结果为零,即得3个方程的方程组:,2.化简得正规方程,3.如果观测次数不少于3次,而X1和X2 之间不存在线性关系,则由此正规方程组,可解得参数的OLS估计式如下:,4.按照用小写字母表示对样本均值离差的惯例,我们导出以下公式:,第二节 多元线性回归模型的参数估计,一、多元线性回归参数的最小二乘估计二、最小二乘估计量的数值性质三、最小二乘估计量的统计性质四、参数的估计误差与置信区间,二、最小二乘估计量的数值性质
9、,1.样本均值点在样本平面上,即 2.剩余项(残差)ei的均值为零,即3.Y的估计值的均值等于Y的观测值均值,即4.解释变量与剩余项不相关,即 cov(Xji,ei)=05.剩余ei与估计量不相关,即cov(ei,)=0,第二节 多元线性回归模型的参数估计,一、多元线性回归参数的最小二乘估计二、最小二乘估计量的数值性质三、最小二乘估计量的统计性质四、参数的估计误差与置信区间,三、最小二乘估计量的统计性质,在古典线性回归模型的基本假定下,一元线性回归模型的OLS估计量是最优线性无偏估计量,这个性质对于多元线性回归同样成立。,三、最小二乘估计量的统计性质,第二节 多元线性回归模型的参数估计,一、多
10、元线性回归参数的最小二乘估计二、最小二乘估计量的数值性质三、最小二乘估计量的统计性质四、参数的估计误差与置信区间,四、参数的估计误差与置信区间,根据矩阵相等的意义,矩阵相等即对应位置的元素相等,回归参数估计量 的方差、标准差,协方差 其中 为矩阵 中第 i行和第j列元素。特别地,对二元回归模型而言:,1参数的估计误差,可证明,由此得:,令,即,因此,,称为方程的估计标准误差。,2参数的置信区间,N(,Cj+1,j+1)进行标准化标准化得:由数理统计定理可知:所以,对于给定的置信度1-,由分布表可查得临界值 使得,即:,偏回归参数,的100(1-,)%的置信区间为:,即以100(1-)的概率保证
11、回归参数属于该区间内。,由于偏回归系数都是与变量的原有单位有直接的联系,计量单位不同,彼此不能直接比较计量单位不同的解释变量对被解释变量的影响大小。为此,在比较被解释变量对各个解释变量的敏感性时,可以将偏回归系数转换为Beta系数,其定义如下:,3.标准化系数(Beta系数),特别的,对二元回归模型:两边减去得到:变形:进行变量的标准化变换,因为所以则,1.如果将一个变量在减去其均值后再除以其标准差,我们就说把这个变量标准化了。标准化变量其均值总是0,标准差总是1。2.对标准化的回归子和回归元做回归,截距项总是0,是一个过原点的回归。3.标准化变量的回归系数Beta系数可解释为,如果标准化回归
12、元增加一个单位的标准差,则标准化回归子平均增加 单位个标准差。度量变量影响以其标准差作为单位。,注意:,5.标准化回归模型的优点在于我们可以用beta系数作为各个回归元相对解释力的一种度量,通过将回归元标准化,可以将其放在同等地位并直接进行比较。如果一个标准化回归元的系数比模型中另一个标准化回归元的系数大,那么前者就能比后者更多地解释回归子。,注意:,本章要点,第三节 多元线性回归模型的统计检验,重点:1.为什么要对可决系数加以修正 2.个别参数显著性t检验与模型整体显著性F检验的关系 3.F检验与拟合优度之间的关系,第三节 多元线性回归模型的统计检验,一、模型的拟合优度检验二、偏回归系数的显
13、著性检验三、模型总体线性显著性检验,一、模型的拟合优度检验,设估计的多元样本线性回归函数为 则带残差项的多元样本线性回归模型为 则,1总离差平方和分解,总离差平方和,由最小二乘法知,因此,回归平方和与残差平方和,记成 TSS=RSS+ESS,总离差平方和,回归平方和,残差平方和,2判定系数,用回归平方和(ESS)占总平方和(TSS)的比重作为衡量模型对样本拟合优度的指标,称为多元判定系数,用符号R2表示:显然,并且当 越接近于1时,越接近于0;因此,R2的值越接近1,则表明模型对样本数据的拟合优度越高。,回归平方和分解,用式:减式:得:由于于是因此,在多元回归中R2是模型中解释变量个数的非减函
14、数,也就是说,随着模型中解释变量个数的增加,的值通常都会变大。为了得到拟合优度较高的模型,似乎加入更多解释变量是合理选择,但是在建立计量经济模型时,随着解释变量个数的增加,待估计的参数也会增多,由此造成样本自由度减少,模型参数估计的准确性下降。,注意:,因此,在多元回归模型中,仅仅依据R2对模型作比较和选择会产生问题,在增加新的解释变量时,必须对由其带来的模型自由度下降这一“负面影响”而做出“惩罚”,因此,需要对R2作出相应的修正。,注意:,3.校正判定系数:,在一元回归中判定系数为由于于是,校正的办法,将 中的第二项乘一个不小于1的因子,若方程中解释变量个数k大,所乘因子也大;在样本容量一定
15、的情况下,由于RSS的自由度n-k-1随着解释变量个数k的增大而减少。如果用自由度去校正所计算的变差平方和,就可以克服因为解释变量个数不同而引起的判定系数对比的困难。因此定义 为校正判定系数。,的联系,由于是 k0 n-k-10 1-R20 所以,即:校正的判定系数 不大于一般判定系数,调整后的判定系数受哪些因素的影响,校正判定系数的特点,因为,若,则由,所以,当,时,,,,这时就取,。,4.赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度,常用的标准还有:赤池信息准则(Akaike information criterion,AIC),施瓦茨准则(Schwarz
16、 criterion,SC),这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。,第三节 多元线性回归模型的统计检验,一、模型的拟合优度检验二、偏回归系数的显著性检验三、模型总体线性显著性检验,二、偏回归系数的显著性检验,1.提出假设:2.构造统计量:在H0成立的条件下,3.计算原假设成立时 tj 统计量的值。4.在给定显著性水平 的条件下,查t分布表,得临界值。,H0:j=0(j=1,2k),H1:j0,5判断:,则拒绝,接受,这是因为接受H0的概率保证程度很大,也就是说,接受H1犯错误的概率很小;说明所对应的解释变量对被解释变量Y有显著的线性影响。若
17、则不能拒绝 即 与0的差异不显著,这种情况,只有接受H0,犯错误的概率才会小;说明对应的解释变量对被解释变量Y线性作用不显著。,若,第三节 多元线性回归模型的统计检验,一、模型的拟合优度检验二、偏回归系数的显著性检验三、模型总体线性显著性检验,三、模型总体线性显著性检验,由于Yi的总变差可以分解为两部分 显然,模型的总显著性越强,说明模型中所有解释变量对被解释变量Y的联合影响程度越大,ESS在TSS中所占比重就越大,故利用比值 对总体线性关系进行推断。由于对不同的样本,这个比值可能不同,因此对给定的样本,利用这个比值进行推断,必须在统计假设检验的基础上作出。,总体线性显著性检验的步骤,至少有一
18、个不为0,1.提出关于 K 个总体参数的假设。2.构造统计量:可以证明:在k元线性回归的条件下,和 分别服从自由度为k和n-k-1的 分布。即 根据数理统计中的定理可知,因此,利用F统计量进行总体线性显著性检验,F检验,3.在原假设成立的条件下,计算F统计量的值;4.给定显著性水平,查F分布表得临界值;5.若,则拒绝,即回归模型是显著成立,这说明回归模型中的解释变量对被解释变量是有共同影响,也就是说,回归总体是显著线性的。若,则不拒绝,即回归模型不显著成立,说明解释变量对被解释变量是没有显著的线性影响关系。,F检验和判定系数R2关系,可以看出,F与R2同向变化,当 时,当R2 越大时,F值越大
19、,当R2 趋向于1时,F趋向于。因此,用来判断估计的回归方程联合显著性的F检验,实际也就是对判定系数的显著性检验。亦即,检验原假设,等价于检验 这一虚拟假设。,本章要点,被解释变量和解释变量之间的线性关系,包括参数线性和解释变量线性两种。,严格意义上来讲,OLS是针对参数、变量均线性的模型进行估计,为什么基本假定只要求相对参数线性即可?,第四节 非线性回归模型,即使在参数线性回归模型的约束下,回归模型也可以有多种形式:倒数模型 双对数模型 半对数模型 多项式模型 所有这些模型的一个重要特征是,它们都是参数线性模型,或者通过简单的代数处理转化成参数线性模型,但变量却不一定是线性的。,转换技巧:直
20、接代换法 间接代换法 级数展开法 应用研究中经常出现的函数形式的变形和推广。,第四节 非线性回归模型,重点:1.双对数线性模型参数的经济含义 2.半对数线性模型参数的经济含义 3.级数展开法的基本思想,第四节 非线性回归模型,一、直接代换法二、间接代换法三、级数展开法,对于参数线性的模型,可以采用变量的直接代换,转化为参数、变量均为线性的形式进行估计。1.倒数模型 函数形式为下式的称为倒数模型:,倒数模型的一个显著特征是,随着X的无限增大,趋于零,Y接近渐近值。,一、直接代换法,曲线形状,令变量,则回归函数可变为:,根据解释变量的观测值,计算出X*i 的之后进行OLS估计,得到:,因此可得到原
21、模型的估计方程:,如何转换?,倒数变换模型特点,随着X的无限增大,Yi将非线性递减(Y将接近于零),逐渐接近极限值,即有一个渐近下限或渐近上限。由于这种模型的曲线形状呈现双曲线的变化规律,又称其为双曲线模型。在现实中,平均固定成本曲线,恩格尔消费曲线,菲利普斯曲线恰好有类似的变动规律,因此,可以用倒数变换模型进行描述。,平均固定成本曲线,在短期:总固定成本为一条水平线,平均固定成本曲线等于从原点到总成本曲线上相应产量点连线的斜率。随着产出的不断增加,AFC将逐渐降低,最终接近临界值。,恩格尔消费曲线,恩格尔曲线表示消费者在每一收入水平下对某种商品的需求量。恩格尔曲线的形状取决于特定商品的性质、
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 模型
链接地址:https://www.31ppt.com/p-5635082.html