计量经济学庞皓第二章简单线性回归模型.ppt

《计量经济学庞皓第二章简单线性回归模型.ppt》由会员分享，可在线阅读，更多相关《计量经济学庞皓第二章简单线性回归模型.ppt（77页珍藏版）》请在三一办公上搜索。

1、1,第二章 简单线性回归模型,计量经济学,引子:中国旅游业总收入将超过3000亿美元吗？,未来我国旅游需求将快速增长，根据中国政府所制定的远景目标，到2020年，中国入境旅游人数将达到2.1亿人次；国际旅游外汇收入580亿美元，国内旅游收入2500亿美元。到2020年，中国旅游业总收入将超过3000亿美元，相当于国内生产总值的8%至11%。（来源：2008年中国旅行社发展研究咨询报告）（参考现状：第一产业占GDP的15%，建筑业占GDP 的7%）什么决定性因素能使中国旅游业总收入超过3000亿美元?旅游业的发展与这种决定性因素的数量关系究竟是什么？怎样具体测定旅游业发展与这种决定性因素的数量关

2、系?,2,需要研究经济变量之间数量关系的方法,为了不使问题复杂化,我们先在某些标准的(古典的)假定条件下，用最简单的模型，对最简单的变量间数量关系加以讨论,显然，对旅游起决定性影响作用的是“中国居民的收入水平”以及“入境旅游人数”等因素。“旅游业总收入”（Y）与“居民平均收入”（X1）或者“入境旅游人数”（X2）有怎样的数量关系呢？能否用某种线性或非线性关系式 Y=f(X)去表现这种数量关系呢?具体该怎样去表现和计量呢?,4,第一节 回归分析与回归函数 一、相关分析与回归分析1、相关分析 变量性质：都是随机变量且关系对等。分析方法：图表法和相关系数。分析目的：判定变量之间相关的方向和关系的密切

3、程度。,5,相关关系度量：X和Y的总体线性相关系数：其中：-X 的方差-Y的方差-X和Y的协方差,6,如果只知道 X 和 Y 的样本观测值，则X和Y的样本线性相关系数为：其中：和 分别是变量X和Y的样本观测值，和 分别是变量 X 和Y 样本值的平均值注意:是随抽样而变动的随机变量。,相关系数较为简单,也可以在一定程度上测定变量间的数量关系,但是对于具体研究变量间的数量规律性还有局限性。,X和Y 都是相互对称的随机变量，线性相关系数只反映变量间的线性相关程度，不能说明非线性相关关系 样本相关系数是总体相关系数的样本估计值，由于抽样波动，样本相关系数是随抽样而变动的随机变量，其统计显著性还有待检验

4、,7,对相关系数的正确理解和使用,8,2、回归分析,回归的古典意义：高尔顿遗传学的回归概念(父母身高与子女身高的关系)子女的身高有向人的平均身高回归的趋势回归的现代意义：一个被解释变量对若干个解释变量依存关系的研究回归的目的（实质）：由解释变量去估计被解释变量的平均值,9,被解释变量Y的条件分布和条件概率：当解释变量X取某固定值时（条件），Y 的值不确定，Y的不同取值会形成一定的分布，这是 Y 的条件分布。X取某固定值时，Y 取不同值的概率称为条件概率。被解释变量 Y 的条件期望：对于 X 的每一个取值，对 Y 所形成的分布确 定其期望或均值，称 为 Y 的条件期望或条件均 值，用 表示。注意

5、:Y的条件期望是随X的变动而变动的,Y,X,明确几个概念（为深刻理解“回归”）,10,回归线：对于每一个X的取值，都有Y的条件期望 与之对应，代表Y的条件期望的点的轨迹形成的直线或曲线称为回归线。回归函数：被解释变量Y的条件期望 随解释变量X的变化而有规律的变化，如果把Y的条件期望表现为 X 的某种函数，这个函数称为回归函数。回归函数分为：总体回归函数和样本回归函数,X,Y,11,举例:假如已知由100个家庭构成的总体的数据(单位:元),二、总体回归函数（PRF）,12,消费支出的条件期望与收入关系的图形,对于本例的总体，家庭消费支出的条件期望与家庭收入 基本是线性关系,可以把家庭消费支出的条

6、件均值表示为家庭收入的线性函数：,13,1.总体回归函数的概念 前提：假如已知所研究的经济现象的总体的被解释变量Y和解释变量X的每个观测值（通常这是不可能的！），那么，可以计算出总体被解释变量Y的条件期望，并将其表现为解释变量X的某种函数 这个函数称为总体回归函数（PRF）本质:总体回归函数实际上表现的是特定总体中被解释变量随解释变量的变动而变动的某种规律性。计量经济学的根本目的是要探寻变量间数量关系的规律,也就要努力去寻求总体回归函数。,14,条件期望表现形式例如Y的条件期望 是解 释变量X的线性函数，可表示为：个别值表现形式（随机设定形式）对于一定的，Y的各个别值 并不一定等于条件期望，而

7、是分布在 的周围，若令各个 与条件期望 的偏差为，显然 是个随机变量 则有,2.总体回归函数的表现形式,PRF,作为总体运行的客观规律，总体回归函数是客观存在的，但在实际的经济研究中总体回归函数通常是未知的，只能根据经济理论和实践经验去设定。计量经济学研究中“计量”的根本目的就是要寻求总体回归函数。我们所设定的计量模型实际就是在设定总体回归函数的具体形式。总体回归函数中 Y 与 X 的关系可以是线性的，也可以是非线性的。,15,3.如何理解总体回归函数,16,计量经济学中,线性回归模型的“线性”有两种解释：就变量而言是线性的 Y的条件期望（均值）是X的线性函数 就参数而言是线性的 Y的条件期望

8、（均值）是参数的线性函数例如：对变量、参数均为“线性”对参数“线性”，对变量”非线性”对变量“线性”，对参数”非线性”注意：在计量经济学中，线性回归模型主要指就参数而言是“线性”的,因为只要对参数而言是线性的,都可以用类似的方法去估计其参数，都可以归于线性回归。,“线性”的判断,概念 在总体回归函数中，各个 的值与其条件期望 的偏差 有很重要的意义。若只有 的影响，与 不应有偏差。若偏差 存在，说明还有其他影响因素。实际代表了排除在模型以外的所有因素对 Y 的影响。性质 是其期望为 0 有一定分布的随机变量重要性：随机扰动项的性质决定着计量经济分析结 果的性质和计量经济方法的选择,17,三、随

9、机扰动项,是未知影响因素的代表(理论的模糊性)是无法取得数据的已知影响因素的代表(数据欠缺)是众多细小影响因素的综合代表(非系统性影响)模型可能存在设定误差(变量、函数形式的设定）模型中变量可能存在观测误差(变量数据不符合实际)变量可能有内在随机性(人类经济行为的内在随机性),18,引入随机扰动项 的原因,样本回归线：对于X的一定值，取得Y的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹，称为样本回归线。样本回归函数：如果把被解释变量Y的样本条件均值 表示为解释变量X的某种函数，这个函数称为样本回归函数（SRF）,19,X,Y,SRF,四、样本回归函数（SRF）,20,样本回归函数如果

10、为线性函数，可表示为 其中：是与 相对应的 Y 的样本条件均值 和 分别是样本回归函数的参数 个别值（实际值）形式：被解释变量Y的实际观测值 不完全等于样本条件均值，二者之差用 表示，称为剩余项或残差项：则 或,样本回归函数的函数形式,条件均值形式：,样本回归线随抽样波动而变化:每次抽样都能获得一个样本，就可以拟合一条样本回归线，（SRF不唯一)样本回归函数的函数形式应与设定的总体回归函数的函数形式一致。样本回归线只是样本条件均值的轨迹，还不是总体回归线，它至多只是未知的总体回归线的近似表现。,21,样本回归函数的特点,SRF1,SRF2,Y,X,A X,22,PRF,SRF,样本回归函数与总

11、体回归函数的关系,如果能够通过某种方式获得 和 的数值，显然:和 是对总体回归函数参数 和 的估计 是对总体条件期望 的估计 在概念上类似总体回归函数中的，可视 为对 的估计。,23,对比：总体回归函数 样本回归函数,对样本回归的理解,24,目的：计量经济分析的目标是寻求总体回归函数。即用样本回归函数SRF去估计总体回归函数PRF。由于样本对总体总是存在代表性误差，SRF 总会过高或过低估计PRF。要解决的问题：寻求一种规则和方法，使其得到的SRF的参数 和 尽可能“接近”总体回归函数中的参数 和 的真实值。这样的“规则和方法”有多种，如矩估计、极大似然估计、最小二乘估计等。其中最常用的是最小

12、二乘法。,回归分析的目的,用样本去估计总体回归函数，总要使用特定的方法，而任何估计参数的方法都需要有一定的前提条件假定条件 一、简单线性回归的基本假定 为什么要作基本假定？只有具备一定的假定条件，所作出的估计才具有良好的统计性质。模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。假定分为：对模型和变量的假定对随机扰动项的假定,25,第二节 简单线性回归模型的最小二乘估计,例如对于 假定模型设定是正确的（变量和模型无设定误差）假定解释变量X在重复抽样中取

13、固定值。假定解释变量X是非随机的，或者虽然X是随机的，但与扰动项u是不相关的。(从变量X角度看是外生的)注意:解释变量非随机在自然科学的实验研究中相对容易满足，经济领域中变量的观测是被动不可控的，X非随机的假定并不一定都满足。,26,1.对模型和变量的假定,假定1：零均值假定:在给定X的条件下，的条件期望为零 假定2：同方差假定:在给定X的条件下，的条件方差为某个常数,27,X,Y,2.对随机扰动项u的假定,28,假定3：无自相关假定:随机扰动项 的逐次值互不相关 假定4：解释变量 是非随机的，或者虽然 是随机的但与扰动项 不相关(从随机扰动 角度看),假定5：对随机扰动项分布的正态性假定，即

14、假定 服从均值为零、方差为 的正态分布（说明：正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时，的分布会趋近于正态分布。所以正态性假定有合理性）,29,由于其中的 和 是非随机的，是随机变量，因此Y是随机变量，的分布性质决定了 的分布性质。对 的一些假定可以等价地表示为对 的假定：假定1：零均值假定 假定2：同方差假定 假定3：无自相关假定 假定5：正态性假定,30,在对 的基本假定下 Y 的分布性质,1.OLS的基本思想 对于，不同的估计方法可以得到不同的样本回归参数 和，所估计的 也就不同。理想的估

15、计结果应使估计的 与真实的 的差(即剩余)总的来说越小越好 因 可正可负，总有，所以可以取 最小，即在观测值Y和X确定时，的大小决定于 和。要解决的问题:：如何寻求能使 最小的 和。,31,二、普通最小二乘法（OLS）（rdinary Least Squares),用克莱姆法则求解得以观测值表现的OLS估计量：,32,取偏导数并令其为0，可得正规方程,或整理得,即,2.正规方程和估计量,33,为表达得更简洁，或者用离差形式的OLS估计量：容易证明由正规方程：注意：其中：本课程中:大写的 和 均表示观测值；小写的 和 均表示观测值的离差而且由样本回归函数可用离差形式写为,用离差表现的OLS估计量

16、,剩余项 的均值为零 OLS回归线通过样本均值 估计值 的均值等于实际观测 值 的均值,34,(由OLS第一个正规方程直接得到),(由OLS正规方程 两边同除n得到),3.OLS回归线的数学性质,解释变量 与剩余项 不相关,由OLS正规方程有:,被解释变量估计值 与剩余项 不相关,36,面临的问题:参数估计值 参数真实值对参数估计式的优劣需要有评价的标准 为什么呢?参数无法直接观测，只能通过样本去估计。样本的获得存 在抽样波动，不同样本的估计结果不一致。估计参数的方法有多种，不同方法的估计结果可能不相同，通过样本估计参数时，估计方法及所确定的估计量不一定完备，不一定能得到理想的总体参数估计值。

17、对各种估计方法优劣的比较与选择需要有评价标准。估计准则的基本要求：参数估计值应尽可能地接近总体参数真实值”。什么是“尽可能地接近”原则呢？用统计语言表述就是:无偏性、有效性、一致性等,4.OLS估计量的统计性质,37,(1)无偏性,前提：重复抽样中估计方法固定、样本数不变、由重复抽样得到的观测值,可得一系列参数估计值,的分布称为 的抽样分布，其密度函数记为概念:如果，则称 是参数 的无偏估计量，如果，则称 是有偏的估计，其偏倚为（见下页图）,38,概 率 密 度 估计值 偏倚,39,(2)有效性,前提：样本相同、用不同的方法估计参数，可以找到若 干个不同的无偏估计式 目标:努力寻求其抽样分布具

18、有最小方差的估计量（见下页图）既是无偏的同时又具有最小方差特性的估计量，称为最佳（有效）估计量。,40,概 率 密 度,估计值,思想:当样本容量较小时，有时很难找到方差最小的无偏估计，需要考虑样本扩大后的性质（估计方法不变，样本数逐步增大）一致性：当样本容量 n 趋于无穷大时，如果估计式 依概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。即 或（渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的估计式）(见下页图)渐近有效性：当样本容量 n 趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。,41,3、渐近性质（大样本性质）,42,概 率 密 度 估计值,图 4,概念：样

19、本回归线是对样本数据的一种拟合。不同的模型（不同函数形式)可拟合出不同的样本回归线相同的模型用不同方法去估计参数，也可以拟合出不同的回归线拟合的回归线与样本观测值总是有偏离。样本回归线对样本观测数据拟合的优劣程度，可称为拟合优度。如何度量拟合优度呢？拟合优度的度量建立在对 Y 的总变差分解的基础上,43,第三节 拟合优度的度量,分析Y的观测值、估计值 与平均值 有以下关系 将上式两边平方加总，可证得（提示：交叉项）（TSS）（ESS）（RSS）或者表示为 总变差（TSS）：被解释变量Y的观测值与其平均值的离差平 方和（总平方和）(说明 Y 的总变动程度）解释了的变差（ESS）：被解释变量Y的估

20、计值与其平均值的 离差平方和（回归平方和）剩余平方和（RSS）：被解释变量观测值与估计值之差的平方 和（未解释的平方和）,44,一、总变差的分解,Y X,45,变差分解的图示(以某一个观测值为例),以TSS同除总变差等式 两边：或 定义：回归平方和（解释了的变差ESS）在总变 差（TSS）中所占的比重称为可决系数，用 或 表示:,46,或,二、可决系数,可决系数越大，说明在总变差中由模型作出了解释的部分占的比重越大，模型拟合优度越好。反之可决系数越小，说明模型对样本观测值的拟合程度越差。可决系数的特点：可决系数取值范围：随抽样波动，样本可决系数 是随抽样而变 动的随机变量 可决系数是非负的统计

21、量,47,可决系数的作用,联系：数值上可决系数是相关系数的平方,48,可决系数与相关系数的关系,区别：可决系数 相关系数 是就模型而言 是就两个变量而言 说明解释变量对被解释 说明两变量线性依存程度 变量的解释程度 度量不对称的因果关系 度量对称的相关关系 取值 0 1 取值-1r1 有非负性 可正可负,49,50,第四节 回归系数的区间估计和假设检验,为什么要作区间估计？运用OLS法可以估计出参数的一个估计值，但OLS估计只是通过样本得到的点估计，它不一定等于真实参数，还需要寻求真实参数的可能范围，并说明其可靠性。为什么要作假设检验？OLS 估计只是用样本估计的结果，是否可靠？是否抽样的偶然

22、结果呢？还有待统计检验。区间估计和假设检验都是建立在确定参数估计值 概率分布性质的基础上。,51,一、OLS估计的分布性质 基本思想 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 怎样确定 的分布性质呢?是服从正态分布的随机变量，决定 了 也是服从正态分布的随机变量；是 的线性函数，决定了 也服从正态分布 正态 正态 正态 只要确定 的期望和方差，即可确定 的分布性质,线性特征,（线性估计的重要性),52,的期望：(已证明是无偏估计）的方差和标准误差(证明见P39、P40)(标准误差是方差的平方根)注意：以上各式中 均未知，但是个常数，其余均是已知的样本观测值，这时 和 都不是随

23、机变量。,的期望和方差,53,基本思想：是 的方差，而 不能直接观测，只能从由样本得到的 去获得有关 的某些信息，去对 作出估计。可以证明（见附录2.2)其无偏估计为(这里的n-2为自由度,即可自由变化的样本观测值个数)注意区别：是未知的确定的常数；是由样本信息估计的，是个随机变量,对随机扰动项方差 的估计,基本思想：对参数作出的点估计是随机变量，虽然是无偏估计，但还不能说明这种估计的可靠性和精确性。如果能找到包含真实参数的一个范围，并确定这样的范围包含参数真实值的可靠程度，将是对真实参数更深刻的认识。方法：如果在确定参数估计式概率分布性质的基础上，可找到两个正数和，能使得这样的区间 包含真实

24、 的概率为，即这样的区间称为所估计参数的置信区间。讨论：“如果已经得出了 的特定估计值,并确定了某个置信区间，这说明真实参数落入这个区间的概率为1-”。这种说法对吗?,54,二、回归系数的区间估计,方法：用无偏估计 去代替未知的，由于样本容量较小，“标准化变量”t（统计量）不再服从正态分布，而服从 t 分布。这时可用 t 分布去建立参数估计的置信区间。选定，查 t 分布表得显著性水平为，自由度为n-2的临界值(n-2)，则有即,55,例1:研究某市城镇居民人均鲜蛋需求量Y(公斤)与人均可支配收入X(元,1980年不变价计)的关系设定模型:1995-2005年样本数据:估计参数：,计算可决系数例

25、1:由前面的估计结果可计算出 由数据Y 可计算出:则,估计结果:,估计：给定 查df=n-2=9的t分布临界值参数区间估计:若给定 查df=9的t分布临界值,58,若给定 则,若给定 则,则,59,59,统计量 t,计算的统计量为:,相对于显著性水平 的临界值为:（单侧）或（双侧）,基本概念回顾:临界值与概率、大概率事件与小概率事件,0,（大概率事件）,（小概率事件）,目的：简单线性回归中，检验X对Y是否真有显著影响,三、回归系数的假设检验,回归系数的检验方法,确立假设：原假设为 备择假设为(本质：检验 是否为0，即检验 是否对Y有显著影响),则：,61,给定,查 t 分布表得如果 或者 则拒

26、绝原假设 而不拒绝备择假设xi 对y有显著影响；如果 则不拒绝原假设 xi 对y没有显著影响；,用 P 值判断参数的显著性,假设检验的 p 值：p 值是基于既定的样本数据所计算的统计量，拒绝原假设的最低显著性水平。统计分析软件中通常都给出了检验的 p 值,P,统计量 t,计算的统计量:,相对于显著性水平 的临界值:或,注意：t检验是比较 和P值检验是比较 和 p,与 相对应,与 P 相对应,63,用 P 值判断参数显著性的方法,方法：将给定的显著性水平 与 p 值比较：若 值，必有，则在显著性水平 下拒绝原假设，即认为 对 Y 有显著影响若 值，必有，则在显著性水平 下不拒绝原假设，即认为 对

27、 Y 没有显著影响规则：当 时，P值越小，越能拒绝原假设,64,举例：对例1参数的显著性检验给定 查df=9的 t分布临界值计算统计量判断:因 拒绝说明 显著不为0，X对Y 确有显著影响用P值检验:（需要确定与 对应的P值）由，df=9，查 t 分布表知道P0.0005(t=4.781时)因t=5.00时的P值 0.0005（t=4.781)则在显著性水平 下更应拒绝原假设即认为 对 Y 有显著影响,第五节 回归模型预测,一、回归分析结果的报告 经过模型的估计、检验，得到一系列重要的数据，为了简明、清晰、规范地表述这些数据，计量经济学通常采用以下规范化的方式：例如：回归结果为=244545+0

28、5091（64138）（00357）标准误差SE t=(38128)(142605)t 统计量=09621 df=8 可决系数和自由度 F=20287 DW=2.3 F 统计量 DW统计量,1.基本思想经估计的计量经济模型可用于:经济结构分析 经济预测 政策评价 验证理论运用计量经济模型作预测：指利用所估计的样本回归函数作预测工具，用解释变量的已知值或预测值，对预测期或样本以外的被解释变量的数值作出定量的估计。计量经济预测是一种条件预测：条件：模型设定的关系式不变 所估计的参数不变 解释变量在预测期的取值已作出预测,66,二、被解释变量平均值预测,预测值、平均值、个别值的相互关系,Y 是对真实

29、平均值的点估计,也是对个别值的点估计,点预测值,真实平均值,个别值,2、Y 平均值的点预测,点预测:用样本估计的总体参数值所计算的Y的估计值直接作为Y的预测值方法：将解释变量预测值直接代入估计的方程 这样计算的 是一个点估计值,3、Y平均值的区间预测,基本思想：预测的目标值是真实平均值，由于存在抽样波动，预 测的平均值 不一定等于真实平均值，还 需要对 作区间估计为对Y作区间预测，必须确定平均值点预测值 的抽样分布必须找出点预测值 与预测目标值 的关系，即找出与二者都有关的统计量,具体作法（从 的分布分析）,已知 可以证明 服从正态分布(为什么?)，将其标准化,当 未知时，只得用 代替，这时有

30、,（较复杂不具体证明）,71,显然这样的 t 统计量与 和 都有关。给定显著性水平，查 t 分布表，得自由度n2的临界值，则有即Y平均值的置信度为 的预测区间为,构建平均值的预测区间,三、被解释变量个别值预测,基本思想：既是对Y平均值的点预测，也是对Y个别值的点预测。由于存在随机扰动 的影响，Y的平均值并不等于Y的个别值 为了对Y的个别值 作区间预测，需要寻找与点预测值 和预测目标个别值 有关的统计量，并要明确其概率分布,已知剩余项 是与预测值 及个别值 都有关的变量，并且已知 服从正态分布，且可证明 当用 代替 时，对 标准化的 变量 t 为,73,（较复杂不具体证明）,具体作法：,构建个别

31、值的预测区间,给定显著性水平，查 t 分布表得自由度为N2的临界值，则有 因此，一元回归时Y的个别值的置信度为 的预测区间上下限为,75,被解释变量Y区间预测的特点,（1）Y平均值的预测值与真实平均值有误差，主要是受抽样波动影响 预测区间 Y个别值的预测值与真实个别值的差异,不仅受抽样波动影响，而且还受随机扰动项的影响 预测区间,76,（2）平均值和个别值预测区间都不是常数，是随 的变化而变化的，当 时，预测区间最小。（3）预测区间上下限与样本容量有关，当样本容量n时,个别值的预测区间只决定于随机扰 动的方差。,预测区间,77,SRF,各种预测值的关系,Y的个别值的预测区间,Y平均值的预测区间,