其他回归方法.ppt
《其他回归方法.ppt》由会员分享,可在线阅读,更多相关《其他回归方法.ppt(78页珍藏版)》请在三一办公上搜索。
1、第四章 其他回归方法,本章讨论加权最小二乘估计,异方差性和自相关一致协方差估计,两阶段最小二乘估计(TSLS),非线性最小二乘估计、广义矩估计(GMM)、多项式分布滞后模型、逐步最小二乘回归、分位数回归和非参数回归。这里的大多数方法在第十二章的联立方程系统中也适用。本章中某些估计方法中含有AR和MA误差项,这些概念将在第五章中深入介绍。,线性回归模型的基本假设,i=1,2,N,在普通最小二乘法中,为保证参数估计量具有良好的性质,通常对模型提出若干基本假设:1解释变量之间互不相关;2随机误差项具有0均值和同方差。即,i=1,2,N,即随机误差项的方差是与观测时点 i 无关的常数;3不同时点的随机
2、误差项互不相关(序列不相关),即,s 0,i=1,2,N,当随机误差项满足假定1 4时,将回归模型”称为“标准回归模型”,当随机误差项满足假定1 5时,将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假定,普通最小二乘法就不再适用,而要发展其他方法来估计模型。,5随机误差项服从0均值、同方差的正态分布。即,i=1,2,N,4随机误差项与解释变量之间互不相关。即,j=1,2,k,i=1,2,N,古典线性回归模型的一个重要假设是总体回归方程的随机扰动项 ui 同方差,即他们具有相同的方差 2。如果随机扰动项的方差随观测值不同而异,即ui 的方差为i2,就是异方差。用符号表示异方差为E(
3、ui2)=i2。异方差性在许多应用中都存在,但主要出现在截面数据分析中。例如我们调查不同规模公司的利润,会发现大公司的利润变化幅度要比小公司的利润变化幅度大,即大公司利润的方差比小公司利润的方差大。利润方差的大小取决于公司的规模、产业特点、研究开发支出多少等因素。又如在分析家庭支出模式时,我们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大的方差。,4.1 异方差,表1 中国1998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位:元,例4.1:我们研究人均家庭交通及通讯支出(cum)和可支配收入(in)的关系,考虑如下方程:cumi=0+1ini+ui 利用普通最小二乘
4、法,得到如下回归模型:cumi=-56.917+0.05807ini(4.1.4)(-1.57)(8.96)R2=0.74 D.W.=2.008,从图形上可以看出,平均而言,城镇居民家庭交通和通讯支出随可支配收入的增加而增加。但是,值得注意的是:随着可支配收入的增加,交通和通讯支出的变动幅度也增大了,可能存在异方差。如果我们把回归方程中得到的残差对各个观测值作图,则可以清楚地看到这一点。异方差的存在并不破坏普通最小二乘法的无偏性,但是估计量却不是有效的,即使对大样本也是如此,因为缺乏有效性,所以通常的假设检验值不可靠。若怀疑存在异方差或者已经检测到异方差的存在,则必须采取补救措施。否则,将影响
5、模型的所有检验、预测、和应用。,4.1.1 异方差检验 1.图示检验法(1)用X-Y的散点图进行判断 观察是否存在明显的散点扩大、缩小或复杂型趋势(即不在一个固定的带型域中),(2)X-i2的散点图进行判断,首先采用OLS方法估计模型,以求得随机误差项u的方差i2的估计量(注意,该估计量是不严格的),我们称之为“近似估计量”,用 ei2 表示。于是有(4.1.5),即用 ei2 来表示随机误差项的方差。用 解释变量x 和 ei2的散点图进行观察是否随着x增加,出现方差的逐渐增加、下降或者不规则变化。,2.White异方差性检验 White(1980)提出了对最小二乘回归中残差的异方差性的检验。
6、包括有交叉项和无交叉项两种检验。普通最小二乘估计虽然在存在异方差性时是一致的,但是通常计算的标准差不再有效。如果发现存在异方差性,利用加权最小二乘法可以获得更有效的估计。,检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如:假设估计如下方程(4.1.6)式中b是估计系数,i 是残差。检验统计量基于辅助回归:(4.1.7)EViews显示两个检验统计量:F统计量和 Obs*R2 统计量。White检验的原假设:不存在异方差性(也就是,式(4.1.7)中除0以外的所有系数都为0成立)。,White证明出:(4.1.8)其中:N是样本容量,k为自由度,等于式(4.1.7)中解
7、释变量个数(不包含截距项)。如果计算的2值大于给定显著性水平对应的临界值,则可以拒绝原假设,得出存在异方差的结论。也就是说,回归方程(4.1.7)的R2越大,说明残差平方受到解释变量影响越显著,也就越倾向于认为存在异方差。如果原模型中包含的解释变量较多,那么辅助回归中将包含太多的变量,这会迅速降低自由度。因此,在引入变量太多时,必须谨慎一些。White检验的另外一种形式,就是辅助回归中不包含交叉项。因此White检验有两个选项:交叉项和无交叉项。,例4.2:人均家庭交通及通讯支出(CUM)和可支配收入(IN)的回归方程的 White 异方差检验的结果:,该结果F 统计量和 Obs*R2 统计量
8、的P值均很小,表明拒绝原假设,即残差存在异方差性。,由于假设的异方差形式不同,使用的辅助回归也不同,导致了不同的检验方法。各不同方法的异方差形式和辅助回归方程:Breusch-Pagan-Godfrey(BPG)异方差检验方法,Harvey异方差检验,Glejser异方差检验,m=1,2,,4.1.2 加权最小二乘估计 1方差已知的情形 考虑一个一元回归线性方程:(4.1.11)假设已知随机误差项的真实的方差,var(ui)=i2,则令wi=1/i,将模型两端同乘wi,变换为(4.1.12)令ui*=wiui,则(4.1.13),因此,变换后的模型(4.1.12)不再存在异方差的问题,可以用O
9、LS估计。加权最小化残差平方和为:(4.1.14)由此获得的估计量就是权重序列为 wi的加权最小二乘估计量。,假设有已知形式的异方差性,并且有序列w,其值与误差标准差的倒数成比例。这时可以采用权数序列为w 的加权最小二乘估计来修正异方差性。对加权最小化残差平方和得到估计结果:,其中 是k 1维向量。在矩阵概念下,令权数序列 w 在权数矩阵W的对角线上,其他地方是零,即W 矩阵是对角矩阵,y 和X是因变量和自变量矩阵。则加权最小二乘估计量为:(),估计协方差矩阵为:(),例4.3 加权最小二乘估计,本例考虑对由四组家庭住房支出和年收入组成的截面数据进行研究(表4.2)。假设住房支出模型为 其中:
10、yi是住房支出,xi是收入。普通最小二乘估计得出如下回归结果:t=(4.4)(15.9)R2=0.93 F=252.7 对数据图形的研究及以前有关支出的研究结果都说明这个模型具有异方差现象。,对住房支出模型进行异方差修正,然后进行估计。变换后的模型为其结果为:t=(21.3)(7.7)R2=0.76 F=58.7 注意,修改后关于收入的回归系数的估计值为0.249,比原来普通最小二乘估计有所增加。R2下降,但是,并不能直接比较R2,因为因变量已经发生了变化。,使用加权最小二乘法,也可以得到:,2方差未知的情形 由于一般不知道异方差的形式,人们通常采用的经验方法是,并不对原模型进行异方差检验,而
11、是直接选择加权最小二乘法,尤其是采用截面数据作样本时。如果确实存在异方差性,则被有效地消除了;如果不存在异方差性,则加权最小二乘法等价于普通最小二乘法。具体步骤是:1选择普通最小二乘法估计原模型,得到随机误差项的近似估计量 t;2建立 wi=1/|t|的权数序列;3选择加权最小二乘法,以 wi=1/|t|序列作为权,进行估计得到参数估计量。实际上是以 1/|t|乘原模型的两边,得到一个新模型,采用普通最小二乘法估计新模型。,使用加权最小二乘法估计方程,首先到主菜单中选Quick/Estimate Equation,然后选择LS-Least Squares(NLS and ARMA)。在对话框中
12、输入方程说明和样本,然后按Options钮,出现如下对话框:,单击Weighted LS/TSLS选项在Weighted 项后填写权数序列名,单击OK。例子:,例4.4:,EViews会打开结果窗口显示标准系数结果(如上图),包括加权统计量和未加权统计量。加权统计结果是用加权数据计算得到的:,未加权结果是基于原始数据计算的残差得到的:,估计后,未加权残差存放在RESID序列中。,如果残差方差假设正确,则加权残差不应具有异方差性。如果方差假设正确的话,未加权残差应具有异方差性,残差标准差的倒数在每个时刻 t 与 w 成比例。检验加权残差的异方差性:,可以看到加权最小二乘法消除了残差的异方差性。,
13、4.2 二阶段最小二乘法,回归分析的一个基本假设是方程的解释变量与扰动项不相关。但是,由于解释变量测量误差的存在,用于估计模型参数的数据经常与它们的理论值不一致;或者由于遗漏了变量,使得随机误差项中含有可能与解释变量相关的变量,这些都可能导致解释变量与扰动项的相关。出现这种问题时,OLS和WLS估计量都有偏差且不一致,因而要采用其他方法估计。最常用的估计方法是二阶段最小二乘法。,考虑多元线性回归模型的矩阵形式(4.2.1)其中:y 和 X 是因变量和解释变量数据矩阵,是系数向量。为简化起见,我们称与残差相关的变量为内生变量,与残差不相关的变量为外生变量或前定变量。解决方程右边解释变量与残差相关
14、的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件:(1)与方程解释变量相关;(2)与扰动项不相关;,选择 zi=(z1i,z2i,zki)作为工具变量,它与解释变量相关,但与扰动项不相关,即(4.2.2)这些变量就可成为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。,二阶段最小二乘方法(two stage least square,TSLS)本质上属于工具变量法,它包括两个阶段:第一个阶段,找到一组工具变量,模型中每个解释变量分别关于这组变量作最小二乘回归;第二个阶段,所有变量用第一个阶段回归得到的拟合值来代替,对原方程进行回归,这样求得的回归系数就是TSLS估计
15、值。可以证明二阶段最小二乘估计量是一致估计量。,不必担心TSLS估计中分离的阶段,因为EViews会使用工具变量技术同时估计两个阶段。令 Z 为工具变量矩阵,y 和 X 是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来:,系数估计的协方差矩阵为:,其中 s2 是回归标准差(估计残差协方差)。,下面我们利用美国1947年1季度1999年4季度的宏观数据计算居民消费cn关于GDP 和利率R 的LS估计,采用差分序列。使用二阶段最小二乘估计,打开方程说明对话框,选择Method中的TSLS估计。随着选择的变化,方程对话框也会发生变化,包括一个工具变量列表对话框。,输入工具变量时,应注
16、意以下问题:1.使用TSLS估计,方程说明必需满足识别的阶条件,即工具变量的个数至少与方程的系数一样多。参见Davidson和MacKinnon(1994)和Johnston和DiNardo(1997)的讨论。2.根据经济计量学理论,与扰动项不相关的解释变量可以用作工具变量。3.常数c是一个合适的工具变量,如果忽略了它,EViews会自动把它加进去。,TSLS估计结果:下面我们利用美国1947年1季度1999年4季度的宏观数据计算居民消费cn关于GDP 和利率R 的TSLS估计(工具变量是居民消费cn(-1)、政府支出G、M1),所有的变量都采用一阶差分:,4.3 非线性最小二乘估计,经典的计
17、量经济学模型理论与方法是在线性模型的基础上发展、完善起来的,因而线性计量经济学模型领域的理论与方法已经相当成熟。但是,现实经济活动并不都能抽象为线性模型,所以非线性计量经济学模型在计量经济学模型中占据重要的位置,关于它的理论与方法的研究是计量经济学理论与方法研究的一个广泛的领域。假设回归方程为:,其中f 是解释变量和参数 的函数。最小二乘估计就是要选择参数 的估计值 b 使残差平方和最小:,如果 f 关于参数的导数不依赖于参数,则我们称模型为参数线性的,反之,则是参数非线性的。例如,是参数线性的,f 关于参数的导数与参数 无关。而其函数的导数仍依赖于参数,所以它是参数非线性的。对于这个模型,没
18、有办法使用普通最小二乘估计来最小化残差平方和。必须使用非线性最小二乘估计技术来估计模型参数。,非线性最小二乘估计根据参数 的估计值 b 选择最小化残差平方和。最小化的一阶条件是:(4.3.5),其中 G(b)是 f(X,b)关于b 的导数。估计协方差矩阵为:,关于非线性估计的详细讨论,参见Pindick和Rubinfeld(1991,231-245页)或Davidson和MacKinon(1993)。,即,令,对于非线性模型,无法直接求解式(4.3.5)。非线性方程有几种近似迭代方法可以完成参数估计。但是利用EViews估计非线性最小二乘模型很简单,对于任何系数非线性的方程,EViews自动应
19、用非线性最小二乘估计,会使用迭代算法估计模型。,1.说明非线性最小二乘估计,对于非线性最小二乘模型,必须使用直接包含系数约束的EViews表达式以方程形式来说明。可以使用缺省系数向量C中的元素(例如,c(1),c(2),c(34),c(87),也可以定义使用其它系数向量。例如:Y=c(1)+c(2)*(Kc(3)+Lc(4)就是缺省系数向量C的4个元素从c(1)到c(4)。,例4.6:如果设定例3.1中的消费函数为非线性形式:(4.3.11)其中:cst 是实际居民消费,inct 是实际可支配收入。利用我国1978年2006年的年度数据估计此非线性方程,由于用迭代法计算,首先要赋初值,比如可以
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 其他 回归 方法
![提示](https://www.31ppt.com/images/bang_tan.gif)
链接地址:https://www.31ppt.com/p-6092087.html