多元回归分析：渐近性.ppt
1,Copyright 2007 Thomson Asia Pte.Ltd.All rights reserved.,多元回归分析：渐进性,y=b0+b1x1+b2x2+.bkxk+u,5.1 一致性5.2 渐进正态和大样本推断5.3 OLS渐进有效性,2,计量经济学导论 刘愿,3,计量经济学导论,5.1 一致性渐进性的含义：,如果误差并非正态分布，对任何的样本容量而言，t统计量、F统计量并非恰好服从t分布、F分布。幸运的是，即使没有正态性假定，t统计量和F统计量仍然渐进的服从t分布、F分布，至少在大样本情况下使如此。,4,计量经济学导论,一致性,在高斯-马尔科夫假定下，OLS估计是最优线性无偏的，但我们并非总能得到无偏的估计量。一致性是对一个估计量最起码的要求。在无法满足无偏性的情况下，我们可以搜集尽可能多的样本，即使n,参数估计值的分布将逼近真实参数值。,5,计量经济学导论,一致性的正式定义,和无偏性不一样，无偏性是估计量在给定样本容量下的一个特征，一致性描述了估计量的抽样分布在样本容量变大是的特性。,6,计量经济学导论,一致性的直观理解,一致性是统计学或计量经济学中对所用估计量的一个起码要求。,7,计量经济学导论,当样本容量增加时的样本分布,8,计量经济学导论,9,计量经济学导论,OLS的一致性,在高斯-马尔科夫假定下，OLS估计值是一致且无偏的。类似的，我们可以像无偏性一样证明一致性，为此需要引入概率极限。,10,计量经济学导论,简单回归中证明一致性,11,计量经济学导论,一个较弱的假定,为了得到无偏性，我们需要零条件均值假设E(u|x1,x2,xk)=0 x的任意函数都与u无关为了得到一致性，我们仅需要较弱的假定：零均值和零相关:E(u)=0,Cov(xj,u)=0,for j=1,2,k.每一个xj都与u无关。不满足上述条件，OLS是有偏和不一致的。,12,计量经济学导论,不一致性的推导,的不一致（有时也粗略地称为渐近偏误）为：,因为Var(x)0,所以，若x与u正相关，则 的不一致就为正，而若x与u负相关，则 的不一致为负。如果x与u之间的协方差相对于X的方差很小，那么这种不一致就可以忽略。,13,计量经济学导论,不一致性的推导,与遗漏变量偏误的推导类似，渐进偏误推导如下：,14,计量经济学导论,渐进偏误,渐进偏误的方向与遗漏变量偏误的方向类似。两者的区别在于，渐进偏误使用总体方差和协方差，遗漏变量偏误则基于样本对应量（以x的样本值为条件）不一致性是大样本问题，即使增加数据量，不一致性问题仍然存在。如果X1与X2不相关，则为不一致估计量；如果相关，则为一致估计量。,15,计量经济学导论,渐进偏误方向的总结,16,计量经济学导论,5.2 渐进正态与大样本推断大样本推断：,在经典线性模型假定下，样本分布呈正态性，我们可以进行t和F检验。这一正态性假定依赖于我们假定总体误差服从正态分布。误差正态分布意味着，给定x情况下，y服从正态分布。,17,计量经济学导论,大样本推断,不满足正态性的情形相当普遍。任何偏向的变量，如工资、被逮捕次数、储蓄等，不可能是正态分布的。（正态分布意味着对称分布）注意：正态性假定在OLS的最优线性无偏性中并非必要的，仅仅是影响推断。,18,计量经济学导论,中心极限定理,根据中心极限定理，可以证明OLS估计值服从渐进正态。渐进正态意味着：P(Zz)F(z)as n,或者 P(Zz)F(z)（标准正态累积分布函数）。中心极限定理表明，任何均值为m，方差为s2 经标准化后渐进的服从标准正态分布,19,计量经济学导论,定理 5.2 OLS的渐进正态性,20,计量经济学导论,21,计量经济学导论,Law of large numbers大数定理,令Y1，Y2，,Yn是均值为u的独立同分布随机变量，则（C.8）成立。大数定理意味着，我们若对估计总体均值u感兴趣，通过选取一个足够大的样本，便能得到一个任意接近u的数。,22,计量经济学导论,渐进正态性,随着自由度提高，t分布渐进服从正态分布，因此有:,因此，随着样本量增大，我们无需再担心正态性假定是否满足问题，但仍然需要同方差性。,23,计量经济学导论,渐进标准误,如果u不是正态分布的，下式被称为渐进标准误，t统计量称为渐进t统计量。,可以预期，标准误的收缩速度为样本容量平方根的倒数。,24,计量经济学导论,大样本检验方法：LM检验LM Statistic(cont),Suppose we have a standard model,y=b0+b1x1+b2x2+.bkxk+u and our null hypothesis is H0:bk-q+1=0,.,bk=0 First,we just run the restricted model,25,计量经济学导论,The idea of LM statistic,If the omitted variables xk-q+1 through xk truly have zero population coefficients then,at least approximately,should be uncorrelated with each of these variables in the sample.Running a regression of these residuals on those independent variables excluded under H0,we should get a small enough R2.However,we must include all of the independent variables in the regression for technical reasons.,26,计量经济学导论,LM Statistic(cont),With a large sample,the result from an F test and from an LM test should be similar.LMc,reject H,27,计量经济学导论,28,计量经济学导论,拉格朗日乘数统计量,将y对施加限制后的自变量集进行回归，并保留残差uhat。将uhat对所有自变量进行回归，并得到R2，记为Ru2.计算LM=n Ru2.将LM与xq2分布中适当的临界值c比较，如果LMc，就拒绝原假设。否则，我们就不能拒绝原假设。,29,计量经济学导论,Example:Economic Model of Crime（数据来源：CRIME1）,Narr86为一个人被拘捕的次数；Pcnv为以前被拘捕后被定罪的次数；Avgsen为过去定罪后被判刑的平均时间长度；Tottime为此人在年龄达到18岁后在1986年以前被送进监狱的总次数；Ptime86为1986年坐牢的月数；Qemp86为此人在1986年合法就业的季度数。,STATA命令语句：,Reg narr86 pcnv ptime86 qemp86Predict ubar,residReg ubar pcnv ptime86 qemp86 avgsen tottime,30,计量经济学导论,31,计量经济学导论,5.3 OLS渐进有效性,Estimators besides OLS will be consistent However,under the Gauss-Markov assumptions,the OLS estimators will have the asymptotic variances We say that OLS is asymptotically efficient Important to remember our assumptions though,if not homoskedastic,not true,32,计量经济学导论,The discussion in the simple regression,g(x)is any function of x,let zi=g(x),then u is uncorrelated with zi.,的估计方差,33,计量经济学导论,的估计方差,34,计量经济学导论,比较渐进方差,35,计量经济学导论,由Cauchy-Schwarz inequality 知：故，,故，对于简单回归模型而言，OLS估计量是渐进有效的。,36,计量经济学导论,
