多元线性回归模型常见问题及解决方法.ppt

《多元线性回归模型常见问题及解决方法.ppt》由会员分享，可在线阅读，更多相关《多元线性回归模型常见问题及解决方法.ppt（70页珍藏版）》请在三一办公上搜索。

1、多元线性回归模型,基本假设(1)随机扰动项ui数学期望（均值）为零。E(ui)=0(2)随机扰动项ui的同方差性且无自相关Var(ui)=2(3)解释变量X列线性无关。R(Xnk)=K(4)随机扰动项ui与解释变量X不相关。cov(ui,X)=0,异方差性的定义,对于线性回归模型同方差性假设为如果出现即对于不同的样本点，随机误差项的方差不再是常数，而是互不相同，则认为出现了异方差性(Heteroscedasticity)。,实际经济问题中的异方差性,（1）研究居民家庭的储蓄行为 Yi=0+1Xi+ui Y-储蓄额 X-可支配收入 ui的方差单调递增（2）居民消费函数 Ci=0+1Yi+ui 将

2、居民收入等距离分成n组，取组平均数作为样本观测值。Y服从正态分布。人数多的组平均数误差小。样本观测值的观测误差随解释变量观测值改变。,异方差性的检验,异方差性，即相对于不同的样本点，也就是相对于不同的解释变量观测值，随机误差项具有不同的方差。检验异方差性，就是检验随机误差项的方差与解释变量观测值之间的相关性。问题在于随机误差项的方差如何估计？,一般处理方法是先采用普通最小二乘法估计模型，得到随机误差项的估计量，用 表示，称为近似估计量。即,检验方法,（1）图示检验法大概判断（2）帕克检验与戈里瑟检验（3）GQ检验（4）怀特检验,怀特(White)检验,以两个解释变量的回归模型为例，说明怀特检验

3、的基本思想与步骤。设回归模型为Yi=0+1X1i+2X2i+i先对模型作普通最小二乘回归，得到，然后作辅助回归：,在同方差性假设下，辅助回归的可决系数R2与样本容量n的乘积，渐进地服从自由度为辅助回归方程中解释变量个数的2分布，即nR22在大样本下，对统计量nR2进行相应的2检验。若存在异方差性，表明 与解释变量的某种组合有显著的相关性，这时往往有较大的可决系数R2，并且某一参数的t检验值较大。,加权最小二乘法(WLS),加权最小二乘法(Weighted Least Squares,WLS)是对原模型加权，使之变成一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数。加权的基本思想：

4、在采用普通最小二乘法时，对较小的残差平方赋予较大的权数，对较大的赋予较小的权数，从而对残差提供的信息的重要程度作校正，提高参数估计的精度。,加权最小二乘法就是对加了权重的残差平方和实施普通最小二乘法。记wi为权数，则加了权重的残差平方和为如在异方差检验过程中已知即随机误差项的方差 与解释变量Xji之间存在相关性。,可以用 去除原模型，使之变为如下形式新模型：,在新模型中，即满足同方差性，可用普通最小二乘法估计其参数，得到参数0,1,k的无偏、有效估计量。,上述即为加权最小二乘法，其中权数为。普通最小二乘法只是加权最小二乘法中权数恒取1的一种特例，加权最小二乘法具有比普通最小二乘法更普遍的意义。

5、加权最小二乘法也称为广义最小二乘法(Generalized Least Squares,GLS)。,加权最小二乘法的关键是寻找适当的权，或者说是寻找随机误差项的方差与解释变量之间适当的函数形式。如发现则加权最小二乘法中的权即为。,序列相关性的定义,对于线性回归模型在其他假设仍成立的条件下，随机误差项序列相关即Cov(i,j)=E(ij)0 序列相关性经常出现在以时间序列为样本的模型里。自相关现象是指一个变量前后期数值之间存在的相关关系。t=t-1+t,序列相关性产生的原因,经济变量故有的惯性（物价指数，消费）模型设定的偏误 数据的编造（由已知数据生成）,(一)经济变量故有的惯性,消费函数模型：

6、消费习惯没有包括在解释变量中，其对消费的影响包含在随机误差项中，产生序列相关性。,(二)模型设定的偏误,模型设定偏误指所设定的模型不正确，表现为遗漏了重要解释变量或模型函数形式有偏误。如应估计模型但将模型设定为,序列相关性的检验,序列相关性检验的思路：首先采用普通最小二乘法估计模型，以求得随机误差项的近似估计量，用 表示：然后通过分析这些近似估计量之间的相关性，以达到判断随机误差项是否具有序列相关性的目的。序列相关性的检验方法有：回归检验法、D.W.检验法、冯诺曼比检验法等。,回归检验法,以 为被解释变量，以各种可能的相关量，如 等为解释变量，建立各种方程：对方程进行估计并进行显著性检验，如存

7、在某一种函数形式，使方程显著成立，则说明原模型存在序列相关性。,D.W.检验法,D.W.检验由杜宾(J.Durbin)和瓦森(G.S.Watson)于1951年提出，用于检验序列自相关。D.W.检验的假定条件是：(1)解释变量X非随机；(2)随机误差项t为一阶自回归形式：t=t-1+t,(3)回归模型中不含有滞后因变量作为解释变量，即不出现以下形式：(4)回归模型含有截距项。D.W.检验的原假设为：H0:=0，即t不存在一阶自回归。,构造统计量：该统计量的分布与给定样本中的X值有复杂关系，其精确分布很难得到。,但可导出临界值的上限dU与下限dL，且上下限只与样本容量n和解释变量的个数k有关，而

8、与解释变量的取值无关。根据样本容量n和解释变量的个数k查D.W.分布表，得到临界值dU和dL，按照下列准则判断模型的自相关状态：,若0D.W.dL，则存在正自相关；若dLD.W.dU，则不能确定；若dUD.W.4-dU，则无自相关；若4-dUD.W.4-dL，则不能确定；若4-dLD.W.4，则存在负自相关。,如果存在完全一阶正相关，则1，D.W.0；如果存在完全一阶负相关，则-1，D.W.4；如果完全不相关，则=0，D.W.=2；从判断准则看，存在一个不能确定的D.W.值区域，这是该检验方法的一个缺陷。D.W.检验只能检验一阶自相关，且对存在滞后被解释变量的模型无法检验。,序列相关性的修正,

9、（1）回归模型选用不当，改用适当的回归模型。（2）缺少重要的自变量，增加自变量。（3）以上都不行，则采用广义最小二乘法、广义差分法。,广义最小二乘法,广义最小二乘法是最具有普遍意义的最小二乘法，普通最小二乘法和加权最小二乘法是它的特例。对于模型 Y=X+若存在序列相关性，同时存在异方差性，即有,其中，为对称正定矩阵，故存在一可逆矩阵D，使得=DD用D-1左乘模型两边，得到新模型：D-1Y=D-1X+D-1即Y*=X*+*,由于故，可用普通最小二乘法估计新模型，记参数估计量为，则此即原模型的广义最小二乘估计量，是无偏、有效估计量。,由上可知，只要知道随机误差项的方差-协方差矩阵2，就可采用广义最

10、小二乘法得到参数的最佳线性无偏估计量。,矩阵？下面的证明出自潘文卿李子奈版计量课后习题答案P62。,需要对随机误差项的自相关结构进行特殊设定，才能得到其估计值。一般假设随机误差项具有一阶序列相关性：t=t-1+t;-11此时，,于是,多重共线性,多元线性回归模型其基本假设之一是解释变量X1,X2,Xk相互独立。如果某两个或多个解释变量之间出现了相关性，则成为存在多重共线性(Multicollinearity)。,实际经济问题中的多重共线性,服装需求函数模型：Qi=f(Ii,Pi,.)I-收入 P-价格直观判断，收入与价格不相关。调查数据表明，二者有一定的相关性。,多重共线性的后果,完全共线性下

11、参数估计量不存在 近似共线性下普通最小二乘法参数估计量的方差变大 参数估计量经济含义不合理（若出现参数估计值的经济意义明显不合理的情况，应首先怀疑是否存在多重共线性。）变量的显著性检验和模型的预测功能失去意义,多重共线性的检验,多重共线性表现为解释变量之间具有相关关系。多重共线性检验的任务：(1)检验多重共线性是否存在；(2)判明存在多重共线性的范围。（哪些变量之间存在多重共线性）多重共线性检验的方法：判定系数检验法、逐步回归检验法等。,(一)检验多重共线性是否存在,(1)对两个解释变量的模型，采用简单相关系数法：求出X1与X2的简单相关系数r，若r接近1，说明两变量存在较强的多重共线性。(2

12、)对多个解释变量的模型，采用综合统计检验若在普通最小二乘法下，模型的R2与F值较大，但各参数估计值的t检验值较小，说明各解释变量对Y的联合线性作用显著。各解释变量间存在共线性使得它们对Y的独立作用不能分辨，使t检验不显著。,(二)判明存在多重共线性的范围,确定多重共线性由哪些变量引起。判定系数检验法将模型中每个解释变量分别以其余解释变量为解释变量进行回归，计算相应的拟合优度，也称为判定系数。若某一种形式的判定系数较大，说明该形式中作为被解释变量的Xj可以用其他解释变量的线性组合替代，即Xj与其他解释变量间存在共线性。,对出现较大判定系数的回归方程作F检验：其中，为第j个解释变量对其他解释变量的

13、回归方程的判定系数。若存在较强的共线性，则 较大且接近于1，此时1-较小，从而Fj的值较大。,随机解释变量问题,多元线性回归模型 若cov(Xi,i)0,即扰动项与解释变量无关性假设不成立，则最小二乘估计量的无偏性和一致性也不成立。该解释变量具有内生性。假设E(iXi)=i,对于多元线性回归模型，其矩阵形式为Y=X+假设X2与随机误差项相关，用工具变量Z替代。采用工具变量法得到的正规方程组为ZY=ZX参数估计量为,其中对于没有选择另外的变量作为工具变量的解释变量，可认为用自身作为工具变量。Z称为工具变量矩阵。,解释变量的内生性检验,回归模型基本假设要求随机解释变量与随机误差项至少不存在同期相关性，即随机解释变量至少是同期外生变量。豪斯曼(Hausman)给出一个检验随机解释变量是否为同期外生变量的方法。,