CHP3多元线性回归模型.ppt

1,第三章 多元线性回归模型（2）,一、基本概念回顾二、基本假设三、检验四、自变量关系,2,一，概念：1、偏回归系数：,1、与双变量模型一样分为确定性成分和随机性成分。2、Y X U也分别为被解释变量、解释变量 随机扰动项。3 不同的是回归系数我们称之为偏回归系数,3,偏回归系数,讨论：经济学中的比较静态分析与偏回归系数的含义！问题：我们如何评价某一解释变量对被解释变量的真实影响？如：如何评价X2对Y变化的真实贡献？,4,如何控制住X3影响？,以生产函数为例假定在度量劳动投入X2的单位变化对产出的影响时，我们要控制资本投入X3的线性影响。为此目的可进行如下步骤：,做Y 对X3的回归,做X2对X3的回归,除去X3对Y 的影响Yi的值（“净化”了的Y）,除去X3对X2 的影响X2i的值（“净化”了的X2,5,步骤三,6,一般形式：对于有 个解释变量的线性回归模型 模型中参数 是偏回归系数，样本容量为偏回归系数：控制其它解释量不变的条件下，第 个解释变量的单位变动对应变量平均值的影响。,7,指对各个回归系数而言是“线性”的，对变量则可是线性的，也可是非线性的例如：生产函数取自然对数,2、线性,8,3、多元总体与样本回归函数,9,用矩阵表示,10,二、多元线性回归模型的基本假定,假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。假设2，随机误差项具有零均值、同方差及不序列相关性。,11,假设3，解释变量与随机项不相关,假设4，随机项满足正态分布,12,上述假设的矩阵符号表示 式：,假设1，nk维矩阵X是非随机的，且X的秩=k，即X满秩。假设2，,回忆线性代数中关于满秩、线性无关!,对角线说明了扰动项的同方差性！对角线之外说明了扰动项的序列无关性！,13,假设4，向量 有一多维正态分布，即,假设3，E(X)=0，即,转置,假设5，回归模型的设定是正确的。,14,1、修正的可决系数可决系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。,三、多元回归检验,15,2、F检验,16,3、判定系数与F之间的关系：,多元回归总体的显著性检验与判定系数的显著性检验是等价的。,4、T检验,17,四、自变量关系,1、筛选自变量，偏F。与FC,18,19,判定系数比较的前提条件：被解释变量相同：不同解释变量的判定系数不可比样本容量相同矫正的判定系数可作为增减变量的依据,2、判定系数,3、受限最小二乘：有约束条件的模型,20,21,但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR 与 RSSU的差异变小。,可用RSSR-RSSU的大小来检验约束的真实性,于是：,讨论：如果约束条件无效，RSSR 与 RSSU的差异较大，计算的F值也较大。,于是，可用计算的F统计量的值与所给定的显著性水平下的临界值作比较，对约束条件的真实性进行检验。,注意，kU-kR恰为约束条件的个数。,这里的F检验适合所有关于参数线性约束的检验,如：多元回归中对方程总体线性性的F检验：H0：j=0 j=1,2,k,这里：受约束回归模型为,这里，运用了ESSR 0。,利用约束条件判定对回归模型增加或减少解释变量,考虑如下两个回归模型,(*),(*),(*)式可看成是（*）式的受约束回归：,H0：,相应的统计量为：,如果约束条件为真，即额外的变量Xk+1,Xk+q对没有解释能力，则统计量较小；否则，约束条件为假，意味着额外的变量对有较强的解释能力，则统计量较大。因此，可通过F的计算值与临界值的比较，来判断额外变量是否应包括在模型中。,讨论：,统计量的另一个等价式,利用有限最小二乘判定参数的稳定性,1、邹氏参数稳定性检验,建立模型时往往希望模型的参数是稳定的，即所谓的结构不变，这将提高模型的预测与分析功能。如何检验？,假设需要建立的模型为,在两个连续的时间序列（1,2,，n1）与（n1+1,，n1+n2）中，相应的模型分别为：,合并两个时间序列为(1,2,，n1，n1+1,，n1+n2)，则可写出如下无约束回归模型,如果=，表示没有发生结构变化，因此可针对如下假设进行检验：H0:=(*)式施加上述约束后变换为受约束回归模型,(*),（*）,因此，检验的F统计量为：,记RSS1与RSS2为在两时间段上分别回归后所得的残差平方和，容易验证，,于是,参数稳定性的检验步骤：,（1）分别以两连续时间序列作为两个样本进行回归，得到相应的残差平方：RSS1与RSS2（2）将两序列并为一个大样本后进行回归，得到大样本下的残差平方和RSSR（3）计算F统计量的值，与临界值比较：若F值大于临界值，则拒绝原假设，认为发生了结构变化，参数是非稳定的。,该检验也被称为邹氏参数稳定性检验（Chow test for parameter stability）。,2、邹氏预测检验,上述参数稳定性检验要求n2k。如果出现n2k，则往往进行如下的邹氏预测检验（Chow test for predictive failure）。,邹氏预测检验的基本思想:先用前一时间段n1个样本估计原模型，再用估计出的参数进行后一时间段n2个样本的预测。如果预测误差较大，则说明参数发生了变化，否则说明参数是稳定的。,分别以、表示第一与第二时间段的参数，则,其中，,如果=0，则=，表明参数在估计期与预测期相同,(*),(*)的矩阵式：,可见，用前n1个样本估计可得前k个参数的估计，而不外是用后n2个样本测算的预测误差X2(-),(*),如果参数没有发生变化，则=0，矩阵式简化为,(*),（*）式与（*）式,这里：KU-KR=n2 RSSU=RSS1,分别可看成受约束与无约束回归模型，于是有如下F检验：,第一步，在两时间段的合成大样本下做OLS回归，得受约束模型的残差平方和RSSR；第二步，对前一时间段的n1个子样做OLS回归，得残差平方和RSS1；第三步，计算检验的F统计量，做出判断：,邹氏预测检验步骤：,给定显著性水平，查F分布表，得临界值F(n2,n1-k-1)如果 FF(n2,n1-k-1)，则拒绝原假设，认为预测期发生了结构变化。,例 中国城镇居民食品人均消费需求的邹氏检验。,1、参数稳定性检验,19811994：,RSS1=0.003240,19952001：,(9.96)(7.14)(-5.13)(1.81),19812001:,(14.83)(27.26)(-3.24)(-11.17),给定=5%，查表得临界值F0.05(4,13)=3.18 判断：F值临界值，拒绝参数稳定的原假设，表明中国城镇居民食品人均消费需求在1994年前后发生了显著变化。,2、邹氏预测检验,给定=5%，查表得临界值F0.05(7,10)=3.18判断：F值临界值，拒绝参数稳定的原假设,*四、非线性约束,也可对模型参数施加非线性约束,如对模型,施加非线性约束12=1,得到受约束回归模型:,该模型必需采用非线性最小二乘法（nonlinear least squares）进行估计。非线性约束检验是建立在最大似然原理基础上的,有最大似然比检验、沃尔德检验与拉格朗日乘数检验.,1、最大似然比检验(likelihood ratio test,LR),估计:无约束回归模型与受约束回归模型，方法:最大似然法，检验:两个似然函数的值的差异是否“足够”大。,记L(,2)为一似然函数:无约束回归:Max:,受约束回归:Max:,或求极值：,g():以各约束条件为元素的列向量,：以相应拉格朗日乘数为元素的行向量,约束：g()=0,受约束的函数值不会超过无约束的函数值，但如果约束条件为真，则两个函数值就非常“接近”。,由此，定义似然比（likelihood ratio）:,如果比值很小，说明两似然函数值差距较大，则应拒绝约束条件为真的假设；如果比值接近于，说明两似然函数值很接近，应接受约束条件为真的假设。,具体检验时，由于大样本下：,h是约束条件的个数。因此：通过LR统计量的2分布特性来进行判断。,在中国城镇居民人均食品消费需求例中，对零阶齐次性的检验：,LR=-2(38.57-38.73)=0.32,给出=5%、查得临界值20.05(1)3.84，判断：LR 20.05(1),不拒绝原约束的假设，表明:中国城镇居民对食品的人均消费需求函数满足零阶齐次性条件。,、沃尔德检验（Wald test,W）,沃尔德检验中，只须估计无约束模型。如对,在所有古典假设都成立的条件下，容易证明,因此，在1+2=1的约束条件下,记,可建立沃尔德统计量:,如果有h个约束条件，可得到h个统计量z1,z2,zh 约束条件为真时，可建立大样本下的服从自由度为h的渐近2 分布统计量,其中，Z为以zi为元素的列向量，C是Z的方差-协方差矩阵。因此，W从总体上测量了无约束回归不满足约束条件的程度。对非线性约束，沃尔德统计量W的算法描述要复杂得多。,3、拉格朗日乘数检验,拉格朗日乘数检验则只需估计受约束模型.受约束回归是求最大似然法的极值问题:,是拉格朗日乘数行向量，衡量各约束条件对最大似然函数值的影响程度。,如果某一约束为真，则该约束条件对最大似然函数值的影响很小，于是，相应的拉格朗日乘数的值应接近于零。因此，拉格朗日乘数检验就是检验某些拉格朗日乘数的值是否“足够大”，如果“足够大”，则拒绝约束条件为真的假设。,拉格朗日统计量LM本身是一个关于拉格朗日乘数的复杂的函数，在各约束条件为真的情况下，服从一自由度恰为约束条件个数的渐近2分布。,n为样本容量，R2为如下被称为辅助回归（auxiliary regression）的可决系数:,如果约束是非线性的，辅助回归方程的估计比较复杂，但仍可按（*）式计算LM统计量的值。最后，一般地有:LMLRW,同样地，如果为线性约束，LM服从一精确的2分布：,(*),45,3、受约束的OLS,一般的多元模型都是非受限（约束）模型。因此我们用OLS估计时，称为非受限最小二乘。经济理论有时会提出某一回归模型中的系数满足一些线性等式约束条件。当具备这个约束条件后，方程是否有效，要进行检验例如，考虑柯布一道格拉斯生产函数中的规模报酬不变每一同比例的投入变化有同比例的产出变化即检验中，有两种方法（t检验和F检验）,46,对模型,施加约束,得,或,(*),(*),如果对（*）式回归得出,则由约束条件可得：,47,但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR 与 RSSU的差异变小。,如果约束条件无效，RSSR 与 RSSU的差异较大，计算的F值也较大,于是，可用计算的F统计量的值与所给定的显著性水平下的临界值作比较，对约束条件的真实性进行检验。,48,t检验,49,七、参数的置信区间,参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。在变量的显著性检验中已经知道：,50,容易推出：在(1-)的置信水平下j的置信区间是,其中，t/2为显著性水平为、自由度为n-k-1的临界值。,51,如何才能缩小置信区间？,增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小，置信区间的就越窄。,在实际应用中，我们希望置信度越高越好，置信区间越小越好。,52,第五节 案例分析,案例：中国税收增长的分析提出问题改革开放以来，随着经济体制改革的深化和经济的快速增长，中国的财政收支状况发生很大变化，为了研究影响中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中国税收未来的增长趋势，需要建立计量经济模型。,53,理论分析影响中国税收收入增长的主要因素可能有：（1）从宏观经济看，经济整体增长是税收增长的基本源泉。（2）社会经济的发展和社会保障等都对公共财政提出要求，公共财政的需求对当年的税收收入可能会有一定的影响。（3）物价水平。中国的税制结构以流转税为主，以现行价格计算的GDP和经营者的收入水平都与物价水平有关。（4）税收政策因素。,54,以各项税收收入Y 作为被解释变量 以GDP表示经济整体增长水平 以财政支出表示公共财政的需求 以商品零售价格指数表示物价水平 税收政策因素较难用数量表示,暂时不予考虑,建立模型,55,模型设定为:其中：各项税收收入（亿元）国内生产总值（亿元）财政支出（亿元）商品零售价格指数（%）,56,数据来源：中国统计年鉴其中:各项税收收入（亿元）国内生产总值（亿元）财政支出（亿元）商品零售价格指数（%）,数据收集,57,假定模型中随机项满足基本假定，可用OLS法估计其参数。具体操作：用EViews软件，估计结果为：,参数估计,58,59,本模型中所估计的参数的符号与经济理论分析一致，说明在其他因素不变的情况下，国内生产总值每增加1亿元，平均说来财政收入将增加220.67万元；财政支出每增加1亿元，平均说来财政收入将增加7021.04万元;商品零售物价指数每增加1%,平均说来财政收入将增加23.98541亿元。,经济意义检验,60,1.多元线性回归模型是将总体回归函数描述为一 个被解释变量与多个解释变量之间线性关系的 模型。通常多元线性回归模型可以用矩阵形式表示：2.多元线性回归模型中对随机扰动项u的假定:零 均值假定、同方差假定、无自相关假定、随机 扰动与解释变量不相关假定、正态性假定、无 多重共线性假定。,第三章 小结,61,3.多元线性回归模型参数的最小二乘估计式及期 望、方差和标准误差：4.在基本假定满足的条件下，多元线性回归模型 最小二乘估计式是最佳线性无偏估计式。,62,5.多元线性回归模型中参数区间估计的方法。6.多重可决系数的意义和计算方法：修正可决系数的作用和方法：,63,7.F检验是对多元线性回归模型中所有解释变量联 合显著性的检验，F检验是在方差分析基础上进 行的。,64,8.多元回归分析中，为了分别检验当其它解释变量不变时，各个解释变量是否对被解释变量有显著影响，需要分别对所估计的各个回归系数作t检验。,65,9.利用多元线性回归模型作被解释变量平均值预 测与个别值预测的方法。点预测：平均值：个别值：,