多元线性回归分析基础.ppt
多元线性回归分析,计量经济学 第四章,第四章 多元线性回归分析,2023/8/11,重点问题,参数的最小二乘估计最小二乘估计量的性质参数估计式的分布特性与检验多重共线性,第四章 多元线性回归分析,2023/8/11,主要内容,第一节 模型的假定 第二节 参数的最小二乘估计 第三节 最小二乘估计量的性质第四节 参数估计式的分布特性与检验第五节 多重共线性第六节 预测,第四章 多元线性回归分析,2023/8/11,第一节 模型的假定,模型,矩阵形式,其中,第四章 多元线性回归分析,2023/8/11,第一节 模型的假定,In为n阶单位阵,第四章 多元线性回归分析,2023/8/11,第二节 参数的最小二乘估计,残差向量,残差平方和,*,式*为正规方程组，包含k个方程式,第四章 多元线性回归分析,2023/8/11,第二节 参数的最小二乘估计,由假设条件可以证明XTX是正定的，即XTX0,则最小二乘估计：,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,一、最小二乘估计的特性,1.线性特性,2.无偏性,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,3.最优性,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,二、误差项方差估计,即e是U的线性变换。其中，M称为最小二乘基本等幂矩阵。,第四章 多元线性回归分析,2023/8/11,第三节 最小二乘估计量的性质,M的性质：（1）对称性 MT=M（2）等幂性 Mn=M（3）M与X互相独立 MX=0,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,一、参数估计式的分布特性,在多元线性回归分析中，除了要进行与一元线性回归分析中类似的单个参数的检验，还要检验多个解释变量对被解释变量Y的共同影响是否显著。通常构造F统计量进行这些检验。,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,二、参数的线性约束检验与置信区间,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,1.的置信区间,当 R=Ik，可以得到的置信区间,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,2.的检验（1）参数的整体检验问题H02=3=k=0 H1存在某个i0,2ik,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,（2）单个参数的检验问题 H0i=0 H1i0,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,三、相关分析,记,为复相关系数或决定系数,相关系数也可以表示为,相关系数R2有一个显著特点：如果观察值 Yt不变，决定系数 R2将随解释变量的数目增加而增大。,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,定义,为修正的决定系数,修正的决定系数比一般决定系数更准确地反映了解释变量对被解释变量的影响程度。因此在一般情况下，修正的确定系数比R2应用更广泛。,注：修正的决定系数可能为负值,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,四、单因素方差分析1.单因素方差分析的模型,其中，i为第i个水平下Yij的总体均值。eij为Yij与均值之差。2为Yij的方差，方差为常数。k为因素A的水平数量。ni为从第i个水平Ai中抽取的样本数量。,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,2.单因素方差分析的检验,H012k VS H1i不全相等,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,定义统计量,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,五、方差分析、相关分析和回归分析的关系,方差分析方法也可以应用在回归分析中。把由因素 A引起的组间离差平方和ASS换成回归平方和 ESS，把由随机因素引起的组内离差平方和 RSS换成残差平方和 RSS。把 k 由代表水平数目换成代表参数数目。,第四章 多元线性回归分析,2023/8/11,第四节 参数估计式的分布特性与检验,六、用逐步引入法选择解释变量,基本思想：借助回归分析的方差分析方法，对总变差中由新增加的解释变量所带来的增加的可解释部分的方差比进行F检验，以决定新引入的解释变量的取舍。,第四章 多元线性回归分析,2023/8/11,第五节 多重共线性,多重共线性指解释变量之间存在比较强的线性相关关系。,一、多重共线性造成的影响,1.如果解释变量之间存在完全多重共线性，无法得到参数估计式。,2.严重多重共线性，即XX0时，具有下列影响,(1)大大降低预测精确度,由于|XX|0，引起(XX)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。,第四章 多元线性回归分析,2023/8/11,第五节 多重共线性,(2)发生弃真错误,由于 的方差很大，在进行显著性检验时t统计量明显偏小，即使决定系数R2及F统计量很大，也容易淘汰一些不应淘汰的解释变量。,(3)造成错误的模型关系,由于严重多重共线性是指解释变量之间有强线性相关关系。因此，不同解释变量对被解释变量的影响会发生互相代替的情况。如果采用逐步引入法选择解释变量，已经引入并且经检验证明显著的解释变量的数值就会变小，t数值下降，变为不显著的，甚至出现参数符号改变的情况。原来模型中与被解释变量正(负)相关的解释变量，由于新解释变量引入，变为负(正)相关，从而造成错误的模型关系。,(4)建立的回归模型的可靠程度降低,参数估计值及其方差对样本很敏感，由于增加或减少一些样本，参数估计值及其方差发生很大变化，因而建立的回归模型的可靠程度降低。,第四章 多元线性回归分析,2023/8/11,第五节 多重共线性,二、多重共线性的检验,1.相关系数检验法,对样本中任何两个不同解释变量求简单相关系数，如果相关系数r的绝对值比较大，例如|r|0.8，或|r|0.9，就可以认为这两个样本之间高度相关，因而样本存在多重共线性。,2.逐步分析检验法,这种检验方法首先对各种可能的多元线性回归模型分别进行参数估计和检验。先引入经济意义明显，并且统计上最显著的解释变量，然后逐步引入其他解释变量。如果新引入解释变量使原有解释变量的数值发生明显变化，甚至改变其符号，或者使原有解释变量的t统计量明显变小，就表示新引入的解释变量与原有解释变量之间存在多重共线性。,第四章 多元线性回归分析,2023/8/11,第五节 多重共线性,三、处理多重共线性问题的方法,1.保留重要解释变量2.去掉不重要的解释变量3.一阶差分法4.主分量法,第四章 多元线性回归分析,2023/8/11,第六节 预测,一、E(Y0)的置信区间,第四章 多元线性回归分析,2023/8/11,第六节 预测,第四章 多元线性回归分析,2023/8/11,第六节 预测,二、Y0的预测区间,第四章 多元线性回归分析,2023/8/11,第六节 预测,
