经典多元线性回归模型.ppt

《经典多元线性回归模型.ppt》由会员分享，可在线阅读，更多相关《经典多元线性回归模型.ppt（53页珍藏版）》请在三一办公上搜索。

1、1,第二章 经典多元线性回归模型,2,第一节、多元线性回归模型,1、回归的含义,“回归”的本意：向“均值”回复的趋势,回归的现代意义(Regression Analysis)：估计和预测被解释变量的均值，是研究被解释变量对于解释变量依赖关系的计算方法和理论。,3,设,系统因素,无信息时对随机变量的预测：均值,有信息时对随机变量的预测：条件均值,2、多元线性回归模型的统计学解释,随机因素(随机扰动项),4,此即为多元线性总体回归模型。,若设：,则得：,称,为多元线性总体回归函数。,5,计量经济学模型引入随机扰动项的原因：,反映影响被解释变量的未知因素；代表数据观测误差；反映影响被解释变量的个体因

2、素；,6,用上述样本得总体回归函数,得多元线性样本回归函数：,中的参数的估计：,定义残差：,称,为多元线性样本回归模型。,3、总体与样本（Population and Sample）,样本,7,第二节、多元线性回归模型的估计,一、普通最小二乘法（OLS）,8,若得到样本回归函数,记,最小二乘原理：,9,称此方程组为为正规方程组,10,记：,则多元线性总体回归模型,可表示为：,11,则多元线性样本回归函数：,可表示为：,记：,12,可以表示为,残差：,此时，多元线性样本回归模型：,可以表示为：,记残差向量为,13,由上述正规方程组,变形得：,14,15,正规方程组的矩阵形式:,利用前述引入的记号

3、X,得,16,多元线性回归模型参数普通最小二乘估计与参数的关系：,残差向量：,17,普通最小二乘估计的残差平方和：,M为对称幂等矩阵,记：,18,由正规方程组得，多元线性回归模型参数普通最小二乘估计残差的性质：,19,二、经典多元线性回归模型的基本假定,假设1，所有解释变量之间互不相关（无多重共线性）。假设2，随机扰动项具有零期望、同方差序列不相关。,20,假设3，解释变量与随机项不相关,假设4，随机扰动项满足正态分布,假设5，线性模型设定是正确的。,21,用矩阵表示上述假设,假设1相当于矩阵X的秩R=k+1，即X满秩，,假设2：零期望相当于,U的方差协方差矩阵定义：,可逆,同方差、不相关相当

4、于U的方差协方差矩阵V-COV（U）,22,假设4，向量U 服从多维联合正态分布，即,假设3相当于，E(XU)=0,23,若多元线性回归模型经典假定成立，则,24,若多元线性回归模型经典假定成立，普通最小二乘估计的分布,（1）参数普通最小二乘估计的方差与分布,25,此时，,为矩阵,第j+1列第j+1行元素。,26,（2）随机扰动项方差估计的分布,三、多元线性回归模型的极大似然估计。,若前述经典假设成立，则,可得：,其中：,似然函数为,极大似然估计的结果与OLS估计相同。,29,在满足基本假设的情况下，多元线性模型参数的普通最小二乘估计具有线性性、无偏性、有效性。同时，随着样本容量增加，参数估计

5、量具有一致性。,四、参数估计量的性质,30,1、线性性,其中,C=(XX)-1 X 为一仅与X有关的矩阵。,2、无偏性,31,3、证明有效性，设,是,的任一线性无偏估计，则存在某矩阵C*,使,32,可得：,33,的方差协方差矩阵为：,证毕,34,同时，当线性回归模型经典假定成立时，参数的普通最小二乘估计量是一致估计。,35,1、最小样本容量,所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,样本最小容量必须不少于模型中解释变量的数目（包括截距项）,即 n k+1,五、样本容量问题,36,2、满足基本要求的样本容量,从统计检验的

6、角度：n30 时，Z检验才能应用；n-k8时,t分布较为稳定,一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,当样本容量较大时，模型普通最小二乘估计的性质才比较好。,37,第三节、多元线性回归模型的统计检验 Statistical Test of Multiple Linear Regression Model,38,一、拟合优度,1、可决系数与调整的可决系数,记,总离差平方和（Total Sum of Squares）,回归平方和（Explained Sum of Squares）,残差平方和（Residual Sum of Squares）,总离差平方和的分

7、解,39,TSS=ESS+RSS,可证明：,40,可决系数（Coefficient of Determination）：复相关系数。,该统计量越接近于1，模型的拟合优度越高。,可决系数的缺点与调整,41,调整的可决系数（adjusted coefficient of determination）,其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。,问题：调整的可决系数多大才是合适的？,42,2、赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaike information criterion,AIC）,施瓦茨准

8、则（Schwarz criterion，SC）,这两准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。,似然函数,43,二、模型的统计学检验Testing the Overall Significance of a Multiple Regression(the F test),44,模型（或方程）的显著性检验，旨在对模型中被解释变量与所有解释变量之间的线性关系是否显著成立作出推断。,对方程的检验假设：联合检验,1、多元线性回归模型是否显著的检验,45,方程显著性检验的想法：,如果这个比值较大，方程具有显著性。否则，方程没有显著性。,TSS=ESS+RSS,4

9、6,若H0成立，则F应该比较小；反之，若F比较大，则拒绝原假设。,给定显著性水平，可得到临界值F(k,n-k-1)，由样本求出统计量F的数值，若F F(k,n-k-1)，则拒绝原假设H0，方程总体上显著成立；否则，若F=F(k,n-k-1)则没有证据表明方程显著成立。,统计量,47,可决系数与方程显著性检验F统计量的关系,、与可决系数同方向变化。、与可决系数为等价。,48,注意：不能仅考虑拟合优度的大小，只要经检验，方程具有显著性，则一般情况下，拟合优度就是合适的。,问题：可决系数多大才是合适的？,检验可决系数为与检验方程的显著性等价,49,2、多元线性回归模型变量的显著性检验：检验某个解释变

10、量对被解释变量是否有显著的影响。,原假设与备择假设：,H1：j0,H0：j=0（j=1,2k）,检验统计量：,若|Tj|t/2(n-k-1)，则拒绝原假设H0，即第j个解释变量对被解释变量有显著的影响。,50,第四节 受约束回归 Restricted Regression,问题：,考察参数之间的某个关系是否成立,如：上述模型中考察,是否成立,51,检验假设H0：,系数受约束,MUR：不受约束的回归模型,上述为受约束的回归模型MR,52,检验统计量：,推断：若F F(ku-kR,n-kU-1)则拒绝原假设H0,分别为受约束与不受约束回归模型的残差平方和。,分别为不受约束与受约束回归模型解释变量的个数。,53,证明*：,