第三章多元线性回归模型课件.ppt
第三章 多元线性回归模型,第三章 多元线性回归模型,本章主要讨论:多元线性回归模型及古典假定 多元线性回归模型的估计 多元线性回归模型的检验 多元线性回归模型的预测,第一节多元线性回归模型及古典假定,本节基本内容:一、多元线性回归模型的意义 二、多元线性回归模型的矩阵表示 三、多元线性回归中的基本假定,一、多元线性回归模型的一般形式,一般形式：对于有 个解释变量的线性回归模型 模型中参数 是偏回归系数，偏回归系数：表示在其他解释变量保持不变的情况 下，X j每变化1个单位时，Y的均值E(Y)的变化;或者说控制其它解释量不变的条件下，第 个解释变量的单位变动对应变量平均值的影响。,指对各个回归系数而言是“线性”的，对变量则可是线性的，也可是非线性的例如：生产函数取自然对数,多元线性回归,的总体条件均值表示为多个解释变量的函数 总体回归函数也可表示为:,多元总体回归函数,的样本条件均值表示为多个解释变量的函数或其中 回归剩余（残差）：,多元样本回归函数,二、多元线性回归模型的矩阵表示,个解释变量的多元线性回归模型的 个观测样本，可表示为,用矩阵表示,矩阵形式,总体回归函数 或样本回归函数 或 其中：都是有 个元素的列向量 是有 个元素的列向量 是第一列为1的 阶解释变量 数据矩阵(截距项可视为解释变量 取值为1),二、多元线性回归中的基本假定,假定1：零均值假定 或 假定2和假定3：同方差和无自相关假定 假定4：随机扰动项与解释变量不相关,假定5:无多重共线性假定(多元特有)假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值矩阵 列满秩(列)。即 可逆假定6：正态性假定,第二节 多元线性回归模型的估计,本节基本内容:普通最小二乘法（OLS）OLS估计式的性质 OLS估计的分布性质 随机扰动项方差 的估计 回归系数的区间估计,一、普通最小二乘法（OLS）,最小二乘原则 剩余平方和最小：求偏导,令其为0:,即 注意到,用矩阵表示因为样本回归函数为 两边乘 有：因为，则正规方程为：,由正规方程 多元回归中 二元回归中 注意：和 为 的离差,OLS估计式,二、OLS估计式的性质,OLS估计式 1.线性特征:是 的线性函数，因 是非随机 或取固定值的矩阵 2.无偏特性:,3.最小方差特性 在 所有的线性无偏估计中，OLS估计 具有最小方差 结论：在古典假定下，多元线性回归的 OLS估计式是最佳线性无偏估计式（BLUE）,无偏性的证明,估计量 的方差,最小方差性（有效性）的证明,三、OLS估计的分布性质,基本思想 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 是服从正态分布的随机变量,决定了 也是服从正态分布的随机变量 是 的线性函数，决定了 也是服从正态分布的随机变量,的期望(由无偏性)的方差和标准误差：可以证明 的方差-协方差矩阵为 这里是 矩阵 中第 行第 列的元素,四、随机扰动项方差 的估计,多元回归中 的无偏估计为：或表示为 将 作标准化变换：,因 是未知的，可用 代替 去估计参数 的标准误差:当为大样本时，用估计的参数标准误差对 作标准化变换，所得Z统计量仍可视为服从正态分布当为小样本时，用估计的参数标准误差对 作标准化变换，所得的t统计量服从t分布：,五、回归系数的区间估计,由于给定，查t分布表的自由度为 的临界值或:或表示为:,第三节多元线性回归模型的检验,本节基本内容:多元回归的拟合优度检验 回归方程的显著性检验（F检验）各回归系数的显著性检验（t检验）,一、多元回归的拟合优度检验,多重可决系数：在多元回归模型中，由各个解释变量联合解释了的 的变差，在 的总变差中占的比重，用 表示与简单线性回归中可决系数 的区别只是 不同，多元回归中多重可决系数也可表示为,特点：多重可决系数是模型中解释变量个数的不减函数，这给对比不同模型的多重可决系数带来缺陷，所以需要修正。,多重可决系数的矩阵表示,思想可决系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。自由度统计量的自由度指可自由变化的样本观测值个数，它等于所用样本观测值的个数减去对观测值的约束个数。,修正的可决系数,二、回归方程显著性检验（F检验）,基本思想在多元回归中有多个解释变量，需要说明所有解释变量联合起来对应变量影响的总显著性,或整个方程总的联合显著性。对方程总显著性检验需要在方差分析的基础上进行F检验。,总变差 自由度 模型解释了的变差 自由度 剩余变差 自由度,变差来源 平方和 自由度 方差归于回归模型归于剩余总变差,方差分析表,原假设 备择假设 不全为0 建立统计量(可以证明):给定显著性水平，查F分布表得临界值 并通过样本观测值计算 值,F检验,如果(小概率事件发生了)则拒绝，说明回归模型有显著意义，即所有解释变量联合起来对 有显著影响。如果(大概率事件发生了)则接受，说明回归模型没有显著意义，即所有解释变量联合起来对 没有显著影响。,如果 就拒绝 而不拒绝 即认为 所对应的解释变量 对应变量 的影响 是显著的。在多元回归中，可分别对每个回归系数逐个地进 行t检验。注意:在一元回归中F检验与t检验等价,且 但在多元回归中F检验与t检验作用不同。,第四节多元线性回归模型的预测,本节基本内容:应变量平均值点预测 应变量平均值区间预测,一、应变量平均值预测,1.平均值的点预测 将解释变量预测值代入估计的方程：多元回归时：或 注意:预测期的 是第一个元素为1的行向量,不是矩阵,也不是列向量,多元回归时,与 和 都有关的是偏差 从正态分布,可证明用 代替,可构造t统计量,则给定显著性水平，查t分布表，得自由度的临界值，则或,举例：新股发行溢价的实证研究,1.多元线性回归模型是将总体回归函数描述为一 个被解释变量与多个解释变量之间线性关系的 模型。通常多元线性回归模型可以用矩阵形式表示：2.多元线性回归模型中对随机扰动项u的假定:零 均值假定、同方差假定、无自相关假定、随机 扰动与解释变量不相关假定、正态性假定、无 多重共线性假定。,第三章 小结,3.多元线性回归模型参数的最小二乘估计式及期 望、方差和标准误差：4.在基本假定满足的条件下，多元线性回归模型 最小二乘估计式是最佳线性无偏估计式。,5.多元线性回归模型中参数区间估计的方法。6.多重可决系数的意义和计算方法：修正可决系数的作用和方法：,7.F检验是对多元线性回归模型中所有解释变量联 合显著性的检验，F检验是在方差分析基础上进 行的。,8.多元回归分析中，为了分别检验当其它解释变量不变时，各个解释变量是否对被解释变量有显著影响，需要分别对所估计的各个回归系数作t检验。,9.利用多元线性回归模型作被解释变量平均值预 测与个别值预测的方法。点预测：平均值：个别值：,第三章 结束了！,THANKS,
