普通最小二乘法.ppt
普通最小二乘法（OLS）（rdinary Least Squares),17771855,高斯被认为是历史上最重要的数学家之一，并享有“数学王子”之称。高斯和阿基米德、牛顿并列为世界三大数学家。一生成就极为丰硕，以他名字“高斯”命名的成果达110个，属数学家中之最。,1.OLS的基本思想,普通最小二乘法（OLS）（rdinary Least Squares),对于，不同的估计方法可以得到不同的样本回归参数 和，所估计的 也就不同。理想的估计结果应使估计的 与真实的 的差(即剩余)总的来说越小越好 因 可正可负，总有，所以可以取 最小，即在观测值Y和X确定时，的大小决定于 和。要解决的问题:：如何寻求能使 最小的 和。,3,普通最小二乘法（OLS）（rdinary Least Squares),使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小,1.OLS的基本思想,普通最小二乘法（OLS）（rdinary Least Squares),用克莱姆法则求解得以观测值表现的OLS估计量：,5,取偏导数并令其为0，可得正规方程,或整理得,即,2.正规方程和估计量,6,为表达得更简洁，或者用离差形式的OLS估计量：容易证明由正规方程：注意：其中：本课程中:大写的 和 均表示观测值；小写的 和 均表示观测值的离差而且由样本回归函数可用离差形式写为,用离差表现的OLS估计量,在家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,因此，由该样本估计的回归方程为：,参数估计的最大或然法(ML),最大或然法(Maximum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其他估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi,Yi）（i=1,2,n）。,那么Yi服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(likelihood function)为：,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。,用样本去估计总体回归函数，总要使用特定的方法，而任何估计参数的方法都需要有一定的前提条件假定条件简单线性回归的基本假定 为什么要作基本假定？只有具备一定的假定条件，所作出的估计才具有良好的统计性质。模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。假定分为：对模型和变量的假定对随机扰动项的假定,14,简单线性回归模型的最小二乘估计,例如对于 假定模型设定是正确的（变量和模型无设定误差）假定解释变量X在重复抽样中取固定值。假定解释变量X是非随机的，或者虽然X是随机的，但与扰动项u是不相关的。(从变量X角度看是外生的)注意:解释变量非随机在自然科学的实验研究中相对容易满足，经济领域中变量的观测是被动不可控的，X非随机的假定并不一定都满足。,15,对模型和变量的假定,假定1：零均值假定:在给定X的条件下，的条件期望为零 假定2：同方差假定:在给定X的条件下，的条件方差为某个常数,16,X,Y,对随机扰动项u的假定,17,假定3：无自相关假定:随机扰动项 的逐次值互不相关 假定4：解释变量 是非随机的，或者虽然 是随机的但与扰动项 不相关(从随机扰动 角度看),18,假定5：对随机扰动项分布的正态性假定，即假定 服从均值为零、方差为 的正态分布（说明：正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时，的分布会趋近于正态分布。所以正态性假定有合理性）,由于其中的 和 是非随机的，是随机变量，因此Y是随机变量，的分布性质决定了 的分布性质。对 的一些假定可以等价地表示为对 的假定：假定1：零均值假定 假定2：同方差假定 假定3：无自相关假定 假定5：正态性假定,19,在对 的基本假定下 Y 的分布性质,剩余项 的均值为零 OLS回归线通过样本均值 估计值 的均值等于实际观测 值 的均值,20,(由OLS第一个正规方程直接得到),(由OLS正规方程 两边同除n得到),OLS回归线的数学性质,解释变量 与剩余项 不相关,由OLS正规方程有:,被解释变量估计值 与剩余项 不相关,22,面临的问题:参数估计值 参数真实值对参数估计式的优劣需要有评价的标准 为什么呢?参数无法直接观测，只能通过样本去估计。样本的获得存 在抽样波动，不同样本的估计结果不一致。估计参数的方法有多种，不同方法的估计结果可能不相同，通过样本估计参数时，估计方法及所确定的估计量不一定 完备，不一定能得到理想的总体参数估计值。对各种估计方法优劣的比较与选择需要有评价标准。估计准则的基本要求：参数估计值应尽可能地接近总体参数真实值”。什么是“尽可能地接近”原则呢？用统计语言表述就是:无偏性、有效性、一致性等,OLS估计量的统计性质,23,(1)无偏性,前提：重复抽样中估计方法固定、样本数不变、由重复抽样得到的观测值,可得一系列参数估计值,的分布称为 的抽样分布，其密度函数记为概念:如果，则称 是参数 的无偏估计量，如果，则称 是有偏的估计，其偏倚为（见下页图）,24,概 率 密 度 估计值 偏倚,25,(2)有效性,前提：样本相同、用不同的方法估计参数，可以找到若 干个不同的无偏估计式 目标:努力寻求其抽样分布具有最小方差的估计量（见下页图）既是无偏的同时又具有最小方差特性的估计量，称为最佳（有效）估计量。,26,概 率 密 度,估计值,思想:当样本容量较小时，有时很难找到方差最小的无偏估计，需要考虑样本扩大后的性质（估计方法不变，样本数逐步增大）一致性：当样本容量 n 趋于无穷大时，如果估计式 依概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。即 或（渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的估计式）(见下页图)渐近有效性：当样本容量 n 趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。,27,3、渐近性质（大样本性质）,28,概 率 密 度 估计值,图 4,先明确几点:由OLS估计式可以看出 都由可观测的样本值 和 唯一表示。因存在抽样波动，OLS估计 是随机变量 OLS估计式是点估计量,29,OLS估计是否符合“尽可能地接近总体参数真实值”的要求呢?,分析OLS估计量的统计性质,2、无偏特性 可以证明,30,OLS估计式的统计性质高斯定理,（注意:无偏性的证明中用到了基本假定中 零均值等假定）,1、线性特征 是Y的线性函数,证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数则容易证明,普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator,BLUE）,由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。,
