普通最小二乘法.ppt

《普通最小二乘法.ppt》由会员分享，可在线阅读，更多相关《普通最小二乘法.ppt（34页珍藏版）》请在三一办公上搜索。

1、普通最小二乘法（OLS）（rdinary Least Squares),17771855,高斯被认为是历史上最重要的数学家之一，并享有“数学王子”之称。高斯和阿基米德、牛顿并列为世界三大数学家。一生成就极为丰硕，以他名字“高斯”命名的成果达110个，属数学家中之最。,1.OLS的基本思想,普通最小二乘法（OLS）（rdinary Least Squares),对于，不同的估计方法可以得到不同的样本回归参数 和，所估计的 也就不同。理想的估计结果应使估计的 与真实的 的差(即剩余)总的来说越小越好 因 可正可负，总有，所以可以取 最小，即在观测值Y和X确定时，的大小决定于 和。要解决的问题:：如

2、何寻求能使 最小的 和。,3,普通最小二乘法（OLS）（rdinary Least Squares),使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小,1.OLS的基本思想,普通最小二乘法（OLS）（rdinary Least Squares),用克莱姆法则求解得以观测值表现的OLS估计量：,5,取偏导数并令其为0，可得正规方程,或整理得,即,2.正规方程和估计量,6,为表达得更简洁，或者用离差形式的OLS估计量：容易证明由正规方程：注意：其中：本课程中:大写的 和 均表示观测值；小写的 和

3、均表示观测值的离差而且由样本回归函数可用离差形式写为,用离差表现的OLS估计量,在家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,因此，由该样本估计的回归方程为：,参数估计的最大或然法(ML),最大或然法(Maximum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其他估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测

4、值（Xi,Yi）（i=1,2,n）。,那么Yi服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(likelihood function)为：,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。,用样本去估计总体回归函数，总要使用特定的方法，而任何估计参数的方法都需要有一定的

5、前提条件假定条件简单线性回归的基本假定 为什么要作基本假定？只有具备一定的假定条件，所作出的估计才具有良好的统计性质。模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。假定分为：对模型和变量的假定对随机扰动项的假定,14,简单线性回归模型的最小二乘估计,例如对于 假定模型设定是正确的（变量和模型无设定误差）假定解释变量X在重复抽样中取固定值。假定解释变量X是非随机的，或者虽然X是随机的，但与扰动项u是不相关的。(从变量X角度看是外生的)注意:解释变量非

6、随机在自然科学的实验研究中相对容易满足，经济领域中变量的观测是被动不可控的，X非随机的假定并不一定都满足。,15,对模型和变量的假定,假定1：零均值假定:在给定X的条件下，的条件期望为零 假定2：同方差假定:在给定X的条件下，的条件方差为某个常数,16,X,Y,对随机扰动项u的假定,17,假定3：无自相关假定:随机扰动项 的逐次值互不相关 假定4：解释变量 是非随机的，或者虽然 是随机的但与扰动项 不相关(从随机扰动 角度看),18,假定5：对随机扰动项分布的正态性假定，即假定 服从均值为零、方差为 的正态分布（说明：正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参

7、数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时，的分布会趋近于正态分布。所以正态性假定有合理性）,由于其中的 和 是非随机的，是随机变量，因此Y是随机变量，的分布性质决定了 的分布性质。对 的一些假定可以等价地表示为对 的假定：假定1：零均值假定 假定2：同方差假定 假定3：无自相关假定 假定5：正态性假定,19,在对 的基本假定下 Y 的分布性质,剩余项 的均值为零 OLS回归线通过样本均值 估计值 的均值等于实际观测 值 的均值,20,(由OLS第一个正规方程直接得到),(由OLS正规方程 两边同除n得到),OLS回归线的数学性质,解释变量 与剩余项 不相关,由OLS正规

8、方程有:,被解释变量估计值 与剩余项 不相关,22,面临的问题:参数估计值 参数真实值对参数估计式的优劣需要有评价的标准 为什么呢?参数无法直接观测，只能通过样本去估计。样本的获得存 在抽样波动，不同样本的估计结果不一致。估计参数的方法有多种，不同方法的估计结果可能不相同，通过样本估计参数时，估计方法及所确定的估计量不一定 完备，不一定能得到理想的总体参数估计值。对各种估计方法优劣的比较与选择需要有评价标准。估计准则的基本要求：参数估计值应尽可能地接近总体参数真实值”。什么是“尽可能地接近”原则呢？用统计语言表述就是:无偏性、有效性、一致性等,OLS估计量的统计性质,23,(1)无偏性,前提：

9、重复抽样中估计方法固定、样本数不变、由重复抽样得到的观测值,可得一系列参数估计值,的分布称为 的抽样分布，其密度函数记为概念:如果，则称 是参数 的无偏估计量，如果，则称 是有偏的估计，其偏倚为（见下页图）,24,概 率 密 度 估计值 偏倚,25,(2)有效性,前提：样本相同、用不同的方法估计参数，可以找到若 干个不同的无偏估计式 目标:努力寻求其抽样分布具有最小方差的估计量（见下页图）既是无偏的同时又具有最小方差特性的估计量，称为最佳（有效）估计量。,26,概 率 密 度,估计值,思想:当样本容量较小时，有时很难找到方差最小的无偏估计，需要考虑样本扩大后的性质（估计方法不变，样本数逐步增大

10、）一致性：当样本容量 n 趋于无穷大时，如果估计式 依概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。即 或（渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的估计式）(见下页图)渐近有效性：当样本容量 n 趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。,27,3、渐近性质（大样本性质）,28,概 率 密 度 估计值,图 4,先明确几点:由OLS估计式可以看出 都由可观测的样本值 和 唯一表示。因存在抽样波动，OLS估计 是随机变量 OLS估计式是点估计量,29,OLS估计是否符合“尽可能地接近总体参数真实值”的要求呢?,分析OLS估计量的统计性质,2、无偏特性 可以证明,30,OLS估计式的统计性质高斯定理,（注意:无偏性的证明中用到了基本假定中 零均值等假定）,1、线性特征 是Y的线性函数,证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数则容易证明,普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator,BLUE）,由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。,