北京大学考研辅导班讲义统计计量部分 参数估计ppt课件.ppt
《北京大学考研辅导班讲义统计计量部分 参数估计ppt课件.ppt》由会员分享,可在线阅读,更多相关《北京大学考研辅导班讲义统计计量部分 参数估计ppt课件.ppt(106页珍藏版)》请在三一办公上搜索。
1、,新祥旭北京大学光华管理学院考研辅导课件统计学,第六章 参数估计,6.1 点估计的几种方法6.2 点估计的评价标准6.3 最小方差无偏估计6.4 贝叶斯估计6.5 区间估计,一般常用 表示参数,参数 所有可能取值组成的集合称为参数空间,常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种:点估计与区间估计。,设 x1, x2, xn 是来自总体 X 的一个样本,我们用一个统计量 的取值作为 的估计值, 称为 的点估计(量),简称估计。在这里如何构造统计量 并没有明确的规定,只要它满足一定的合理性即可。这就涉及到两个问题:,其一 是如何给出估计,即估计的方法问题;
2、其二 是如何对不同的估计进行评价,即估 计的好坏判断标准。,新祥旭北京大学光华管理学院考研辅导课件统计学,6.1 点估计的几种方法,6.1.1 替换原理和矩法估计,一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数,譬如:用样本均值估计总体均值E(X),即 ;用样本方差估计总体方差Var(X),即用样本的 p 分位数估计总体的 p 分位数,用样本中位数估计总体中位数。,例6.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km),观测数据如下: 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29
3、.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体分布,其理论基础是格里纹科定理。,二、概率函数P(x,)已知时未知参数的矩法估计,设总体具有已知的概率函数 P(x, 1, , k), x1, x2 , , xn 是样本,假定总体的k阶原点矩k存在,若1, , k 能够表示成 1, , k 的函数j = j(1, ,k),则可给出诸j 的矩法估计为 其中,例6.1.2 设总体服从指数分布,由于EX=1/, 即 =1/ EX,故
4、的矩法估计为 另外,由于Var(X)=1/2,其反函数为 因此,从替换原理来看,的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的,这是矩法估计的一个缺点,此时通常应该尽量采用低阶矩给出未知参数的估计。,例6.1.3 x1, x2, , xn是来自(a,b)上的均匀分布U(a,b)的样本,a与b均是未知参数,这里k=2,由于 不难推出 由此即可得到a, b的矩估计:,6.1.2 极(最)大似然估计,定义6.1.1 设总体的概率函数为P(x; ),是参数 可能取值的参数空间,x1, x2 , , xn 是样本,将样本的联合概率函数看成 的函数,用L( ; x1, x2, , xn)
5、 表示,简记为L( ), 称为样本的似然函数。,如果某统计量 满足 则称 是 的极(最)大似然估计,简记为MLE(Maximum Likelihood Estimate)。,人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。当L( )是可微函数时,求导是求极大似然估计最常用的方法,对lnL( )求导更加简单些。,例6.1.6 设一个试验有三种可能结果,其发生概率分别为 现做了n次试验,观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n),则似然函数为 其对数似然函数为,将之关于 求导,并令其为0得到似然方程解之,得由于所以 是极大值点。,
6、例6.1.7 对正态总体N(, 2),=(, 2)是二维参数,设有样本 x1, x2 , , xn,则似然函数及其对数分别为,将 lnL(, 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (6.1.9) (6.1.10),解此方程组,由(6.1.9)可得 的极大似然估计为 将之代入(6.1.10),得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。,虽然求导函数是求极大似然估计最常用的方法,但并不是在所有场合求导都是有效的。,例6.1.8 设 x1, x2 , , xn 是来自均匀总体 U(0, )的样本,试求 的极大似然估计。,解 似然函
7、数 要使L( )达到最大,首先一点是示性函数取值应该为1,其次是1/ n尽可能大。由于1/ n是的单调减函数,所以 的取值应尽可能小,但示性函数为1决定了 不能小于x(n),由此给出的极大似然估计: 。,极大似然估计有一个简单而有用的性质:如果 是 的极大似然估计,则对任一函数 g( ),其极大似然估计为 。该性质称为极大似然估计的不变性,从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,例6.1.9 设 x1 , x2 , , xn是来自正态总体N( , 2) 的样本,则和 2的极大似然估计为 ,于是由不变性可得如下参数的极大似然估计,它们是:,标准差 的MLE是 ;,概率 的MLE
8、是 ;,总体0.90分位数 x0.90= + u0.90 的MLE是 ,其中u0.90为标准正态分布的0.90分位数。,6.2 点估计的评价标准,6.2.1 相合性 我们知道,点估计是一个统计量,因此它是一个随机变量,在样本量一定的条件下,我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值,根据格里纹科定理,随着样本量的不断增大,经验分布函数逼近真实分布函数,因此完全可以要求估计量随着样本量的不断增大而逼近参数真值,这就是相合性,严格定义如下。,定义6.2.1 设 为未知参数, 是 的一个估计量,n 是样本容量,若对任何一个0,有 (6.2.1) 则称 为 参数的相合估计。,相
9、合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时,它都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.,若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,在判断估计的相合性时下述两个定理是很有用的。定理6.2.1 设 是 的一个估计量,若 则 是 的相合估计,,定理6.2.2 若 分别是1, , k 的相合估 计, =g(1 , , k) 是1, , k 的连续函数,则
10、 是 的相合估计。,例6.2.2 设 x1, x2 , , xn 是来自均匀总体U(0, )的样本,证明 的极大似然估计是相合估计。证明:在例6.1.7中我们已经给出 的极大似然估计是 x(n)。由次序统计量的分布,我们知道 x(n) 的分布密度函数为 p(y)=nyn-1/ n, y , 故有 由定理6.2.1可知,x(n)是 的相合估计。,由大数定律及定理6.2.2,我们可以看到: 矩估计一般都具有相合性。比如:,样本均值是总体均值的相合估计; 样本标准差是总体标准差的相合估计; 样本变异系数是总体变异系数的相合估计。,6.2.2 无偏性,定义6.2.2 设 是 的一个估计, 的参数空间为
11、,若对任意的,有 则称 是 的无偏估计,否则称为有偏估计。,例6.2.4 对任一总体而言,样本均值是总体均值的无偏估计。当总体k阶矩存在时,样本k阶原点矩ak是总体k阶原点矩 k的无偏估计。但对中心矩则不一样,譬如,由于 ,样本方差s*2不是总体方差 2的无偏估计,对此,有如下两点说明: (1) 当样本量趋于无穷时,有E(s*2) 2, 我们称 s*2 为 2的渐近无偏估计。 (2) 若对s*2作如下修正: , 则 s2 是总体方差的无偏估计。,例6.2.5 设总体为N( , 2),x1 , x2 , , xn是样本,则s2是 2的无偏估计,且可求出 这说明 s 不是 的无偏估计. 利用修正技
12、术可得 cn s 是 的无偏估计,其中 是修偏系数. 可以证明,当n时, 有cn1. 这说明 s 是 的渐近无偏估计。,6.2.3 有效性,定义6.2.3 设 是 的两个无偏估计,如果对任意的 , 有 且至少有一个 使得上述不等号严格成立,则称 比 有效。,例6.2.6 设 x1, x2 , , xn 是取自某总体的样本,记总体均值为 ,总体方差为 2,则 , , 都是 的无偏估计,但 显然,只要 n1, 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,例6.2.7 均匀总体U(0, )中 的极大似然估计是x(n),由于 ,所以x(n)不是 的无偏估计,而是 的渐近无偏
13、估计。经过修偏后可以得到 的一个无偏估计: 。且 另一方面,由矩法我们可以得到 的另一个无偏估计 ,且 由此,当n1时, 比 有效。,6.2.4 均方误差,无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用:点估计值 与参数真值 的距离平方的期望,这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到 ,因此 (1) 若 是 的无偏估计,则 , 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时,就要看其均方 误差 。 下面的例子说明:在均方误差的含义下有些有偏 估计优于无偏估计。,例6.2.8 对均匀总体U(0
14、, ),由 的极大似然估计得到的无偏估计是 ,它的均方误差 现我们考虑的形如 的估计,其均方差为 用求导的方法不难求出当 时上述均方误差达到最小,且其均方误差 所以在均方误差的标准下,有偏估计 优于无偏估计 。,6.3 最小方差无偏估计,6.3.1 Rao-Blackwell定理,以下定理说明:好的无偏估计都是充分统计量的函数。 定理6.3.2 设总体概率函数是 p(x, ), x1, x2 , , xn 是其样本,T=T(x1, x2 , , xn )是 的充分统计量,则 对 的任一无偏估计 ,令 , 则 也是 的无偏估计,且,定理6.3.2说明:如果无偏估计不是充分统计 量的函数,则将之对
15、充分统计量求条件期 望可以得到一个新的无偏估计,该估计的 方差比原来的估计的方差要小,从而降低 了无偏估计的方差。换言之,考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可,该说法对所有的统计推断问题 都是正确的,这便是所谓的充分性原则。,例6.3.1 设 x1, x2 , , xn 是来自b(1, p)的样本,则 是p 的充分统计量。为估计 =p2,可令 由于 ,所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进:求 关于充分统计量 的条件期望,得,6.3.2 最小方差无偏估计,定义6.3.1 对参数估计问题,设 是 的一个
16、无 偏估计,如果对另外任意一个 的无偏估计 , 在参数空间上都有 则称 是 的一致最小方差无偏估计,简记为 UMVUE。如果UMVUE存在,则它一定是充分 统计量的函数。,定理6.3.3 设 x=(x1, x2 , , xn) 是来自某总体的一个样本, 是 的一个无偏估计, 如果对任意一个满足E(x)=0的(x),都有 则 是 的UMVUE。,关于UMVUE,有如下一个判断准则。,例6.3.2 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样本,则T = x1+xn 是 的充分统计量,而 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏估计,则 两端对 求导得 这
17、说明 ,从而 ,由定理6.3.3,它是 的UMVUE。,6.3.3 Cramer-Rao不等式,定义6.3.2 设总体的概率函数 P(x, ), 满足下列条件: (1) 参数空间是直线上的一个开区间; (2) 支撑 S=x: P(x, )0与 无关; (3) 导数 对一切都存在; (4) 对P(x, ),积分与微分运算可交换次序; (5) 期望 存在;则称 为总体分布的费希尔(Fisher) 信息量。,费希尔信息量是数理统计学中一个基本概念,很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差,无偏估计的方差的下界等都与费希尔信息量I( )有关。I( )的种种性质显示,“I( )越大”
18、可被解释为总体分布中包含未知参数 的信息越多。,例6.3.3 设总体为泊松分布P()分布,则 于是,例6.3.4 设总体为指数分布,其密度函数为 可以验证定义6.3.2的条件满足,且 于是,定理6.3.4(Cramer-Rao不等式) 设定义6.3.2的条件满足,x1, x2 , , xn 是来自该总体的样本,T=T(x1, x2 , , xn )是g( )的任 一个无偏估计, 存在,且对 中一切 ,微分可在积分号下进行,则有,上式称为克拉美-罗(C-R)不等式; g()2/(nI( )称为g( )的无偏估计的方差 的C-R下界,简称g( )的C-R下界。 特别,对 的无偏估计 ,有 ;,如果
19、等号成立,则称 T=T(x1, , xn) 是 g( )的有效估计,有效估计一定是UMVUE。,例6.3.5 设总体分布列为p(x, )= x(1- )1-x, x=0,1,它满足定义6.3.2的所有条件,可以算得该分布的费希尔信息量为 ,若 x1, x2, , xn 是该总体的样本,则 的C-R下界为(nI( )-1= (1- )/n。因为 是 的无偏估计,且其方差等于 (1- )/n,达到C-R 下界,所以 是 的有效估计,它也是 的UMVUE。,例6.3.6 设总体为指数分布Exp(1/ ),它满足定义6.3.2的所有条件,例6.3.4中已经算出该分布的费希尔信息量为I( ) = -2,
20、若x1, x2, , xn 是样本,则 的C-R下界为(nI( )-1= 2/n。而 是 的无偏估计,且其方差等于 2/n,达到了C-R下界,所以, 是 的有效估计,它也是 的UMVUE。,能达到C-R下界的无偏估计不多:例6.3.7 设总体为N(0, 2 ),满足定义6.3.2的条件,且费希尔信息量为 ,令 , 则 的C-R下界为 , 而 的UMVUE为 其方差大于C-R下界。这表明所有 的无偏估计的方差都大于其C-R下界。,费希尔信息量的主要作用体现在极大似然估计。,定理6.3.5 设总体X有密度函数 p(x; ), 为非退化区间,假定 (1) 对任意的x,偏导数 , 和 对所有都存在;
21、(2) , 有 , 其中函数F1(x) , F2(x), F3(x)可积.,(3) , 若 x1, x2 , , xn 是来自该总体的样本,则存在未知参数 的极大似然估计 ,且 具有相合性和渐近正态性:,6.4 贝叶斯估计,6.4.1 统计推断的基础,经典学派的观点:统计推断是根据样本信息对总体分布或总体的特征数进行推断,这里用到两种信息:总体信息和样本信息;贝叶斯学派的观点:除了上述两种信息以外,统计推断还应该使用第三种信息:先验信息。,(1)总体信息:总体分布提供的信息。(2)样本信息:抽取样本所得观测值提供的信息。(3)先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 北京大学考研辅导班讲义统计计量部分 参数估计ppt课件 北京大学 考研 辅导班 讲义 统计 计量 部分 参数估计 ppt 课件
链接地址:https://www.31ppt.com/p-1666494.html