点估计的几种方法.ppt
上一章介绍的抽样和抽样分布已为讨论统计推断,打下了必要的理论基础。何谓统计推断？就是利用资,料提供的信息，做出尽可能精确和可靠的结论。严格,地说，就是从总体中抽取一个样本获得信息后，对,总体做出推断。由于信息的有限性和样本的随机性,做出的推断不可能绝对准确，总会有一定程度的不确,定性，而所出现的不确定性可以用概率的大小来衡量。,于是，我们称伴有一定概率的推断为统计推断（statistical inference）,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,估计废品率,估计新生儿的平均体重,估计湖中鱼数,估计平均降雨量,6.1 点估计的几种方法6.2 点估计的评价标准6.3 最小方差无偏估计6.4 贝叶斯估计6.5 区间估计,一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。,设 x1,x2,xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值，称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一 是如何给出估计，即估计的方法问题；其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。,常用的主要有如下两种：,矩估计法和最大似然估计法.,6.1 点估计的几种方法,替换原理和矩法估计,一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即；用样本方差估计总体方差Var(X)，即用样本的 p 分位数估计总体的 p 分位数，用样本中位数估计总体中位数。,对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9,矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是大数定律。,由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185 和 28.6。,二、概率函数P(x,)已知时未知参数的矩法估计,设总体具有已知的概率函数 P(x,1,k)，x1,x2,xn 是样本，假定总体的k阶原点矩k存在，若1,k 能够表示成 1,k 的函数j=j(1,k)，则可给出诸j 的矩法估计为,矩法的步骤：设总体X的分布为F(x;1,2,k)，k个参数1,2,k待估计，(X1,X2,Xn)是一个样本。(1)计算总体分布的i阶原点矩E(Xi)=i(1,2,k)，i=1,2,k，(计算到k阶矩为止，k个参数)；(2)列方程,从中解出方程组的解，记为,则,分别为参数1,2,k的矩估计。,例 设总体服从指数分布，由于EX=1/，即=1/EX，故 的矩法估计为,s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,另外，由于Var(X)=1/2.因此，从替换原理来看，的矩法估计也可取为,例 x1,x2,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，求a,b的矩估计。,补例1 设总体X的均值为，方差为2，均未知。(X1,X2,Xn)是总体的一个样本，求和2的矩估计。解:令,解得矩法估计量为,极(最)大似然估计,定义 设总体的概率函数为P(x;)，是参数 可能取值的参数空间，x1,x2,xn 是样本，将样本的联合概率函数看成 的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然函数。有,极大似然估计法的基本思想,一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|)。若A发生了，则认为此时的值应是在中使P(A|)达到最大的那一个。这就是极大似然思想。,使得取该样本值发生的可能性最大。,由样本的具体取值，选择参数的估计量,如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。,求极大似然估计通常分如下两种情形：总体X 的取值范围与未知参数无关；总体X 的取值范围与未知参数有关。,求极大似然估计的步骤,设总体X的分布中，有m个未知参数1,2,m，它们的取值范围。(1)写出似然函数L的表达式如果X是离散型随机变量，分布律为P(X=k)，则,如果X是连续型随机变量，密度函数为f(x)，则,(2)在内求出使得似然函数L达到最大的参数的估计值,它们就是未知参数1,2,m的极大似然估计。,一般地，总体X 的取值范围与未知参数无关,先将似然函数取对数lnL，然后令lnL关于1,2,m的偏导数为0，得方程组,从中解出,例 设一个试验有三种可能结果，其发生概率分别为,现做了n次试验，观测到三种结果发生的次数分别为 n1,n2,n3(n1+n2+n3=n)。求的最大似然估计。,例6.1.7 设(X1,X2,Xn)是来自正态总体XN(,2)的一个样本，,2未知，求,2的极大似然估计。解 设(x1,x2,xn)为样本(X1,X2,Xn)的一个观察值，则似然函数为,解得,所以,2的极大似然估计量分别为,思考：当已知时，,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,例 设 x1,x2,xn 是来自均匀总体 U(0,)的样本，试求 的极大似然估计。,补例 设XUa,b，a,b未知，(X1,X2,Xn)是总体X的一个样本，求a,b的极大似然估计。解 X的密度函数为,设(x1,x2,xn)为样本(X1,X2,Xn)的一个观察值，则似然函数,由于L(a,b)是 b-a的单调减函数,所以b应尽可能小,a应尽可能大。所以,极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g()，其极大似然估计为。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,例 设 x1,x2,xn是来自正态总体N(,2)的样本，则和 2的极大似然估计为，于是由不变性可得如下参数的极大似然估计，它们是:,标准差 的MLE是；,概率 的MLE是；,总体0.90分位数 x0.90=+u0.90 的MLE是，其中u0.90为标准正态分布的0.90分位数。,
