1矩估计和极大似然估计.ppt

《1矩估计和极大似然估计.ppt》由会员分享，可在线阅读，更多相关《1矩估计和极大似然估计.ppt（46页珍藏版）》请在三一办公上搜索。

1、统计推断的过程,参数估计的方法,1.矩法估计,参数的点估计,2.极大似然估计,参数估计问题的一般提法,设总体 X 的分布函数为 F(x,)，其中 为未知参数或参数向量，现从该总体中抽样,得到样本,X1,X2,Xn.,依样本对参数 做出估计，或估计参数 的某个已知函数 g()。,这类问题称为参数估计。,参数估计包括：点估计和区间估计。,称该计算值为 的一个点估计。,为估计参数，需要构造适当的统计量 T(X1,X2,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为 的估计，,寻求估计量的方法,1.矩估计法,2.极大似然法,3.最小二乘法,4.贝叶斯方法,我们仅介绍前面的两种参数估

2、计法。,其思想是:用同阶、同类的样本矩来估计总体矩。,矩估计是基于“替换”思想建立起来的一种参数估计方法。,最早由英国统计学家 K.皮尔逊 提出。,一、矩估计,矩估计就是用相应的样本矩去估计总体矩。,解：先求总体的期望,例1：设总体 X 的概率密度为,由矩法，令,样本矩,总体矩,解得,为 的矩估计。,注意：要在参数上边加上“”，表示参数的估计。它是统计量。,解:先求总体的均值和 2 阶原点矩。,例2：设 X1,X2,Xn 是取自总体 X 的简单样本,X 有概率密度函数,令y=(x-)/,令y=(x-)/,用样本矩估计总体矩,得,例3：设总体X的均值为，方差为2，求 和2 的矩估计。,解：由,故

3、，均值,方差2的矩估计为,即,如：正态总体N(,2)中 和2的矩估计为,设总体 X 的分布函数中含 k 个未知参数,步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am,m=1,2,k.,am(1,2,k),m=1,2,k.,一般地,am(m=1,2,K)是总体分布中参数或参数向量(1,2,k)的函数。,故,am(m=1,2,k)应记成:,步骤二：算出样本的 m 阶原点矩,步骤三：令,得到关于 1,2,k 的方程组(Lk)。一般要求方程组(1)中有 k 个独立方程。,步骤四：解方程组(1),并记其解为,这种参数估计法称为参数的矩估计法，简称矩法。,又如：若总体 X U(a,b)，求a,b的

4、矩估计。,解：列出方程组,因,解上述方程组，得到 a,b 的矩估计:,矩估计的优点是：简单易行,不需要事先知道总体是什么分布。,缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。,二、极大似然估计,极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。,该方法首先由德国数学家高斯于 1821年提出，其后英国统计学家费歇于 1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法极大似然估计原理。,似然函数的定义,1.设总体X为离散型随机变量，它的分布律为,现有样本观察值x1,x2,xn,其中xk取值于ak,k

5、=1,2问：根据极大似然思想，如何用x1,x2,xn估计q?,根据极大似然思想,值应是在中使P(A)达到最大的那一个,也就是使 样本联合分布律 最大.,2.最大似然估计法,最大似然估计法,假定现在我们观测到一组样本 X1,X2,Xn，要去估计未知参数。,称 为 的极大似然估计(MLE)。,一种直观的想法是：哪个参数(多个参数时是哪组参数)使得现在的出现的可能性(概率)最大，哪个参数(或哪组参数)就作为参数的估计。,这就是 极大似然估计原理。,如果,可能变化空间,称为参数空间。,III.下面举例说明如何求参数的MLE,例1:在正确使用情况下，某手机电池的保修期为400小时，假设P是一批这种手机电

6、池在保修期内失效的比例。（1）求p的极大似然估计量；（2）随机抽取了2000块电池作为样本，发现有3块电池在保修期内失效，根据这些信息求参数p的极大似然估计值。,似然函数为,解 从这批手机电池中任意取一块，定义X，当电池在保修期内失效时X=1，否则X=0，则XB(1,p)，X1,X2,Xn是取自总体 的一个样本。,对数似然函数为：,对 p 求导，并令其等于零，得,上式等价于,解上述方程，得,换成,换成,(4).在最大值点的表达式中，代入样本值，就得参数 的极大似然估计。,II.求极大似然估计(MLE)的一般步骤,.由总体分布导出样本的联合概率函数(连 续型时为联合概率密度,离散型时为联合 概率

7、分布)；,(2).把样本的联合概率函数中的自变量看成 已知常数,参数 看成自变量,得到似然 函数 L()；,(3).求似然函数 L()的最大值点(常常转化 为求ln L()的最大值点)，即 的MLE;,两点说明：,求似然函数 L()的最大值点，可应用微积分中的技巧。由于 ln(x)是 x 的增函数，所以 ln L()与 L()在 的同一点处达到各自的最大值。假定 是一实数,ln L()是 的一个可微函数。通过求解似然方程,可以得到 的MLE。,用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。,若 是向量，上述似然方程需用似然方程组,代替。,例2：某机器生产的金属杆用于汽车刹

8、车系统，假设这种金属杆直径服从正态分布 N(,2)参数 和 2 未知，求此两参数极大似然估计量。,解：似然函数为,对数似然函数为,似然方程组为,由第一个方程，得到,代入第二方程，得到,例3：设总体 X 服从泊松分布 P()，求参数 的极大似然估计。,解：由 X 的概率分布函数为,得 的似然函数,似然方程为,对数似然函数为,其解为,换成,换成,得 的极大似然估计,例 4：设 X U(a,b)，求 a,b 的极大似然估计。,解：因,所以,由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。,为使 L(a,b)达到最大，b-a 应该尽量地小。但 b不能小于 maxx1,x2,xn。否则，L(a,b)=0。类似地，a 不能大于minx1,x2,xn。因此，a 和 b 的极大似然估计为,解：似然函数为,例5：设 X1,X2,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数,其中 0为未知常数。求 的极大似然估计。,也可写成,求导并令其导数等于零，得,解上述方程，得,小结,本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子。,