概率论与数理统计PPT课件第七章最大似然估计.ppt

《概率论与数理统计PPT课件第七章最大似然估计.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计PPT课件第七章最大似然估计.ppt（55页珍藏版）》请在三一办公上搜索。

1、1,它首先是由德国数学家高斯在1821年提出的,Gauss,Fisher,然而，这个方法常归功于英国统计学家费歇(Fisher).,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.,7.2 最大似然估计,2,思想方法 一次试验就出现的事件有较大的概率,7-17,3,最大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过.,是谁打中的呢？,某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下.,4,因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,其数学模型为,令X为打一枪的中弹数，则XB(1

2、,p),p未知.设想事先知道p只有两种可能:,p=0.9 或 p=0.1,两人中有一人打枪,估计这一枪是谁打的，即估计总体X的参数p的值,5,当兔子不中弹，即X=0发生了,现有样本观测值x=1,什么样的参数使该样本值出现的可能性最大呢？,若p=0.9，则PX=1=0.9 若p=0.1，则PX=1=0.1,若p=0.9，则PX=0=0.1 若p=0.1，则PX=0=0.9,当兔子中弹，即X=1发生了,6,引例 设总体 X 服从0-1分布，且P(X=1)=p,用极大似然法求 p 的估计值。,解,X 的概率分布可以写成,设 X1,X2,Xn为总体 X 的样本,设 x1,x2,xn为总体 X 的样本值

3、,则,7,对于不同的 p,L(p)不同，见右下图,现经过一次试验，,8,在容许的范围内选择 p，使L(p)最大,注意到，ln L(p)是 L 的单调增函数，故若某个p 使ln L(p)最大，则这个p 必使L(p)最大。,7-20,9,最大似然估计法的基本思想：根据样本观测值，选择参数p的估计，使得样本在该样本值附近出现的可能性最大,10,一 离散型随机变量的情况,最大似然估计的求法,11,12,13,定义2.1 设离散型随机变量X1,X2,.,Xn 有联合分布,其中 是未知参数，给定观测数据x1，x2，.，xn后，称 的函数,为基于x1，x2，.，xn的似然函数(likelihood func

4、tion)，称 的最大值点 为 的最大似然估计(maximum likelihood estimator缩写为MLE),其中 也可以是向量,14,二 连续型随机变量的情况,15,16,定义2.2 设随机向量X=(X1,X2,.,Xn)有联合密度,其中 是未知参数，给定X的观测值x=(x1，x2，.，xn)后，称 的函数,为基于x=(x1，x2，.，xn)的似然函数(likelihood function)，称 的最大值点 为参数 的最大似然估计(MLE),其中 也可以是向量,17,若总体中包含多个未知参数,18,(4)在最大值点的表达式中,用样本值代入 就得参数的极大似然估计值.,求最大似然估

5、计(MLE)的一般步骤是：,(1)由总体分布导出样本的联合分布列(或联合密度);,(2)把样本联合分布列(或联合密度)中自变 量看成已知常数,而把参数 看作自变量,得到似然函数L();,(3)求似然函数 的最大值点(常转化为求对数似然函数 的最大值点)即 的MLE;,19,未知参数的函数的最大似然估计,设总体X的分布类型已知,其概率密度(或概率函数)为f(x;1,k),未知参数的已知函数为g(1,k).若,分别为1,k的最大似然估计,则,为 g(1,k)的最大似然估计.,20,解：X的分布列为,例1设X1,X2,Xn独立同分布，都服从Poisson分布，给定观测数据x1,x2,xn，试求参数

6、的最大似然估计.,因此似然函数为,21,令,=0,对数似然函数为：,得 的最大似然估计为,22,例2设X1,X2,Xn是取自总体 XB(1,p)的一个样本，求参数p的最大似然估计.,解：似然函数为:,对数似然函数为：,23,对p求导并令其为0，,=0,p的最大似然估计为,24,似然函数为：,25,对数似然函数为：,26,27,例4 X 服从指数分布,其密度函数为 x1，x2，xn 为观察值.试用最大似然估计法估计,28,解：似然函数为,对数似然函数为,由,得 的最大似然估计为,29,解：似然函数为,对数似然函数为,例5 设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计.,其中 0,

7、30,求导并令其为0,=0,从中解得,即为 的MLE.,对数似然函数为,31,例6 设X1,X2,Xn是取自总体 XU(a,b)的一个样本，求参数a,b的最大似然估计.,似然函数为,32,不能求解。,33,似然函数a 越大,b 越小,L 越大.,令,x(1)=min x1,x2,xnx(n)=max x1,x2,xn,34,故,是 a,b 的最大似然估计值.,取,35,例7 设总体X的概率分布为,其中0 1/2为未知参数。今对X进行观测，得如下样本值 0，1，2，0，2，1求 的最大似然估计。,36,从而对数似然函数为,解：似然函数为,令,得,37,三 估计量的评选标准,对于同一参数，用不同的

8、估计方法求出的估计量可能不相同。,问题：采用哪一个估计量好?,X1,X2,Xn,为来自该总体的样本。,设总体X F(x,),其中 为未知参数。,为 的一个估计量。,38,估计量,而当样本(X1,Xn)有观测值(y1,yn)时，估计值为,是一个随机变量，当样本(X1,Xn)有观测值(x1,xn)时，估计值为,39,由不同的观测结果，就会求得不同的参数估计值.因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断，而必须根据估计量的分布从整体上来做评价。,当样本值取不同的观测值时，我们希望相应的估计值在未知参数真值附近摆动，而它的均值与未知参数的真值的偏差越小越好.当这种偏差为0时，就导致无偏

9、性这个标准.,40,1无偏性,则称 为 的无偏估计.,41,例1 样本均值 与样本方差S2 分别是 总体均值和总体方差2的无偏估计量.,证：,42,样本k阶矩为,例2 设总体X的k阶原点矩存在，记其为k，X1,X2,Xn为来自总体的样本，问,是否为总体k阶矩k的无偏估计.,解：由于,因此样本k阶矩是总体k阶矩的无偏估计,43,例3 设总体X N(，2)，其中参数，2未知，试用最大似然估计法求，2的估计量，并问是否是无偏估计？,44,45,解：,因为,设X的分布函数为,46,先求Z的分布函数,47,对其求导数得到Z的密度函数为：,即Z的分布函数,48,故,因此,nZ是 的无偏估计,49,例5 设

10、X1,X2,Xn是来自总体X的样 本，且E(X)=。以下两个估计是否为 的无偏估计,（答：是）,（答：是）,50,无偏估计以方差小者为好,这就引进了有效性这一概念.,的大小来决定二者,和,一个参数往往有不止一个无偏估计,若,和,都是参数 的无偏估计量，,比较,我们可以,谁更优.,51,2有效性,且存在 的情形，则称 较 有效。,52,例6 设X1,X2,Xn是来自总体X的样本，且E(X)=。以下两个估计谁更有效？,解：,53,3.相合性(一致性)设 为未知参数 的估计量，若对任意给定的 0，任意，都有,设总体的k 阶矩存在，则样本的k 阶矩是总体k 阶矩的相合估计,即：当 时 以概率收敛到,54,这两讲，我们介绍了参数点估计，讨论了估计量的优良性准则.给出了寻求估计量最常用的矩估计法和最大似然估计法.,参数点估计是用一个确定的值去估计未知的参数.看来似乎精确，实际上把握不大.为了使估计的结论更可信，需要引入区间估计.,55,作业7.3;7.4;7.11 最大似然估计7.10；,