概率论与数理统计第七章.ppt

ch7-1,1,第七章,参数估计,ch7-1,2,参数估计问题,假设检验问题,点 估 计,区间估 计,ch7-1,3,什么是参数估计？,参数是刻画总体某方面概率特性的数量.,参数估计就是:当某个参数未知时,从总体抽出一个样本，用某种方法对这个未知参数进行的估计.,例如，X N(,2),若,2未知,通过构造样本的函数,给出它们的估计值或取值范围就是参数估计的内容.,ch7-1,4,参数估计的类型,点估计 估计未知参数的值,区间估计 估计未知参数的取值范围，并使此范围包含未知参数 真值的概率为给定的值.,ch7-1,5,1 点估计方法,点估计的思想方法:设总体X 的分布函数F(x)的形式已知,但其中含有一个或多个未知参数：1,2,k,设 X1,X2,Xn为总体的一个样本,构造与未知参数1,2,k有关的k 个统计量：,随机变量,ch7-1,6,当测得样本值(x1,x2,xn)时,代入上述统计量，即可得到 k 个数：,数 值,如何构造统计量？,如何评价估计量的好坏？,对应统计量,ch7-1,7,点估计的常用方法,ch7-1,8,方法,用样本 k 阶矩作为总体的 k 阶矩的估计量,建立含有待估参数的方程,从而解出待估参数,矩估计法,ch7-1,9,设有k个待估计的参数为,设总体的前 k 阶矩存在，记为,样本 X1,X2,Xn 的 r 阶矩为,令,含未知参数 1,2,k 的方程组,r=1,2,k,ch7-1,10,解方程组,得 k 个统计量：,未知参数 1,k 的矩估计量,代入一组样本值得 k 个数:,未知参数 1,k 的矩估计值,ch7-1,11,事实上，当X为连续的，设其概率密度为f(x;1,2,k)，则有,若X为离散的，设其分布律PX=xj=p(xj;1,2,k)，j=1,2,.则有,而样本矩为：,建立方程组：r=Ar,r=1,2,k，求解，得到 r 即为r的矩估计值。,ch7-1,12,例1 设总体X的概率密度为：,其中1是未知参数,（X1,X2,Xn）是取自X的样本,求参数的矩估计.,解:待估的未知参数只有一个，只须计算总体的一阶原点矩，即X的数学期望：,从中解得：,用,代替上式中的1,即得的矩估计：,ch7-1,13,例2 设总体 X U(a,b),a,b 未知,X1,X2,Xn为总体的样本,求参数 a,b 的 矩法估计量.,解 总体矩：,令,ch7-1,14,解得,ch7-1,15,例3 设总体 X N(,2),X1,X2,Xn为 总体的样本,求,2 的矩法估计量.,解,总体矩：,令,样本矩：,得,解得,ch7-1,16,例4 设总体X服从参数为的指数分布，即 X E(),X1,X2,Xn为总体的样本,求 的矩法估计量.,解,令,故,ch7-1,17,例6 设从某灯泡厂某天生产的灯泡中随机抽取10只灯泡，测得其寿命为(单位:小时)1050,1100,1080,1120,1200 1250,1040,1130,1300,1200试用矩法估计该厂这天生产的灯泡的平均寿命及寿命分布的方差.,解,ch7-1,18,一般,不论总体服从什么分布,若总体期望 与方差 2 存在,则它们的矩估计量分别为,ch7-1,19,事实上，按矩法原理，令,ch7-1,20,极大似然估计法,思想方法：一次试验就出现的事件有较大的概率,例如:有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球,现从两箱中任取一箱,并从箱中任取一球,结果所取得的球是白球.,答:第一箱.,问:所取的球来自哪一箱？,ch7-1,21,设离散总体X的分布律P X=x;的形式已知，是待估的未知参数,.又设(X1,X2,Xn)是取自总体X的一个样本，(x1,x2,xn)是样本的一组观测值.记pi()=PXi=xi;,i=1,2,n,那么这组样本观测值出现的概率为：,取不同值时，这个概率一般是不相同的，即这组样本观测值（x1,x2,xn）出现的可能性大小是随着的不同而变化的，L()是参数的函数.我们知道，如果在一次观察中某个事件A出现了，那么可认为事件A出现的可能性（概率）比较大.现在事件X1=x1,X2=x2,Xn=xn在一次观察中出现了,那么由(*)式表示的这个事件的概率应该比较大.,(*),ch7-1,22,定义7.1.1 设总体X为连续随机变量，其概率密度为f(x;)；或X为离散随机变量，其分布律为PX=x;,，(x1,x2,xn)是来自总体X的一组样本观测值.当X为连续的，记,当X为离散的，记,称L()为似然函数.,若存在的估计，使,则称 是的最大似然估计，简记为MLE,ch7-1,23,极大似然估计方法,1）写出似然函数 L,ch7-1,24,可得未知参数的极大似然估计值,然后,再求得极大似然估计量.,若L是 1,2,k的可微函数,解似然方程组,L()与ln L()在同一处取到最大值，因此求的最大似然估计也常常使用对数求导的方法解决。即令,ch7-1,25,例 设总体X服从参数为p的0-1分布，求p的最大似然估计.解:设（x1,x2,xn）是样本(X1,X2,Xn)的一组观测值.由 0-1分布的分布律：,可得似然函数为,对数似然函数为,对上式关于p求导并令其为0:,ch7-1,26,解得,此 即为 p 的最大似然估计值，p 的最大似然估计量为,ch7-1,27,例2 设总体X的概率密度为：,其中1是未知参数,（X1,X2,Xn）是取自X的样本,求参数的最大似然估计.,解:似然函数,令,解得,ch7-1,28,例 设总体 X N(,2),x1,x2,xn 是 X 的样本值,求,2 的极大似然估计.,解,ch7-1,29,2 的极大似然估计量分别为,似然方程组为,ch7-1,30,极大似然估计的不变性,设 是 的极大似然估计值,u u(),()是 的函数,且有单值反函数,=(u),uU 则 是 u()的极大似然估计值.,极大似然估计的不变性,ch7-1,31,如 在正态总体N(,2)中,2的极大似然估计值为,是 2的单值函数,且具有单值反函数，,故 的极大似然估计值为,lg 的极大似然估计值为,ch7-1,32,2 点估计的评价标准,对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题,常用标准,(1)无偏性,(3)相合性,(2)有效性,ch7-1,33,则称,是 的无偏估计量.,定义,我们不可能要求每一次由样本得到的估计值与真值都相等，但可以要求这些估计值的期望与真值相等.,定义的合理性,存在，且,ch7-1,34,例 设总体 X 的期望 与方差2存在,X 的,样本为(n 1).,(1)是 的无偏估计量;,(2)是 2的无偏估计量.,证明,(3)不是 2 的无偏估计量;,ch7-1,35,证,（1）因为,所以 是 的无偏估量;,ch7-1,36,(2),所以S2是 D(X)的无偏估量.,ch7-1,37,由于,证毕.,ch7-1,38,都是总体参数 的无偏估计量,且,则称 比 更有效.,定义,设,有效性,ch7-1,39,例 设总体X的数学期望E(X)=,方差 Var(X)=2，(X1,X2,Xn）（n1）是来自总体X的样本.考查 的以下几个点估计量得有效性,ch7-1,40,ch7-1,41,比,都有效.,ch7-1,42,所以,比,更有效.,是 的无偏估计量,问哪个估计量更有效？,由例3可知,与 都,为常数,例 设总体 X 的密度函数为,解，,ch7-1,43,定义 设 是总体参数,则称,是总体参数 的相合(或一致)估计量.,的估计量.若对于任意的,当n 时,相合性,依概率收敛于,即,相合性估计量仅在样本容量n 足够大时,才显示其优越性.,ch7-1,44,关于相合性的两个常用结论,1.样本 k 阶矩是总体 k 阶矩的相合性估计量.,是 的相合估计量.,由大数定律证明,用切贝雪夫不 等式证明,矩法得到的估计量一般为相合估计量；在一定条件下,极大似然估计具有相合性。,2.设 是 的无偏估计 量,且,则,ch7-1,45,作业 P.1922,3，4,5 P.1972，3,ch7-1,46,练习,设总体XB(8,p)，其中p为未知参数，X1，X2，Xn是来自X的样本。,1）求p的最大似然估计量,2）,是无偏估计量吗？,解 1)因为XB(8,p)，所以PX=x=C8xpx(1-p)8-x,ch7-1,47,ch7-1,48,例6 设总体 X 服从0-1分布,且P(X=1)=p,X1,X2,Xn为总体的样本用极大似然法求 p 的估计值.,解,总体 X 的概率分布为,设 x1,x2,xn为总体样本X1,X2,Xn的样本值,则,ch7-1,49,对于不同的 p,L(p)不同,见右下图,现经过一次试验，事件,发生了，,则 p 的取值应使这个事件发生的概率最大,ch7-1,50,在容许范围内选择 p，使L(p)最大,注意到，ln L(p)是 L 的单调增函数,故若某个p 使ln L(p)最大,则这个p 必使L(p)最大。,所以,为所求 p 的估计值.,ch7-1,51,一般,设 X 为离散型随机变量,其分布律为,则样本 X1,X2,Xn的概率分布为,或,称 L()为样本的似然函数,ch7-1,52,为参数 的极大似然估计值,称统计量,为参数 的极大似然估计量,称这样得到的,极大似然法的思想,ch7-1,53,若 X 连续,取 f(xi,)为Xi 的密度函数,似然函数为,注1,注2,未知参数可以不止一个,如1,k,设X 的密度(或分布)为,则定义似然函数为,ch7-1,54,为似然方程组,若对于某组给定的样本值 x1,x2,xn，参数 使似然函数取得最大值,即,则称,为1,k 的极大似然估计值,ch7-1,55,显然，,称统计量,为1,2,k 的极大似然估计量,ch7-1,56,2基于截尾样本的最大似然估计,ch7-1,57,1.寿命分布的定义,产品寿命T 是一个随机变量,它的分布称为寿命分布.,2.完全样本的定义,(一种典型的寿命试验),几个概念,ch7-1,58,如果不能得到完全样本,就考虑截尾寿命试验.,3.两种常见的截尾寿命试验,(1)定时截尾寿命试验,ch7-1,59,(2)定数截尾寿命试验,ch7-1,60,基于截尾样本的最大似然估计,1.定数截尾样本的最大似然估计,设产品的寿命分布是指数分布,其概率密度是,设有n个产品投入定数截尾试验,截尾数为m,得定数截尾样本,ch7-1,61,为了确定似然函数,观察上述结果出现的概率.,ch7-1,62,上述观察结果出现的概率近似地为,ch7-1,63,取似然函数为,对数似然函数为,ch7-1,64,2.定时截尾样本的最大似然估计,设定时截尾样本,与上面讨论类似,ch7-1,65,得似然函数为,ch7-1,66,例,设电池的寿命服从指数分布,其概率密度为,随机地取50只电池投入寿命试验,规定试验进行到其中有15只失效时结束试验,测得失效时间(小时)为115,119,131,138,142,147,148,155,158,159,163,166,167,170,172.,ch7-1,67,解,ch7-1,68,例3 设总体 X 的密度函数为,为常数,为 X 的一个样本,证明,与,都是,的无偏,估计量,ch7-1,69,证,故,是 的无偏估计量.,令,ch7-1,70,即,故 n Z 是 的无偏估计量.,ch7-1,71,例1 设总体X服从几何分布，其分布律为：PX=k=(1p)k1 p，k=1，2，其中p为未知参数，(X1,X2,Xn)是取自总体 X 的一个样本，求 p 的矩估计.,解 这里有一个待估参数p,考虑,于是,