矩估计和极大似然估计.ppt
,二、极大似然估计法,一、矩法估计,第七章,参数估计,三、估计量的评选标准,四、置信区间,参数估计,参数估计问题是利用从总体抽样得到的信息,估计湖中鱼数,估计平均降雨量,来估计总体的某些参数或者参数的某些函数。,统计推断：参数估计和假设检验。,参数估计要解决问题:,总体分布函数的形式为已知,需要确定未知参数。,但其中参数,未知时，,这类问题称为参数估计问题。,只有当参数 确定后，,才能通过率密度函数计算概率。,对于未知参数，,如何应用样本,所提供的信息去对其一个或多个未知参数进行估计。,参数估计是对已知分布类型的总体，,参数估计,点 估 计,区间估计,矩 估 计,极大似然估计,参数估计可作如下划分,利用样本对其未知参数作出估计,1.矩估计,2.极大似然估计,3.最小二乘法,4.贝叶斯方法,这里我们主要介绍前面两种方法.,寻求估计量的方法,点估计问题：,构造一个适当的统计量,用它的观察值,来估计未知参数.,称,为的估计量，,为的估计值.,参数估计：,点估计:估计的具体数值;,区间估计:估计的所在范围.,第七章,第一节,矩 法 估 计,二、常用分布参数的矩法估计,一、矩法估计,一.矩估计法,故用样本矩来估计总体矩,基本原理：,总体矩是反映总体分布的最简单的,数字特征，,当总体含有待估计参数时，,总体矩是,待估计参数的函数。,样本取自总体，,样本矩在一定程度上可以逼近总体矩，,由英国统计学家K.皮尔逊最早提出的。,其中,是待估参数.,存在,设总体的k阶矩,则样本的k阶矩,(由大数定理),令,从中解得,即为矩估计量。,矩估计量的观察值称为矩估计值。,设总体X的分布函数为,矩估计步骤：,连续型,离散型,所以参数 p 的矩估计量为,例：,总体 X 的分布列为：,是来自总体X的样本，,解：,由于总体X 的分布为二项分布，,设某炸药厂一天中发生着火现象的次数X,例1,服从,下面我们通过几个例子说明利用矩估计法求,未知参数的过程。,二、常用分布常数的矩法估计,例2,解,注:总体均值方差的矩估计量与总体分布无关。,做矩估计时,也可用中心矩建立关于未知参数的,方程组，,因而矩估计不唯一。,未知，求参数的矩估计。,例3,解：,解,不合格品率 p 的矩法估计,分析 设总体X 为抽的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且,因 p=EX,故 p 的矩估计量为,设某车间生产一批产品，为估计该批产品不合格品,(即出现不合格产品的频率).,例4,率，抽取了n 件产品进行检查.,例5,解,是未知参数，X1，X2，,Xn，是X 的一组样本，,解,设总体X的概率密度为,解得,例6,求的矩估计量.,其中0，与是未知参数，X1，X2，,Xn，是X 的一组样本，求与的矩估计量.,解,例7.设总体X的概率密度为,令,令,注意到 DX=E(X2)(EX)2=2,=2+(+)2,第七章,第二节,极大似然估计,极大似然估计,极大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过.,是谁打中的呢？,某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下.,基本思想:,若事件Ai 发生了,则认为事件Ai在这n个可能结果,中出现的概率最大。,极大似然估计就是在一次抽样中,若得到观测值,则选取,若一试验有n个可能结果,现做一试验,作为的估计值。,使得当,时,样本出现的概率最大。,极大似然估计法:,事件 发生的概率为,为 的函数，,形式已知,(如离散型)X的分布列为,的联合分布列为：,为样本的似然函数。,定义7.1,与,有关,记为,称为参数的极大似然估计值。,称为参数的极大似然估计量。,达到最大的参数,作为的估计值。,现从中挑选使概率,样本的似然函数,若总体X属连续型,其概率密度,的形式已知，,为待估参数；,则,的联合密度：,一般，,关于可微，故可由下式求得：,因此,的极大似然估计也可从下式解得：,在同一点处取极值。,故似然函数为,例1,设,是来自总体X的一,个样本，,试求参数 p 的极大似然估计值.,解：设,是一个样本值。,X的分布列为：,而,令,它与矩估计量是相同的。,解得,p的极大似然估计值,p的极大似然估计量,令,解得,设总体X的分布列为：,解：,似然函数为,似然估计值。,例2,是来自总体X的样本，求 p 的极大,令,即,解,例3,设 X1,X2,Xn 是取自总体X 的一个样本,，求参数的极大似然估计值。,似然函数为:,例4,设,未知，,是一个样本值,解 设,的概率密度为：,似然函数为,等价于,因为,即,时,取最大值,在,似然函数为,即,时,取最大值,在,似然函数为,今取得一组样本Xk数据如下，问如何估计？,某电子管的使用寿命 X（单位：小时)服从指数分布,例5 指数分布的点估计,分析 可用两种方法：矩法估计 和极大似然估计.,1）矩法估计,2）极大似然估计,构造似然函数,当xi0,（i=1,2,n)时，似然函数为,取对数,建立似然方程,5.得极大似然估计量：,求解得极大似然估计值,似然函数为：,例6,设,为未知参数，,是来自X的一个样本值，求,的极大似然估计值。,解：,X的概率密度为：,解得：,令,即：,注：lnx 是 x 的严格单增函数，lnL 与L有相同的极大值，一般只需求lnL 的极大值.,求极大似然估计的一般步骤：,写出似然函数,2.对似然函数取对数,3.对i(i=1,m)分别求偏导,建立似然方程(组),解得 分别为 的极大估计值.,例7 矩估计与似然估计不等的例子,设总体概率密度为,求参数的极大似然估计,并用矩法估计.,解 1)极大似然估计法,构造似然函数,2.取对数：,当 0 xi1,(i=1,2,n)时,2.取对数：,当 0 xi 1,(i=1,2,n)时,建立似然方程,求解得极大似然估计值为,5.极大似然估计 量为,2)矩估计法,1.矩法估计量与极大似然估计量不一定相同；,2.用矩法估计参数比较简单,但有信息量损失；,3.极大似然估计法精度较高,但运算较复杂；,4.不是所有极大似然估计法都需要建立似然方程,小 结,求解.,解,例6.不合格品率的矩法估计,分析 设总体X 即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且,因 p=EX,故 p 的矩估计量为,设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.,(即出现不合格产品的频率).,不合格品率p 的估计,设 总体X是抽一件产品的不合格品数，记 p=PX=1=P产品不合格,则 X的分布列可表示为,现得到X的一组样本X1，X2，,Xn的实际观察值为 x1,x2,xn,则事件,X1=x1，X2=x2，,Xn=xn,例7,出现的可能性应最大,其概率为,应选取使L(p)达到最大的值作为参数 p 的估计.,令,解得,（频率值）,注意到,其中0，与是未知参数，X1，X2，,Xn，,解,设总体X的概率密度为,是X 的一组样本，求与 的矩估计量.,例8,令,注意到 DX=E(X2)E(X)2=2,=2+(+)2,例 9 均匀分布的极大似然估计,设样本X1，X2，Xn来自在区间 0,上均匀分布的总体X,求 的极大似然估计.,解 设x1,x2,xn是X1,X2,Xn的样本值，,似然函数为,#,如图所示，似然函数L 在,取到最大值，故的极大似然估计量为,注 意：该似然函数不能通过求导构造似然方程.尝试用其他方法求解！,分析 的估计应满足：,2.的值不能小于任何一个xi.,1.的值尽可能小；,
