第章参数估计与假设检验.ppt
《第章参数估计与假设检验.ppt》由会员分享,可在线阅读,更多相关《第章参数估计与假设检验.ppt(137页珍藏版)》请在三一办公上搜索。
1、第 5 章 参数估计与假设检验(5.1 5.5)统计推断是统计学的重要内容。它大致可以分为两类:估计问题与假设检验问题。且每类问题又可以分为参数估计与假设检验和非参数估计与假设检验。本章将介绍参数估计与参数假设检验的基本知识。一方面,在一些实际问题中,研究对象的总体分布类型往往可以从理论或实际经验中得到,而未知的只是分布中的参数。例如,由中心极限定理和实际经验知道:表示人体身高的随机变量 X 近似地服从正态分布 N(,2),其中参数,2 未知;表示纺织厂细纱机上的断头次数的随机变量 Y 近似地服从参数为 的泊松分布 P(),其中参数 未知;,另一方面,在有些情况下,人们所关心的并不是总体的分布
2、,而是总体的某些数字特征(一般可以表为总体参数的函数,如:若总体 X e(),则 EX=1/)。这些问题都要求人们通过对所抽取的简单随机样本进行科学的分析,从而推断出总体的未知参数或数字特征来。这类问题统称为参数估计问题。参数估计问题又分为点估计与区间估计两类。直观地讲,点估计是要用样本的某一函数值做为待估参数的估计值;区间估计则是要将待估参数确定在某一范围之内。,5.1 点估计概述 一、什么叫点估计 设(X1,X2,Xn)是来自总体 X 的样本,(x1,x2,xn)是相应的样本值。是总体分布的待估参数,表示 的取值范围,称为参数空间。注:尽管参数 是未知的,但是它的参数空间 却是事先知道的。
3、如正态总体 X N(,2)的参数 R,(0,+).,为估计参数,需要先构造一个统计量 h(X1,X2,Xn),然后再利用该统计量的实现值 h(x1,x2,xn)来估计参数 的真值,作为 的近似值,即 h(x1,x2,xn)。称统计量 h(X1,X2,Xn)为参数 的估计量,记作;该统计量的实现值 h(x1,x2,xn)为参数 的估计值,记作。在不会引起误会的场合,估计量与估计值统称为点估计,简称为估计,并简记为。且有。由于 的估计值 是数轴上的一个点,用 的估计值 作为 的真值的近似值,就相当于用一个点来估计,故得名“点估计”。,如果总体分布中有多个待估参数 1,2,r,(1,2,r),则一般
4、需要构造不同的统计量,i=1,2,r,分别估计各个 i,且称 为第 i 个参数 i 的估计量,其相应的估计 值 为第 i 个参数 i 的估计值,i=1,2,r.如果待估参数是总体未知参数 的实值函数 g()(如:总体 X e()时,待估参数 EX=1/就是总体未知参数 的实值函数,此时有 g()=1/),则称用来估计实值函数 g()的统计量 为该实值函数 g()的估计量,统计量的相应的实现值为该实值函数 g()的估计值。且有 g()。,例 5.1(P.150 例 5.1)设某种型号的电子元件的寿命 X(以小时计),(x 0)。为未知参数,0。现得样本值为168,130,169,143,174,
5、198,108,212,252,试估计未知参数。解 未知参数 的一个估计量,就是利用样本构造的一个函数。方法一 总体 X 服从参数为 的指数分布:X e(),EX=(),即未知参数 就是总体 X 的数学期望(均值)。,因此一个自然的想法就是,用样本均值 来估计未知参数(即总体的均值),得到未知参数 的一个估计量为,其中。对于给定的样本值,计算出未知参数 的一个估计值为。即 172.7。方法二 未知参数 的估计量也可以取为,则相应的估计值为。即 168。,方法三 记 X(1)=min X1,X2,X9,X(9)=max X1,X2,X9。将未知参数 的估计量取为,则相应的估计值为。即 180.由
6、此可见,同一个未知参数,其估计量可以是多个。对于一个未知参数,原则上可以随意地去构造其估计量。因此,需要制定出衡量各种估计量好坏的标准,对估计量进行评价。注:由于作为估计量的统计量,是样本的函数,因而它是一个随机变量,具有不确定性。因此,在评价估计量时,不能仅凭一次估计的效果来衡量估计量的好坏,即不能用估计量的一次实现值(估计值)来衡量其好坏。要对估计量进行综合评价。最常用的评价估计量好坏的标准有:无偏性、有效性和相合性。,二、评价估计量的标准 1、无偏性 待估参数 的一个好的估计量 在多次使用中,其估计值应该在待估参数 的真值的两侧对称分布,即 的平均值应该与 的真值基本一致,即。如果估计量
7、的实现值较多地偏向待估参数的真值的左(右)边,则说明估计值通常要小(大)于参数的真值,用这样的估计量去估计参数,通常会低估(高估)参数的真值。据此得到了评价估计量的“无偏性”标准。定义 5.1(P.146)设 为参数 的估计量,若,则称 是 的无偏估计量,否则称 是 的有偏估计量。若,则称 是 的渐进无偏估计量。,例 5.2(P.150 例 5.2*)设(X1,X2,Xn)是取自总体 X 的容量为 n 的样本。试验证样本方差 是总体方差 2 的无偏估计量,而统计量(未修正的样本方差)是总体方差 2 的有偏估计量。证 总体方差 DX=2 存在,总体均值也存在,记为,即 EX=。又(X1,X2,X
8、n)是取自总体 X 的一个样本,EXi=EX=,DXi=DX=2,i=1,2,n。且 X1,X2,Xn 相互独立。,于是,样本均值 满足:(即样本均值X 是总体均值 的无偏估计:EX=EX=);(即)。,而样本方,故 样本方差 是总体方差 2 的无偏估计量。,又 统计量 是总体方差 2 的有偏估计量(但它是总体方差 2 的渐进无偏估计量)。用统计量 B2 估计总体方差 2 时,平均说来会低估 2。可见,样本方差 S 2 比未修正的样本方差 B2 具有更良好的统计性质。,注:当估计量 是待估参数 的无偏估计量时,其函数 不一定仍是 g()的无偏估计量(取决于函数 g()是否为线性函数)。例如,设
9、总体 X N(,2)(0),则样本均值X 是总体均值 的无偏估计量,但函数X 2 却不是 2 的无偏估计量。事实上,。即X 2 不是 2 的无偏估计量。一个待估参数 有时可以有若干个无偏估计量。,例如,在例 5.1 中,总体 X e(),EX=,DX=2.未知参数(0)的估计量,其中,以及 都是参数 的无偏估计量。但是,。从而有。这说明,用 去估计未知参数 时,估计值在 的真值周围较集中地对称分布,摆动的幅度比较小;而用 去估计未知参数 时,估计值在 的真值周围较分散地对称分布,摆动的幅度比较大。这也就是说,估计未知参数 时,一般比 更接近 的真值。因此,一个好的估计量不仅应该是无偏估计量,而
10、且应该有尽可能小的方差。由此得到评价估计两好坏的第二个标准有效性。,2、有效性 定义 5.2(P.152)设 与 是参数 的两个无偏估计量,若,则称估计量 较 有效。在参数 的所有无偏估计量中,若 的方差最小,则称估计量 是参数 的最有效(最优、最佳)的估计量。注:只有当估计量 与 都是参数 的无偏估计量时,才讨论 与 的有效性;并非所有未知参数都具有最有效的估计量。,例 5.5 设总体 X 的期望 和方差 2 都存在,(X1,X2)是容量为 2 的样本,说明统计量 哪个是总体期望 的最有效的估计量。解 依题意 EX1=EX2=EX=,DX1=DX2=DX=2,且 X1,X2 相互独立。,1
11、和 2 是总体期望 的无偏估计量。在总体期望 的无偏估计量 1 和 2 中,2 是 1、2、3 中对总体期望 的最有效的估计量。,注:尽管 3 的方差 最小,但由于 3 不是总体期望 的无偏估计量,因此 3 也不是总体期望 的最有效的估计量。3、相合性(一致性)无偏性和有效性都是小样本准则,即性质成立与否与样本容量 n 无关。如果某种准则只要求当样本容量 n 时,估计量具有某种优良性质(如渐进无偏性),则称这种准则为大样本准则。相合性(一致性)是重要的大样本准则之一,它反映了估计量的一种大样本性质。,定义 5.3(P.153)设 为未知参数 的估计量,若 依概率收敛于,即对任意 0,有 或,则
12、称 为 的(弱)相合估计量。此时也称估计量 具有相合性(一致性).定义 5.3 表明,“相合性”就是当样本容量 n 无限增大时,估计量 与未知参数 的真值任意接近的概率趋于 1。,例 5.6 根据伯努利大数定律(P.107 定理 3.8):“,则对任意 0,有”可见,在 n 重伯努利试验中,事件 A 发生的频率 是其发生的概率 p 的相合估计量.根据辛钦大数定律(P.108 定理 3.10):“,则对任意 0,有”可见,样本均值X 是总体期望值 的相合估计量。用不同的准则去衡量同一个估计量,会得出不同的结论,因此,要根据实际情况的具体需要选择适当的估计量。,作业 P154,1,5.2 参数的极
13、大似然估计与矩估计 一、极大似然估计 极大似然估计法最早是由高斯(C.F.Gauss)提出来的,后来由费歇(R.A.Fisher)证明了这种方法的一些性质,并给出了“极大似然估计法”这一名称。1、极大似然估计法的基本思想(P.150)极大似然估计法的思想很简单:在已经得到试验结果的情况下,应该寻找使这个结果出现的可能性最大的那个 作为未知参数 的估计。,设(X1,X2,Xn)为来自总体 X 的容量为 n 的样本,总体 X 的分布类型已知,但参数 未知,。(1)总体 X 是离散型随机变量,其概率分布的形式为 P(X=x)=p(x;),则样本(X1,X2,Xn)的概率分布为,。在 固定时,此式表示
14、样本(X1,X2,Xn)取值(x1,x2,xn)的概率;反之,当样本值(即试验结果)(x1,x2,xn)给定时,上式则可以看作是未知参数 的函数,记作 L(),并称,为似然函数。,对于不同的 值,似然函数 L()有不同的函数值。而似然函数似 L()的值的大小,又表示样本(X1,X2,Xn)取值(x1,x2,xn)的概率,即意味着样本值(x1,x2,xn)出现的可能性的大小。既然经过试验已经得到了样本值(x1,x2,xn),那么就有理由认为此样本值(x1,x2,xn)出现的可能性是最大的。也就是说,此时似然函数的取值应该是最大的。因此,选择使似然函数 L()达到最大值的那个*作为未知参数 的估计
15、,即选择*,使。,(2)总体 X 是连续型随机变量,其密度函数为 f(x;),则样本(X1,X2,Xn)的概率密度函数为,。在 固定时,它表示样本(X1,X2,Xn)在(x1,x2,xn)处的密度,其值的大小与样本(X1,X2,Xn)落在点(x1,x2,xn)附近的概率值的大小成正比;反之,当样本值(即试验结果)(x1,x2,xn)给定时,它是未知参数 的函数,仍然记作 L(),并称,为似然函数。同样,应该选择使似然函数 L()达到最大值的那个*作为未知参数 的估计,即选择*,使。,这种“选择使似然函数 L()达到最大值的那个*作为未知参数 的估计”的求点估计的方法,叫做极大似然估计法。注:由
16、于*通常随样本值(x1,x2,xn)的不同而变化,因此*通常是样本值(x1,x2,xn)的函数,记作*=*(x1,x2,xn)。,定义 5.4(P.154)若对任意给定的样本值(x1,x2,xn),存在*=*(x1,x2,xn),使,则称*(x1,x2,xn)为参数 的极大似然估计值,称相应的统计量*(X1,X2,Xn)为参数 的极大似然估计量。它们统称为参数 的极大似然估计,可简记作 M L E(Maximum Likelihood Estimate)。其中似然函数,。,如果总体中含有多个未知参数 1,2,r,那么似然函数就是多元函数 L(1,2,r)。若对任意给定的样本值(x1,x2,xn
17、),存在 i*=i*(x1,x2,xn),i=1,2,r,使,则称 i*(x1,x2,xn)为参数 i 的极大似然估计(M L E),i=1,2,r。极大似然估计的不变性(P.152):如果 是参数 的极大似然估计,u=g()是 的函数,且存在单值反函数=g 1(u),则 就是 g()的极大似然估计(此性质可以推广到多个参数的场合)。,例如,若 是未知参数 的极大似然估计,u1=3,u2=2,则 是 u1=3 的极大似然估计;但是,就不一定是 u2=2 的极大似然估计(因为函数 u2=2 不存在 的单值的反函数)。下面给出极大似然估计法的定义:定义 以极大似然估计(值或量)作为未知参数 的估计
18、,以 的函数 作为未知参数 的同一函数 g()的估计的方法,称为极大似然估计法。其中 g()存在单值反函数。,求极大似然估计(i=1,2,r)的主要步骤 写出似然函数,(1,2,r);如果似然函数 L(1,2,r)是某个未知参数 i 的单调函数,则似然函数的最大值点 i*一定在参数 i 的参数空间的边界上达到,此时可以直接求出 i*;如果似然函数 L(1,2,r)不是未知参数 i 的单调函数,i=1,2,r,求对数似然函数 ln L(1,2,r);,令,i=1,2,r,得到似然方程组,从中解出所有驻点;从求出的所有驻点中,找出使似然函数 L(1,2,r)达到最大值的点 i*,i=1,2,r;注
19、:当似然函数 L(1,2,r)关于某个 i(1 i r)的驻点唯一时,则认为该驻点就是似然函数的最大值点 i*(1 i r),而不必再做进一步的验证了。给出各参数的极大似然估计 M L E:极大似然估计值,i=1,2,r;极大似然估计量,i=1,2,r。,例5.9 设(X1,X2,Xn)为总体 X 的一组样本,总体 X 密度函数为:(参数 未知,且 0),(1)试求未知参数 的极大似然估计量;(2)检验其无偏性。解(1)似然函数,0,两边取对数,得,由,得唯一驻点,参数 的极大似然估计量为。,(2)(X1,X2,Xn)为总体 X 的一组样本,E Xi=E X,E Xi=E X,i=1,2,n。
20、又 是 的无偏估计量。,例5.10 设总体 X 在区间 0,(0)上服从均匀分布,求未知参数 的极大似然估计(量/值)。解 依题意,总体 X 的密度函数为 设(X1,X2,Xn)是取自总体 X 的容量为 n 的样本,其样本值为(x1,x2,xn),则似然函数为 似然函数 L()关于未知参数 单调减少,且其最大值在 的范围内达到。当 时,似然函数 L()达到最大值。于是,参数 的极大似然估计量为,极大似然估计值为。,例5.11 设总体 X 的密度函数为(0),从总体 X中抽取一组样本(X1,X2,Xn),样本值为(x1,x2,xn),求总体期望 的极大似然估计量。解(1)先求总体参数 的极大似然
21、估计量:似然函数,(0 0。两边取对数,得,由,得唯一驻点。参数 的极大似然估计量为。,(2)再求总体期望 的极大似然估计量:,此函数存在 的单值反函数,总体期望 的极大似然估计量为.极大似然估计法有许多优良的性质,因此它是一种很有用的估计方法。但是,在求极大似然估计时,必须知道总体的分布,而且似然方程组的解有时也不容易求,因而使它在应用上受到了一定的限制。,二、矩估计 1、矩估计法的基本思想 除极大似然估计法外,矩估计法也是求点估计常用的方法.矩估计法的基本思想是(P.157):用相应的样本矩去估计总体矩;用相应的样本矩的函数去估计总体矩的相同函数。例如,设总体 X e(),则。于是,总体均
22、值的矩估计量为,总体未知参数 的矩估计量为.,总体 k(k 0)阶原点矩为:k=EXk(1=EX),总体 k(k 0)阶中心矩为:k=E(X EX)k(1=0,2=DX)。样本(X1,X2,Xn)则 样本 k(k 0)阶原点矩为:(A1=X),样本 k(k 0)阶中心矩为:(B2=S02),其中。,利用矩估计法,就是用样本的 k 阶原点矩去估计总体的 k 阶原点矩;用样本的 k 阶中心矩去估计总体的 k 阶中心矩,即,k=1,2,;,k=2,3,。这种求点估计的方法称为矩估计法。用矩估计法确定的估计量称为矩估计量,相应的估计值称为矩估计值。矩估计量与矩估计值统称为矩估计,简记为 M E(Mom
23、ent Estimate)。在实际应用中,大部分情况下是求总体期望 EX 和方差 DX 的矩估计量:;,其中 为样本均值。,矩估计法是一种古老的估计方法。其特点是不要求已知总体分布的类型,只要未知参数可以表示成总体矩的函数,就能够求出未知参数的矩估计。矩估计法的思路自然,且不一定需要知道总体分布的类型,因而有着广泛的应用。但是,当样本容量 n 较大时,所得到的矩估计值的精度一般不如极大似然估计值的精度高;当总体分布的类型已知时,采用矩估计法不能够充分利用总体分布所提供的信息,损失了有用的信息。另外,矩估计有时还不具有唯一性,例如,设总体X P(),则 EX=DX=。于是,未知参数 的矩估计量为
24、,或,其中 为样本均值。,2、矩估计的求法 按照矩估计法的基本思想,求未知参数的矩估计的一般步骤为(P.158):(1)从总体矩入手,将待估参数 表示为总体矩的函数,即=g(1,2,l;1,2,s);(2)用样本矩 Ak,Bk(k=1,2,)分别替换函数g()中的总体矩 k,k.(3)得到参数 的矩估计(ME),即,其中 是未知参数,(X1,X2,Xn)是来自总体 X 的样本,求参数 的矩估计量。解 求矩估计量 找出参数 与总体矩(数学期望、方差等)之间的关系 E X=0 2+1 2(1)+2 2+3(1 2)=3 4。求总体期望 E X 的矩估计量以及参数 的矩估计量,例5.14(续例 5.
25、8)设总体 X 的概率分布为,求总体期望 E X 的矩估计量以及参数 的矩估计量 又 总体期望 E X 的矩估计量是,其中 未知参数 的矩估计量是,其中。,例5.15 设总体 X 具有密度函数(其中 为未知参数,且 1),取自总体的样本为(X1,X2,Xn),求 的矩估计量。,解 首先找出参数 与总体矩(数学期望、方差等)之间的关系,再求总体期望 E X 的矩估计量,最终得到 的矩估计量 又,.,例5.18*设总体 X 服从 分布,其密度函数为,其中参数,未知,(X1,X2,Xn)为取自总体 X 的样本,求,的矩估计量。注:此题含有两个未知参数 和,需要求 EX 和 EX2(或 DX);求解过
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 参数估计 假设检验
![提示](https://www.31ppt.com/images/bang_tan.gif)
链接地址:https://www.31ppt.com/p-4975320.html