估计量的评选标准ppt课件.ppt

7.3 点估计的评价标准,对于同一个未知参数, 不同的方法得到的估计量可能不同,于是提出问题,定义 设 是总体X 的样本,是总体参数 的估计量,则称,是 的无偏估计量，否则称为有偏估计。,1、无偏性,无偏性的实际意义是指没有系统性的偏差 .,证,因而,由于,特别地,样本均值,是总体期望 E( X ) 的无偏估计量,样本二阶原点矩,是总体二阶,原点矩,的无偏估计量。,例2 设总体 X 的期望 E( X )与方差 D( X )存在,是 X 的一个样本, n 1，,(1) 不是 D( X ) 的无偏估计量;,(2) 是 D( X ) 的无偏估计量。,证,证明：,故 证毕。,例3 设总体 X 的密度函数为,为常数,为 X 的一个样本。,证明,与,都是,的无偏,估计量，,证,令,即,故nZ 是 的无偏估计量。,证,例4,都是总体参数 的无偏估计量,2、有效性,且至少有一个 使得上述不等号严格成立,例5 设 x1, x2 , , xn 是取自某总体的样本，记总体均值为 ，总体方差为 2，则 , , 都是 的无偏估计，但 显然，只要 n1， 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,是 的无偏估计量,问哪个估计量更有效？,为常数,解,(1)设常数,(2),证: (1),利用柯西不等式,有,例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一样本。,都是 的无偏估计量,估计量。若对于任意的 ，当n 时,定义 设 是总体参数 的,则称,是总体参数 的相合估计量。,依概率收敛于 , 即,相合估计量仅在样本容量n 足够大，才显示其优越性。,3、相合性,关于相合性的常用结论,样本 k 阶矩是总体 k 阶矩的相合估计。,由大数定律证明,矩法得到的估计量一般为相合估计量,在一定条件下, 极大似然估计具有相合性,附 录,1、相合性的相关定理。2、估计的评选标准-均方误差。3、其他举例。,1 相合性 我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。,定义 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任何一个0，有 (1) 则称 为 参数的相合估计。,若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.,在判断估计的相合性时下述两个定理是很有用的。定理1 设 是 的一个估计量，若 则 是 的相合估计，,定理2 若 分别是1, , k 的相合估 计， =g(1 , , k) 是1, , k 的连续函数，则 是 的相合估计。,例1,为常数,则 是 的相合估计。,证明： 经过简单计算可得,于是,所以 是 的相合估计量，证毕。,证明,由大数定律知,例2,由大数定律知,例3 设 是来自均匀总体U（0，）的样本，证明的极大似然估计是相合估计。,证明 在前面我们已经给出的极大似然估计是x（n）。由次序统计量的分布，我们知道 的分布密度为 。,故有,由定理1可知x（n）是的相合估计。,定理2 若 分别是 的相合估计， 是 连续函数，则 有 是 的相合估计。,由大数定律及定理2，我们可以看到： 矩估计一般都具有相合性。比如：,样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本变异系数是总体变异系数的相合估计。,又由 的相合性，对给定的 ，对任意的 存在正整数N，使得 时,证明 由函数 的连续性，对任意给定的 ，存在一个 ，当,时有，,从而有,由 的任意性，定理得证。,根据上述的式子，,故有,例4 设一个试验有三种可能结果，其发生概率分别是 ， 现做了n次试验，观测到三种结果发生的次数分别为n1，n2，n3，可以采用频率替换方法估计。由于可以有三个不同的的表达式：从而可以给出的三种不同的频率替换估计，分别是 。 分别是p1 ，p2 ，p3相合估计。,2、估计的评选标准-均方误差 对于两个无偏估计，我们可以通过比较它们的方差来比较哪个更好，但对有偏估计来讲，比较方差意义不大，我们关心的是估计值围绕真值波动的大小，因而引入均方误差准则。,无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到 ，因此 (1) 若 是 的无偏估计，则 ， 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。,例1 对均匀总体U(0, )，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。,因此，均方误差由点估计的方差与偏差的平方两部分组成。如果估计是无偏估计，则此时用均方误差评价点估计与用方差是完全一样的，这也说明了用方差考察无偏估计有效性是合理的。当估计不是无偏估计时，就要看其均方误差，即不仅要看其方差大小，还要看偏差大小。,例2 设 总体 , 为样本.则作为方差 的估计量, 的均方误差为 的均方 误差为 . 则 的均方误差比 的小.,而 的均方误差是,证：易知,由本例可知，从无偏性角度考察，用 估计方差是好的，但从均方意义上讲用 估计方差更好。它们从不同侧面去考察估计量的好坏，至于具体采用什么估计则需要根据实际问题来定。,的均方误差是,例3 前面我们已经指出对均匀总体 ，由的最大似然估计得到的无偏估计是 ，它的均方误差 。,现在我们考虑的形如 的估计，其均方误差为,用求导的方法不难求得当 上述均方误差达到最小,且 这表明 虽是的有偏估计，但其均方误差,有偏估计 优与无偏估计 。,所以在均方误差的标准下，,最小方差无偏估计,Rao-Blackwell定理,以下定理说明：好的无偏估计都是充分统计量的函数。 定理 设总体概率函数是 p(x, )， x1, x2 , , xn 是其样本，T=T(x1, x2 , , xn )是 的充分统计量，则 对 的任一无偏估计 ，令 ， 则 也是 的无偏估计，且,定理说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。,例 设 x1, x2 , , xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令 由于 ，所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得,定义 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。,定理 设 x=(x1, x2 , , xn) 是来自某总体的一个样本， 是 的一个无偏估计， 如果对任意一个满足E(x)=0的(x)，都有 则 是 的UMVUE。,关于UMVUE，有如下一个判断准则。,例 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样本，则T = x1+xn 是 的充分统计量，而 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏估计，则 两端对 求导得 这说明 ，从而 ，由定理6.3.3，它是 的UMVUE。,证明,例1,.,2,max,1,2,1,2,2,1,2,1,有效,较,时,现证当,计量,的无偏估,都是,和,中已证明,在无偏性的例4,q,q,q,q,q,+,=,=,n,X,X,X,n,n,X,n,L,3、其他举例。,例2 均匀总体U(0, )中 的极大似然估计是x(n)，由于 ，所以x(n)不是 的无偏估计，而是 的渐近无偏估计。经过修偏后可以得到 的一个无偏估计： 。且 另一方面，由矩法我们可以得到 的另一个无偏估计 ，且 由此，当n1时， 比 有效。,