数理统计CH参数估计.ppt

《数理统计CH参数估计.ppt》由会员分享，可在线阅读，更多相关《数理统计CH参数估计.ppt（61页珍藏版）》请在三一办公上搜索。

1、2023/6/3,王玉顺：数理统计04_参数估计,1,第四章 参数估计 Parameter Estimation,2023/6/3,王玉顺：数理统计04_参数估计,2,实际问题所研究总体X的分布参数(数字特征)常常是未知的，如果掌握了所研究总体X的概率分布或全部数据，那么只需简单计算就可得到所需的总体参数。而实际问题是，要么对总体X一无所知，要么只知总体X的分布类型，很难也没必要通过测取总体的全部数据获得所需的总体参数。因此，只需抽取总体的一个样本(sample observation)，利用样本提供的信息对总体参数做出推断。,引言,4 参数估计,总体参数有期望、方差、偏度、峰度、n阶原点矩、

2、n阶中心矩等,2023/6/3,王玉顺：数理统计04_参数估计,3,对总体X抽样获得样本(sample)，由样本构造统计量(statistic)，以统计量为工具对期望、方差等总体参数的值或按给定概率所处的区间作出推断，称参数估计(estimation)。,(1)什么是参数估计？,4 参数估计,参数估计是统计推断的两个基本问题之一,2023/6/3,王玉顺：数理统计04_参数估计,4,本章仅讨论分布类型已知的参数估计问题点估计(point estimation)：对所考察总体X的参数如均值、方差等的值所做的估计。区间估计(interval estimation)：对所考察总体X的参数如均值、方差

3、等以给定概率所处的可能区间(数值范围)所做的估计。,(1)什么是参数估计？,4 参数估计,2023/6/3,王玉顺：数理统计04_参数估计,5,(2)估计量和估计值,4 参数估计,用于参数估计的统计量称作估计量,2023/6/3,王玉顺：数理统计04_参数估计,6,样本X1,X2,Xn的观察值记作(x1,x2,xn)或x1,x2,xn估计量(X1,X2,Xn)的观察值记作估计量的观察值称作估计值。,(2)估计量和估计值,4 参数估计,估计值是由样本计算而得的估计量值,2023/6/3,王玉顺：数理统计04_参数估计,7,估计量(X1,X2,Xn)是样本的函数仍是随机变量；估计量是用于参数估计的

4、统计量，不含任何未知参数；估计量有确定的概率分布。,(3)估计量的性质,4 参数估计,2023/6/3,王玉顺：数理统计04_参数估计,8,用估计量对参数做估计被视作随机试验，估计值就是一次试验的结果，做多次试验，估计值会在被估参数的真值附近摆动。,(4)估计值与参数真值的关系,4 参数估计,2023/6/3,王玉顺：数理统计04_参数估计,9,4.1 矩估计4.2 极大似然估计4.3 估计量的评价4.4 区间估计,本章内容,4 参数估计,2023/6/3,王玉顺：数理统计04_参数估计,10,4.1 矩估计Estimation by Moments,4 参数估计,2023/6/3,王玉顺：数

5、理统计04_参数估计,11,利用样本矩构造估计量，进而对参数进行估计的方法称作矩估计。,(1)什么是矩估计？,4.1 矩估计,2023/6/3,王玉顺：数理统计04_参数估计,12,依据：由大数定律知道，样本原点矩依概率1收敛于总体原点矩。即样本容量愈大样本原点矩与总体原点矩的偏差就愈小。构造估计量的思路：(1)以样本原点矩作相应总体原点矩的估计；(2)估计量与样本矩之间的关系仿照待估参数与总体矩之间的关系；(3)解方程组得到估计量的表达式，称作矩估计量。此法称作矩估计法。,(2)矩估计的依据和思路,4.1 矩估计,2023/6/3,王玉顺：数理统计04_参数估计,13,(3)求总体均值的矩估

6、计,4.1 矩估计,样本一阶原点矩作为总体一阶原点矩的估计,得总体均值的矩估计,记：,求矩估计量,2023/6/3,王玉顺：数理统计04_参数估计,14,4.1 矩估计,样本二阶原点矩作为总体二阶原点矩的估计,记：,(4)求总体方差的矩估计,求矩估计量,由方差计算公式可知待估参数与总体矩之间的关系：,2023/6/3,王玉顺：数理统计04_参数估计,15,估计量与样本矩之间的关系仿照待估参数与总体矩之间的关系,4.1 矩估计,解方程组得矩估计量,(4)求总体方差的矩估计,求矩估计量,2023/6/3,王玉顺：数理统计04_参数估计,16,4.1 矩估计,(4)求总体方差的矩估计,求矩估计量,2

7、023/6/3,王玉顺：数理统计04_参数估计,17,抽样,(5)均值和方差的矩估计值,4.1 矩估计,2023/6/3,王玉顺：数理统计04_参数估计,18,矩估计适用于总体分布类型已知或未知时的分布参数估计；要求总体存在一、二阶矩。哥西分布不存在一阶原点矩，不能使用矩估计；因样本矩的表达式与总体的分布函数无关，故矩估计法未能充分利用样本所提供的全部信息。,(6)矩估计的适用范围,4.1 矩估计,2023/6/3,王玉顺：数理统计04_参数估计,19,4.2 极大似然估计Maximum Likelihood Estimation,4 参数估计,2023/6/3,王玉顺：数理统计04_参数估计

8、,20,对分布类型已知的总体X抽样，获得容量为n的样本观察值(x1,x2,xn)，以发生该观察值的概率最大为目标构造总体参数的估计量，该估计量就称作总体参数的极大似然估计。,4.2 极大似然估计,什么是极大似然估计？,2023/6/3,王玉顺：数理统计04_参数估计,21,一个罐内装有黑色球和白色球共四个，用返回抽样方法从罐内连续取球三次，二次得白球，一次得黑球。问：罐内白球的个数最有可能是多少？,问题分析：设总体，=1表抽得白球，=0表抽得黑球，罐内取球三次视作对0-1总体抽样三次。设抽得白球的概率为p，则抽得黑球的概率为(1-p)，所研究问题可归结为对0-1总体参数p的估计。,通过例子理解

9、极大似然估计,4.2 极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,22,解题步骤：(1)用估计量X表对0-1总体抽样三次取得白球的个数，则X实质上是容量为3的样本和，因此估计量XB(3,p)，其概率函数为,4.2 极大似然估计,(2)估计量X的观察值为2,(3)罐内白球的个数仅有1,2和3三种可能结果，三总体发生事件X=2的概率见下表,通过例子理解极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,23,m罐内白球个数,三次抽样抽得白球的概率,4.2 极大似然估计,(4)对于估计量X，概率大的事件最易发生，因此发生观察值2的最有可能总体是p=3/4,通过例子理解

10、极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,24,4.2 极大似然估计,极大似然估计问题可表为下面的数学模型：,通过例子理解极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,25,4.2.1 离散总体参数的极大似然估计Maximum Likelihood Estimation,4.2 极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,26,离散变量概率分布函数：,抽样所得的样本观察值：,抽样发生所得样本观察值的概率称作似然函数：,(1)由样本观察值建立似然函数,4.2.1 离散总体参数的极大似然估计,样本分量概率函数的连乘积,2023/6/3,王

11、玉顺：数理统计04_参数估计,27,因似然函数L()与其对数 lnL()在同一点上取得极大值(两函数的极值点相同)，为算法简便计，似然函数常先做对数变换，再对待估参数(此时看作变量)求偏导。,似然函数与其对数在求极大似然估计中等价,4.2.1 离散总体参数的极大似然估计,(2)对似然函数实施对数变换,2023/6/3,王玉顺：数理统计04_参数估计,28,满足下式的估计量就是极大似然估计：,或,极大似然估计是似然函数对被估参数偏导数方程组的解,4.2.1 离散总体参数的极大似然估计,(3)似然函数对被估参数求导,2023/6/3,王玉顺：数理统计04_参数估计,29,似然函数：,似然函数对待估

12、参数求偏导并令其等于0：,(4)Poission总体极大似然估计,4.2.1 离散总体参数的极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,30,解得极大似然估计值：,相应的极大似然估计量为：,4.2.1 离散总体参数的极大似然估计,(4)Poission总体极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,31,4.2.2 连续总体参数的极大似然估计Maximum Likelihood Estimation,4.2 极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,32,连续变量概率密度函数：,抽样所得的样本观察值：,称发生抽样所得样本观察值的概率

13、为似然函数：,样本分量区间概率的连乘积,4.2.2 连续总体参数的极大似然估计,(1)由样本观察值建立似然函数,2023/6/3,王玉顺：数理统计04_参数估计,33,若x取常数，则似然函数L()的极大值与x无关。因此，连续总体的似然函数可简化为下面的形式：,似然函数是样本分量密度函数的连乘积,4.2.2 连续总体参数的极大似然估计,(1)由样本观察值建立似然函数,2023/6/3,王玉顺：数理统计04_参数估计,34,似然函数与其对数在求极大似然估计中等价,4.2.2 连续总体参数的极大似然估计,(2)对似然函数实施对数变换,因似然函数L()与其对数 lnL()在同一点上取得极大值(两函数的

14、极值点相同)，为算法简便计，似然函数常先做对数变换，再对待估参数(此时看作变量)求偏导。,2023/6/3,王玉顺：数理统计04_参数估计,35,满足下式的估计量就是极大似然估计：,或,极大似然估计是似然函数对被估参数偏导数方程组的解,(3)似然函数对被估参数求导,4.2.2 连续总体参数的极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,36,建立似然函数,(4)Normal总体极大似然估计,X1,X2,Xn是总体XN(,2)的样本，求总体参数和2的极大似然估计,4.2.2 连续总体参数的极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,37,似然函数两边取对数并

15、化简,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,38,似然函数对待估参数和2(此时看作变量)求偏导并令导函数等于零,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,39,解方程组得极大似然估计,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,40,样本一阶原点矩,样本二阶中心矩,正态总体均值极大似然估计,正态总体方差极大似然估计,4.2.2 连续总体参数的极

16、大似然估计,(4)Normal总体极大似然估计,2023/6/3,王玉顺：数理统计04_参数估计,41,4.3 估计量的评价Compare Estimators,4 参数估计,2023/6/3,王玉顺：数理统计04_参数估计,42,从前两节所述内容可看出，对总体的未知参数可以构造不同的估计量去估计，那么自然要问：哪一个估计量更好呢？孰优孰劣，不能武断定论，这要看按什么标准来评价。本节介绍依据三种评价标准对估计量优劣的评价方法。,为什么要评价估计量？,4.3 估计量的平价,2023/6/3,王玉顺：数理统计04_参数估计,43,无偏估计示意图,估计量的期望等于被估参数：,(1)无偏估计(unbi

17、ased estimate),4.3 估计量的平价,设 是未知参数 的一个估计量，若满足，则称 是 的无偏估计。,2023/6/3,王玉顺：数理统计04_参数估计,44,均值估计,均值估计的期望,样本均值是无偏估计,(2)均值无偏估计,4.3 估计量的平价,2023/6/3,王玉顺：数理统计04_参数估计,45,方差的极大似然估计和矩估计：,方差的矩估计和极大似然估计是有偏的,(3)方差无偏估计,4.3 估计量的平价,2023/6/3,王玉顺：数理统计04_参数估计,46,4.3 估计量的平价,(3)方差无偏估计,方差矩估计和极大似然估计的期望,2023/6/3,王玉顺：数理统计04_参数估计

18、,47,样本方差S2是无偏估计量,(3)方差无偏估计,4.3 估计量的平价,2023/6/3,王玉顺：数理统计04_参数估计,48,考察均值的两个无偏估计量：,同是无偏估计，哪一个更好呢？,4.3 估计量的平价,(4)估计量的有效性,2023/6/3,王玉顺：数理统计04_参数估计,49,估计量的方差较小为“有效”,4.3 估计量的平价,设 和 是未知参数 的两个无偏估计量，若满足，则称 比 有效。,讨论有效性需在两估计量均是无偏估计的前题下进行，否则比较有效性没有意义。,(4)估计量的有效性,2023/6/3,王玉顺：数理统计04_参数估计,50,4.3 估计量的平价,(5)有效估计mini

19、mum variance estimation,已证明，任一估计量的方差均满足下面的克拉美罗不等式(Cramer-Rao定理)：,其中：,I()中的f(x;)是参数所属总体的概率密度,2023/6/3,王玉顺：数理统计04_参数估计,51,4.3 估计量的平价,有效估计亦称最小方差估计,若无偏估计 使克拉美-罗不等式中的等号成立，则称 为 的有效估计。即估计量的方差满足下式：,(5)有效估计minimum variance estimation,2023/6/3,王玉顺：数理统计04_参数估计,52,哪个估计量好?,(6)均值有效估计,4.3 估计量的平价,样本均值比样本分量的任何线性组合更有

20、效,2023/6/3,王玉顺：数理统计04_参数估计,53,正态总体的密度函数,两边取对数,(7)Normal总体均值有效估计,4.3 估计量的平价,2023/6/3,王玉顺：数理统计04_参数估计,54,4.3 估计量的平价,对被估参数求偏导,密度函数对数展开,(7)Normal总体均值有效估计,2023/6/3,王玉顺：数理统计04_参数估计,55,偏导函数对变量X求期望,求克拉美最小方差,考察样本均值估计量的方差,4.3 估计量的平价,样本均值是正态总体N(,2)中参数的有效估计,(7)Normal总体均值有效估计,2023/6/3,王玉顺：数理统计04_参数估计,56,(8)一致估计(

21、强相合估计)(strong consistent estimate),4.3 估计量的平价,对于任意，若无偏估计量满足下面的概率极限式，则称 为 的一致估计：,一致估计的含义：n愈大 就愈接近真值。或者说，n愈大用 估计真值的精度就愈高。处处以概率1收敛于真值。,2023/6/3,王玉顺：数理统计04_参数估计,57,(9)正态总体均值一致估计,4.3 估计量的平价,2023/6/3,王玉顺：数理统计04_参数估计,58,4.3 估计量的平价,(9)正态总体均值一致估计,样本容量n愈大，样本均值的观察值愈靠近总体均值的附近分布,2023/6/3,王玉顺：数理统计04_参数估计,59,(10)任意总体均值和方差的一致估计,4.3 估计量的平价,由中心极限定理推论：样本均值和样本方差分别是总体参数和2的一致估计,2023/6/3,王玉顺：数理统计04_参数估计,60,最好的估计量具有下述特性：,最小方差一致无偏估计,(11)最小方差一致无偏估计,4.3 估计量的平价,uniformly minimum variance unbiased estimate,2023/6/3,王玉顺：数理统计04_参数估计,61,结束,4 参数估计,