概率论参数估计.pptx

《概率论参数估计.pptx》由会员分享，可在线阅读，更多相关《概率论参数估计.pptx（48页珍藏版）》请在三一办公上搜索。

1、参数估计,1,第七章作业：P1347.1，7.2，7.6，7.9，7.10 7.13，7.16，7.17，7.19，7.20，7.21,数理统计问题：如何选取样本来对总体的种种统计特征作出判断。,参数估计问题：知道随机变量（总体）的分布类型，但确切的形式不知道，根据样本来估计总体的参数，这类问题称为参数估计。,参数估计的类型点估计、区间估计,2,内容提要,概述参数的点估计矩法估计极大似然估计估计量优劣性的评价参数的区间估计,3,参数的估计量和估计值,设总体的分布函数为F(x,)（未知），X1，X2，Xn为样本，构造一个统计量 来估计参数，则称 为参数的估计量。,将样本观测值 代入，得到的值 称

2、为参数的估计值。,4,估计量是某些特殊的统计量，但统计量不一定是某个参数的估计量。每次取样不同，观测值也不同，统计量的统计值也不同，所以估计量也是随机变量，我们用大写字母表示。而固定某次观测的估计值才是一个固定的数字。,点估计：如果构造一个统计量,来作为参数的估计量，则称为参数的点估计。,区间估计：如果构造两个统计量,而用 来作为参数可能取值范围的估计，称为参数的区间估计。,5,参数的点估计,矩法，极大似然法,6,定义 设 为随机变量，若 存在，则称 为 的 阶原点矩，记作；若 存在，则称 为 的 阶中心矩，记作,样本的 阶原点矩，记作,样本的 阶中心矩，记作,阶矩的概念,7,矩法估计：用样本

3、的矩作为总体矩的估计量,矩估计的想法来源于大数定理。如果总体X存在k阶矩，对任意 有,这说明，当样本容量较大时，样本k阶矩与总体k阶矩差别很小。,不仅仅是矩法估计，所有统计方法的中心思想都一致：用部分推断整体，但是当部分足够大时，根据大数定理，所做的推断越来越接近真实值。,8,例：长期的生产经验告诉我们，水泥厂成品打包机装袋的重量X服从正态分布，试用矩法估计来估计一台打包机装袋重量的均值和方差。,解：设装袋的重量为随机变量X，即总体为XN(,2)。,观测50次，即取X1，X2，X50个样本，样本容量50,此时，要估计参数，就转化为估计随机变量的矩,计算样本的期望和方差,9,根据大数定理，样本的

4、矩和总体的矩应当非常接近,假若样本有观测值x1，x2，x50,代入统计量中，有统计值：,用他们来估计和2,用样本的原点矩估计总体的原点矩，样本的中心距估计总体的中心矩简便起见，代入具体观测值的过程可以省略，只要明确写出用哪些统计量来估计相应的参数即可,10,一般而言，并不是每个统计问题中的分布都如正态分布：很多时候参数并没有直接的概率意义。所以想要直接构造估计量来估计参数是不现实的。,引例：,求a，b的估计。,有没有一般的办法来构造估计量？,曲线救国：不能直接构造参数的估计量，可以先估计总体的各阶矩，进而通过求解方程得到参数的估计量。,11,解：,例：,总体,求a，b的矩估计。,a,b是均匀分

5、布的两个参数,假设取样n次，先写出总体，样本，统计量，并按照矩法写出估计量,总体：X,样本：,接下来是矩法的标准步骤：,12,注意：熟练之后可以略去写出总体和样本的过程。,第一步：计算一阶原点矩和二阶中心矩,第二步：用样本的矩作为总体矩的统计量,即：,第三步：求解方程组中的参数,13,一般步骤,若总体X的分布函数中含有l个参数1，2，l，,要估计l个参数，我们需要l个统计量及l个相应的方程。,我们以原点矩为例说明：,（1）求出总体的各阶矩，作为被统计量,14,得l个方程构成的方程组：,（2）用样本的矩作为总体矩的统计量,（3）求解方程组中的参数,从而 为 的矩估计量,第(2)步和第(3)步的次

6、序可以对换；涉及中心距的参数也可类似求解,15,例：,解：一个参数，只要一个矩即可。,与参数无关。,可先求解参数,选最简单的矩：,16,再代入样本对应的矩,并不是标准的矩法，而是某种推广了的矩法估计；以后遇到密度函数为偶函数的情形均可这样处理。,有无其他方法？,注意：,17,例：设X1，X2，Xn为总体XPois()的样本，试求参数的矩法估计量。,解：仅有一个参数，只需要做一个矩法估计。,此时参数恰为分布的期望，所以可以直接用样本均值来估计，省去了求解方程这一步。,考虑一阶原点矩,参数本身为分布的数字特征，不需求解方程，直接利用样本的统计量来估计分布的数字特征，进而得到参数估计的办法也叫数字特

7、征法，是矩法的特例。,18,矩法估计能用低阶矩就不用高阶矩,可见：同一个参数的矩估计量可以不同。,得到矩法估计量,考虑泊松分布的二阶中心矩,使用哪个更好一些？,之后会系统地介绍估计量优劣的评价，届时再展开讨论,思考一下，是否有其他求解的办法？,19,解 由于,所以由矩法估计，得,解得,所以，参数 的矩估计量为,例 对容量为n的样本，求下列密度函数中参数 的矩估计量。,20,参数的极大似然估计法,思想：设总体X的密度函数为f(x,)，为未知参数，则样本（X1,X2,Xn）的联合密度函数为,令,参数的估计量，使得样本（X1,X2,Xn）落在观测值 上的概率L()达到最大，即,则称 为参数的极大似然

8、估计值。,21,回忆：为了估计鱼塘中有多少条鱼,鱼塘主先从鱼塘中网起100条鱼作上记号后，放回鱼塘中,过了一段时间(使有记号的鱼和无记号的鱼混合均匀)后，从鱼塘中网起一网鱼,共80条,其中有记号的鱼有2条。试估计鱼塘中有多少条鱼。,由于数量很大，可以近似认为是简单随机取样，故每条鱼是否有记号服从XiB(1,100/N),估计N就是估计参数p=100/N。,回忆当时的解法,求参数p使得P(Y=2)最大,可以用矩法来估计。,22,所谓似然函数，就是带参数的联合密度函数似然函数的选取是唯一的，这一点和矩法估计不同,注意,23,解：EX=1/,例:据经验，进入稳定期的生产线生产出的LED电视的使用寿命

9、,试用极大似然法估计电视机的平均寿命。,即求参数的极大似然估计,取对数后求导找出极大值点,24,得到参数的估计值：,将具体的样本值替换为样本对应的随机变量，得到参数的估计量：,25,求解步骤,（2）取自然对数,其解 即为参数的极大似然估计值。,（3）令,（1）构造似然函数,若总体的密度函数中有多个参数1，2，n，则将第（3）步改为,解方程组即可。,26,对于离散型总体的分布，只要参数为连续变化，仍然可以求导，上述方法同样适用。有些情况下参数是离散的，比如二项分布B(n,p)中的n。此时不能求导，只能按定义找极大值，运算比较复杂。为了逻辑上更为严密，极大似然估计一般先用样本值代入求解估计值，再用

10、样本替换样本值得到参数的估计量。,极大似然估计的一些注意事项,27,例:,解,先求似然函数,接着求对数,为非负整数,28,参数连续变化，求导有,29,例:假设（X1，X2，Xn）是取自正态总体N(,2)的样本，求和2的极大似然估计量。,解 构造似然函数,取对数,30,续解,求偏导数，并令其为0,解得,所以，2的极大似然估计量为,31,之前的三个例子极大似然估计与矩估计量相同,如果矩估计量和极大似然估计量相同的话往往说明这样的估计是好的,然而不是对每一个分布的参数估计两种估计量都一致,32,例,解：,故似然函数为：,由于似然函数中并不显式包含x1xn，我们直接来找似然函数的最大值,33,越小越好

11、，不过一旦xi,则L()=0,故要在 xi,即 maxxi的限制条件下取最小,估计值为,估计量为,34,另外，可以考虑矩法估计,矩法估计中，选取不同的矩，得到的估计量不同用矩法估计和极大似然估计，得到的估计量不同,那种估计更好一些？,由于,35,估计量优劣性的评价,标准:无偏性、有效性、相合性,36,无偏性,无偏估计量：设 是 的估计量，如果则称 是 的无偏估计量。,即无系统偏差,37,例:设总体的数学期望EX=和方差VarX=2都存在，证明：样本均值 修正样本方差 分别是EX、VarX的无偏估计。,证明：之前已经计算了样本均值和修正样本方差的期望,这也是为何用修正样本方差，而非样本方差的原因

12、,38,有 效 性,设 是 的无偏估计量，当样本容量n固定时，使 达到最小的 称为 的有效估计,比较：若，则 比 有效。,由于方差是度量随机变量落在它的均值E的邻域内的集中或分散程度的。所以一个好的估计量，不仅应该是待估参数的无偏估计，而且应该有尽可能小的方差。,39,例如 及（其中）都是EX的无偏估计，但 比 有效。,首先,算术平均几何平均,其次,40,一致最小方差无偏估计量,要求无偏最有效,定义：设总体XFX(,).若T0(X1,Xn)为g()的无偏估计量，且对g()的任意无偏估计量T(X1,Xn)，都有,则称T0(X1,Xn)为g()的一致最小无偏估计量,注意：没有普遍可行的构造办法,4

13、1,我们不仅希望一个估计是无偏的，且具有较小的方差，有时还希望当子样容量无限增大时，即观察次数无限增多时，估计能在某种意义下越来越接近被估计的参数的真实值，这就是所谓一致性的要求。,相合性,42,定义,注意：,依概率收敛到真值,43,可以证明：,44,证明（1）,45,（2）,根据切比雪夫不等式,（3）证明很难，这里不介绍了,46,参数估计的点估计方法小结,数字特征法：以样本均值、方差作为总体期望、方差 的估计量。,矩法估计：以样本k阶矩作为总体k阶矩的估计量。,或,极大似然估计：最能产生观测值(x1,xn)的参数值,顺序统计量估计：用样本中位数和极差估计期望和标准差,47,一、矩估计法（包含数字特征法）直观意义比较明显，但要求总体k阶矩存在。二、极大似然估计法。具有理论上的优点，似然函数唯一。如果参数连续取值，可用求导；但若参数不连续取值，求法复杂。三、顺序统计量法 使用起来无条件限制，无需多大计算，但准确度不高。,比较,48,