概率论及数理统计随机变量的数字特征.ppt

随机变量的数字特征与极限定理,第五章,在前面的课程中，我们讨论了随机变量及其分布，如果知道了随机变量X的概率分布，那么X的全部概率特征也就知道了.,然而，在实际问题中，概率分布一般是较难确定的.而在一些实际应用中，人们并不需要知道随机变量的一切概率性质，只要知道它的某些数字特征就够了.,第一讲 数学期望,因此，在对随机变量的研究中，确定某些数字特征是重要的.,这一讲，我们先介绍随机变量的数学期望.,在这些数字特征中，最常用的是,数学期望和方差,一、离散型随机变量的数学期望,1、概念的引入：,某车间对工人的生产情况进行考察.车工小张每天生产的废品数X是一个随机变量.如何定义X的平均值呢？,某电话交换台每天8:00-9:00收到的呼叫数X是一个随机变量.如何定义X的平均值即该交换台每天8:00-9:00收到的平均呼叫数呢？,我们来看第一个问题.,若统计100天,例1 某车间对工人的生产情况进行考察.车工小张每天生产的废品数X是一个随机变量.如何定义X的平均值呢？,32天没有出废品;30天每天出一件废品;17天每天出两件废品;21天每天出三件废品;,可以得到这100天中 每天的平均废品数为,这个数能否作为X的平均值呢？,可以想象，若另外统计100天，车工小张不出废品，出一件、二件、三件废品的天数与前面的100天一般不会完全相同，这另外100天每天的平均废品数也不一定是1.27.,n0天没有出废品;n1天每天出一件废品;n2天每天出两件废品;n3天每天出三件废品.,可以得到n天中每天的平均废品数为,(假定小张每天至多出三件废品),一般来说,若统计n天,这是以频率为权的加权平均,由频率和概率的关系,不难想到，在求废品数X的平均值时，用概率代替频率，得平均值为,这是以概率为权的加权平均,这样得到一个确定的数.我们就用这个数作为随机变量X的平均值.,这样做是否合理呢？,我们采用计算机模拟.,不妨把小张生产中出废品的情形用一个球箱模型来描述:,有一个箱子，里面装有10个大小，形状完全相同的球，号码如图.,规定从箱中任意取出一个球，记下球上的号码，然后把球放回箱中为一次试验.,记X为所取出的球的号码(对应废品数).X为随机变量，X的概率分布列为,下面我们用计算机进行模拟试验.,输入试验次数(即天数)n,计算机对小张的生产情况进行模拟,统计他不出废品，出一件、二件、三件废品的天数n0,n1,n2,n3,并计算,与,进行比较.,下面我们一起来看计算机模拟的结果.,则对X作一系列观察(试验)，所得X的试验值的平均值也是随机的.,由此引入离散型r.vX的数学期望的定义如下:,对于一个随机变量，若它可能取的值是X1,X2,相应的概率为 p1,p2,但是，如果试验次数很大，出现Xk的频率会接近于pk，于是可期望试验值的平均值接近,定义1 设X是离散型随机变量，它的概率分布列是:P(X=Xk)=pk,k=1,2,也就是说,离散型随机变量的数学期望是一个绝对收敛的级数的和.,如果 发散，则X的数学期望不存在。,EX的物理意义：表示一维离散质点系的重心坐标,例2 某人的一串钥匙上有n把钥匙，其中只有一把能打开自己的家门，他随意地试用这串钥匙中的某一把去开门.若每把钥匙试开一次后除去，求打开门时试开次数的数学期望.,解:设试开次数为X,P(X=k)=1/n,k=1,2,n,E(X),于是,例3(01分布)设X的分布列为,求EX,解:,EX0(1p)1 p p,解:,二、连续型随机变量的数学期望,设X是连续型随机变量，其密度函数为f(x),在数轴上取很密的分点x0 x1x2,则X落在小区间xi,xi+1)的概率是,小区间xi,xi+1),阴影面积近似为,小区间Xi,Xi+1),由于xi与xi+1很接近,所以区间xi,xi+1)中的值可以用xi来近似代替.,这正是,的渐近和式.,阴影面积近似为,该离散型r.v 的数学期望是,由此启发我们引进如下定义.,定义2 设X是连续型随机变量，其密度函数 为 f(x),如果,有限,定义X的数学期望为,也就是说,连续型随机变量的数学期望是一个绝对收敛的积分.,EX物理意义：以f(x)为密度的一维连续质点系的重心坐标。,解:,解:,解:,解:,故 EX不存在。,若XU a,b,即X服从a,b上的均匀分布,则,若X服从,若X服从参数为,由随机变量数学期望的定义，不难计算得：,若XB(1,P)则 EX=P 若X E()则 若X服从几何分布，则,这意味着，若从该地区抽查很多个成年男子，分别测量他们的身高，那么，这些身高的平均值近似是1.68.,已知某地区成年男子身高X,三、随机变量函数的数学期望,1.问题的提出：,设已知随机变量X的分布，我们需要计算的不是X的期望，而是X的某个函数的期望，比如说g(X)的期望.那么应该如何计算呢？,如何计算随机变量函数的数学期望?,一种方法是，因为g(X)也是随机变量，故应有概率分布，它的分布可以由已知的X的分布求出来.一旦我们知道了g(X)的分布，就可以按照期望的定义把Eg(X)计算出来.,使用这种方法必须先求出随机变量函数g(X)的分布，一般是比较复杂的.,那么是否可以不先求g(X)的分布而只根据X的分布求得Eg(X)呢？,下面的基本公式指出，答案是肯定的.,类似引入上述E(X)的推理，可得如下的基本公式:,设X是一个随机变量，Y=g(X)，则,当X为离散型时,P(X=xk)=pk;当X为连续型时,X的密度函数为f(x).,该公式的重要性在于:当我们求Eg(X)时,不必知道g(X)的分布，而只需知道X的分布就可以了.这给求随机变量函数的期望带来很大方便.,将g(X)特殊化，可得到各种数字特征:,其中 k 是正整数.,例1.设X的分布列为,求,解：,例2.设公共汽车起点站在每小时的10分，30分，50分发车，一位不知发车时间的乘客，每 小时内到达车站的时间是随机的，求该乘客 在车站等车的数学期望。,解：,设每小时内乘客到达车站的时间为X，等车时间为Y.,设(X,Y)是二维随机变量,Z=g(X,Y)，则,当(X,Y)是离散型时：分布列为,当(X,Y)是连续型时：联合概率密度为f(x,y),由此可知：已知(X,Y)的联合概率密度f(x,y),可以求EX，EY,即,四、数学期望的性质,1.设C是常数，则E(C)=C;,4.设X、Y独立，则 E(XY)=E(X)E(Y);,2.若k是常数，则E(kX)=kE(X);,3.E(X1+X2)=E(X1)+E(X2);,（诸Xi独立时）,注意:由E(XY)=E(X)E(Y)不一定能推出X,Y独立,五、数学期望性质的应用,例1 求二项分布的数学期望,若 XB(n,p)，,则X表示n重贝努里试验中的“成功”次数.,现在我们来求X的数学期望.,可见，服从参数为n和p的二项分布的随机变量X的数学期望是np.,XB(n,p),若设,则 X=X1+X2+Xn,=np,i=1,2，n,因为 P(Xi=1)=p,P(Xi=0)=1-p,所以 E(X)=,则X表示n重贝努里试验中的“成功”次数.,例2 把数字1,2,n任意地排成一列，如果数字k恰好出现在第k个位置上，则称为一个巧合，求巧合个数的数学期望.,由于 E(Xk)=P(Xk=1),解:设巧合个数为X,k=1,2,n,则,故,引入,下面我们给出数学期望应用的一个例子.,合理验血问题,请看演示,这一讲，我们介绍了随机变量的数学期望，它反映了随机变量取值的平均水平，是随机变量的一个重要的数字特征.,接下来的一讲中，我们将向大家介绍随机变量另一个重要的数字特征：,方差,上一讲我们介绍了随机变量的数学期望，它体现了随机变量取值的平均水平，是随机变量的一个重要的数字特征.,但是在一些场合，仅仅知道平均值是不够的.,第二讲 方差,例如，某零件的真实长度为a，现用甲、乙两台仪器各测量10次，将测量结果X用坐标上的点表示如图：,若让你就上述结果评价一下两台仪器的优劣，你认为哪台仪器好一些呢？,测量结果的均值都是 a,因为乙仪器的测量结果集中在均值附近,又如,甲、乙两门炮同时向一目标射击10发炮弹，其落点距目标的位置如图：,你认为哪门炮射击效果好一些呢?,甲炮射击结果,乙炮射击结果,因为乙炮的弹着点较集中在中心附近.,为此需要引进另一个数字特征,用它来度量随机变量取值在其中心附近的离散程度.,这个数字特征就是我们这一讲要介绍的,方差,一、方差的定义,采用平方是为了保证一切差值X-E(X)都起正面的作用,由于它与X具有相同的度量单位，在实际问题中经常使用.,方差的算术平方根 称为标准差,若X的取值比较分散，则方差较大.,若方差D(X)=0,则r.v X 以概率1取常数值.,方差刻划了随机变量的取值对于其数学期望的离散程度.,若X的取值比较集中，则方差较小；,D(X)=EX-E(X)2,X为离散型，P(X=xk)=pk,由定义知，方差是随机变量X的函数g(X)=X-E(X)2的数学期望.,X为连续型，Xf(x),二、计算方差的一个简化公式,D(X)=E(X2)-E(X)2,展开,证：D(X)=EX-E(X)2,=EX2-2XE(X)+E(X)2,=E(X2)-2E(X)2+E(X)2,=E(X2)-E(X)2,利用期望性质,请自己用此公式计算常见分布的方差.,例1.设XP(),求DX.,EX=,解：,例2.设XUa,b 求DX,解：,例3.设 求DX,解：,若XB（1，P）则 DX=pq 若XP（）则DX=若XU a,b 则,若XN（,2）则DX=2,若XE（）则,例4 设r.v X服从几何分布，概率分布列为,P(X=k)=p(1-p)k-1,k=1,2,，n,其中0p1,求D(X),解：,记q=1-p,求和与求导交换次序,无穷递缩等比级数求和公式,D(X)=E(X2)-E(X)2,+E(X),三、方差的性质,1.设C是常数,则D(C)=0;,2.若C是常数,则D(CX)=C2 D(X);,3.若X1与X2 独立，则 D(X1+X2)=D(X1)+D(X2);,可推广为：若X1,X2,Xn相互独立,则,X1 与X2不一定独立时，D(X1+X2)=？请思考,4.D(X)=0 P(X=C)=1，这里C=E(X),下面我们用一例说明方差性质的应用.,例5 二项分布的方差,设XB(n,p),则X表示n重贝努里试验中的“成功”次数.,故 D(Xi)=E(Xi2)-E(Xi)2,E(Xi)=P(Xi=1)=p,E(Xi2)=p,则 是n次试验中“成功”的次数,=p-p2=p(1-p),于是,i=1,2，n,D(Xi)=E(Xi2)-E(Xi)2=p-p2=p(1-p),由于X1,X2,Xn相互独立,=np(1-p),这一讲，我们介绍了随机变量的方差.,它是刻划随机变量取值在其中心附近离散程度的一个数字特征.,下一讲，我们将介绍刻划两r.v间线性相关程度的一个重要的数字特征：,相关系数,前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本讲要讨论的,协方差和相关系数,第三讲协方差和 相关系数、矩,任意两个随机变量X和Y的协方差,记为Cov(X,Y),定义为,Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y),Cov(X,Y)=Cov(Y,X)Cov(X,a)=0,一、协方差,2.简单性质,Cov(aX,bY)=ab Cov(X,Y)a,b是常数,Cov(X,Y)=E X-E(X)Y-E(Y),1.定义,Cov(X,Y)=E(XY)-E(X)E(Y),可见，若X与Y独立，Cov(X,Y)=0.,3.计算协方差的一个简单公式,由协方差的定义及期望的性质，可得,Cov(X,Y)=E X-E(X)Y-E(Y),=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y),=E(XY)-E(X)E(Y),即,若X1,X2,Xn两两独立,，上式化为,D(X+Y)=D(X)+D(Y)+2Cov(X,Y),4.随机变量和的方差与协方差的关系,协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响.例如：,Cov(kX,kY)=k2Cov(X,Y),为了克服这一缺点，对协方差进行标准化，这就引入了相关系数.,二、相关系数,为随机变量X和Y的相关系数.,在不致引起混淆时，记 为.,若 则称X与Y不相关,相关系数的性质：,证:由方差的性质和协方差的定义知,对任意实数b,有,0D(Y-bX)=b2D(X)+D(Y)-2b Cov(X,Y),D(Y-bX)=,2.X和Y独立时，=0，但其逆不真.,由于当X和Y独立时，Cov(X,Y)=0.,故,=0,请看下例.,例1 设X服从(-1/2,1/2)内的均匀分布,而Y=cos X,（请课下自行验证）,因而=0，,即X和Y不相关.,但Y与X有严格的函数关系，,即X和Y不独立.,例2.设随机变量X的概率密度为 试证 X与 不相关,但不独立.,证明:,对任意常数a有：,从而X与 不独立.,存在常数a,b(b0），,使PY=a+bX=1，,（详细证明自看,见教材.）,即X和Y以概率1线性相关.,考虑以X的线性函数a+bX来近似表示Y，,以均方误差,e=EY-(a+bX)2,来衡量以a+bX近似表示Y的好坏程度,e值越小表示 a+bX与Y的近似程度越好.,用微积分中求极值的方法，求出使e 达到最小时的a,b.,相关系数刻划了X和Y间“线性相关”的程度.,=E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y),e=EY-(a+bX)2,解得,这样求出的最佳逼近为L(X)=a0+b0X,这样求出的最佳逼近为L(X)=a0+b0X,这一逼近的剩余是,若=0，Y与X无线性关系;,若0|1,|的值越接近于1,Y与X的线性相关程度越高;,|的值越接近于0,Y与X的线性相关程度越弱.,E(Y-L(X)2=D(Y)(1-),下面四个是等价的：,但对下述情形，独立与不相关等价,前面，我们已经看到：,若X与Y独立，则X与Y不相关，,但由X与Y不相关，不一定能推出X与Y独立.,例2 设随机变量X和Y相互独立且XN(1,2),YN(0,1).试求Z=2X-Y+3的概率密度.,故X和Y的联合分布为正态分布，X和Y的任意线性组合是正态分布.,解:XN(1,2),YN(0,1)，且X与Y独立,D(Z)=4D(X)+D(Y)=8+1=9,E(Z)=2E(X)-E(Y)+3=2+3=5,即 ZN(E(Z),D(Z),ZN(5,32),故Z的概率密度是,ZN(5,32),这一讲我们介绍了协方差和相关系数,相关系数是刻划两个变量间线性相关程度的一个重要的数字特征.,注意独立与不相关并不是等价的.,当(X,Y)服从二维正态分布时，有,若二维随机变量（X,Y）具有概率密度,记作（X,Y）N(),第四讲 二维正态分布,二维正态分布的两个边缘密度仍是正态分布.,留给同学们自己证明.,可以证明，对二维正态分布，已知 X=x下，Y 的条件分布，或者已知 Y=y下，X的条件分布都仍是正态分布.,概率论与数理统计是研究随机现象统计规律性的学科.随机现象的规律性只有在相同的条件下进行大量重复试验时才会呈现出来.也就是说，要从随机现象中去寻求必然的法则，应该研究大量随机现象.,第五讲 大数定律,研究大量的随机现象，常常采用极限形式，由此导致对极限定理进行研究.极限定理的内容很广泛，其中最重要的有两种:,下面我们先介绍大数定律,切比雪夫不等式,设随机变量X有期望E(X)和方差D(X),则对于任给 0,有,或,由切比雪夫不等式可以看出，若D(X)越小，则事件|X-E(X)|的概率越大，即随机变量X集中在期望附近的可能性越大.,由此可体会方差的概率意义：它刻划了随机变量取值的离散程度.,当方差已知时，切比雪夫不等式给出了r.v X与它的期望的偏差不小于 的概率的估计式.,如取,可见，对任给的分布，只要期望和方差 存在，则 r.v X取值偏离E(X)超过 3 的概率小于0.111.,例1.已知正常男性成人血液中，每一毫升白细胞数平均是7300，均方差是700.利用切比雪夫不等式估计每毫升白细胞数在52009400之间的概率.,解：设每毫升白细胞数为X,依题意，E(X)=7300,D(X)=7002,所求为 P(5200 X 9400),P(5200 X 9400),=P(5200-7300 X-7300 9400-7300),=P(-2100 X-E(X)2100),=P|X-E(X)|2100,由切比雪夫不等式,P|X-E(X)|2100,即估计每毫升白细胞数在52009400之间的概率不小于8/9.,例2.在每次试验中，事件A发生的概率为 0.75,利用切比雪夫不等式求：n需要多么大时，才能使得在n次独立重复试验中,事件A出现的频率在0.740.76之间的概率至少为0.90?,解：设X为n 次试验中，事件A出现的次数，,E(X)=0.75n,的最小的n.,则 XB(n,0.75),所求为满足,D(X)=0.75*0.25n=0.1875n,=P(-0.01nX-0.75n 0.01n),=P|X-E(X)|0.01n,P(0.74n X0.76n),可改写为,=P|X-E(X)|0.01n,解得,依题意，取,即n 取18750时，可以使得在n次独立重复试验中,事件A出现的频率在0.740.76之间的概率至少为0.90.,大量的随机现象中平均结果的稳定性,大数定律的客观背景,大量抛掷硬币正面出现频率,字母使用频率,生产过程中的废品率,几个常见的大数定律,定理1（切比雪夫大数定律）,设 X1,X2,是相互独立的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即 D(Xi)C，i=1,2,，,切比雪夫,则对任意的0，,证明切比雪夫大数定律主要的数学工具是切比雪夫不等式.,切比雪夫大数定律给出了平均值稳定性的科学描述,作为切比雪夫大数定律的特殊情况，有下面的定理.,定理2（独立同分布下的大数定律）,设X1,X2,是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,则对任给 0,下面给出的贝努里大数定律，是定理2的一种特例.,贝努里,设Yn是n重贝努里试验中事件A发生的次数，p是事件A发生的概率，,引入,i=1,2,n,于是有下面的定理：,设Yn是n重贝努里试验中事件A发生的 次数，p是事件A发生的概率，则对任给的 0，,定理3（贝努里大数定律）,或,贝努里,贝努里大数定律表明，当重复试验次数n充分大时，事件A发生的频率Yn/n与事件A的概率p有较大偏差的概率很小.,贝努里大数定律提供了通过试验来确定事件概率的方法.,任给0，,蒲丰投针问题中解法的理论依据就是大数定律,当投针次数n很大时，用针与线相交的频率m/n近似针与线相交的概率p，从而求得的近似值.,针长L,线距a,下面给出的独立同分布下的大数定律，不要求随机变量的方差存在.,设随机变量序列X1,X2,独立同分布，具有有限的数学期E(Xi)=,i=1,2,，则对任给 0，,定理3（辛钦大数定律）,辛钦,辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径.,例如要估计某地区的平均亩产量，要收割某些有代表性的地块，例如n 块.计算其平均亩产量，则当n 较大时，可用它作为整个地区平均亩产量的一个估计.,这一讲我们介绍了大数定律,大数定律以严格的数学形式表达了随机现象最根本的性质之一：,它是随机现象统计规律的具体表现.,大数定律在理论和实际中都有广泛的应用.,平均结果的稳定性,中心极限定理的客观背景,在实际问题中，常常需要考虑许多随机因素所产生总影响.,例如：炮弹射击的落点与目标的偏差，就受着许多随机因素的影响.,第六讲 中心极限定理,空气阻力所产生的误差，,对我们来说重要的是这些随机因素的总影响.,如瞄准时的误差，,炮弹或炮身结构所引起的误差等等.,观察表明，如果一个量是由大量相互独立的随机因素的影响所造成，而每一个别因素在总影响中所起的作用不大.则这种量一般都服从或近似服从正态分布.,自从高斯指出测量误差服从正态分布之后，人们发现，正态分布在自然界中极为常见.,现在我们就来研究独立随机变量之和所特有的规律性问题.,当n无限增大时，这个和的极限分布是什么呢？,在什么条件下极限分布会是正态的呢？,由于无穷个随机变量之和可能趋于，故我们不研究n个随机变量之和本身而考虑它的标准化的随机变量,的分布函数的极限.,的分布函数的极限.,可以证明，满足一定的条件，上述极限分布是标准正态分布.,考虑,中心极限定理,在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做中心极限定理.,我们只讨论几种简单情形.,下面给出的独立同分布随机变量序列的中心极限定理，也称列维一林德伯格（LevyLindberg）定理.,定理1（独立同分布下的中心极限定理）,它表明，当n充分大时，n个具有期望和方差的独立同分布的r.v之和近似服从正态分布.,设X1,X2,是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,，则对一切x 有:,虽然在一般情况下，我们很难求出X1+X2+Xn 的分布的确切形式，但当n很大时，可以求出近似分布.,定理2(棣莫佛拉普拉斯定理）,设随机变量 服从参数n,p(0p1)的二项分布，则对任意x，有,定理表明，当n很大，010时正态近似的效果较好.,下面我们举例说明中心极限定理的应用,从演示不难看到中心极限定理的客观背景,例3 根据以往经验，某种电器元件的寿命服从均值为100小时的指数分布.现随机地取16只，设它们的寿命是相互独立的.求这16只元件的寿命的总和大于1920小时的概率.,由题给条件知，诸Xi独立，,16只元件的寿命的总和为,解:设第i只元件的寿命为Xi,i=1,2,16,E(Xi)=100,D(Xi)=10000,依题意，所求为P(Y1920),设第i只元件的寿命为Xi,i=1,2,16,由于E(Y)=1600,D(Y)=160000,P(Y1920)=1-P(Y1920),=1-(0.8),1-,=1-0.7881=0.2119,解:,例4.(供电问题)某车间有200台车床,在生产期间由于需要检修、调换刀具、变换位置及调换工件等常需停车.设开工率为0.6,并设每台车床的工作是独立的，且在开工时需电力1千瓦.,问应供应多少瓦电力就能以99.9%的概率保证该车间不会因供电不足而影响生产?,用X表示在某时刻工作着的车床数，,对每台车床的观察作为一次试验，,每次试验观察该台车床在某时刻是否工作，工作的概率为0.6，共进行200次试验.,依题意，,XB(200,0.6),现在的问题是：,求满足,设需N台车床工作，,（由于每台车床在开工时需电力1千瓦，N台工作所需电力即N千瓦.）,解：,由德莫佛-拉普拉斯极限定理,近似N(0,1),于是 P(XN)=P(0XN),这里 np=120,np(1-p)=48,由3准则，此项为0。,查正态分布函数表得,由 0.999，,从中解得N141.5,即所求N=142.,也就是说,应供应142 千瓦电力就能以99.9%的概率保证该车间不会因供电不足而影响生产.,这一讲我们介绍了中心极限定理,在后面的课程中，我们还将经常用到中心极限定理.,中心极限定理是概率论中最著名的结果之一，它不仅提供了计算独立随机变量之和的近似概率的简单方法，而且有助于解释为什么很多自然群体的经验频率呈现出钟形曲线这一值得注意的事实.,第五章内容总框图,数字特征的引入,数学期望E(X),方差 D(X)=E(X-E(X)2,离散型连续型,离散型连续型,随机变量函数的数学期望,方差性质,期望性质,多维随机变量函数的数学期望,性质的应用,几种重要分布的期望和方差,协方差 相关系数,矩、协方差矩阵,第五章内容总框图,极限定理,大数定律,客观背景,中心极限定理,切比雪夫大数定律,独立同分布下的中心极限定理,独立同分布下大数定律,辛钦大数定律,贝努里大数定律,中心极限定理的应用,大数定律的应用,德莫佛-拉普拉斯定理(二项分布的正态近似),