《概率论复习》PPT课件.ppt

《《概率论复习》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《概率论复习》PPT课件.ppt（176页珍藏版）》请在三一办公上搜索。

1、应用数理统计,一、概率论复习,二、数理统计,课程安排,教学安排：,教材与参考书：吴群英等，应用数理统计，天津大学出版社邰淑彩等，应用数理统计（第二版），武汉大学出版社，2005张忠占等，应用数理统计，机械工业出版社茆诗松,概率论与数理统计,中国统计出版社,共54学时,内容,概率论的基本概念,随机变（向）量及其分布,随机变量函数的分布,数字特征及其特征函数,大数定理及中心极限定理,概率论,第一章 概率论知识,第二章 数理统计的基本概念,第三章 参数估计,第四章 假设检验,数理统计,第五章 方差分析,第六章 回归分析,第七章 正交实验设计法,第一章 概率论补充知识,1.概率空间2.随机变（向）量及

2、其分布3.随机变量的独立性4.随机变量函数的分布5.数字特征与特征函数6.多元正态分布极其性质7.极限定理,第一节 概率空间,一、样本空间与事件域,例如在几何概型中就不能把不可度量的子集作为事件。,定义1 设 是样本空间，F是由 的一些子 集构成的集类，如果满足下列条件：,因此我们可以理解，事件是 中满足某些条件的子集。为此下面介绍事件域的概念。,事件是样本空间 的一个子集，反之未必成立。,则称F为事件域，F中的元素称为事件，称为必然事件。,一般对满足上述条件的集类称为-域，,所以事件域是一个-域。,它具有下列性质：,二、概率的定义及性质,定义2,(可列可加性),设 是给定的样本空间，,个事件

3、域，是定义在 F上一个实值集函数,如果它满足条件：,F是 中的一,则有,（非负性）,（规范性）,则称P(A)是事件A的概率（简称为概率）.,描述一个随机实验的三个基本组成部分：,事件域F,概率P,概率空间,设 是概率空间，概率P有如下性质：,则,这个结论可推广为：,定义,性质,为在事件 发生的条件下,事件,2）,3)设 互不相容，,B发生的条件概率.,设 是两个随机事件,且 则称,1)对于任一事件,4),三、条件概率与事件的独立性,1、条件概率,得,推广,（1）乘法公式,由,(2)全概率公式,定理,为 的一个划分,设随机试验 的样本空间为,为 的任意一事件,理论和实用意义：在较复杂情况下直接计

4、算P(A)不易，但A总是伴随着某些 出现，适当地去构造这一组 往往可以使问题简化。,（3）贝叶斯公式,引例,任取一箱子，再从,中任取一球,发现是红球，,求该球取自一号箱的概率.,解 设,=“球取自 号箱”,=“取得红球”,求,运用全概率公式 计算,已知“结果”求“原因”,贝叶斯公式,则,为 的一个划分,设随机试验 的样本空间为,它是在观察到事件A已发生的条件下，寻找导致A发生的每个原因的概率。,2 事件的相互独立性,1）掷一颗均匀的骰子两次,可知,2）掷甲乙两枚骰子,可知,=甲掷出偶数点,=乙掷出偶数点,=第一次掷出6 点,=第二次掷出6点,一般地,定义,例1 从一副不含大小王的扑克牌中任取一

5、张，,解,设 是两个事件,如果如下等式成立,则称事件 相互独立。,记=抽到,=抽到的牌是黑色的,问事件A,B是否相互独立？,即事件A,B相互独立,多个事件的独立性,若下面四个等式同时成立,实质:任何事件发生的概率都不受其它事件发 生与否的影响,两两独立,相互独立,定义,若它们之中的任意有限,个事件独立，则称事件序列,独立.,包含等式总数为：,事件独立的性质,一、随机变量及其分布,二、随机向量及其分布,三、边际分布,四、条件分布,第二节 随机变（向）量及其分布,为了更方便地从数量方面研究随机现象的统计规律，引入随机变量的概念，即将随机试验的结果与实数对应起来，将随机试验的结果数量化,一、随机变量

6、及其分布,定义 设随机试验的样本空间,例1 抛一枚均匀硬币,观察正反面情况。,设,一、随机变量的定义,出现结果为反面,称,为随机变量。,试验结果的出现是随机的,故 的取值也是随机的。,2）随机变量函数的取值在试验之前无法确定,且,取值有一定的概率；而普通函数却没有。,随机变量和普通函数的区别,1）定义域不同,随机变量通常用大写字母X,Y,Z或希腊字母,等表示,随机变量的分类,例如：“抽验一批产品中次品的个数”，“电话交换台在一定时间内收到的呼叫次数”等,1）离散型随机变量,2）连续型随机变量,所有取值可以逐个一一列举,例如：“电视机的寿命”，实际中常遇到的“测量误差”等.,全部可能取值有无穷多

7、，充满一个或几个区间,二、分布函数的概念,定义1,设 是一个随机变量，,是任意实数,称函数,为 的分布函数。,上的概率.,分布函数的性质,单调不减性：,右（左）连续性：,，且,，则,4.几个常用的概率公式,1.,2.,3.,4.,（2）分布函数是一个普通实值函数,（1）分布函数完整描述了随机变量的统计规律性,定义,若随机变量X 的全部可能取值是有限个或,可列无限多个,则称此随机变量是离散型随机变量。,例(1)扔一均匀硬币三次，出现正面的次数,(2)某一时间段进入商场的人数,离散型随机变量,离散型随机变量,灯泡的寿命,非离散型随机变量,1、离散型随机变量及其分布,分布律也可用如下表格的形式表示,

8、则称pk为离散型随机变量X的概率分布或分布律。,二、常用的离散型随机变量,1.(01)分布,定义 若随机变量X 的分布律为,（01）分布的分布律也可写成,注意 服从(0-1)分布的随机变量很多。如果涉及的,试验只有两个互斥的结果：,都可在样本空间上,定义一个服从(0-1)分布的随机变量：,例如 检查某产品的质量是否合格；,抛一枚硬币观察其正反面；,一次试验是否成功。,容易验证,由二项式定理,2 二项分布,二项分布描述的是 n 重贝努里试验中出现,“成功”次数X 的概率分布.,3.泊松分布,记为,其中 是常数,若随机变量 的分布律,泊松分布在管理科学、运筹学以及自然科学的某些问题中都占有重要的地

9、位。,泊松分布的应用,排队问题：在一段时间内窗口等待服务的,顾客人数,生物存活的个数,放射的粒子数,思考题：,两个分布函数之和仍为分布函数吗？,不是,则,2 连续型随机变量及其分布,一、定义,其中被积函数,称 为概率密度函数 或 概率密度。,如果随机变量 的分布函数为,则称 为连续型随机变量,二.概率密度的性质,1.,2.,面积为1,3.,对连续型 r.v X,有,几种常见的分布,一、均匀分布,分布函数为:,1.若X的概率密度为,则称 服从(a,b)上的均匀分布，记作,二、指数分布,若 随机变量 具有概率密度,则称 服从参数为 的指数分布.,记为,的分布函数,三、正态分布,的正态分布,或高斯分

10、布.,所确定的曲线称为正态曲线,若X具有概率密度,则称 服从参数为,记为,条关于 对称的钟形曲线.,特点是:,正态分布的密度曲线是一,正态分布的图形特点,决定了图形,决定了图形中,峰的陡峭程度,的中心位置,“两头小,中间大,左右对称”,正态分布的分布函数,标准正态分布,的正态分布称为标准正态分布.,其密度函数和分布函数常用 和 表示,的分布函数是,若,则,N(0,1),设,定理,若,二 随机向量及其分布,有些随机实验的结果同时涉及若干个随机变量，我们不但要考虑其中各个随机变量的性质，,还要研究它们之间的联系，即要研究随机向量及其分布。,定义1,是定义在这个概率空间上的n个随机变量，称,所以它的

11、概率是有意义的。,定义2,二维随机变量的联合分布,定义3,对于任意实数,称,为 的分布函数。,分布函数的几何意义,落在矩形区域,中的概率为,分布函数的性质,当 时，,对于任意固定的，,对于任意固定的，,当 时，,2.,3.,1、离散型随机向量,只取有限个或可列个不同,的向量值，,则称概率,这时，,二维离散型随机变量,设 所有可能取值为，则,称,定义5,定义4,是有限多对或可列无限多对，,则称 为二维,离散型随机变量.,性质：,分布律的表格表示,离散型随机变量 的分布函数具有形式,其中和式是对一切满足 的 求和,它满足条件,反之，若有满足这两条性质的n元函数,则它一定是某一个n维随机向量的分布密

12、度。,2、连续型随机向量,多元正态分布是多元连续型分布中的一个重要的分布。,为密度函数的概率分布，称为n元正态分布，,简记为,上式的向量形式为,当n=1时，和以前所述的一元正态分布完全一致；,的二维正态分布，记为,当 n=2 时,的概率密度为,其中,都是常数,且,，则称,服从参数为,二维连续型随机变量,对于任意的，有,定义 设二维随机变量,的分布函数,若存在非负函数，,则称 f(x,y)为(X,Y)的概率密度。,2),3),若,则有,概率密度的性质,1),4)设 是 平面上的任意一个区域，则有,(表示以 为底，以曲面,为顶面的曲顶柱体的体积),三 边缘分布,（一）定义,同理可得,几何表示:,（

13、二）边缘分布律（离散型）,记为,则有:,则有:,记为,同理,通常用以下表格表示,的分布律和边缘分布律,（三）边缘概率密度（连续型）,其概率密度为,则,同理,的边缘概率密度,例 设二维随机变量,试求,的边缘概率密度.,解,令,即,同理，Y 的边缘概率密度为,即,故二维正态分布的两个边际分布都是一维正态分布，这是一个重要的结论。,结 论（一）,结 论（二）,结 论（三）,在前面我们曾经定义过事件的条件概率，同样也可以考虑一个随机变量的条件分布，其条件与另一随机变量的取值有关。,离散型,四 条件分布,连续型,定义,例,其中第一个参数是x的线性函数，第二个参数与x无关，此结论在一些统计问题中很重要。,

14、例1 设 的联合分布密度为,解 关于 的边缘密度为,于是,第三节 随机变量的独立性,成立，则称随机变量 与 是相互独立的。,二维随机变量的相互独立性,定义 若二维随机变量(X,Y)对任意实数x,y,都有,即,2)对于连续型的随机变量,几乎处处成立,1)对于离散型随机变量,可直接推广至两个以上随机变量的相互独立性,例 3（正态随机变量的独立性）,n维随机变量的独立性,定义,下面分别给出离散型随机变量和连续型随机变量相互独立的充要条件,定理1,定理2,还可以证明：,第四节 随机变量函数的分布,一 单个随机变量函数的分布,1 离散型,注：1、设,互不相等时，则事件,由,2、当,则把那些相等的值合并起

15、来。,并根据概率的可加性把对应的概率相加得到Y的分布律。,2 连续型,其中,是连续型随机变量，其分布密度在相应区间内为,证明,二 随机向量函数的分布,（1）离散型,以二维随机向量为例，多维随机向量的情况类似。,(2)连续型,设(X,Y)是二维连续型随机变量，其联合概率密度,为,分布函数为,则,和的分布,设(X,Y)是二维连续型随机变量，其联合概率密度,为,问题：计算,的概率密度,x+y=z,作变换：,则有,注意到里层的积分是u的函数：,即有,上式对z求导，,得 的概率密度为,注意到在前面的积分中,我们是先对y后对x积分的，若将其改成先对x,后对y积分，则有,特别，如果随机变量X,Y相互独立，则

16、,即,例4,两个独立的二项分布随机变量,当它们的第二个参数相同时,其和也服从二项分布-二项分布的可加性,特别 当 相互独立且具有相同,分布函数 时，,设 相互独立，,其分布函数为,则,的分布函数分别为：,第五节,数字特征及其特征函数,定义1,设离散型随机变量的分布律为,如果级数,绝对收敛，,称为随机变量X的数学期望，,记为,即,的和,则级数,简称期望或均值。,数字特征,若 不绝对收敛，则X的数学期望不存在。,1、随机变量的数学期望,定义2,设连续型随机变量X 的概率密度为,若积分,绝对收敛，则称该积分值为随,机变量X 的数学期望或平均值，简称期望或均值,记为,即,离散型和连续型随机变量的期望可

17、以用一个式子表示,此积分是Lebesgue-Stieltjes积分，当X为离散型时，其分布函数是阶梯函数，该积分成为求和的形式。,当X为连续型时，该积分化为,此积分是Riemann积分。,2、随机变量函数的数学期望,定理 设随机变量Y 是随机变量X 的函数，,1)设X 为离散型随机变量，其分布律为,若级数,绝对收敛,则有,2)设X 为连续型随机变量，其概率密度为,若积分,绝对收敛,则有,3 二维随机向量函数的数学期望,这里要求广义二重积分是绝对收敛的。,方差刻划了随机变量的取值,若X 的取值比较集中，则方,差较小；若X 的取值比较分,散则方差较大.,对于其数学期望的离散程度,方差的算术平方根,

18、为X 的方差。,定义 设X 是一个随机变量，若,存在，则称,称为均方差或,标准差。,二、方差的概念,(1)（0-1）分布 参数为p,6常见分布的方差,(2)二项分布,其中,，且,相互独立。,则由方差的性质可得,(3)泊松分布,分布律为,参数为,密度函数,（4）均匀分布,参数为,密度函数,（5）指数分布,参数为,（6）正态分布,参数为,密度函数,注：服从正态分布的随机变量完全由它的数学,期望和方差所决定。,特别，当,时,称Y 是随机变量X 的标准化了的随机变量。,注：为了方便计算，,EX,DX均为常数。,常对X进行标准化。,即当X的期望,和方差都存在时，考虑它的标准化。,则,解 记,则,故,定义

19、 设二维随机变量,则称它为,与,的协方差，记为,即,若,存在，,三、协方差和相关系数的定义,1、协方差的性质,（1）,（2）（协方差的计算公式）,（3）,Pf:,若X,Y 相互独立，则,（4）,（5）,为常数,（6）,Pf:,协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响.例如：,Cov(kX,kY)=k2Cov(X,Y),为了克服这一缺点，对协方差进行标准化，这就引入了相关系数.,四、相关系数,为随机变量 X 和 Y 的相关系数.,在不致引起混淆时，记 为.,相关系数的性质,说 明,，X 与Y 的线性关系越显著；,，X 与Y 的线性关系越不显著；,四个等价

20、命题：,2）,3）,4）,1）相关系数,不相关：X 与Y 之间没有线性关系，并不表示它们之,间没有任何关系。,所以，当X 和Y 独立时，Cov(X,Y)=0.,故,独立：X 与Y 之间没有任何函数关系。,X，Y独立=0X，Y不相关。,注意独立与不相关并不是等价的.,当(X,Y)服从二维正态分布时，有,若,存在，称它为,五、矩、协方差矩阵,协方差矩阵的定义,将二维随机变量（X1,X2）的四个二阶中心矩,排成矩阵的形式:,称此矩阵为（X1,X2）的协方差矩阵.,类似定义n维随机变量X=(X1,X2,Xn)的协方差矩阵.,为(X1,X2,Xn)的协方差矩阵,i,j=1,2,n,若,也常记为DX或者C

21、ov(X,X).,协方差矩阵的性质,对于任一n元实列向量,有,2）是一个非负定矩阵,1）是一个对称矩阵,3）设,为n元随机向量，,有,a)对于,定义,b),p(x1,x2,xn),则称X服从n元正态分布.,其中B是(X1,X2,Xn)的协方差矩阵.,|B|是它的行列式，表示B的逆矩阵，,X和 是n维列向量，表示X的转置.,设=(X1,X2,Xn)是一个n维随机向量,若它的概率密度为,六、下面给出n元正态分布的概率密度的定义.,n元正态分布的几条重要性质,1.X=(X1,X2,Xn)服从n元正态分布,2.若 X=(X1,X2,Xn)服从n元正态分布，,Y1,Y2,，Yk是Xj（j=1,2,n）的

22、线性函数，,则(Y1,Y2,，Yk)也服从多元正态分布.,这一性质称为正态变量的线性变换不变性.,3.设(X1,X2,Xn)服从n元正态分布，则,“X1,X2,Xn相互独立”,等价于,“X1,X2,Xn两两不相关”,七 极限定理,一 随机变量的收敛性二 大数定律与中心极限定理,伯努利试验场合的极限定理,我们已得到 E(n/n)=P(A)=p D(n/n)=pq/n,作为随机变量 如何表述它的极限行为?,回忆:在伯努利试验中 事件A发生的概率P(A)以 n 记试验中A出现的次数 n频率 n/n 趋近于常数 P(A),依概率收敛(convergence in probability),进一步研究

23、n 的极限行为,标准化,中心极限定理,几个常见的大数定律,定理（车贝晓夫大数定律）,设 X1,X2,是相互独立的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即 D(Xi)C，i=1,2,，,车贝晓夫,则对任意的0，,证明车贝晓夫大数定律主要的数学工具是车贝晓夫不等式.,因为X1,X2,相互独立,1,车贝晓夫大数定律给出了平均值稳定性的科学描述,作为车贝晓夫大数定律的特殊情况，有下面的定理.,定理（独立同分布下的大数定律）,设X1,X2,是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,则对任给 0,下面给出的伯努利大数定律，是前定理的一种特例.,贝努利,设n是n

24、重伯努利试验中事件A发生的次数，p是事件A发生的概率，,引入,i=1,2,n,则,是事件A发生的频率,于是有下面的定理：,设n是n重伯努利试验中事件A发生的 次数，p是事件A发生的概率，则对任给的 0，,定理（伯努利大数定律）,或,贝努利,伯努利大数定律表明，当重复试验次数n充分大时，事件A发生的频率n/n与事件A的概率p有较大偏差的概率很小.,贝努里大数定律提供了通过试验来确定事件概率的方法.（理论保障）,任给0，,下面给出的独立同分布下的大数定律，不要求随机变量的方差存在.,设随机变量序列X1,X2,独立同分布，具有有限的数学期E(Xi)=,i=1,2,，则对任给 0，,定理（辛钦大数定律

25、）,辛钦,由于无穷个随机变量之和可能趋于，故我们不研究n个随机变量之和本身而考虑它的标准化的随机变量,的分布函数的极限.,的分布函数的极限.,可以证明，满足一定的条件，上述极限分布是标准正态分布.,考虑,中心极限定理,在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做中心极限定理.,我们只讨论几种简单情形.,下面给出的独立同分布随机变量序列的中心极限定理，也称林德贝格莱维（Lindberg Levy）定理.,定理（独立同分布下的中心极限定理）,它表明，当n充分大时，n个具有期望和方差的独立同分布的r.v之和近似服从正态分布.,设X1,X2,是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,，则,虽然在一般情况下，我们很难求出X1+X2+Xn 的分布的确切形式，但当n很大时，可以求出近似分布.,棣莫弗拉普拉斯定理（二项分布的正态近似）是上述定理的特殊情况.,棣莫弗拉普拉斯极限定理（二项分布的正态近似）,定理：设n是 n 次伯努利试验中事件A出现的次数,0p1,则对任意有限区间a,b：,标准化渐近分布积分极限定理,