概率论复习资料.ppt

《概率论复习资料.ppt》由会员分享，可在线阅读，更多相关《概率论复习资料.ppt（176页珍藏版）》请在三一办公上搜索。

1、2023/9/26,1,概率论与数理统计,2,概率论与数理统计是研究随机现象数量规律的一门学科。,3,第一章 概率论的基本概念 1.1 随机试验 1.2 样本空间 1.3 概率和频率 1.4 等可能概型（古典概型）1.5 条件概率 1.6 独立性第二章 随机变量及其分布 2.1 随机变量 2.2 离散型随机变量及其分布 2.3 随机变量的分布函数 2.4 连续型随机变量及其概率密度 2.5 随机变量的函数的分布第三章 多维随机变量及其分布 3.1 二维随机变量 3.2 边缘分布 3.3 条件分布 3.4 相互独立的随机变量 3.5 两个随机变量的函数的分布,4,第四章 随机变量的数字特征4.1

2、 数学期望4.2 方差4.3 协方差及相关系数4.4 矩、协方差矩阵第五章 大数定律和中心极限定理 5.1 大数定律 5.2 中心极限定理 第六章 数理统计的基本概念 6.1 总体和样本 6.2 常用的分布,5,第七章 参数估计 7.1 参数的点估计 7.2 估计量的评选标准 7.3 区间估计 第八章 假设检验 8.1 假设检验 8.2 正态总体均值的假设检验 8.3 正态总体方差的假设检验 8.4 置信区间与假设检验之间的关系 8.5 样本容量的选取 8.6 分布拟合检验 8.7 秩和检验第九章 方差分析及回归分析 9.1 单因素试验的方差分析 9.2 双因素试验的方差分析 9.3 一元线性

3、回归 9.4 多元线性回归,6,第十章 随机过程及其统计描述10.1 随机过程的概念10.2 随机过程的统计描述10.3 泊松过程及维纳过程第十一章 马尔可夫链11.1 马尔可夫过程及其概率分布11.2 多步转移概率的确定11.3 遍历性第十二章 平稳随机过程12.1 平稳随机过程的概念12.2 各态历经性12.3 相关函数的性质12.4 平稳过程的功率谱密度,7,第五章 大数定律和中心极限定理,关键词：契比雪夫不等式大数定律中心极限定理,8,1 大数定律,背景 本章的大数定律，对第一章中提出的“频率稳定性”，给出理论上的论证为了证明大数定理，先介绍一个重要不等式,9,10,例1：在n重贝努里

4、试验中，若已知每次试验事件A出现的概率为0.75，试利用契比雪夫不等式估计n,使A出现的频率在0.74至0.76之间的概率不小于0.90。,11,随机变量序列依概率收敛的定义,12,大数定律的重要意义：贝努里大数定律建立了在大量重复独立试验中事件出现频率的稳定性，正因为这种稳定性，概率的概念才有客观意义，贝努里大数定律还提供了通过试验来确定事件概率的方法，既然频率nA/n与概率p有较大偏差的可能性很小，我们便可以通过做试验确定某事件发生的频率并把它作为相应的概率估计，这种方法即是在第7章将要介绍的参数估计法，参数估计的重要理论基础之一就是大数定理。,13,2 中心极限定理,背景：有许多随机变量

5、，它们是由大量的相互独立的随机变量的综合影响所形成的，而其中每个个别的因素作用都很小，这种随机变量往往服从或近似服从正态分布，或者说它的极限分布是正态分布，中心极限定理正是从数学上论证了这一现象，它在长达两个世纪的时期内曾是概率论研究的中心课题。,14,15,例2：设某种电器元件的寿命服从均值为100小时的指数分布，现随机取得16只，设它们的寿命是相互独立的，求这16只元件的寿命的总和大于1920小时的概率。,16,例3：某保险公司的老年人寿保险有1万人参加，每人每年交200元,若老人在该年内死亡，公司付给受益人1万元。设老年人死亡率为0.017，试求保险公司在一年内这项保险亏本的概率。,17

6、,例4：设某工厂有400台同类机器，各台机器发生故障的概 率都是0.02，各台机器工作是相互独立的，试求机 器出故障的台数不小于2的概率。,18,第六章 数理统计的基本概念,关键词：样 本 总 体 个 体 统 计 量,19,引言：数理统计学是一门关于数据收集、整理、分析 和推断的科学。在概率论中已经知道，由于大量的随机试验中各种结果的出现必然呈现它的规律性，因而从理论上讲只要对随机现象进行足够多次观察，各种结果的规律性一定能清楚地呈现，但是实际上所允许的观察永远是有限的，甚至是少量的。例如：若规定灯泡寿命低于1000小时者为次品，如何确定次品率？由于灯泡寿命试验是破坏性试验，不可能把整批灯泡逐

7、一检测，只能抽取一部分灯泡作为样本进行检验，以样本的信息来推断总体的信息，这是数理统计学研究的问题之一。,20,1 总体和样本,总体：研究对象的全体。如一批灯泡。个体：组成总体的每个元素。如某个灯泡。抽样：从总体Z中抽取有限个个体对总体进行观察的取值过程。随机样本：随机抽取的n个个体的集合(Z1,Z2,Zn),n为样本容量简单随机样本：满足以下两个条件的随机样本(Z1,Z2,Zn)称 为简单随机样本。1.每个Zi与Z同分布2.Z1,Z2,Zn是相互独立的随机变量说明：后面提到的样本均指简单随机样本，由概率论知，若总体Z 具有概率密度f(x)，则样本（Z1,Z2,Zn）具有联合密度函数：,21,

8、统计量：样本的不含任何未知参数的函数。常用统计量：设（Z1,Z2,Zn）为取自总体Z的样本,22,随机变量独立性的两个定理,23,2 常用的分布,24,25,26,27,28,29,30,正态总体样本均值和方差的分布,31,33,复习思考题 6,1.什么叫总体？什么叫简单随机样本？总体X的样本X1,X2,Xn有 哪两个主要性质？2.什么是统计量？什么是统计量的值？3.样本均值和样本方差如何计算？4.N(0,1)分布,t分布,2分布和F分布的双侧、下侧、上侧分位点是 如何定义的？怎样利用附表查这些分位点的值？5.对一个正态总体的三个常用统计量及其分布是什么？6.对两个正态总体的三个常用统计量及其

9、分布是什么？,34,第七章 参数估计,关键词：矩估计法 极大似然估计法 置信区间 置信度,35,36,1 参数的点估计,37,38,39,40,极大似然估计法,极大似然估计的原理介绍考察以下例子：假设在一个罐中放着许多白球和黑球，并假定已经知道两种球的数目之比是1:3，但不知道哪种颜色的球多。如果用返回抽样方法从罐中任取n个球，则其中黑球的个数为x的概率为：若取n=3，如何通过x来估计p值先计算抽样的可能结果x在这两种p值之下的概率：,41,42,43,44,45,46,47,表1 例2，例4，例5中两种估计方法所得结果,48,2 估计量的评选标准,从表1看到，对总体的未知参数可用不同方法求得

10、不同的估计量，如何评价好坏？通常用三条标准检验：无偏性，有效性，相合性 无偏性,49,50,51,纠偏方法,52,有效性,53,54,相合性,55,56,3 区间估计,57,58,单侧置信区间,59,正态总体均值方差的区间估计,60,61,62,63,区间短精度高,区间长精度低,64,65,66,67,68,69,例12：两台机床生产同一个型号的滚珠，从甲机床生产的滚 珠中抽取8个，从乙机床生产的滚珠中抽取9个，测得这 些滚珠得直径(毫米)如下:甲机床 15.0 14.8 15.2 15.4 14.9 15.1 15.2 14.8 乙机床 15.2 15.0 14.8 15.1 14.6 14

11、.8 15.1 14.5 15.0,70,71,说明 置信区间包含两方面含义 1.置信水平 2.区间长度置信水平越高，区间越大，但区间精确度差置信区间越小，精确度高，但置信水平差,正态总体均值、方差的置信区间与单侧置信限,复习思考题 7,1.总体未知参数矩估计的思想方法是什么？试写出0-1分布、二项分布b(m,p)、泊松分布()、均匀分布U(a,b)、正态分布N(,2)中有关参数的矩估计式2.极大似然估计的主要步骤是什么？3.未知参数的估计量与估计值有什么区别？5.估计量的三个基本评价标准是什么？你能理解它们的含义吗？6.求参数置信区间的一般方法是什么？对正态总体，试从有关 的统计量自行导出几

12、类参数的置信区间？7.置信度的含义是什么？置信度、区间长度和样本容量的关系怎样？,74,复习思考题 8,1.假设检验的基本思想是什么？其中使用了一条什么原理？2.检验的显著性水平的意义是什么？3.比较双边、左边和右边检验的拒绝域。4.使用U检验法可以进行哪些假设检验？5.使用t检验法可以进行哪些假设检验？6.使用2检验法可以进行哪些假设检验？7.使用F检验法可以进行哪些假设检验？8.正态总体期望与方差的区间估计和假设检验两者之间有什么 相似之处？9.成对数据差的t检验适用于哪些特殊场合？10.分布拟合的2检验的基本步骤是什么？,75,关键词：随机过程 状态和状态空间 样本函数 有限维分布函数

13、均值函数 方差函数 自相关函数自协方差函数 互相关函数互协方差函数 正态过程 独立增量过程 泊松过程 维纳过程,第十章 随机过程及其统计描述,76,1 随机过程的概念,随机过程被认为是概率论的“动力学”部分，即它的研究对象是随时间演变的随机现象，它是从多维随机变量向一族(无限多个)随机变量的推广。给定一随机试验E，其样本空间S=e，将样本空间中的每一元作如下对应，便得到一系列结果：,77,一维、二维或一般的多维随机变量的研究是概率论的研究内容，而随机序列、随机过程则是随机过程学科的研究内容。从前面的描述中看到，它的每一样本点所对应的，是一个数列或是一个关于t的函数。,78,例1：抛掷一枚硬币的

14、试验，样本空间是S=H,T，现定义：,79,80,81,例5：考虑抛掷一颗骰子的试验：,83,随机过程的分类：随机过程可根据参数集T和任一时刻的状态分为四类，参数集T可分为离散集和连续集两种情况，任一时刻的状态分别为离散型随机变量和连续型随机变量两种：连续参数连续型的随机过程，如例2，例3连续参数离散型的随机过程，如例1，例4离散参数离散型的随机过程，如例5离散参数连续型的随机过程，如随机相位正弦波,84,2 随机过程的统计描述,85,例1：抛掷一枚硬币的试验，定义一随机过程：,86,87,(二)随机过程的数字特征,88,89,90,91,续,92,93,(三)二维随机过程的分布函数和数字特征

15、,94,95,96,3 泊松过程及维纳过程,97,独立增量过程的性质：,98,99,(一)泊松分布,100,101,续,102,证毕,103,104,105,106,107,定理一：强度为的泊松流(泊松过程)的点间间距是相互独立的随 机变量，且服从同一指数分布 定理二：如果任意相继出现的两个质点的点间间距是相互独立，且服从同一个指数分布：这两个定理刻画出了泊松过程的特征，定理二告诉我们，要确定一个计数过程是不是泊松过程，只要用统计方法检验点间间距是否独立，且服从同一个指数分布。,则质点流构成强度为的泊松过程,108,(二)维纳过程,维纳过程是布朗运动的数学模型 以W(t)表示运动中一微粒从时刻

16、t=0到时刻t0的位移的横坐标，且设W(0)=0。由于微粒的运动是受到大量随机的、相互独立的分子碰撞的结果，于是:粒子在时段(s,t上的位移可看作是许多微小位移的 和，根据中心极限定理，假设位移W(t)-W(s)服从正态分布是合理的。由于粒子的运动完全由液体分子不规则碰撞而引起的，这样，在不相重叠的时间间隔内，碰撞的次数、大小和方向可假设相互独立，即W(t)具有独立增量，同时W(t)的增量具有平稳性。,109,110,关键词：无后效性(马尔可夫性)齐次马尔可夫链 n步转移概率 n步转移概率矩阵 C-K方程 马氏链的有限维分布律 遍历性 极限分布(平稳分布),第十一章 马尔可夫链,1 马尔可夫过

17、程及其概率分布,马尔可夫性(无后效性)过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。,112,证毕！,113,由上例知，泊松过程是时间连续状态离散的马氏过程，维纳过程是时间状态都连续的马氏过程。时间和状态都离散的马尔可夫过程称为马尔可夫链，简称马氏链，记为：Xn=X(n),n=0,1,2,参数集T1=0,1,2,，记链的状态空间为：,114,115,Xm+1的状态,116,例2：(0-1传输系统)如图所示，只传输数字0和1的串联系统中，设每一级的传

18、真率为p，误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入，Xn是第n级的输出(n1)，那么Xn,n=0,1,2是一随机过程，状态空间I=0,1，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：,117,例3：一维随机游动。设一醉汉Q(或看作一随机游动的质点)在直线上的点集I=1,2,3,4,5作随机游动，且仅在1秒、2秒等时刻发生游动，游动的概率规则是：如果Q现在位于点i(1i5)，则下一时刻各以 的概率向左或向右移动一格，或以 的概率留在原处；如

19、果Q现在处于1(或5)这一点上，则下一时刻就以概率1移动到2(或4)这点上，1和5这两点称为反村壁，这种游动称为带有两个反村壁的随机游动。解：以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与Q在时刻n以前如何到达i是完全无关的，所以Xn,n=0,1,2 是一马氏链，且是齐次的，它的一步转移概率矩阵为：如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远留在点1时，此时的转移概率矩阵为：,118,例4：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队

20、，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。设时间间隔t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。现用马氏链来描述这个服务系统：设Xn=X(nt)表示时刻nt时系统内的顾客数，即系统的状态。Xn,n=0,1,2是一随机过程，状态空间I=0,1,2,3,且如前例2、例3的分析可知，它是一个齐次马氏链，它的一步转移概率矩阵为：,119,例5：有甲、乙两袋球，开始时,甲袋有3只球,乙袋有2只球；以后,每次任取

21、一袋,并从袋中取出一球放入另一袋。Xn表示第n次抽取后甲袋的球数，n=1,2,；Xn,n=1,2,是一随机过程，状态空间I=0,1,2,3,4,5,当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，且是齐次的,一步转移概率矩阵为：在实际问题中，一步转移概率通常可通过统计试验确定。如下例：,例6：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：解：设Xn为第n(n=1,2,97)个时段的计算机状态，可以认为它是一个齐次马氏链，

22、状态空间I=0,1，96次状态转移情况是：00：8次；01：18次；10：18次；11：52次；因此一步转移概率可用频率近似地表示为：,121,例7：已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率是多少？解：由题意，某一时段的状态为0就是初始状态为0，即X0=0，所求的概率为：,122,123,124,2 多步转移概率的确定,125,证毕！,126,127,从0出发，经4步首次回到0状态,128,续,129,130,3 遍历性,131,齐次马氏链在什么条件下才具有遍历性？如何求出它的极限分布？有限链的遍历性的充分条件：

23、,132,133,例1：一质点在1,2,3三个点上作随机游动，1和3是两个反射壁，当质点处于2时，下一时刻处于1,2,3是等可能的。写出一步转移概率矩阵，判断此链是否具有遍历性，若有，求出极限分布。,134,例2：一质点在1,2,3三个点上作随机游动，1和3是两个反射 壁，当质点处于2时，下一时刻转移到1和3的概率各为。写出一步转移概率矩阵，判断此链是否具有遍历性，若有，求出极限分布。,135,例3：一质点在1,2,3三个点上作随机游动，1和3是两个 吸收壁，当质点处于2时，下一时刻转移到1和3的 概率各为。写出一步转移概率矩阵，判断此链是 否具有遍历性?若有，求出极限分布。,136,关键词：

24、(宽)平稳过程 时间均值 时间相关函数 各态历经性 各态历经过程 谱密度 维纳辛钦公式 白噪声,第十二章 平稳随机过程,137,1 平稳随机过程的概念,138,139,140,141,142,143,续,144,145,2 各态历经性,如何根据实验记录确定平稳过程的均值和自相关函数呢？按照数学期望和自相关函数的定义，需要时，一个平稳过程重复进行大量观察，获得一族样本函数用统计实验方法，均值和自相关函数近似地为：平稳过程的统计特性不随时间的推移而变化，根据这一特点，能否通过在一个很长时间内观察得到的一个样本曲线来估计平稳过程的数字特征呢？本节给出的各态历经定理证实，只要满足某些条件，那么均值和自

25、相关函数实际上可以用一个样本函数在整个时间轴上的平均值来代替。,146,147,148,149,150,151,续,152,证毕！,153,154,见下页,155,156,各态历经定理的重要价值在于它从理论上给出了如下保证：一个平稳过程X(t)，若0t+，只要它满足各态历经性条件，便可以根据“以概率1成立”的含义，从一次试验所得到的样本函数x(t)来确定该过程的均值和自相关函数。,157,3 相关函数的性质,见下页,158,见下页,159,证毕,柯西施瓦兹不等式,160,应用：,161,4 平稳过程的功率谱密度,(一)平稳过程的功率谱密度,163,164,165,166,167,(二)谱密度的性质,168,表 12.1,170,171,172,173,174,175,(三)互谱密度及其性质,2023/9/26,课件结束!,