概率论与数理统计重点.docx

《概率论与数理统计重点.docx》由会员分享，可在线阅读，更多相关《概率论与数理统计重点.docx（67页珍藏版）》请在三一办公上搜索。

1、概率论与数理统计重点第1章 随机事件及其概率 nPm=排列组合公式 nCm=m! 从m个人中挑出n个人进行排列的可能数。 (m-n)!m! 从m个人中挑出n个人进行组合的可能数。 n!(m-n)!加法和乘法原理 加法原理：m+n 某件事由两种方法来完成，第一种方法可由m种方法完成，第二种方法可由n种方法来完成，则这件事可由m+n 种方法来完成。 乘法原理：mn 某件事由两个步骤来完成，第一个步骤可由m种方法完成，第二个步骤可由n 种方法来完成，则这件事可由mn 种方法来完成。 重复排列和非重复排列 对立事件 顺序问题 如果一个试验在相同条件下可以重复进行，而每次试验的可能结果不止一个，但在进行

2、一次试验之前却不能断言它出现哪个结果，则称这种试验为随机试验。 试验的可能结果称为随机事件。 在一个试验下，不管事件有多少个，总可以从其中找出这样一组事件，它具有如下性质： 每进行一次试验，必须发生且只能发生这一组中的一个事件； 任何事件，都是由这一组中的部分事件组成的。 这样一组事件中的每一个事件称为基本事件，用w来表示。 基本事件的全体，称为试验的样本空间，用W表示。 一个事件就是由W中的部分点组成的集合。通常用大写字母A，B，C，表示事件，它们是W的子集。 W为必然事件，为不可能事件。 不可能事件的概率为零，而概率为零的事件不一定是不可能事件；同理，必然事件的概率为1，而概率为1的事件也

3、不一定是必然事件。 关系： 如果事件A的组成部分也是事件B的组成部分，：一些常见排列 随机试验和随机事件 基本事件、样本空间和事件 AB 事件的关系与运算 如果同时有AB，BA，则称事件A与事件B等价，或称A等于B：A=B。 A、B中至少有一个发生的事件：AUB，或者A+B。 属于A而不属于B的部分所构成的事件，称为A与B的差，记为A-B，也可表示为A-AB或者AB，它表示A发生而B不发生的事件。 A、B同时发生：AIB，或者AB。AIB=，则表示A与B不可能同时发生，称事件A与事件B互不相容或者互斥。基本事件是互不相容的。 1 W-A称为事件A的逆事件，或称A的对立事件，记为A。它表示A不发

4、生的事件。互斥未必对立。 运算： 结合率：A(BC)=(AB)C A(BC)=(AB)C 分配率：(AB)C=(AC)(BC) (AB)C=(AC)(BC) 德摩根率：i=1IA=UAii=1iAUB=AIB，AIB=AUB 概率的公理化定义 设W为样本空间，A为事件，对每一个事件A都有一个实数P(A)，若满足下列三个条件： 1 0P(A)1， 2 P() =1 3 对于两两互不相容的事件A1，A2，有 PUAi=P(Ai)i=1i=1 常称为可列可加性。 则称P(A)为事件A的概率。 w1,w2Lwn， 1 W=2 P(w1)=P(w2)=LP(wn)=古典概型 1。 n设任一事件A，它是由

5、w1,w2Lwm组成的，则有 P(A)=(w1)U(w2)ULU(wm) =P(w1)+P(w2)+L+P(wm) =mA所包含的基本事件数= 基本事件总数n几何概型 若随机试验的结果为无限不可数并且每个结果出现的可能性均匀，同时样本空间中的每一个基本事件可以使用一个有界区域来描述，则称此随机试验为几何概型。对任一事件A， P(A)=加法公式 减法公式 L(A)。其中L为几何度量。 L(W)P(A+B)=P(A)+P(B)-P(AB) 当P(AB)0时，P(A+B)=P(A)+P(B) P(A-B)=P(A)-P(AB) 当BA时，P(A-B)=P(A)-P(B) 当A=时，P(B)=1- P

6、(B) 定义 设A、B是两个事件，且P(A)0，则称P(AB)为事件A发生条件下，事P(A)条件P(AB)概率 件B发生的条件概率，记为P(B/A)=。 P(A)条件概率是概率的一种，所有概率的性质都适合于条件概率。 1 乘法公式 例如P(/B)=1P(B/A)=1-P(B/A) 乘法公式：P(AB)=P(A)P(B/A) 更一般地，对事件A1，A2，An，若P(A1A2An-1)0，则有 P(A1A2An)=P(A1)P(A2|A1)P(A3|A1A2)P(An|A1A2An-1)。 两个事件的独立性 设事件A、B满足P(AB)=P(A)P(B)，则称事件A、B是相互独立的。 若事件A、B相

7、互独立，且P(A)0，则有 P(B|A)=P(AB)P(A)P(B)=P(B)P(A)P(A) 独立性 若事件A、B相互独立，则可得到A与B、A与B、A与B也都相互独立。 必然事件W和不可能事件与任何事件都相互独立。 与任何事件都互斥。 多个事件的独立性 设ABC是三个事件，如果满足两两独立的条件， P(AB)=P(A)P(B)；P(BC)=P(B)P(C)；P(CA)=P(C)P(A) 并且同时满足P(ABC)=P(A)P(B)P(C) 那么A、B、C相互独立。 对于n个事件类似。 设事件B1,B2,L,Bn满足 1B1,B2,L,Bn两两互不相容，P(Bi)0(i=1,2,L,n)， 全概

8、公式 2则有 AUBii=1n， P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+L+P(Bn)P(A|Bn)。 设事件B1，B2，Bn及A满足 1 B1，B2，Bn两两互不相容，P(Bi)0，i=1，2，n， 2 则 贝叶斯公式 nAUBii=1，P(A)0， P(Bi/A)=P(Bi)P(A/Bi)P(Bj=1n，i=1，2，n。 j)P(A/Bj)此公式即为贝叶斯公式。 n），通常称为后验概率。贝叶斯公式反映了“因果”的概率规律，并作出了伯努利概型 “由果朔因”的推断。 我们作了n次试验，且满足 u 每次试验只有两种可能结果，A发生或A不发生； u n次试验是重复进行的，即

9、A发生的概率每次均一样； P(Bi)，通常叫先验概率。P(Bi/A)，离散型随机变量的分布律 设离散型随机变量X的可能取值为Xk(k=1,2,)且取各个值的概率，即事件(X=Xk)的概率为 P(X=xk)=pk，k=1,2,， 则称上式为离散型随机变量X的概率分布或分布律。有时也用分布列的形式给出： Xx1,x2,L,xk,L|P(X=xk)p1,p2,L,pk,L。 显然分布律应满足下列条件： pk0，k=1,2,L， k=1连续型随机变量的分布密度 pk=1。 设F(x)是随机变量X的分布函数，若存在非负函数f(x)，对任意实数x，有 F(x)=f(x)dx-x， 则称X为连续型随机变量。

10、f(x)称为X的概率密度函数或密度函数，简称概率密度。 密度函数具有下面4个性质： 1 f(x)0。 2 +-f(x)dx=1。 离散与连续型随机变量的关系 P(X=x)P(xXx+dx)f(x)dx 积分元f(x)dx在连续型随机变量理论中所起的作用与P(X=xk)=pk在离散型随机变量理论中所起的作用相类似。 1 分布函数 设X为随机变量，x是任意实数，则函数 F(x)=P(Xx) 称为随机变量X的分布函数，本质上是一个累积函数。 P(aXb)=F(b)-F(a) 可以得到X落入区间(a,b的概率。分布函数F(x)表示随机变量落入区间八大分布 0-1分布 二项分布 -f(x)dx 。 P(

11、X=1)=p, P(X=0)=q 在n重贝努里试验中，设事件A发生的概率为p。事件A发生的次数是随机变量，设为X，则X可能取值为0,1,2,L,n。 kP(X=k)=Pn(k)=Cnpkqn-k， 其中q=1-p,0p0，k=0,1,2L， 则称随机变量X服从参数为l的泊松分布，记为Xp(l)或者P(l)。 泊松分布为二项分布的极限分布。 超几何分布 kn-kk=0,1,2L,lCMCN-MP(X=k)=, nl=min(M,n)CN随机变量X服从参数为n,N,M的超几何分布，记为H(n,N,M)。 几何分布 P(X=k)=qk-1p,k=1,2,3,L，其中p0，q=1-p。 随机变量X服从

12、参数为p的几何分布，记为G(p)。 设随机变量X的值只落在a，b内，其密度函数f(x)在a，b上为常数 均匀分布 1，即 b-a1axb ,f(x)=b-a 其他， 0,则称随机变量X在a，b上服从均匀分布，记为XU(a，b)。 分布函数为 0， xb。 当ax1x2b时，X落在区间内的概率为 P(x1Xx2)=x2-x1。 b-a1 指数分布 f(x)= le-lx, x0, 0, x0，则称随机变量X服从参数为l的指数分布。 X的分布函数为 -lx1-e, x0, F(x)=0, x0为常数，s其中m、则称随机变量X服从参数为m、2XN(m,s)。 的正态分布或高斯分布，记为f(x)=1e

13、-(x-m)22s2， -x+， f(x)具有如下性质： 1 f(x)的图形是关于x=m对称的； 2 当x=m时，f(m)=12ps22(t-m)XN(m,s)X的分布函数为 -若x，则12s2F(x)=edt-2ps。 为最大值； 参数m=0、s=1时的正态分布称为标准正态分布，记为XN(0,1)，其密度函数记为x2 1-2j(x)=e2p，-x+， 分布函数为 F(x)=1x2p-F(x)是不可求积函数，其函数值，已编制成表可供查用。 e-t22dt。 1。 2X-m2如果XN(m,s)，则N(0,1)。 sx2-mx-mP(x1ma)a。 离散型 已知X的分布列为 x1,x2,L,xn,

14、LX ， P(X=xi)p1,p2,L,pn,LY=g(X)的分布列如下： g(x1),g(x2),L,g(xn),LYP(Y=yi)p1,p2,L,pn,L若有某些g(xi)相等，则应将对应的pi相加作为g(xi)的概率。 连续型 先利用X的概率密度fX(x)写出Y的分布函数FY(y)P(g(X)y)，再利用变上下限积分的求导公式求出fY(y)。 ， 第三章 二维随机变量及其分布 联合分布 离散型 如果二维随机向量x的所有可能取值为至多可列个有序对，则称x为离散型随机量。 设x=的所有可能取值为(xi,yj)(i,j=1,2,L)，且事件x=(xi,yj)的概率为pij,称 P(X,Y)=(

15、xi,yj)=pij(i,j=1,2,L) 为x=的分布律或称为X和Y的联合分布律。联合分布有时也用下面的概率分布表来表示： Y X y1 p11 p21 y2 p12 p22 yj p1j p2j x1 x2 M xi M pi1 M M pij M M M M M M 这里pij具有下面两个性质： pij0； ijpij=1. 1 连续型 对于二维随机向量x=(X,Y)，如果存在非负函数f(x,y)(-x+,-y+)，使对任意一个其邻边分别平行于坐标轴的矩形区域D，即D=(X,Y)|axb,cyd有 P(X,Y)D=f(x,y)dxdy, D则称x为连续型随机向量；并称f(x,y)为x=的

16、分布密度或称为X和Y的联合分布密度。 分布密度f(x,y)具有下面两个性质： f(x,y)0; 二维随机变量的本质 联合分布函数 +-f(x,y)dxdy=1. x(X=x,Y=y)=x(X=xIY=y) 设为二维随机变量，对于任意实数x,y,二元函数 F(x,y)=PXx,Yy 称为二维随机向量的分布函数，或称为随机变量X和Y的联合分布函数。 分布函数是一个以全平面为其定义域，以事件(w1,w2)|-X(w1)x,-x1时，有FF(x1,y);当y2y1时，有F(x,y2) F(x,y1); F分别对x和y是右连续的，即 F(x,y)=F(x+0,y),F(x,y)=F(x,y+0); F(

17、-,-)=F(-,y)=F(x,-)=0,F(+,+)=1. 对于x1x2，y1y2， F(x2，y2)-F(x2，y1)-F(x1，y2)+F(x1，y1)0. 离散型与连续型的关系 P(X=x，Y=y)P(xXx+dx，y0,s20,|r|1是5个参数，则称服从二维正态分布， 记为N函数分布 Z=X+Y 根据定义计算：FZ(z)=P(Zz)=P(X+Yz) +222222对于连续型，fZ(z)-f(x,z-x)dx 22两个独立的正态分布的和仍为正态分布。 n个相互独立的正态分布的线性组合，仍服从正态分布。 m=Cimi， s2=Ci2si2 iiZ=max,min(X1,X2,Xn) 若

18、X1,X2LXn相互独立，其分布函数分别为Fx1(x)，Fx2(x)LFxn(x)，则Z=max,min(X1,X2,Xn)的分布函数为： Fmax(x)=Fx1(x)Fx2(x)LFxn(x) Fmin(x)=1-1-Fx1(x)1-Fx2(x)L1-Fxn(x) 1 c2分布 设n个随机变量X1,X2,L,Xn相互独立，且服从标准正态分布，可以证明它们的平方和 W=Xi2 i=1n的分布密度为 nu-1-1u2e2nnf(u)=22G20,2u0,u0.2我们称随机变量W服从自由度为n的c分布，记为Wc(n)，其中 n+2-1-xG=xedx. 20所谓自由度是指独立正态随机变量的个数，它

19、是随机变量分布中的一个重要参数。 nc2分布满足可加性：设 Yi-c2(ni), 则 Z=Yic2(n1+n2+L+nk). i=1kt分布 设X，Y是两个相互独立的随机变量，且 XN(0,1),Yc2(n), 可以证明函数 T=的概率密度为 XY/nn+1n+1G2-2t2f(t)=1+ nnnpG2(-t+). 我们称随机变量T服从自由度为n的t分布，记为Tt(n)。 t1-a(n)=-ta(n) 1 F分布 设Xc(n1),Yc(n2)，且X与Y独立，可以证明22F=X/n1的概率密度函数为 Y/n2n1+n2Gn12f(y)=n1n2n2GG22yn12n1-12n11+yn2-n1+

20、n22,y00,y2) n-2+E(X)=xipi i=1E(X)=-+xfX(x)dx E(Y)=yjpj j=1nE(Y)=-yfY(y)dy 函数的期望 EG(X,Y) EG(X,Y) G(x,yiijj)pij +G(x,y)f(x,y)dxdy +方差 D(X)=ijxi-E(X)pi 2D(X)=x-E(X)2fX(x)dx -+D(Y)=xj-E(Y)2pj D(Y)=y-E(Y)2fY(y)dy -1 协方差 对于随机变量X与Y，称它们的二阶混合中心矩m11为X与Y的协方差或相关矩，记为sXY或cov(X,Y)，即 sXY=m11=E(X-E(X)(Y-E(Y). 与记号sXY

21、相对应，X与Y的方差D与D也可分别记为sXX与sYY。 相关系数 对于随机变量X与Y，如果D0, D(Y)0，则称 sXYD(X)D(Y)为X与Y的相关系数，记作rXY。 |r|1，当|r|=1时，称X与Y完全相关：P(X=aY+b)=1 完全相关正相关，当r=1时(a0)，负相关，当r=-1时(a0)，而当r=0时，称X与Y不相关。 以下五个命题是等价的： rXY=0； cov(X,Y)=0; E(XY)=E(X)E(Y); D(X+Y)=D(X)+D(Y); D(X-Y)=D(X)+D(Y). 协方差矩阵 sXXsYXsXYsYY kl混合矩 对于随机变量X与Y，如果有E(XY)存在，则称

22、之为X与Y的k+l阶混合原点矩，记为nkl；k+l阶混合中心矩记为： ukl=E(X-E(X)k(Y-E(Y)l. 协方差的性质 (i) (ii) (iii) (iv) cov (X, Y)=cov (Y, X); cov(aX,bY)=ab cov(X,Y); cov(X1+X2, Y)=cov(X1,Y)+cov(X2,Y); cov(X,Y)=E(XY)-E(X)E(Y). 1 独立和不相关 若随机变量X与Y相互独立，则rXY=0；反之不真。 若N， 则X与Y相互独立的充要条件是X和Y不相关。 22第五章 大数定律和中心极限定理 大数定律 Xm 切比雪夫大数定律 设随机变量X1，X2，相

23、互独立，均具有有限方差，且被同一常数C所界：DC(i=1,2,),则对于任意的正数，有 1n1nlimPXi-E(Xi)e=1. nnni=1i=1 特殊情形：若X1，X2，具有相同的数学期望E=，则上式成为 1nlimPX-mei=1. nni=1伯努利大数定律 设是n次独立试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意的正数，有 mlimP-pe=1. nn 伯努利大数定律说明，当试验次数n很大时，事件A发生的频率与概率有较大判别的可能性很小，即 mlimP-pe=0. nn这就以严格的数学形式描述了频率的稳定性。 辛钦大设X1，X2，Xn，是相互独立同分布的随机变量

24、序列，且E数定律 =，则对于任意的正数有 1nlimPX-mei=1. nni=11 中心极限定理 XN(m,s2n) 列维设随机变量X1，X2，相互独立，服从同一分布，且具有林德伯相同的数学期望和方差：格定理 E(Xk)=m,D(Xk)=s20(k=1,2,L)，则随机变量 Yn=Xk=1nk-nmns的分布函数Fn(x)对任意的实数x，有 nX-nmk1k=1limFn(x)=limPx=nnns2p此定理也称为独立同分布的中心极限定理。 棣莫弗拉普拉斯定理 x-e-t22dt. 设随机变量Xn为具有参数n, p(0p0，则 Cp(1-p)knkn-klkk!e-l (n). 其中k=0，

25、1，2，n，。 二项分布的极限分布为泊松分布。 第六章 样本及抽样分布 数理统计的基本概念 总体 在数理统计中，常把被考察对象的某一个指标的全体称为总体。我们总是把总体看成一个具有分布的随机变量。 总体中的每一个单元称为样品。 个体 1 样本 我们把从总体中抽取的部分样品x1,x2,L,xn称为样本。样本中所含的样品数称为样本容量，一般用n表示。在一般情况下，总是把样本看成是n个相互独立的且与总体有相同分布的随机变量，这样的样本称为简单随机样本。在泛指任一次抽取的结果时，x1,x2,L,xn表示n个随机变量；在具体的一次抽取之后，x1,x2,L,xn表示n个具体的数值。我们称之为样本的两重性。

26、 样本函数和统计量 设x1,x2,L,xn为总体的一个样本，称 j=j 为样本函数，其中j为一个连续函数。如果j中不包含任何未知参数，则称j为一个统计量。 常见统计量及其性质 样本均值 样本方差 1nx=xi. ni=1n1S2=(xi-x)2. n-1i=1样本标准差 S=1n(xi-x)2. n-1i=1样本k阶原点矩 1nkMk=xi,k=1,2,L. ni=1样本k阶中心矩 1n=(xi-x)k,k=2,3,L. Mkni=1E(X)=m，D(X)=s2n， E(S2)=s2，E(S*2)=2n-12s, n1n2其中S*=(Xi-X)，为二阶中心矩。 ni=11 正态总体下的四大分布

27、 正态分布 设x1,x2,L,xn为来自正态总体N(m,s)的一个样本，则样本函数 2ut分布 defx-ms/nN(0,1). 2设x1,x2,L,xn为来自正态总体N(m,s)的一个样本，则样本函数 tdefx-ms/nt(n-1), 其中t(n-1)表示自由度为n-1的t分布。 c2分布 设x1,x2,L,xn为来自正态总体N(m,s)的一个样本，则样本函数 2w2def(n-1)S2s2c2(n-1), 2其中c(n-1)表示自由度为n-1的c分布。 F分布 设x1,x2,L,xn为来自正态总体N(m,s1)的一个样本，而2y1,y2,L,yn为来自正态总体N(m,s2)的一个样本，则

28、样本2函数 F其中 defS12/s12S/s2222F(n1-1,n2-1), 1n1S=(xi-x)2, n1-1i=1211n2S=(yi-y)2; n2-1i=122F(n1-1,n2-1)表示第一自由度为n1-1，第二自由度为n2-1的F分布。 正态总体下分布的性质 X与S2独立。 第七章 参数估计 1 点估计 矩估计 设总体X的分布中包含有未知数q1,q2,L,qm，则其分布函数可以表成F(x;q1,q2,L,qm).它的k阶原点矩vk=E(Xk)(k=1,2,L,m)中也包含了未知参数q1,q2,L,qm，即vk=vk(q1,q2,L,qm)。又设x1,x2,L,xn为总体X的n

29、个样本值，其样本的k阶原点矩为 1nkxi (k=1,2,L,m). ni=1这样，我们按照“当参数等于其估计量时，总体矩等于相应的样本矩”的原则建立方程，即有 1nv1(q1,q2,L,qm)=nxi,i=11n2v2(q1,q2,L,qm)=xi,ni=1 LLLLLLLLLnv(q,q,L,q)=1xim.m12mni=1由上面的m个方程中，解出的m个未知参数(q1,q2,L,qm)即为参数的矩估计量。 )为g(q)的矩估计。 若q为q的矩估计，g(x)为连续函数，则g(q1 极大似然估计 当总体X为连续型随机变量时，设其分布密度为f(x;q1,q2,L,qm)，其中q1,q2,L,qm

30、为未知参数。又设x1,x2,L,xn为总体的一个样本，称 L(q1,q2,L,qm)=f(xi;q1,q2,L,qm) i=1n为样本的似然函数，简记为Ln. 当总体X为离型随机变量时，设其分布律为PX=x=p(x;q1,q2,L,qm)，则称 L(x1,x2,L,xn;q1,q2,L,qm)=p(xi;q1,q2,L,qm) i=1n为样本的似然函数。 若似然函数L(x1,x2,L,xn;q1,q2,L,qm)在q1,q,L,qm处取2到最大值，则称q1,q,L,qm分别为q1,q2,L,qm的最大似然估计值，2相应的统计量称为最大似然估计量。 lnLnqi=0,i=1,2,L,m qi=qi)为g(q)的极大若q为q的极大似然估计，g(x)为单调函数，则g(q似然估计。 估计量的评选标准 无偏性 设q=q(x1,x2,L,xn)为未知参数q的估计量。若E =q，则称 q为q的无偏估计量。 E=E， E=D 有效性 设q1=q1(x1,x,2,L,xn)和q2=q2(x1,x,2,L,xn)是未知参数q的两个无偏估计量。若D(q1)e)=0, 则称qn为q的一致