第1章测度论基础与随机过程ppt课件.ppt

《第1章测度论基础与随机过程ppt课件.ppt》由会员分享，可在线阅读，更多相关《第1章测度论基础与随机过程ppt课件.ppt（86页珍藏版）》请在三一办公上搜索。

1、1,随机数学,第1章 测度论基础与随机过程的基本概念教师:陈 萍,2,随机数学涉及4个主要部分:概率论,随机过程,数理统计,随机运筹.本课程在对概率论作适当补充的基础上,着重介绍随机过程的基本概念及主要结论,以备在解决实际问题中的应用.随机过程通常被视为概率论的动态部分,在概率论中研究的随机现象,都是在概率空间上的一个或有限多个随机变量的规律性.但在实际问题中,我们还需要研究一些随机现象的发展和变化过程,即随时间不断变化的随机变量,这就是随机过程所要研究的对象.,引言,3,课程的主要内容测度论基础与随机过程的基本概念泊松过程与更新过程马尔科夫链 鞅与Brown 运动 随机微分方程,4,参考书1

2、 陈萍等编，随机数学，国防工业出版社，20082 Bernt ksendal,Stochastic Deferential Equations,Springer-Verlag,19983 冯予等编，概率论与数理统计，国防工业出版社，20054 工程数学-积分变换,5,概率与测度中的基本术语及符号:E-随机试验;-样本空间;-样本点;A-集类;,1.1 测度与可测函数,?如何定义事件,定义 1.1.1 设F是空间上的集类，称 F 为-代数（域）（-algebra）,若满足:F;F F FC F；A1,A2,F Ai F,注:如果F 是-代数,则F 对F上的所有集合运算封闭；且对极限运算封闭.,6

3、,例1.1.1 几个常见的-代数：1）称,为最“粗”的-代数，而称()=的所有子集 为最“细”的-代数；2）设 A，则,A,Ac是-代数；3）设F1，F2 是 的子集组成的两个-代数，令 F3=F1F2，则F3 也为-代数；4）设 是实数域Rn，是由 Rn上的一切开集 生成的-代数，称之为Borel 代数，B中的元素称为Borel集.,7,定义 1.1.2 设 U 是由 的子集构成的集类.称包含U.的最小-代数,即,为由U生成的-代数（the-algebra generated by U.）,定义 1.1.3 设F为空间 的子集组成的 代数，称二元组(,F)为可测空间（measurable s

4、pace）;的任一子集 F 称为F-可测（F-measurable）的,如果 F F.,8,定义 1.1.4 设(,F)为可测空间，:F R+，若()=0;若 A1,A2,F,且 Aii1 两两不交，则,特别，当()=1时，称为概率测度(probability measure),记为P，并称(,F,P)为概率空间(probability space).此时,称F可测集A为事件，A的测度P(A)称为事件A发生的概率。,则称为可测空间(,F)上的测度(measure)，且称(,F,)为测度空间(measure space).,9,1）下（上）连续性：设 An,n1F,若AnA,则P(An)P(A)

5、;若 AnA,(n),则P(An)P(A);2）加法公式：设Ai,i=1,n为事件列，则,概率的运算性质补充：,10,定义 1.1.5 设(,F)与（E，E）为可测空间,函数 X:E称为F-可测的（F-measurable）,如果对任意UE，,随机变量,注:(p7 th1.1.5-1.1.7)(1)可测函数的函数仍可测;(2)可测函数的单调极限仍可测,特别，若(,F,P)为概率空间，(E,E)=(Rn,B)，则可测函数X称为n维随机变量（随机变量）;,记 为由X生成的代数;,称 为X的分布.,11,独立性,定义 1.1.10 设(,F,P)为概率空间，称两事件A，B 是独立的（independ

6、ent）如果,若 A=Hi;i=1,2,.是由可测集类 Hi 组成的集族，称A是独立的，如果对任意不同的i1,ik,称随机变量族 Xi;i=1,2,是独立的，如果 生成-代数族(Xi),i=1,2,是独立的.,12,定理1.1.7.设(,F,P)为概率空间,若Ct,tT 为独立的-类,则(Ct),tT 为独立的-代数.,推论2.设(,F,P)为概率空间,若Xt,tT 为独立的 随机变量族,gt,tT 为Borel可测函数族，则gt(Xt),tT 独立.,推论1.设(,F,P)为概率空间,若Ai,i=1,m,m+1,m+n为m+n个独立的 事件,g,h表示两个事件运算，则g(A1,Am)与h(A

7、m+1,Am+n)独立.,注：称集类C为 类，若满足 A,B C AB C,13,在经典概率论中，连续型随机变量X的期望定义为（Riemann 积分）：,离散型随机变量X的期望定义为,1.2 随机变量的期望,可否给出期望的统一定义？,14,Riemann 积分:,考虑示性函数：其中A是0，1区间的有理数集,若要函数可积，必须上和等于下和-连续函数或几乎处处连续的有界函数,上和始终为 1,下和始终为 0,15,1.对示性函数,关于Lebesgue测度的积分定义为:,2.对于简单函数:,补充:Lebesgue 积分,关于Lebesgue测度的积分定义为:,16,引理：设f(x)为(R,B(R)上的

8、非负可测函数,则存在简单函数序列满足.,其中,3.非负可测函数 f(x)的Lubesgue 积分定义为,引理证明思路,于是,17,引理证明:,f(x):上的非负可测函数,=“区间”(如果 f(x)连续),18,引理证明:,19,引理证明:,重复以上过程,总可以构造出简单函数序列hn(x)收敛到f(x).证毕！,20,Lebesgue 积分,4.对于(R,B(R)上的可测函数f,其中,于是，当 时，定义 f(x)的Lubesgue 积分为,21,Lebesgue 积分的性质:,Lebesgue 积分有所有Riemann 积分的性质：,c:constant,如果,如果AB=,22,定义 1.2.1

9、 定义在可测空间(,F)上的函数X()称为是简单函数（simple）,如果存在有限个两两互不相容的可测集 F1,.,Fn 以及有限个实数 a1,.,an满足：,1.2.1 可测函数的积分,23,引理1.2.1设(,F)为可测空间，X为非负可测函数，则1)则存在非负递增简单可测函数列Xn,n1，使得,积分的定义,i)对于(,F,)上的简单函数，称X是可积的，如果(Fi),i=1,n，X的积分定义为,24,ii)如果X()是非负实值可测函数,Xn为非负简单函数列，满足0 Xn X.则X的积分（integral）定义为,iii)如果 X()实值可测函数，则X的积分定义为,其中,25,注:若 X:Rn

10、,则,26,定理1.2.1 设X为测度空间(,F,)到可测空间(R,E）上的可测映射，g为定义在(R,E）上的可测函数，则,其中，.这里等号的意义是上式在两端之一有意义时成立.,27,若,则称,为 X的期望(w.r.t.P).,其中,设X为概率空间(,F,P)上的 n维随机变量，,1.2.2 随机变量的期望,28,更一般地,若 g:RnR 为 Boreal 可测函数，,则,*Lr 空间(,F,P)上所有r阶矩存在的随机变量组成的集合构成线性空间，称为Lr 空间。即X Lr,如果 E|X|r.*记 L 为所有 a.s.有界的随机变量组成的集合。*当1r 时，Lr 为 Banach 空间.,29,

11、设 X:R 为随机变量，满足 E|X|,若AF且 P(A)=0，则,(2)设 Y:R 为 随机变量满足 E|Y|,且 XY,a.s.则 EX EY.,期望的性质补充,(3)设 X:R 为 随机变量满足E|X|0 a.s.,则 EX0.,(4)设 X:R 为 随机变量满足 E|X|,则对 A,B F 且 AB=.,30,自 学,P13 可测函数列的收敛性P14 积分收敛定理P17 随机变量的矩及重要不等式,31,1.3 条件 期望,1.关于事件B的条件期望,定义 1.3.1 设(,F,P)为概率空间，A，B F，P(B)0,称,*PB 为 F上的概率测度即:(,F,PB)为概率空间.,为已知事件

12、B的条件下，事件A的条件概率。,32,设(,F,P)为概率空间,P(B)0,为随机变量,如果 在概率空间(,F,PB)下的期望存在,则称之为关于事件B的条件 期望，记作E(|B).,注:设=A,则,Lemma 1.3.2,33,2.关于 代数C的条件 期望,构造性 定义:设 Bn,n=1,2,.为 的可数分割，C=Bn,n=1,2,.,设 为所有期望 存在的随机变量组成的集合，称E(|C)=E(|Bn)Bn 为关于C的条件 期望。,例如：设,若在X=x条件下，Y的条件密度为 且,则,34,例1 将一硬币抛 2 次,所有可能结果为=HH;HT;TH;TT.以 F1 表示由第一次抛掷结果生成的 代

13、数:H=HH;HT,T=TH;TT,F1=H,T.设 X 为定义在上的随机变量:X(HH)=3,X(HT)=X(TH)=2,X(TT)=1.E(X|F1)=?,解,35,定理1.3.3 E(|C)关于C可测，且,EX,已知随机变量X的分布律为 且知在X=x的条件下,随机变量Y的条件密度为p(y|x).且设E|Y|,求证:,-全期望公式.,36,描述性 定义,定义 1.3.4 条件 期望 E(|C)是 到 Rn 的函数，满足 E(|C)关于C 可测.(2),补充:设 与 为(,F),上的-有限测度，称 为关于绝对连续的,如果(A)=0 则(A)=0.记作.,Radon-Nikodym定理 设 和

14、 都是可测空间(,F)上的有限测度，若，则 存在唯一的非负函数X L1(,F,)，使得,37,条件期望的性质设，是随机变量,E,E,E(|C),E(|C)存在.E(|C)=E(+|C)-E(-|C)a.s.如果 关于 C可测,则 E(|C)=a.s.对任意实数 a,E(a|C)=a a.s.如果 与 C独立,则 E(|C)=E a.s.如果 关于 C可测，E 存在,则E(|C)=E(|C)a.s.,38,(6)设 C C1 F,则 E(E(|C)|C1)=E(|C)a.s.如果 E(|C1)存在，则 E(E(|C1)|C)=E(|C)a.s(7)若,a.s.则 E(|C)E(|C).a.s.(

15、8)设 a,b R,则E(a+b|C)=a E(|C)+b E(|C)a.s.,EX 证明wald等式:设Xi,i=1,2,为独立随机变量序列,具有相同的数学期望E(Xi)=,i=1,2,.。又设N是取正整数值的随机变量,E(N)且NnXi,in.则,10706*,39,条件单调收敛定理:如果 0 Xn X,a.s.或pr则EXn|C EX|C a.s.或pr.,条件Fato 引理:设 EXn|C 存在,(n=1,2,.)i)如果 Xn X,a.s.且X 可积,则,ii)如果 Xn X,a.s.且 X 可积,则,条件 收敛,40,条件 有界 收敛定理:设|Xn|Y a.s.(n=1,2,.)且

16、 Y 可积,如果,或,则,41,(a)(条件 Jensen 不等式)设 g(.)为连续凸函数.如果 Eg(X|C),则 Eg(X)|C gE(X|C).,条件不等式,(e)(条件 Holder 不等式)设 p,q 为大于 1 的实数，满足 1/p+1/q=1,如果 f Lp g Lq,则,42,(g)(条件 Minkowskis 不等式)设p1,f,g Lp,则 f+g Lp,且,(b)(条件矩不等式)设 0st，X Lt,则,43,EX3,设保险公司在给定0,t时段内发生的索赔次数N(t)服从参数为t 的Poisson分布,各次索赔额是相互独立且与N(t)独立随机变量,服从正态分布,求0,t

17、时段内总索赔额的期望.,44,1.4 特征函数与正态随机变量,一.母函数,定义1.4.1 若随机变量X取非负整数值,且其分布律为,称为X的母函数.,则,定义*对任意的实数序列 an:a1,a2,an,称形式幂级数A(x)=a0+a1 x+a2 x2+an xn+为序列 an 的母函数.序列序列 an 叫做母函数A(x)的生成序列。,45,母函数有如下性质:,3.设 独立,且,则,4.若X的n阶矩存在,则其母函数的k(kn)阶导数存在(|s|1),且X的k阶矩可由母函数在s=1的各阶导数表示,如,46,5.(反演公式)设随机变量X的分布律为,母函数为,则分布律可由下式给出:,47,设,求证:X

18、的母函数是,(1)利用母函数的性质求X的前4阶原点矩.(2)利用母函数的性质证明:两个独立poisson分布随机变量的和仍然服从poisson分布.,EX1,48,三、特征函数的定义,1.复随机变量与特征函数,(1)复随机变量:若X与Y都是概率空间(,F，P)上的实值随机变量，则Z=X+iY 称为复值随机变量，其中;规定EZ=EX+i EY,(2)特征函数:设X是实随机变量，则,称为X的特征函数。,49,2、几个常用随机变量的特征函数,(1)单点分布:若XPX=c=1，则(t)=e i t c；(2)二项分布B(n,p):若,(3)泊松分布P():若,则,则,50,(4)正态分布N(,2):若

19、,则,易知，已知一个随机变量的概率分布可计算出它的特征函数，反之亦然。事实上，在特征函数理论中，有反演公式和唯一性定理。,因此，可认为：随机变量的概率分布与它的特征函数是一一对应的。,51,反演公式:设x1,x2 是分布函数F(x)的连续点,则,进一步,若特征函数于R上绝对可积,则X是连续型随机变量,且其概率密度f(x)为,唯一性定理:分布函数F1(x)及F2(x)恒等的充要条件是它们的特征函数1(t)与2(t)恒等.,(证明见3p112),52,3、特征函数的常用性质,(1)若Y=aX+b，则,(2)若X、Y独立，Z=X+Y，则,(3)若EX n存在，则(t)可以微分n次，且,(其它性质见3

20、p108),53,例 1.4.1 利用特征函数证明Levy-Lindeberg中心极限定理:设n为独立同分布随机变量序列，若Ek=a，Dk=2，k=1,2,则,补充:(勒维克拉美定理)设 分别为随机变量序列n的分布函数和特征函数,则n依分布收敛到的充分必要条件为:对每一,有(证明见3p126,Th5.2.1),54,四、随机向量的特征函数,定义 设随机向量X=(X1,Xn)，则对任意n个实数t1,tn：,称为n维随机向量X的n维特征函数。,n维特征函数也有反演公式和唯一性定理，由n维特征函数也可以唯一地确定随机向量X的概率分布。,性质:X1,X n 相互独立,55,EX2,设随机变量X的分布律

21、为 母函数为,随机变量Y1,Yn独立同分布,且与X独立,其特征函数为,记求证:Z的特征函数为.,案例,56,三、正态随机向量及其性质,设X=(X1,X n)为n维随机向量，x=(x1,x n)为n维实向量，若X的概率密度为,则称X 是n维正态随机向量，它服从n维正态分布。记为X N n(,B)。,定理 n维正态分布的特征函数为,其中t 是n维实参数向量。,（）,57,正态随机向量的性质,(2)设X=(X1,X n)为n维正态随机向量，则随机向量X1,X n相互独立,(1)n维正态随机向量任何分量仍为正态随机向量。,(3)X=(X1,X n)N n(,B)的充分必要条件是，对任意 n个常数l1,

22、l n，,(4)设X=(X1,X n)N n(,B)，又 m维随机向量Y=CX，其中C=(c ij)mn，则Y服从m维正态分布N m(C,CBC)。,58,EX3,设X1,Xn 是独立同分布的标准正态随机变量.设,其中A为正交阵.试证:Y1,Yn 也是独立同分布的标准正态随机变量.,59,定义 1.5.10 设(,F,P)为概率空间，(E,E)为可测空间，TR，若，且 t给定时，Xt关于F可测，则称 为(,F,P)上取值于E 的随机过程.,此时,X t()表示在时刻t系统的状态。称(E,E)为相空间或状态空间；称 T为参数集或时间域；,通常取 或,1.5 随机过程的基本概念1.5.1 随机过程

23、的概念与举例,60,数学解释：可认为X(,t)，t T 是定义在T上的二元函数。当t固定时，X(,t)是r.v.(stat)，当固定时，X(,t)是定义在T上的普通函数，称为随机过程的样本函数或轨道(path)，样本函数的全体称为样本函数空间。,61,(2)由抛硬币决定的随机过程:(随机游动),62,随机过程可按时间(参数)是连续的或离散的分为两类:(1)若T是有限集或可列集时,则称为离散参数随机过程或随机序列.(2)若T是有限或无限区间时,则称为连续参数随机过程.,随机过程也可按任一时刻的状态是连续型随机变量或离散型随机变量分为两类:,(1)若对于任意 都是离散型随机变量,称 为离散型随机过

24、程；,(2)若对于任意 都是连续型随机变量,称 为连续型随机过程.,63,定义 1.5.1 设Xt，tT 为(,F,P)(E,E)随机过程，令,其中F1.,FkE.称 为随机过程Xt，tT 的有限维分布族.,1.5.2 随机过程的数字特征及有限维分布族,特别,对于一维随机过程X(t),t T,任意 nZ+和 t1,t n T，随机向量（X t1,X t n)的分布函数全体,称为Xt，t T 的有穷维分布函数族。,64,若对,随机向量 有密度函数,则这些密度函数的全体,称为Xt，t T 的有穷维密度函数族。,若对,随机向量 是离散型的,则这些分布律的全体,称为Xt，t T 的有穷维概率分布族。,

25、65,设X(t),t T 为随机过程，称,为X(t),t T的n维特征函数；称,为X(t),t T的有穷维特征函数族。,由于r.v.的特征函数与分布函数有一一对应关系，所以，也可以通过随机过程的有穷维特征函数族来描述它的概率特性。,66,随机过程的有限维分布满足下面的两个性质：,(1)对称性：对于1,2,n 的任意排列(1),(2),(n)有,(2)相容性：对于任意的自然数 k,m,反之，(Kolmogorovs 扩张定理).对一切,性质(1)(2)的概率测度，则存在概率空间(,F,P)及定义在 上取值于E的随机过程Xt，使得,令,为Ek上满足以上,67,例1.5.2.求随机过程的一维密度函数

26、族.这里b 是常数,X是标准正态随机变量.,解:(1)当cosbt0时,由X(t)=Xcosbt,XN(0,1)知X(t)N(0,cos2bt),则X(t)的一维密度函数为,(2)当cosbt=0时,X(t)不存在一维密度函数.,故X(t)的一维密度函数族为,68,定义1.5.2 给定随机过程Xt,tT,给定t,（1）随机变量Xt的均值或数学期望与t有关,记为,称X(t)为随机过程Xt的均值函数(Mean),称为随机过程Xt,tT,的均方值函数.,（2）随机变量Xt的二阶原点矩,69,（3）随机变量Xt的方差,称为随机过程Xt,tT,的方差函数(Varance),(4)设Xt1和Xt2是随机过

27、程Xt,tT在任意二个时刻t1和t2时的状态.称Xt1和Xt2的二阶混合原点矩,为随机过程Xt,tT的自相关函数(correlation),简称相关函数.,70,（5）称Xt1和Xt2的二阶混合中心矩,为随机过程Xt,tT的自协方差函数covaricance,简称协方差函数.,(6)对于两个随机过程Xt,tT,Yt,tT，若对任意t T，EXt2、EYt2存在，则称函数,为随机过程 Xt,tT,与Yt,tT,的互协方差函数。,71,为随机过程Xt,tT与Yt,tT的互相关函数.,易知,(7)称,定义1.5.3 若对任意的s,t T，有EXsYt=0,则称随机过程Xt,tT与Yt,tT正交;若C

28、XY(s,t)=0，则称随机过程Xt,tT与Yt,tT 互不相关；若对任意的n,mZ+，随机向量(Xt1,Xtn)与(Ys1,Ysm)相互独立，则称随机过程Xt,tT与Yt,tT相互独立。,72,例1.5.3 设,其中X0和V是相互独立的随机变量.且,求随机过程X(t),-t的五种数字特征.,解:,73,定义1.5.4若Xt,tT,Yt,tT是两个实随机过程，则称Zt=X t+i Yt，t T 为复随机过程。它的均值函数、协方差函数、相关函数和方差函数分别定义如下：Z(t)=EZt=EXt+i EYt,t T,74,1.5.3 几类典型的随机过程,(1)独立随机序列 对于任意n个不同的参数t1

29、,t n T，r.v.X(t1),X(t n)相互独立，这样的随机序列称为独立随机序列。,(2)独立增量过程定义1.3.1 若随机过程 满足 增量 与 独立,则称为独立增量过程.,或等价地写作,75,过程 满足,对任意 t1 t2 t n T，Xt的增量 相互独立，这样的随机过程称为独立增量过程。,特别地,若独立增量过程X(t),tT满足增量平稳性，则称X(t),tT为具有平稳增量（或时齐）的独立增量过程；进一步,若具有平稳增量的独立增量过程X(t),tT满足(1)参数集T 连续;(0)PX(0)=0=1则称过程X(t),tT为Levy过程.,76,例 1.5.4 设Xt,tT是独立增量过程，

30、且增量平稳,PX0=0=1，求证：增量的分布完全决定任意有穷维分布.,证：不妨设X0=0。则s0,t0,Xt的特征函数 决定了Xs+t-Xs的分布.,77,类似地，n,于是,78,定义1.5.5 设随机过程,若对,则称该过程为马尔可夫过程，简称“马氏过程”。马氏过程的特点：已知现在，将来与过去无关。,称为转移概率函数.(transition probability function),(3)马尔可夫过程（马氏过程）,79,Markov性的等价描述:,ii)若Xt 的母函数存在,80,Markov过程的判别-独立性定理:设X,Y为概率空间(,F,P)上的随机变量,G为F 的子代数,且设X与G 独

31、立,Y关于G 可测.则对二元函数 f(x,y),例1.5.5 独立增量过程Xt是Markov过程.,证:,其中,Xt-Xs关于Fs独立,Xs 关于Fs 可测,根据独立性定理,81,根据参数集T及状态空间E的取值离散与否，通常将马氏过程分成四类进行研究：1、参数和状态都离散的马氏过程，简称马氏链；3、参数连续、状态离散的马氏过程，又称连续马氏链或纯不连续马氏过程；3、参数离散、状态连续的马氏过程，简称马氏序列;4、参数和状态都连续的马氏过程，又称连续马氏过程。,随机游动,Poisson过程,更新过程中的更新时间序列,Brown运动,分别是1-4的例子.,82,设Bt,t0为一独立增量过程，求证：

32、Xt,t0为Markov过程.,EX,83,(5)平稳随机过程,在工程应用和大量实际现象的理论分析研究中常会遇到一类过程。其统计特性随着时间的推移不发生任何变化。此类过程中，最重要的是“平稳过程”。例如无线电设备中热噪声电压X(t)是由于电路中电子的热运动引起的，这种热扰动不随时间而变；连续测量飞机飞行速度产生的测量误差X(t)，是由仪器震动、电磁波干扰、气候变化等因素引起的;纺纱厂生产出的棉纱各处直径X(t)不同是由于纺纱机运行，棉条不匀、温湿度变化等因素引起的。,84,严平稳过程,定义1.5.7 设随机过程 X(t),t T 的有穷维分布函数族为Ft1,tn(x1,xn),t1,tn T,

33、n1，若对n 和t1,tn T,及ti+T的，有Ft1,tn(x1,xn)=Ft1+,tn+(x1,xn)(1.3.1),则称 X(t)，t T 是严平稳过程。,严平稳过程的特点：(1)若有概率密度，则式(1.3.1)等价于：f t1,tn(x1,xn)=f t1+,tn+(x1,xn);,85,(2)一维分布与 t 无关，二维分布仅与时间差有关，而与时间的起点无关；(3)若存在二阶矩，则其均值函数是常数，相关函数或协方差函数仅是时间差的函数。,严平稳过程的平稳性条件(1.3.1)过于严格而在应用上往往难于实现。在工程技术中一般只要知道过程的一、二阶矩，就能处理和解决有关问题，于是就产生了仅与过程的一、二阶矩有关的平稳过程理论。这类过程的理论称为平稳过程的相关理论，它涉及的平稳过程称为宽平稳过程。,86,宽平稳过程,定义1.5.6 设随机过程 X t，t T，若对 t T，X t的均值和方差有限，则称 X t，t T 为二阶矩过程。,定义1.5.7 称二阶矩过程 X(t),t T 为宽（弱）平稳过程，如果(1)m(t)=EX(t)=m;(2)R(t1,t2)=EX(t1)X(t2)=R(),=t2 t1,相关内容详见:陈萍等 第八章,