泊松过程、马尔科夫链.ppt
第七章 泊松过程、马尔科夫链,按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。,7.1 独立增量过程与泊松过程,一、独立增量过程,1.独立增量过程,平稳独立增量过程,2.平稳独立增量过程(齐次增量过程),设X(t),t0是独立增量过程，若对任意0st,随机变量X(t)-X(s)的分布仅依赖于t-s,而与起点s和终点t本身无关，则称X(t),t0,+)是平稳(也称齐次)独立增量过程.,二、泊松过程,1.计数过程,若N(t)表示到时刻t为止已发生的“事件A”的总数，且N(t)满足以下条件：,则随机过程N(t),t0为计数过程。,泊松过程,2.泊松过程,(1)泊松过程的定义,设随机过程X(t),t0的状态空间为X=0,1,2,且满足下列三个条件：,则称X(t),t0为强度是的泊松过程。,复习：泊松分布,泊松量过程的数字特征,(2)泊松过程的数字特征,设t,s0,+),且st，,(3)泊松过程的一个实例,设N(t)表示某电话交换台在时间0,t)内接到的呼唤次数。,可以证明，对固定的t，呼唤次数N(t)是服从某参数的泊松分布的随机变量。证明从略。,(4)时间间隔与等待时间的分布,X(t),t0是泊松过程,X(t)表示t时刻事件A发生(如:顾客出现)的次数，,Wn,n=1,2,为泊松过程的等待时间序列,Tn,n=1,2,为泊松过程的等待(或到达)时间序列间隔序列。,泊松量过程的实例,到达时刻的条件分布,到达时刻的条件分布,设X(t),t0是具有参数的泊松过程。在0,t内事件A已经发生n次，则第k(kn)次事件A发生的时刻Wk的条件概率密度函数为,证明(p235),正态过程与维纳过程(略),7.2 正态过程与维纳过程(自习内容),一、二阶矩过程,若随机过程X(t),tT的二阶矩存在(有限),则称之为二阶矩过程。,二、正态过程,设X(t),tT是随机过程，若对任意正整数n和,则称X(t),tT是正态过程或高斯过程。,从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的相关理论。,1.定义,正态过程的一种特殊情形：维纳过程,三、维纳过程,定义：设W(t),t0为随机过程，如果满足：,则称W(t),t0为维纳过程。,2.正态过程的一个重要性质,随机过程为正态过程的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。,7.3 马尔科夫链,一、马尔科夫过程,马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通常称为无后效性。,马尔科夫链,二、马尔科夫链,1.马尔科夫链的定义,例：在玻尔氢原子模型中，电子可在允许的轨道上运动，假设以Xn-1=ai表示电子在第i条轨道上运动，并且电子轨道的跃迁只在t1,t2,t3,发生，显然，在时刻tn由第i轨道变到第j轨道的概率只与i,j有关，而与电子过去在什么轨道上无关,这个过程Xn,n0是个马尔科夫过程。,一步转移概率,2.转移概率(一步转移概率),设Xn,n0为马尔科夫链，其状态空间为,则称条件概率,为马尔科夫链Xn,n0在时刻n的一步转移概率，简称为转移概率，记作.,一般地，转移概率不仅与状态有关，还与时刻有关。当转移概率与时刻无关时，表示马尔科夫链具有平稳转移概率，称这样的马尔科夫链是齐次的或时齐的，并记 pij(n)为pij,P244例6(简讲),一步转移概率的性质,转移概率的性质：,转移概率可写成矩阵形式：,有限状态空,无限状态空间,或,例7(p246),多步转移概率,三、多步转移概率,2.性质,多步转移概率的计算,3.n 步转移概率的计算,上式称切普曼-柯尔莫哥洛夫方程，又称C-K方程。,定理：设Xn,n0为马尔科夫过程，则对任意非负整数mm+rm+n,和状态下标i,j，有,C-K方程又可写为：,C-K方程的矩阵形式为：,取r=s=1,可的两步转移概率与一步转移概率的关系,一般地，,这就是n步转移概率的计算依据，可由对1步转移概率取n次方求得。,例10(p250),齐次马氏链的有限维分布,4.齐次马氏链的有限维分布,(1)一维概率分布,定义 设Xn,n0为齐次马尔科夫过程,其状态空间为X=a1,a2,an,称下列一组概率为Xn,n0的初始分布,为Xn,n0的初始分布，也称初始概率分布。,向量形式为,可以证明，齐次马尔科夫过程的一维概率分布(任意时刻)可由初始概率分布和转移概率决定,定理：,特别地，当m=0时，有，,向量形式为：,可见，马氏链的一维概率分布被初始分布和一步转移概率完全决定。,例14(p252),有限维概率分布,(2)有限维概率分布,同样可证：齐次马氏链的任意维概率分布被初始分布和一步转移概率完全决定，其关系为,t1-0=t1,经t2-t1步转移。本应标注为(t1,t2),即强调从t1时刻的ai1态经步转移到t2时刻的ai2态，但因是齐次马氏链，具有稳定的转移概率，即转移概率与时刻无关而只与经历的时间长短有关，故只标注转移步数即可。其他项的表达同理。,例15(p254),本节结束！,复习：泊松分布,X服从参数的泊松分布,记为X()，则,其中0,服从泊松分布的随机变量，其数期望和方差为,求等待时间间隔Tn的分布函数：,求等待时间Wn的分布函数及概率密度：,事件关系：第n个事件在时刻t或之前发生,当且仅当时间t已发生的事件数目X(t)至少为n，即,于是,上式对t求导，得,证明：到达时刻的条件分布(p234),在0,t内已发生n次条件上,第k次事件发生时刻Wk的概率密度为,例7(p246):直线上带完全反射壁的随机游戏的一步转移概率。,解：游走的状态空间为X=-2s,-s,0,s,2s,对应X=a1,a2,a3,a4,a5,由给出的游走规则，可知,得一步转移概率为,例10(p250):直线上带完全反射壁的随机游戏的二步转移概率。,解：,例14(p252):在“直线上带完全反射壁的随机游戏”中设随机质点开始处于线段的中点x=0处，求随机质点经两步到达反射壁的概率。,分析：给定初始状态，也就是给出了初始的概率分布。依据马尔科夫链一维分布的计算公式,经两步到达反射壁的概率为：,已知：,根据：,例15(p254):齐次马尔科夫链Xn,n=0,1,2,的状态空间为X=0,1,2,初始分布为 其一步转移概率矩阵为,解:(1)可由乘法公式结合马氏性求，,也可直接由n维分布概率公式求:,(2)直接由n维分布概率公式求,(3)注意，所求的是条件概率，是两步转移概率。,
