第五章马尔可夫过程ppt课件.ppt
《第五章马尔可夫过程ppt课件.ppt》由会员分享,可在线阅读,更多相关《第五章马尔可夫过程ppt课件.ppt(42页珍藏版)》请在三一办公上搜索。
1、马尔可夫过程的概念离散参数马尔可夫链连续参数马尔可夫链生灭过程及应用,5 马尔可夫过程,有限维概率分布(簇)转移概率 绝对概率 极限分布 平稳分布状态空间的性质,5 马尔可夫过程,5.1 马尔可夫过程的概念5.1.1 有关定义随机过程马尔可夫性:(物理描述) 当随机过程在时刻 ti 所处的状态为已知的条件下,过程在时刻 t(ti)所处的状态,与过程在ti时刻以前的状态无关,而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下,“将来”状态与“过去”状态无关的性质,称为马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程,即是马尔可夫过程。,5.1 马尔可夫过程的概念5.1.1 有关定
2、义马尔可夫过程定义:(条件概率) 给定随机过程X(t), tT,若对于任意n(3)个时刻t1t2 tn-1 tn T, 有 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn) xn | X(tn-1) = xn-1或 Fxn | x1, x2, , xn-1; t1, t2, , tn-1= Fxn; tn| xn-1 ; tn-1或 fxn | x1, x2, , xn-1; t1, t2, , tn-1= fxn; tn| xn-1 ; tn-1则称随机过程X(t), tT为马尔可夫过程。,5.1 马尔可夫过程的概念5
3、.1.1 有关定义例1 直线上的随机游动。例2 电话交换站在某时刻接到的呼唤次数。 0,t=0,tm+(tm,t 次数(t)=次数(tm)+次数(tm,t) 例3 布朗运动。,5.1 马尔可夫过程的概念5.1.1 有关定义转移概率分布函数和转移概率密度的定义: 把马尔可夫过程X(t), tT的条件概率分布函数, F(x2 ; t2 | x1 ; t1= PX(t2) x2 | X(t1) = x1称为马尔可夫过程的(状态)转移概率函数。 如果 则称f(x; t| x0 ; t0) 为马尔可夫过程的转移概率密度。,5.1 马尔可夫过程的概念5.1.1 有关定义齐次马尔可夫过程的定义: 如果马尔可
4、夫过程的转移概率函数或转移概率密度,只与转移前后的状态及相应的二个时刻的时间差有关,而与二个时刻无关,即 F(x2 ; t2 | x1 ; t1)= F(x2 | x1 ; t2 -t1) f(x2 ; t2 | x1 ; t1)= f(x2 | x1 ; t2 -t1)称具有这种特性的马尔可夫过程为齐次马尔可夫过程。,5.1 马尔可夫过程的概念5.1.1 有关定义高阶马尔可夫过程的定义: 如果马尔可夫过程在tn时刻的状态,只与tn时刻以前的tn-1, tn-2, tn-k这k个时刻的状态有关,而与更前时刻的状态无关,即 F(xn ; tn | xn-1, xn-2, xn-k , xn-k-
5、1 , x2 , x1 ;tn-1, tn-2, tn-k , tn-k-1 , t2 , t1 )= F(xn ; tn | xn-1, xn-2, xn-k;tn-1, tn-2, tn-k)或 f(xn ; tn | xn-1, xn-2, xn-k , xn-k-1 , x2 , x1 ;tn-1, tn-2, tn-k , tn-k-1 , t2 , t1 )= f(xn ; tn | xn-1, xn-2, xn-k;tn-1, tn-2, tn-k)则称具有这种特性的马尔可夫过程为k阶马尔可夫过程。,5.1 马尔可夫过程的概念5.1.2 切普曼柯尔莫哥洛夫方程定理:马尔可夫过程的
6、转移概率密度之间有下列关系:其中, tktrtn 。此式称为切普曼柯尔莫哥洛夫(Chapman-Kolmogorov)方程。证 利用由联合概率密度求边缘概率密度公式得根据条件概率密度公式,上式的被积函数可表示成,5.1 马尔可夫过程的概念5.1.2 切普曼柯尔莫哥洛夫方程带入上式右端有,5.1 马尔可夫过程的概念5.1.3 马尔可夫过程的分类(1)时间离散、状态离散的马尔可夫过程马尔可夫链。 参数集T=0,1,2,状态空间E=整数(2)时间连续、状态离散的马尔可夫过程可列马尔可夫过程、连续参数马尔可夫链。 参数集T=0, ,状态空间E=整数(3)时间离散、状态连续的马尔可夫过程马尔可夫序列。
7、参数集T= 0,1,2,状态空间E= (-, +)(4)时间连续、状态连续的马尔可夫过程。 参数集T= 0, ,状态空间E= (-, +),5.1 马尔可夫过程的概念 例1 独立过程是马尔可夫过程。 证 设X(t), tT是一独立过程,随机事件X(t1)=x1, X(t2)=x2, X(tn-1)=xn-1, X(tn) xn相互独立,所以 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn) xn = PX(tn) xn | X(tn-1) = xn-1因此, X(t), tT是马尔可夫过程。,5.1 马尔可夫过程的概念
8、例2 独立增量过程是马尔可夫过程。 证 设X(t), tT是一独立增量过程,且X(0)=0,有X(t1)- X(0) = X(t1) , X(t2)- X(t1), , X(tn-1)- X(tn-2), X(tn)- X(tn-1) 相互独立。在X(tn-1)已知的条件下, X(tn)- X(tn-1) 与X(t1) ,X(t2) =X(t2)- X(t1)+ X(t1), X(t3) =X(t3)- X(t2)+ X(t2), X(tn-1) =X(tn-1)- X(tn-2)+ X(tn-2)相互独立。 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn
9、-1) = xn-1 = PX(tn)- X(tn-1) xn- xn-1 | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn)- X(tn-1) xn- xn-1 = PX(tn) xn | X(tn-1) = xn-1因此, X(t), tT是马尔可夫过程。,5.1 马尔可夫过程的概念例3 维纳过程W(t), t0是独立增量过程,且W(0) = 0,所以,维纳过程是马尔可夫过程。例4 泊松过程N(t), t0是独立增量过程,且N(0) = 0,所以,泊松过程是马尔可夫过程。思考:马尔可夫过程的无前效性。,5.2 马尔可夫链5.2.1 马尔可
10、夫链的概念 马尔可夫链是参数集T和状态空间E皆离散的马尔可夫过程。 T=0,1,2,,E=i1,i2,.马尔可夫链定义: 设随机序列X(n), n=0,1,2,的离散状态空间为E=i1, i2, ,若对于任意的非负整数k和n1n2 nm,以及任意i1, i2, , im, im+kE, 有 PX(nm+k) = im+k | X(n1) = i1, X(n2) = i2, , X(nm) = im = PX(nm+k) = im+k | X(nm) = im则称随机序列X(n), n=0,1,2,为马尔可夫链。,5.2 马尔可夫链5.2.1 马尔可夫链的概念马尔可夫链的状态转移和状态转移矩阵:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第五 章马尔可夫 过程 ppt 课件

链接地址:https://www.31ppt.com/p-1371825.html