第三节连续时间马尔可夫链.ppt

1,第三节连续时间马尔可夫链,2,1 连续时间马尔可夫链定义,连续时间的马尔可夫链是这样一种随机过程，它：具有无记忆性状态空间是离散的时间上是连续的与离散时间的马尔可夫链的不同在于其状态发生变化的时刻是任意时刻，是连续值。,3,1 连续时间马尔可夫链定义,取值在非负整数集E上的随机过程X=Xt,tT=0,),如果对一切T中的时刻0t1t2tn+1及满足 的任意状态 成立着则称X是连续时间的马尔可夫链。,n,n1,in,in+1,与此历史无关,4,1 连续时间马尔可夫链定义,记pij(s,t)=P(Xt=j|Xs=i)若此转移概率只与t-s有关，则称它为X的齐次转移概率函数，此马氏链X为连续时间齐次马氏链。记pij(t),成为长度为t的时间区间上的转移概率为连续时间马氏链的齐次转移矩阵其中,5,1 连续时间马尔可夫链定义,若满足下述条件则称P(t)是X的标准转移矩阵。有：,6,2 K-C方程,1.K-C方程：写成矩阵的形式:P(t+s)=P(t)P(s)2.K氏前向方程3.K氏后向方程Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵。,（书31页）,7,3 Q矩阵,若 则排队论中Q矩阵性质行和为0 对角线元素为负数如果Q矩阵中元素为0，则表示这种直接转移不可能发生,8,3 Q矩阵,齐次马尔可夫链状态之间的瞬时转移可以用图表示，图上标明状态之间瞬时强度转移值qij，叫状态流图,9,4 Q矩阵P(t),依据K氏微分方程，可以从Q矩阵求得P(t),P(0)=I.例：考察E0,1的连续时间马氏链X，设t极小,10,4 绝对概率,初始分布(p0,p1,p2,p3,)pi=P(X(0)=i)=i(0)绝对分布(0(t),1(t),2(t),3(t)j(t)=P(X(t)=j)=由初始分布与t时间区间转移概率矩阵求t时刻绝对分布 为求瞬时概率分布函数的方程组,11,5 平稳分布,定义若 存在，且，则j称为齐次马尔可夫链的平稳分布如何判别连续马尔可夫链的平稳分布必定存在？转移概率矩阵是标准的不可约的齐次马氏链，则极限存在，且与初始分布无关正常返的齐次马氏链，则此极限值为平稳分布，且全部大于0,12,5 平稳分布,如何求离散马尔可夫链的平稳分布？定理3.1若 存在，则。根据若存在平稳分布，则,13,4 平稳概率例题,一个连续时间的马氏链E=0,1,2,其状态强度转移矩阵和状态转移图为平衡方程：列出方程组得：,14,主要公式对比,15,主要公式对比,16,6 两个定理,定理3.2一个连续时间的齐次马氏链，系统处在同一状态的连续时间服从负指数分布定理3.3一个离散时间的齐次马氏链，在同一状态连续停留时间的分布是几何分布因为马氏链停留在某状态下，发生转移的概率与在此状态停留了多长时间是无关的。,