关键词无后效性马尔可夫性齐次马尔可夫链n步转移.ppt
关键词：无后效性(马尔可夫性)齐次马尔可夫链 n步转移概率 n步转移概率矩阵 C-K方程 马氏链的有限维分布律 遍历性 极限分布(平稳分布),第十一章 马尔可夫链,1 马尔可夫过程及其概率分布,4,5,6,7,8,9,10,11,例1：(0-1传输系统)设各级的传真率为p，误码率为q=1-p。X0是初始输入，Xn是第n级的输出(n1)，那么Xn,n=0,1,2是一随机过程，状态空间I=0,1.当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的.,12,例2：一维随机游动。设一醉汉在I=1,2,3,4,5作随机游动：如果现在位于点i(1i5)，则下一时刻各以1/3 的概率向左或向右移动一格，或以 1/3的概率留在原处；如果现在处于1(或5)这一点上，则下一时刻就以概率1移动到2(或4)这点上，1和5这 两点称为反射壁，这种游动称为带有两个反射壁的 随机游动。以Xn表示时刻n时的位置，说明Xn,n=0,1,2 是一齐次马氏链，并写出它的一步转移概率矩阵。,13,解：,如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远留在点1时，此时的转移概率矩阵为：,14,例3：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。设时间间隔t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。,15,现用马氏链来描述这个服务系统：设Xn=X(nt)表示时刻nt时系统内的顾客数，即系统的状态。Xn,n=0,1,2是一随机过程，状态空间I=0,1,2,3,且如前例1、例2的分析可知，它是一个齐次马氏链，它的一步转移概率矩阵为：,16,例4：设甲、乙两袋共装5个球，每次任取一袋,并从袋中 取出一球放入另一袋(若袋中无球则不取)。Xn表示 第n次抽取后甲袋的球数，n=1,2,.Xn,n=1,2,是一随机过程，状态空间I=0,1,2,3,4,5,当Xn=i 时，Xn+1=j的概率只与i有关，与n时刻之前如何取到 i值是无关的，这是一马氏链，且是齐次的,一步转 移概率矩阵为：,17,例5：卜里耶（Polya)罐子模型。设一罐子装有r个红球，t个黑球，现随机从罐中取出一球，记录其颜色，然后将 球放回，并加入a个同色球。持续进行这一过程，Xn表示 第n次试验结束时罐中的红球数，n=0，1,2,.Xn,n=0，1,2,是一随机过程，状态空间I=r,r+a,r+2a,当Xn=i 时，Xn+1=j的概率只 与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，但不是齐次的,一步转移概率为：,例6：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：111100111 设Xn为第n(n=1,2,97)个时段的计算机状态，可以认为它是一个齐次马氏链.求(1)一步转移概率矩阵;(2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.,解:(1)设Xn为第n(n=1,2,97)个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间I=0,1，96次状态转移情况是：00：8次；01：18次；10：18次；11：52次；因此一步转移概率可用频率近似地表示为：,20,21,22,23,2 多步转移概率的确定,24,证毕！,25,26,27,28,续,29,30,3 遍历性,31,32,33,34,35,36,37,38,39,41,例6：一质点在1,2,3三个点上作随机游动，1和3是 两个反射壁，当质点处于2时，下一时刻处于1,2,3 是等可能的。写出一步转移概率矩阵，判断此链是 否具有遍历性，若有，求出极限分布。,42,例7：一质点在1,2,3三个点上作随机游动，1和3是 两个反射壁，当质点处于2时，下一时刻转移到1和3 的概率各为。写出一步转移概率矩阵，判断此链是 否具有遍历性，若有，求出极限分布。,43,例8：一质点在1,2,3三个点上作随机游动，1和3是两个 吸收壁，当质点处于2时，下一时刻转移到1和3的 概率各为。写出一步转移概率矩阵，判断此链是 否具有遍历性?若有，求出极限分布。,平稳分布的意义,46,例9：设有6个球(2个红球,4个白球)随机平分放入甲,乙两个盒中.今每次从两盒中各任取一球并进行交换.表示开始时甲盒中的红球数,Xn(n0)表示经n次交换 后甲盒中的红球数.(1)求此马氏链的初始分布;(2)求一步转移概率矩阵;(3)计算;(4)判断此链是否具有遍历性，若有，求出极限分布。,47,48,
