第四章马尔可夫链 随机过程ppt课件.ppt
马尔可夫链的性质PX0=i0,X1=i1,Xn=in=PXn=in|X0=i0,X1=i1,Xn-1=in-1 PX0=i0,X1=i1,Xn-1=in-1= PXn=in|Xn-1=in-1 PXn-1=in-1 |X0=i0,X1=i1,Xn-2=in-2 PX0=i0,X1=i1,Xn-2=in-2=PXn=in|Xn-1=in-1PXn-1=in-1 |Xn-2=in-2 PX0=i0,X1=i1,Xn-2=in-2,=PXn=in|Xn-1=in-1PXn-1=in-1 |Xn-2=in-2 PX1=i1|X0=i0PX0=i0 马尔可夫链的统计特性完全由条件概率PXn+1=in+1|Xn=in确定。,n步转移概率:i经过k步进入j,向右移了x步,向左移了y步则,例 赌徒输光问题 甲有赌资a元，乙有赌资b元，赌一局输者给赢者1元，无和局。甲赢的概率为p,乙赢的概率为q=1-p，求甲输光的概率。解 状态空间I=0,1,2,a+b,q p,a-1 a a+1,0 a+b,设ui表示甲从状态i出发转移到状态0的概率，求ua显然u0 =1，ua+b =0(u0表示已知甲输光情形下甲输光的概率,ua+b表示已知乙输光情形下甲输光的概率) ui =pui+1 + qui-1 (i=1,2,a+b-1)(甲在状态i下输光:甲赢一局后输光或甲输一局后输光）,同样方法得乙输光概率,例设马尔可夫链的状态空间I=1,2,9，转移概率如下图 从状态1出发再返回状态1的可能步数为T=4,6,8,10,12,14,16 ，T的最大公约数为2，从而状态1的周期为2,例 状态空间I=1,2,3,4，转移概率如图， 指出各状态周期,是常返状态还是滑过状态？,解 首达概率为,例设马尔可夫链的状态空间I=1,2,3，转移概率矩阵为 求从状态1出发经n 步转移首次到达状态2的概率,解 状态转移图如下 ，首达概率为,例 设马氏链Xn的状态空间为 I=0,1,2,，转移概率为考察状态0的类型,可得出0为正常返的由于 ，所以0的周期为d=10为非周期的，从而为遍历状态对于其它状态i,由于i0,所以也是遍历的,例 对无限制简单随机游动由斯特林近似公式可推出(1)当且仅当p=q=1/2时，4pq=1,状态i是常返的状态i是零常返的,(2)当且仅当pq，4pq1状态i是非常返的,例4.15 设马尔可夫链的转移概率矩阵为求马尔可夫链的平稳分布及各状态的平均返回时间。,解 因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设 =(1, 2, 3 )，则 = P，1+2+3=1即各状态的平均返回时间为,4.3 状态空间的分解,定义 状态空间I 的子集C如对任意iC及kC有pik=0则称为闭集; 闭集C的状态互通则称为不可约的。引理4.3 C是闭集的充要条件为对iC及kC都有,证 充分性显然成立，只证必要性（数学归纳法）设C为闭集，由定义当n=1时结论成立设n=m时， ，iC及kC ，则,注：如pii=1，称状态i为吸收的，等价于 单点集i为闭集。,例 设马氏链Xn的状态空间为I=1,2,3,4,5，转移概率矩阵为状态3是吸收的，故3是闭集，1,4，1,3,4，1,2,3,4都是闭集，其中3，1,4是不可约的。I含有闭子集，故Xn不是不可约的链。,例 无限制随机游动为不可约马氏链，各状态的周期为2，当p=q=1/2时，是零常返的，当pq时，是非常返的。,定理 任一马氏链的状态空间I,可唯一地分解成有限个或可列个互不相交的子集D,C1,C2,之和，使得：(1)每一Cn是常返态组成的不可约闭集；(2)Cn中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且fij=1，i,jCn；(3)D由全体非常返态组成，自Cn中状态不能到达D中的状态。,例 马氏链状态空间I =1,2,3,4,5,6,状态转移矩阵为分解此链并指出各状态的常返性及周期性。,解 由状态转移图知可见1为正常返状态且周期为3，含1的基本常返闭集为 C1=k:1k=1,3,5，从而状态3及5也为正常返状态且周期为3。同理可知6为正常返状态，6=3/2，周期为1。含6的基本常返闭集为 C2=k:6k =2,6，可见2，6为遍历状态。,于是I可分解为I=DC1C2 =41,3,52,6,定义 称矩阵A=(aij)为随机矩阵，若显然k步转移矩阵 为随机矩阵。,引理 设C为闭集，G是C上所得的k步转移子矩阵，则G仍是随机矩。证 任取iC，由引理4.3有从而且 ，故 是随机矩阵。,注：对I的一个闭子集，可考虑C上的原马氏链的子马氏链，其状态空间为C，转移矩阵为G=(pij)，i,jC是原马氏链的转移矩阵为P=(pij)，i,jI的子矩阵。,定理 周期为d的不可约马氏链，其状态空间C可唯一地分解为d个互不相交的子集之和，即且使得自Gr中任一状态出发，经一步转移必进入Gr+1中(Gd = G0)。注：任取一状态i，对每一r=0,1,d-1定义集,例4.13 设不可约马氏链的状态空间为C=1,2,3,4,5,6，转移矩阵为,由状态转移图可知各状态的周期d=3,固定状态i=1，令故C=G0G1G2 =1,4,63,52此在C中 的运动如下图所示。,定理 设Xn,n0是周期为d的不可约马氏链，则在定理4.10的结论下有(1)如只在0,d,2d,上考虑Xn，即得一新马氏链Xnd ，其转移矩阵 ，对此新链，每一Gr是不可约闭集，且Gr中的状态是非周期的；(2)如原马氏链Xn常返，则新马氏链Xnd也常返。,例4.14 设Xn为例4.13中的马氏链，已知d=3，则Xnd,n0的转移矩阵为,由子链 X3n的状态转移图可知 G0=1,4,6，G1=3,5，G2=2各形成不可约闭集，周期为1,4.4 渐近性质与平稳分布,考虑 渐近性质定理4.12 如j非常返或零常返，则证 若j非常返，则由定理4.5， 从而若j零常返，则由定理4.6推论，,由定理4.4，对Nn，有固定N，先令n，则,推论1 有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。证 设I=0,1,N，如I全是非常返状态，则对任意i,jI，由定理4.12知故 矛盾。,如I含有零常返状态i，则C=j:ij是有限不可约闭集，由定理4.9知，C中均为零常返状态，由定理4.12知， 由引理4.4知 所以,推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。证 设i为零常返状态，则C=j:ij是不可约闭集，C中均为零常返状态，故C不能是有限集。否则，,当j是正常返状态时， 不一定存在，即使存在也可能与i有关。考虑,定理4.13 如j是正常返状态，周期为d，则对任意i及0rd-1，有证 对d的非正整数倍数的n，,于是，对1Nn有固定N，先令n，再令N，由定理4.6可得,推论 设不可约、正常返、周期为d的马氏链，其状态空间为C，则对一切i,jC有其中 为定理4.10中所给出当d=1时，则对一切i,j有,定理4.14 对任意状态i,j有推论 如Xn不可约、常返，则对任意i,j有,下面考虑平稳分布设是Xn,n0齐次马尔可夫链，状态空间为I，转移概率为pij定义4.12 称概率分布j , jI为马尔可夫链的平稳分布，若,注：(1)若初始概率分布pj , jI是平稳分布，则 pj = pj(1)= pj(2) = = pj(n)(2)对平稳分布j , jI，有矩阵形式 = P(n)其中 =(j)，P(n) =( ),定理4.15 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布。推论2 若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布。,推论3 若j , jI是马尔可夫链的平稳分布，则,解 因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设 =(1, 2, 3 )，则 = P，1+2+3=1即各状态的平均返回时间为,例4.15 设马尔可夫链的转移概率矩阵为P求马尔可夫链的平稳分布及各状态的平均返回时。,例4.16 设马尔可夫链具有状态空间I=0,1,2,，转移概率为pi,i+1=pi , pii=ri , pi,i-1=qi (i0)，其中q0=0, pi , qi 0, pi +ri+qi=1。此马尔可夫链为生灭链，它是不可约的。记a0=1， 证此马尔可夫链存在平稳分布的充要条件为,证 设j , jI是平稳分布,于是,对j求和,平稳分布存在充要条件为,此时,例4.17 设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。,解 从状态转移图看出，状态空间可分解为两个不可约常返闭集C1=2,3,4和C2=5,6,7，一个非常返集N=1。在常返集上求平稳分布。,在C1上，对应的转移概率矩阵为C1上的平稳分布为0, 0.4, 0.2, 0.4, 0, 0, 0,同理可求得C2上的平稳分布为0, 0, 0, 0, 1/3, 1/3, 1/3,成绩好的优秀学生干部，往往学有余力，不满足于课内的知识，对掌握课外的知识表现出极大的兴趣和积极性。下面是美文网小编为你分享的优秀学生干部座右铭的内容，希望你喜欢！优秀学生干部座右铭摘录1)太阳照亮人生的路，月亮照亮心灵的路。2)不实心不成事，不虚心不知事。不自是者博闻，不自满者受益。3)哭着流泪是怯懦的宣泄，笑着流泪是勇敢的宣言。4)如果要飞得高，就该把地平线忘掉。5)不要只靠口头说说，而要真正地行动起来。6)立志宜思真品格，读书须尽苦功夫。阮元7)有了失败，才会迈向成功。8)快乐之道不仅在于做自己喜欢的事，还在于做自己该做的事。9)道路是人开拓出来的，奇迹是人创造出来的。10)失去金钱事小，失去名誉事大，失去了勇气就失去了一切。11)不为积习所弊，不为时尚所惑。12)泰山不是垒的，学问不是吹的。天不言自高，地不语自厚。13)要想成功，就必须坚持。14)勿以恶小而为之，勿以善小而不为。陈寿三国志15)耕耘者的汗水是哺育种子成长的乳汁。优秀学生干部座右铭推荐1)谦虚是学习的朋友。2)要想成材必须努力。3)成长的路上充满了荆棘，看你是否能走下去。4)努力不一定成功，但不努力一定会落空。5)摔倒了爬起来就好。6)莫等闲，白了少年头，空悲切。岳飞7)只要努力，万事皆有可能。8)努力不一定立刻有收获，不努力一定不会有收获。9)非淡泊无以明志，非宁静无以致远。诸葛亮10)有了梦想，才有动力，有了动力，才能实现梦想。11)奋斗的双脚在踏碎自己的温床时，却开拓了一条创造之路。12)世上无难事只怕有心人。13)拼搏实现梦想，坚持铸就辉煌。14)别看满地黄金，可是它的下面说不定蕴藏着很多可怕的事。15)鸟欲高飞先振翅，人求上进先读书。李苦禅优秀学生干部座右铭大全1)要选择拼搏的一生，而不是炫耀的一生。2)欲望能吞没一切，除非你有坚定的心。3)做任何事之前，先给自己一条路，时刻提醒自己，坚持下去。4)发奋识遍天下字，立志读尽人间书。苏轼5)自己的路应该自己走。6)自强不息身方健，心底无私天地宽。7)成功之山最难攀，坚持攀越不简单。8)丰碑无语，行盛于言，努力实现自己的目标，宁可辛苦一阵子，也不辛苦一辈子。9)好好学习，天天向上！10)什么是幸福？幸福是你看到别人比你更不幸。11)谁要游戏人间，他就一事无成，谁不能主宰自己，他便永远是个奴隶。12)泉水，奋斗之路越曲折，心灵越纯洁。13)书到用时方恨少，事非经过不知难。陆游14)是金子，随便放到哪里总会发光的。15)长的助跑才可以跳得更高更远。16)水满则溢，月满则亏;自满则败，自矜则愚。17)珍惜这一分钟，作好下一件事，点燃无限的激情，让不可能成为可能。18)珍惜友情，幸福伴你永远。19)坚持则不畏事不成。20)黑发不知勤学早，白发方悔读书迟。颜真卿,
