11章马尔可夫链习题课ppt课件.ppt

第十一章 马尔可夫链习 题 课,二、主要内容,三、典型例题,一、重点与难点,一、重点与难点,1.重点,2.难点,马氏链n步转移概率的确定,有限维分布律的计算方法遍历性问题,马尔可夫过程,二、主要内容,马尔可夫链,转移概率矩阵,齐次马尔可夫链,C-K 方程,遍 历 性,充要条件,马尔可夫过程,具有马尔可夫性的随机过程称为马尔可夫过程.,马尔可夫性(无后效性),马尔可夫性或无后效性.,马尔可夫链,时间和状态都是离散的马尔可夫过程称为马尔可夫链.,简记为:,齐次马尔可夫链,有关时, 称此链是齐次的或时齐的.,称条件概率,转移概率的特点,由转移概率组成的矩阵,称为马氏链的转移概率矩阵.,它是随机矩阵.,转移概率、转移概率矩阵,马氏链的n步转移概率,n步转移概率.,称为马氏链的,一步转移概率,当 k=1 时:,一步转移概率矩阵,切普曼-柯莫哥洛夫方程(简称C -K方程),是一齐次马氏链, 则对任意的,马氏链的n步转移概率是一步转移概率的 n次方,链的有限维分布可由初始分布和一步移概率完全确定.,由C-K方程知:,遍历性,则称此链具有遍历性.,遍历性的充分条件,三、典型例题,解,例1,例2,解,(3),解,先求出2步转移概率矩阵.,例3,解,例4,证明,例5,