《概率与数理统计》第10章-马尔可夫链.ppt

《《概率与数理统计》第10章-马尔可夫链.ppt》由会员分享，可在线阅读，更多相关《《概率与数理统计》第10章-马尔可夫链.ppt（37页珍藏版）》请在三一办公上搜索。

1、第十章 马尔可夫链,第一节 马尔可夫链的概念及转移概率第二节 多步转移概率的确定第三节 马氏链的有限维分布第四节 遍历性,第一节马尔可夫链的概念及转移概率,下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。,而且当 时，等以后的行为只与 有关，而与质点以前是如何到 是完全无关的，所以，它是一个马氏链，且为齐次马氏链。,其状态空间为：,称其为具有两个反射壁的随机游动,若令 表示质点在时刻 的位置，那末，是一个随机过程，而且当 时，等以后的行为只与 有关，而与质点以前是如何到 是完全无关的，所以，它是一个马氏链。,其状态空间为：,例：一维随机游动。,考虑在直线上作随机游动的质点，且只在非负整

2、数上作随机游动。当质点在时刻 时处在位置，在 时刻转移到 的概率为，转移到 的概率为，不动的概率为，而处在别的位置的概率为 0。,它的一步转移矩阵为：,这里,并且,由于它的转移概率与起点 无关，所以它还是齐次马氏链。,如果 称为带一个吸收壁的随机游动，质点一旦到达状态 0 后就永远停留在 0 这个状态上，这样的状态称为吸收状态。,如果 称为带一个反射壁的随机游动，质点一旦到达状态 0 后下一步它以概率 向右移一格。,如果状态空间 是有限的，且状态 0 与状态 N 都为吸收状态，即称为具有两个吸收壁的随机游动.,第二节多步转移概率的确定,定理:设 为齐次马氏链，则对任意的 有,或,证明：利用全概

3、率公式及马尔可夫性，有,这就是有名的切普曼柯尔莫哥洛夫方程，简称为 方程。,或,可见齐次马氏链，它的多步转移概率完全由它的一步转移概率所决定。因此，在马氏链中，一步转移概率是最基本的。,第三节马氏链的有限维分布,一维分布可用向量形式表示为：,初始分布与一维分布的关系可表示为：,表明一维分布可由初始分布和 n 步转移概率矩阵确定。,定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移概率决定。,例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1表示正常状态，用0表示不正常状态，所得数据序列如下：,设 为第 n 个时

4、段的计算机状态，可以认为它是一个齐次马氏链，状态空间为,由于96次状态转移的情况是：,因此，一步转移概率可用频率近似地表示为：,续例：若计算机在某一时段（15分钟）的状态为 0，问从此时段起此计算机能连续正常工作 一小时（4个时段）的概率为多少？,解：由题意，,续例：（3）设初始分布,又已知系统经 n 级传输后输出为1，问原发数字也是1的概率为多少？,先求出n步转移概率矩阵,由于,由线性代数知识可将 P 表示成对角阵,的相似矩阵。,具体做法是:求出 对应的特征向量,令：,则,于是,根据贝叶斯公式，当已知系统经 n 级传输后输出为1，原数字也是1的概率为,第四节遍历性,定义中平稳性的直观含义是过

5、程在任何时刻处于状态 的概率都相等。,在定理的条件下，马氏链的极限分布就是平稳分布，且是唯一的。,即，若用 作为链的初始分布，即，则链在任一时刻的绝对分布永远与 一致。,事实上由,和,有,例：考虑直线上带反射壁的随机游动,如果质点只能取1、2、3三个点,一步转移概率矩阵为:,其中,试说明此链是遍历的，并求出极限分布。,解：计算二步转移概率矩阵,可见当,对任意的 有,由定理可知,此链具有遍历性,下面求极限分布,列出方程式：,由此解得：,例：设一马氏链的一步转移概率矩阵为,讨论它的遍历性。,解：先计算二步转移矩阵,进一步可验证：,这表明对任一固定的 j，极限 都不存在，,当 n 为奇数时，；,而当 n 为偶数时，,按定义，此链不具有遍历性。,