第七讲Markov链模型与计算ppt课件.ppt

第13章 Markov链模型与计算,2012年5月6日,2,Markov过程：t时刻的状态向量S(t)通过转移概率矩阵P，遗传到t+1时刻的状态向量S(t+1)，就把这样的过程称为Markov过程，是一个简化的随机过程。,转移概率性质(1) (2) P称为随机矩阵,例1 赌徒输光问题 甲有赌资a元，乙有赌资b元，赌一局输者给赢者1元，无和局。甲赢的概率为p，乙赢的概率为q=1-p，求甲输光的概率。 解 状态空间I=0,1,2,c，c=a+b,例2 天气预报问题 RR表示连续两天有雨，记为状态0NR表示第1天无雨第2天有雨，记为状态1RN表示第1天有雨第2天无雨，记为状态2NN表示连续两天无雨，记为状态3p00=PR今R明| R昨R今=PR明| R昨R今=0.7p01=PN今R明| R昨R今=0p02=PR今N明| R昨R今= PN明| R昨R今=0.3p03=PN今N明| R昨R今=0,类似地得到其他转移概率，于是转移概率矩阵为若星期一、星期二均下雨，求星期四下雨的概率,称概率分布j , jI为马尔可夫链的平稳分布，若,13.1 正则Markov过程,正则Markov过程,有限状态的正则Markov过程的极限状态的概率与初始状态无关，存在一个平稳分布。,例如，设马氏链的状态空间I=1,2，那么平稳分布 应满足, =(1, 2),1+2=1, = P,9,13.2 有报酬的Markov过程,假设Markov过程有N（有限）状态，每个状态都有M个不同的方案，对应的每个转移矩阵P都有一个报酬矩阵R与之对应。要求最佳的方案策略,10,