Markov链主要内容.ppt

第五章 Markov 链,主要内容,5.1、基本概念,5.2、状态分类及性质,5.3、极限定理及不变分布,5.4、连续时间Markov链,本章的教学目的和要求：,1、理解Markov链的定义，了解与之相关的概念和实际应用背景.2、掌握状态分类的标准和性质.3、理解连续时间Markov链的定义及性质，了解Kolmogrov方程和生灭过程.,第一节 基本概念,二、转移概率随机矩阵,三、C-K方程,一、Markov链的定义,【本节内容】,【重点、难点】,Markov链的定义,引入：,古希腊有句名言：“罗马不是一天建成的。”,中国亦有诗云：“冰冻三尺非一日之寒。”,可见，事物发展是与过去有关系的，有因，才有果.,然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了.此即“无后效性”(也叫Markov性).,具有“无后效性”的随机过程称为Markov过程.本章主要介绍最简单的两类：离散时间的Markov链(简称Markov链)和连续时间的Markov链.,与君共勉：“忘掉过去吧，无论是辉煌还是失败，那只是过往云烟，总会随风飘去；只有把握当前，珍惜今天的人，才能决定自己的未来。”,5.1.1 Markov 链的定义,至此，我们接下来自然要问：对于Markov链而言，,(1)它的初始分布存在吗？,(2)条件概率(*)是如何确定呢？,Answer to(1):华罗庚先生给出答案：“Markov链必有其始.”,Answer to(2):该问题是Markov链理论和应用的重要问题之一，我们将在接下来的小节中予以说明。,5.1.2 转移概率,我们先给出其定义：,注意:今后我们所讲的都是时齐Markov链，并简称为Markov链.,Markov链的分类：若Markov链的状态是有限的，称为有限链，否则称其为无限链.,接下来，我们讨论关于Markov链的一个重要概念：,转移概率矩阵,性质：转移矩阵P具有以下性质：,显然，随机矩阵的每一行元素之和为1.,5.1.3 一些例子,复习：,Markov链的定义,2.何谓Markov性？,3.Markov链的有限维分布族,由Markov性及乘法公式，知,填空题:Markov链的概率特征完全由()和()描述.,判断题：Markov 链是离散时间参数、离散状态的且满足Markov性的随机过程.,例题：,证及解：,是离散状态的随机序列.,下证,Markov性.,从而，,是一Markov链.,进而，它的转移概率为,由题意易知，,5.1.4 n步转移概率 与 C-K方程,在节，我们学习了一步转移概率，(即Markov链从状态 i 经过一步转移到 j 的概率).,n步转移概率及n步转移矩阵,接下来我们讨论,注释,现在我们给出关于 和 的结论，即定理5.1.,Chapman-Kolmogorov方程,Go on,Proof,例题：在赌徒破产模型中，设n=3，p=q=0.5;赌徒从2元开始赌博，求他经过四次赌博就输光的概率.,解.,我们要求解的概率为,由例5.2知，转移矩阵是,根据定理5.1(2),得,所以，,作业：,