第三章几种重要随机过程ppt课件.ppt

《第三章几种重要随机过程ppt课件.ppt》由会员分享，可在线阅读，更多相关《第三章几种重要随机过程ppt课件.ppt（73页珍藏版）》请在三一办公上搜索。

1、正态过程（高斯过程）独立过程 独立增量过程 维纳过程 泊松过程 马尔可夫过程 生灭过程,4 几种重要的随机过程,4.1.1 正态分布（高斯分布）定义1：如果随机变量X的概率密度为则称X为服从参数的正态分布，记为，其中，为均值；为方差。分布函数为当 时的正态分布称为标准正态分布，记为。分布函数,4.1 正态过程(高斯过程),4.1.1 正态分布（高斯分布）定义2：如果n维随机变量 的概率密度为其中，为均值向量，为协方差矩阵，则称X服从n维正态分布，称X为n维正态随机变量。n维正态分布完全由一阶矩和二阶矩所确定。,4.1.1 正态分布（高斯分布）中心极限定理：设 是n个相互独立同分布的随机变量，每

2、个随机变量的均值为，方差为，则即 的极限分布为标准正态分布N(0,1)；近似地服从正态分布。该定理表明，若有大量相互独立的随机变量，且每个随机变量对它们之和的影响足够小时，则当这些随机变量的个数趋于无穷大时，这些随机变量的和服从正态分布，而与每个随机变量的分布无关。,4.1.1 正态分布（高斯分布）n维正态随机变量的性质：（1）（n维正态分布的边沿分布）设 是n维正态随机向量，则X的任一子向量 也服从正态分布。,Cb是保留C的第k1,k2,km行和列所得到的mm矩阵,4.1.1 正态分布（高斯分布）n维正态随机变量的性质：（2）（独立性）定理1：n维正态分布的随机变量 相互统计独立的充要条件是

3、它们两两互不相关。定理2：若X是正态分布的随机向量，X1和X2是X的两个子向量，即，则X1与X2相互统计独立的充要条件是它们的互协方差矩阵为0。,4.1.1 正态分布（高斯分布）n维正态随机变量的性质：（3）（线性变换）设 是n维正态随机变量，均值为，协方差矩阵为C。若，其中，则。若e=(ejk)是m n矩阵,是m 1的列矩阵，即m维向量，则，。,4.1.1 正态分布（高斯分布）n维正态随机变量的性质：（3）（线性变换）定理1：服从n维正态分布 的充要条件是它的任何一个线性组合 服从一维正态分布。定理2：若 服从n维正态分布，而若e=(ejk)是mn矩阵,则 服从m维正态分布。,正态分布随机变

4、量的线性变换不变性,4.1.2 正态随机过程（高斯过程）定义：若随机过程X(t),tT,对于任意n个时刻t1,t2,tn T,n维随机变量X(t1),X(t2),X(tn)的联合概率分布为n维正态分布，则称X(t),tT为正态过程（或高斯过程）。概率分布：,特征函数：,4.1.2 正态随机过程（高斯过程）性质：（1）正态过程X(t),tT的n维概率密度及特征函数完全由它的均值向量和协方差矩阵所确定。（二阶矩过程）（2）对于正态过程，独立性和不相关性是等价的。若一个正态过程X(t),tT在任意n个时刻t1,t2,tn T,采样，所得的n维随机变量X(t1),X(t2),X(tn)两两互不相关，则

5、，这些随机变量也是相互独立的。对于多个正态过程，若两两互不相关，则两两相互独立。证明 X(t1),X(t2),X(tn)两两互不相关，则协方差函数,n维正态概率密度等于n个一维正态概率密度的乘积。,4.1.2 正态随机过程（高斯过程）性质：（3）对于正态过程，宽平稳与严平稳是等价的。,严平稳过程,二阶矩存在,宽平稳过程,宽平稳过程:,n维分布相同，不随时间、位置的推移而变化,严平稳过程：,4.1.2 正态随机过程（高斯过程）性质：（4）正态过程的线性不变性。正态过程的线性组合仍为正态过程；正态过程经过线性系统（变换）后仍为正态过程。,4.1.2 正态随机过程（高斯过程）性质：（5）正态过程的均

6、方微积分 定理1 设 为k维正态随机向量,且 均方收敛于,则X也是k维正态随机向量。定理2 设X(t),tT是正态过程,且在T上均方可导,则该过程的导数X(t),tT也是正态过程。定理3 设X(t),tT是正态过程,且在T上均方可积,则该过程的积分 是正态过程。,4.1.2 正态随机过程（高斯过程）复正态过程：设X(t),tT和Y(t),tT为两个实正态过程，定义 为复正态过程。对于复正态过程，在n个时刻采样，得到n个复正态随机变量，2 n个实正态随机变量；n个复正态随机变量的联合概率密度，应是2 n维实正态随机变量的联合概率密度。,4.1.2 正态随机过程（高斯过程）例题：设有随机过程，式中

7、为常数，U和V是相互独立的正态随机变量，且均值皆为0，方差都是。求X(t)的一维、二维概率密度。解：在任意时刻，该随机过程是正态随机变量U和V的线性组合，因此，是一正态过程。求出均值和方差函数，即可求出其概率密度。,4.1.2 正态随机过程（高斯过程）,定义：如果随机过程X(t),tT，对应于任意n个时刻t1,t2,tn T的n个随机变量X(t1),X(t2),X(tn)相互独立，则称该随机过程为独立过程。n维概率分布由一维分布确定：当时间参数是离散时，若X(n)(n=1,2,)是相互独立的随机变量，称X(n),n=1,2,是独立随机序列。独立随机序列在实际中是存在的，如重复抛硬币试验结果就形

8、成一个独立随机序列；而对于任何连续参数过程，当t1与 t2充分接近时，X(t1)和X(t2)将不可能完全独立。因此参数连续的独立过程实际上是不存在的，是一种理想化的随机过程。,4.2 独立过程,例1：伯努利随机序列。伯努利试验仅有两种结果，各次试验结果互不影响，伯努利随机序列X(n),n=1,2,是独立随机序列。定义概率分布：均值：均方值：方差：相关函数：协方差函数：,4.2 独立过程,例2：高斯白噪声。如果随机过程X(t),-t+的均值为0，方差为，相关函数满足功率谱为常数，即，则称 X(t),-t+为连续参数白噪声（过程）。如果对于每个t(-,+),X(t)是正态随机变量，则称 X(t),

9、-t+为高斯白噪声（过程）。高斯白噪声是独立随机过程。如热噪声。,4.2 独立过程,例2：高斯白噪声。如果随机序列X(n),n=0,1,2,的均值为0，方差为，相关函数满足功率谱为常数，即，则称 X(n),n=0,1,2,为白噪声序列。如果白噪声序列X(n),n=0,1,2,都服从正态分布，则称 X(n),n=0,1,2,为高斯白噪声序列。高斯白噪声序列是独立随机序列。,4.2 独立过程,定义：设X(t),tT是一随机过程，如果对于任意正整数n2，以及任意的t1,t2,tn T,且0t10，以及任意的t1,t2,t1+,t2+T，随机变量X(t2+)-X(t1+),与X(t2)-X(t1)有相

10、同的分布，称X(t),tT为平稳独立增量过程。如抛硬币，布朗运动等。,4.3 独立增量过程,定义：对于任意的t1 t2T,如果随机过程X(t),tT的增量X(t2)-X(t1)的概率分布，只与时间间隔的长度t2-t1有关，而与起点t1无关，则称X(t),tT为平稳增量过程。例1 和过程。设X(n),n=1,2,是独立随机序列，称 为和过程。若PX(0)=0=1,则Y(n),n=0,1,2,是独立增量过程。若X(n),n=1,2,的各个随机变量具有相同的分布，称X(n),n=1,2,是独立同分布随机序列。则 Y(n),n=0,1,2,是平稳独立增量过程。,4.3 独立增量过程,例1 证明 在这两

11、个Y(n)的增量中，没有共同的X(n)。由独立序列X(n)的相互独立性知，和过程Y(n)是独立增量过程。又Y(n2)-Y(n1)与Y(n2+m)-Y(n1+m)都是X(n)的n2-n1个随机变量之和。当X(n)是独立同分布随机序列时，Y(n2)-Y(n1)与Y(n2+m)-Y(n1+m)有相同的概率分布，这时，和过程Y(n)便是平稳独立增量过程。也可得Y(n2-n1)与Y(n2)-Y(n1)同分布。,4.3 独立增量过程,性质1：如果X(t),t 0是平稳独立增量过程，且X(0)=0，则（1）均值函数 m(t)=mt,（m为常数）；（2）方差函数 D(t)=2t,(为常数）；（3）协方差函数

12、C(t1,t2)=2min(t1,t2)=D(min(t1,t2).证明（略）（1）设 m(t)=EX(t)m(t+s)=EX(t+s)=EX(t+s)-X(s)+X(s)-X(0)=EX(t+s)-X(s)+EX(s)-X(0)=EX(t)-X(0)+EX(s)-X(0)=EX(t)+EX(s)=m(t)+m(s)根据线性算子的可加性条件，m(t)=mt（m=m(1).,4.3 独立增量过程,证明（略）（2）方差函数 D(t)=2t,(为常数）；设 D(t)=D X(t)D(t+s)=EX(t+s)-m(t+s)2=EX(t+s)2-m(t+s)2=EX(t+s)-X(s)+X(s)-X(0

13、)2-m(t+s)2=EX(t+s)-X(s)2+EX(s)-X(0)2+2EX(t+s)-X(s)X(s)-X(0)m(t+s)2=EX(t)2-(mt)2+EX(s)2-(ms)2+2EX(t+s)-X(s)X(s)-X(0)-2(mt)(ms)=DX(t)+DX(s)+2CX(t+s)-X(s),X(s)-X(0)=D(t)+D(s)根据线性算子的可加性条件，D(t)=2t（2=D(1).,4.3 独立增量过程,证明（略）（3）协方差函数 C(t1,t2)=2min(t1,t2)当t1 t2,C(t1,t2)=D(t2)=2 t2 所以，C(t1,t2)=2Dmin(t1,t2)=2 m

14、in(t1,t2)。即，两时刻的协方差等于较小时刻状态的方差。,4.3 独立增量过程,性质2：独立增量过程的有限维分布由初始随机变量和增量过程的概率分布确定。证明（略）：首先证明独立增量过程可以表示成若干个独立的增量过程之和。对于独立增量过程 X(t),t 0，X(0)=0，令Yn=X(tn)-X(tn-1)为增量过程,有 Y1=X(t1)，Y2=X(t2)-X(t1),Yn=X(tn)-X(tn-1)X(tn)=Yn+X(tn-1)=Yn+Yn-1+X(tn-2)=Yn+Yn-1+Y2+Y1=,4.3 独立增量过程,性质2：独立增量过程的有限维分布由初始随机变量和增量过程的概率分布确定。证明

15、（略）独立增量过程X(t),t 0，X(0)=0，令Yn=X(tn)-X(tn-1)为增量过程,有 Y1=X(t1)，Y2=X(t2)-X(t1),Yn=X(tn)-X(tn-1)，相互独立 X(t1)=Y1,X(t2)=Y1+Y2,X(tn)=Y1+Y2+Yn X(t)的n维特征函数：,4.3 独立增量过程,性质2：独立增量过程的有限维分布由初始随机变量和增量过程的概率分布确定。,4.3 独立增量过程,（略）,例2 二项计数过程。设X(n),n=1,2,是伯努利独立同分布随机序列，各个随机变量的分布律为 则其和过程Y(n),n=0,1,2,称为二项计数过程。表示n次伯努利试验中某事件发生的次

16、数。显然，二项计数过程 是平稳独立增量过程。一维概率分布：二维概率分布：,4.3 独立增量过程,例2 二项计数过程：均值函数：方差函数：协方差函数：,4.3 独立增量过程,布朗运动 1827年，布朗发现的悬浮在液体中的花粉微粒在液体分子不断随机碰撞下的不规则运动。若取水面上平面坐标系的原点为花粉的起始位置，任意时刻t花粉所处的位置可用横坐标X(t)和纵坐标Y(t)表示。特点：（1）起始时刻位于原点(X(t)=0,Y(t)=0)。（2）时间和取值都是连续的(t0)。（3）在任意时刻花粉的位移方向和位移量都是随机的；且朝各个方向运动的概率相等，每次的位移量都很小。对于一个方向，如x坐标，符合伯努利

17、试验(向左向右位移的概率相等,分别为1/2)；在该方向上的位移X(t)为和过程.因X(t)=0,X(t)为独立增量过程。,4.4 维纳过程,布朗运动（4）在各个不相交时间间隔，花粉沿某个方向的位移是相互独立的，且相同时间间隔的概率分布相同，是一平稳独立增量过程。（5）根据中心极限定理，花粉在某个方向的位移，如X(t)及其增量X(t2)-X(t1)（0t1 t2）都服从正态分布。（6）在x方向上，由于左移和右移距离的概率分布是对称的，X(t)的均值为0(EX(t)=0)。（7）刻画位移分散程度的方差正比于时间间隔的长度(DX(t)=C2t)。维纳1918年给出了这类运动（过程）的数学描述维纳过程

18、。,4.4 维纳过程,维纳过程定义：若随机过程W(t),0t0;W(t2)-W(t1)N(0,2|t2-t1|)则称W(t),0t 为维纳过程。W(t)N(0,2 t)称=1的维纳过程为标准维纳过程。W(t2)-W(t1)N(0,|t2-t1|),4.4 维纳过程,维纳过程的统计特征：均值：EW(t)=EW(t)-W(0)=0 方差：D(t)=DW(t)2=DW(t)-W(0)2=2|t-0|=2 t 自相关函数：当t1 t2，R(t1,t2)=EW(t1)W(t2)=EW(t1)-W(0)W(t2)-W(t1)+W(t1)-W(0)=EW(t1)-W(0)2+EW(t2)-W(t1)W(t1

19、)-W(0)=EW(t1)2=2 t1 R(t1,t2)=2 min(t1,t2)自协方差函数：C(t1,t2)=R(t1,t2)=2 min(t1,t2),4.4 维纳过程,维纳过程的统计特征：n维概率密度：正态分布 n维均值向量 n维协方差矩阵 C(t1,t2)=R(t1,t2)=2 min(t1,t2),4.4 维纳过程,维纳过程的性质：（1）维纳过程是平稳独立增量过程；（2）维纳过程的增量是正态分布，维纳过程是正态过程；（3）维纳过程具有无后效性,是马尔可夫过程；（4）维纳过程是非平稳过程；（5）维纳过程是均方连续、均方不可导、均方可积的二阶矩过程。均方可导准则：存在。,4.4 维纳过

20、程,4.5.1 计数过程 定义：在0,t)内出现随机事件A的总数组成的过程N(t),t 0 称为计数过程。计数过程满足：（1）N(t)0；（2）N(t)是正整数；（3）如果有两个时刻t1,t2，且t1t2，则N(t1)N(t2);（4）对于t1t2，N(t2)-N(t1)表示在时间间隔t1,t2）内事件A出现的次数。若计数过程在不相交的事件间隔内事件A出现的次数是相互独立的，则称此计数过程为独立增量计数过程。若计数过程在时间间隔t1,t1+s)内出现事件A的次数只与时间差S有关，而与起始时间t1无关，则称此计数过程为平稳增量计数过程。,4.5 泊松过程,4.5.2 泊松过程及其性质泊松过程定义

21、：定义1 如果计数过程 N(t),t 0 满足：（1）PN(0)=0=1；（2）N(t)是平稳独立增量过程；（3）在t,t+t)内出现一次事件的概率为（4）在t,t+t)内出现二次及二次以上事件的概率为则称N(t),t 0 是参数为的泊松过程(齐次)。显然，在t,t+t)内不出现事件的概率为,4.5.2 泊松过程及其性质泊松过程定义：定义2 如果计数过程 N(t),t 0 满足：（1）PN(0)=0=1；（2）N(t)是独立增量过程；（3）对于任意0t1t2，N(t2)-N(t1)服从参数为(t2-t1)的泊松分布，即则称N(t),t 0 是参数为的泊松过程。定义1给出在小的时间间隔内增量分布

22、的极限性质，从微观上给出增量的分布；定义2从宏观上给出了增量的具体概率分布。,4.5.2 泊松过程及其性质泊松过程的统计特征：均值：显然,单位时间内事件发生的统计平均次数,即平均频率.,4.5.2 泊松过程及其性质泊松过程的统计特征：均方值：,方差：,4.5.2 泊松过程及其性质泊松过程的统计特征：相关函数：,当t1 t2,当t1 t2,协方差函数：,综合：,4.5.2 泊松过程及其性质泊松过程的统计特征：一维概率分布：二维概率分布：,（t1 t2）,4.5.2 泊松过程及其性质泊松过程的性质：（1）泊松过程是平稳独立增量过程；（2）泊松过程是马尔可夫过程；（3）泊松过程是非平稳过程，但其增量

23、具有平稳性；（4）泊松过程是是均方连续、均方不可导、均方可积的二阶矩过程。（5）对于强度为的泊松过程，各次事件出现的时间间隔是相互独立同分布的随机变量，且都服从参数为的指数分布。,4.5.2 泊松过程及其性质泊松过程的性质：定理:计数过程是泊松过程的充分必要条件是事件发生的时间间隔是独立的指数分布。,4.5.3 泊松过程的特点泊松过程的特点：（1）计数过程；（2）增量是独立、平稳的；（3）在充分小的时间间隔内事件出现二次及二次以上的概率趋于0；（4）强度为常数，单位时间内事件出现的次数不变；-齐次泊松过程,4.5.4 非齐次泊松过程定义：如果计数过程 N(t),t 0 满足：（1）PN(0)=

24、0=1；（2）N(t),t0是独立增量过程；（3）在t,t+t)内出现一次事件的概率为（4）在t,t+t)内出现二次及二次以上事件的概率为则称N(t),t0 是强度为(t)的非齐次泊松过程。显然，当(t)=时，N(t),t0是齐次泊松过程。,4.5.4 非齐次泊松过程定理：如果 N(t),t0是非齐次泊松过程，且(t)为连续函数，则在时间间隔t0,t0+t)内事件A出现k次的概率为其中，为强度函数。,特别地，当t0=0时，,4.5.4 非齐次泊松过程均值：方差：例：某设备的使用期限为10年，前5年内平均2.5年需要维修一次，后5年平均2年需维修一次，求在使用期限内只维修过1次的概率。解：维修次

25、数与时间有关，该过程是非齐次伯松过程，其强度函数为,马尔可夫过程的概念马尔可夫链,4.6 马尔可夫过程,4.6.1 马尔可夫过程的概念4.6.1.1 有关定义随机过程马尔可夫性：（物理描述）当随机过程在时刻 ti 所处的状态为已知的条件下，过程在时刻 t(ti)所处的状态，与过程在ti时刻以前的状态无关，而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下，“将来”状态与“过去”状态无关的性质，称为马尔可夫性或无后效性。具有马尔可夫性或无后效性的随机过程，即是马尔可夫过程。,4.6.1 马尔可夫过程的概念4.6.1.1 有关定义马尔可夫过程定义：（条件概率）给定随机过程X(t),tT,若对

26、于任意n(3)个时刻t1t2 tn-1 tn T,有 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)xn|X(tn-1)=xn-1或 Fxn|x1,x2,xn-1;t1,t2,tn-1=Fxn;tn|xn-1;tn-1或 fxn|x1,x2,xn-1;t1,t2,tn-1=fxn;tn|xn-1;tn-1则称随机过程X(t),tT为马尔可夫过程。,4.6.1 马尔可夫过程的概念4.6.1.1 有关定义例1 直线上的随机游动。例2 电话交换站在某时刻接到的呼唤次数。0,t=0,tm+(tm,t 次数(t)=次数(tm)+次数(tm,t)例3 布朗运动

27、。,4.6.1 马尔可夫过程的概念4.6.1.1 有关定义转移概率分布函数和转移概率密度的定义：把马尔可夫过程X(t),tT的条件概率分布函数，F(x2;t2|x1;t1=PX(t2)x2|X(t1)=x1称为马尔可夫过程的(状态）转移概率函数。如果 则称f(x;t|x0;t0)为马尔可夫过程的转移概率密度。,4.6.1 马尔可夫过程的概念4.6.1.1 有关定义齐次马尔可夫过程的定义：如果马尔可夫过程的转移概率函数或转移概率密度,只与转移前后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即 F(x2;t2|x1;t1)=F(x2|x1;t2-t1)f(x2;t2|x1;t1)=f(x

28、2|x1;t2-t1)称具有这种特性的马尔可夫过程为齐次马尔可夫过程。,4.6.1 马尔可夫过程的概念4.6.1.1 有关定义高阶马尔可夫过程的定义：如果马尔可夫过程在tn时刻的状态，只与tn时刻以前的tn-1,tn-2,tn-k这k个时刻的状态有关，而与更前时刻的状态无关，即 F(xn;tn|xn-1,xn-2,xn-k,xn-k-1,x2,x1;tn-1,tn-2,tn-k,tn-k-1,t2,t1)=F(xn;tn|xn-1,xn-2,xn-k;tn-1,tn-2,tn-k)或 f(xn;tn|xn-1,xn-2,xn-k,xn-k-1,x2,x1;tn-1,tn-2,tn-k,tn-k

29、-1,t2,t1)=f(xn;tn|xn-1,xn-2,xn-k;tn-1,tn-2,tn-k)则称具有这种特性的马尔可夫过程为k阶马尔可夫过程。,4.6.1 马尔可夫过程的概念 例1 独立过程是马尔可夫过程。证 设X(t),tT是一独立过程，随机事件X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1,X(tn)xn相互独立，所以 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)xn=PX(tn)xn|X(tn-1)=xn-1因此，X(t),tT是马尔可夫过程。,4.6.1马尔可夫过程的概念 例2 独立增量过程是马尔可夫过程。证 设X(t)

30、,tT是一独立增量过程，且X(0)=0，有X(t1)-X(0)=X(t1),X(t2)-X(t1),X(tn-1)-X(tn-2),X(tn)-X(tn-1)相互独立。在X(tn-1)已知的条件下，X(tn)-X(tn-1)与X(t1)，X(t2)=X(t2)-X(t1)+X(t1),X(t3)=X(t3)-X(t2)+X(t2),X(tn-1)=X(tn-1)-X(tn-2)+X(tn-2)相互独立。PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)-X(tn-1)xn-xn-1|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(t

31、n)-X(tn-1)xn-xn-1=PX(tn)xn|X(tn-1)=xn-1因此，X(t),tT是马尔可夫过程。,4.6.1 马尔可夫过程的概念例3 维纳过程W(t),t0是独立增量过程，且W(0)=0，所以，维纳过程是马尔可夫过程。例4 泊松过程N(t),t0是独立增量过程，且N(0)=0，所以，泊松过程是马尔可夫过程。思考：马尔可夫过程的无前效性。,4.6.2 马尔可夫链4.6.2.1 马尔可夫链的概念 马尔可夫链是参数集T和状态空间E皆离散的马尔可夫过程。T=0,1,2,，E=i1,i2,.马尔可夫链定义：设随机序列X(n),n=0,1,2,的离散状态空间为E=i1,i2,若对于任意的

32、非负整数k和n1n2 nm,以及任意i1,i2,im,im+kE,有 PX(nm+k)=im+k|X(n1)=i1,X(n2)=i2,X(nm)=im=PX(nm+k)=im+k|X(nm)=im则称随机序列X(n),n=0,1,2,为马尔可夫链。,4.6.2 马尔可夫链4.6.2.1 马尔可夫链的概念马尔可夫链的状态转移和状态转移矩阵：,C-K,4.6.2 马尔可夫链4.6.2.1 马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链 X(n),n=0,1,2,在时刻m处于状态i的条件下，在时刻m+k处于状态j的条件概率，称为马尔可夫链在m时刻的k步转移概率，记为 pij(m,k)=PX

33、(m+k)=j|X(m)=i 当k=1时，pij=pij(m,1)=PX(m+1)=j|X(m)=i称为马尔可夫链在m时刻的一步转移概率，简称转移概率。k为转移步长。显然，0 pij(m,k)1。,4.6.2 马尔可夫链4.6.2.1 马尔可夫链的概念马尔可夫链的转移概率及其矩阵：对于有限状态空间E=1,2,N,由马尔可夫链 X(n),n=0,1,2,在时刻m的k步转移概率pij(m,k)形成的下列矩阵称为马尔可夫链在m时刻的k步转移矩阵。当k=1时，称为一步转移矩阵，简称转移矩阵。,4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链齐次马尔可夫链及其转移概率：如果马尔可夫链 X(n),n=

34、0,1,2,的转移概率pij(m,k)与m无关，即 pij(m,k)=PX(m+k)=j|X(m)=i=pij(k)则称为齐次马尔可夫链,pij(k)称为k步转移概率。一步转移概率简写为 pij=pij(1)=PX(m+1)=j|X(m)=i,4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链齐次马尔可夫链转移矩阵：对于有限状态空间E=1,2,N,齐次马尔可夫链 X(n),n=0,1,2,的k步转移矩阵为且 0pij(k)1，随机矩阵。,随机矩阵定义：若,且满足 则称矩阵为随机矩阵。,4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链:转移矩阵例1：直线上带两个吸收壁的随机游动 状态空间E

35、=1,2,3,4,5,1和5为吸收壁状态。转移概率：当i=1,5时，p11=1,p1j=0(j1),p55=1,p5j=0(j5)当i=2,3,4时，pi,i+1=p,pi,i-1=q,pi,j=0(ji-1,i+1)所以一步转移矩阵为,4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链:转移矩阵例2：直线上带两个弹性壁的随机游动 状态空间E=1,2,3,4,5,1和5为弹性壁状态。当质点处于2、3、4位置时，下一时刻向左和向右移动的概率分别为q和p；当处于1位置时，下一时刻留在原位的概率为q，右移一格的概率为p；当处于5位置时，下一时刻留在原位的概率为p，左移一格的概率为q。转移概率为：转

36、移矩阵为：p11=q,p12=p,p1j=0(j=3,4,5),p55=p,p54=q,p5j=0(j=1,2,3)当i=2,3,4时，pi,i+1=p,pi,i-1=q,pi,j=0(ji-1,i+1),4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链X(n),n=0,1,2,的转移概率满足切普曼柯尔莫哥洛夫方程：,4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链的切普曼柯尔莫哥洛夫方程写成矩阵形式：P(k+l)=P(k)P(l)当k=1,l=1时，P(2)=P(1)P(1)=P(1)2当k=2,l=1时，P(3)=P(2)P(1)=P(1)3一般地有 P(n)=P(1)n=Pn可见，n步转移概率（矩阵）等于n个一步转移概率（矩阵）的乘积。,4.6.2 马尔可夫链4.6.2.2 齐次马尔可夫链：转移概率例：天气预报问题。设明天是否有雨，仅与今天的天气有关，而与过去的天气无关。今天下雨明天也下雨的概率为p,今天无雨明天有雨的概率为q。有雨天气为状态0，无雨天气为状态1。若p=0.7,q=0.4,求今天有雨且第四天有雨的概率。解 一步转移概率矩阵：二步转移概率矩阵：四步转移概率矩阵：,