《随机过程初步》PPT课件.ppt

《《随机过程初步》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《随机过程初步》PPT课件.ppt（93页珍藏版）》请在三一办公上搜索。

1、第八章 随机过程初步8.1 随机过程的概念8.1.1 随机过程,随机过程被认为是概率论的“动力学”部分(J.Neyman,1960).意思是说它的研究对象是随时间演变的随机现象.,几个实例,1.某地某日一昼夜气温的变化情况X(t),0t24,X(t)表示t时刻的气温。,2.通讯技术中，接收机热噪声电压随时间的变化过程V(t),t0,3.股票行情，P(t),t0.P(t)表示从某时刻起某种股票的价格，,4.某路公交车的客流情况(X(t),Y(t);t0t t1,(X(t),Y(t)表示t时刻起点与终点站的候车人数,5.纺纱机纺出一条长为l的细纱,由于纺纱过程中随机因素的干扰，它各处的横截面直径是

2、不同的，可记X(u)是坐标为u处横截面的直径，0ul.,定义8.1.1 设是概率空间，T是一个实数集，随机过程X(,t)，tT，是对应于t和的实数，即为定义在T和上的二元函数。,常将 简记为 或X(t).,两个特点：(1)对于给定的,X(,t)是一个关于t的函数,称 为样本函数,它可以理解为随机过程的一个实 现.,(2)当t=t0时,X(t0)是一个随机变量,称它为X(t)在 t0时刻的状态。,例子:设X(t)=acos(t+F)其中a是正常数，随机变量F 的分布律为：PF(w1)=0=PF(w2)=1=0.5，则X(t)是一个随机过程，它有两条样本曲线：x(w1,t)=acos(t);x(w

3、2,t)=acos(t+1);且X(t)取每条样本曲线的概率均为0.5。,已知上述随机过程在t=0时得观察值x(0)=a,你能否猜到在t=1时，x(1)=?;若上述随机过程在t=1时得观察值x(1)=acos(2),你能否猜到在t=0时，x(0)=?,例8.1.1 设式中a和b是常数,是在(0,2)上具有均匀分布的随机变量,称为随机相位正弦波.求(1)分别取0,/2,时的三个样本函数；(2)t分别为1,2时的两个状态.,8.1.2 随机过程的分类,随机过程可按时间(参数)是连续的或离散的分为两类:(1)若T是有限集或可列集时,则称为离散参数随机过程或随机序列.(2)若T是有限或无限区间时,则称

4、为连续参数随机过程.,随机过程,也可按任一时刻的状态是连续型随机变量或离散型随机变量分为两类:,(1)若对于任意 都是离散型随机变量,称 为离散型随机过程；,(2)若对于任意 都是连续型随机变量,称 为连续型随机过程.,例2.指出以下过程的类型1.利用抛一枚硬币的试验,定义,2.例的随机相位正弦波,3.某路公交车的客流情况(X(t),Y(t);t0t t1,(X(t),Y(t)表示t时刻起点与终点站的候车人数.,8.2 随机过程的分布函数和数字特征8.2.1.随机过程的分布函数,定义8.2.1 给定随机过程X(t),tT,对于每一个固定的tT,X(t)是一个随机变量,它的分布函数一般与t有关,

5、记为,称为随机过程的一维分布函数。,若存在非负函数f(x;t),使,则称函数f(x;t)为随机过程X(t)的一维密度函数.,例8.2.1.求随机过程的一维密度函数.这里b 是常数,X是标准正态随机变量.,解:(1)当cosbt0时,由X(t)=Xcosbt,XN(0,1)知X(t)N(0,cos2bt),则X(t)的一维密度函数为,(2)当cosbt=0时,X(t)不存在一维密度函数.,EX 求随机过程的一维密度函数.这里b是常数,是(0,)上均匀分布的随机变量.,定义8.2.2给定随机过程X(t),tT,对于任意两个时刻t1，t2 T,二维随机变量X(t1),X(t2)的分布函数一般与t1，

6、t2有关,记为称为随机过程的二维分布函数.,若存在非负函数f(x1,x2;t1,t2)使成立,则称f(x1,x2;t1,t2)为随机过程的二维密度函数.,定义给定随机过程X(t),tT,当时间t取,n维随机变量,的分布函数记为,若存在非负函数,成立,则称为随机过程X(t)的n维密度函数.,使,n维分布函数的全体Fn(x1,xn;t1,tn),t1,tn T,n1称为为随机过程X（t)的有限维分布函数族，同理可定义有限维密度函数族。,有限维分布函数族具有如下性质：（1）对称性 对（1，2，,n)的任意一种排列j1,j2,jn,有,(2)相容性 对mn，有,例8.2.2 利用抛一枚硬币的试验定义一

7、随机过程,假设P(H)=P(T)=0.5,试确定X(t)的一维分布函数在时刻0.5和1处的值F(x;0.5),F(x,1)以及,解:,于是,X(0.5),X(1)的概率分布分别为,0 1,-1 2,X(0.5)与X(1)的联合概率分布为,-1 2,01,定义8.2.4 给定随机过程X(t),tT,固定t,X(t)是一个随机变量,它的均值或数学期望一般与t有关,记为,称X(t)为随机过程X(t)的均值函数,显然,若f(x,t)是X(t)的一维密度函数,则,8.2.2 随机过程的数字特征,例8.2.3 求随机相位正弦波,的均值函数（式中a和b是常数,是在(0,2)上具有均匀分布的随机变量）,解:,

8、为随机过程X(t)的均方值函数.定义8.2.6 称随机变量X(t)的方差,定义8.2.5 称随机变量X(t)的二阶原点矩,为随机过程X(t)的方差函数,例8.2.4 求随机相位正弦波,的方差函数,解:,设X(t1)和X(t2)是随机过程在任意二个时刻t1和t2时的状态.,定义8.2.7 称X(t1)和X(t2)的二阶混合原点矩,为随机过程X(t)的自相关函数,简称相关函数.,定义8.2.8 称X(t1)和X(t2)的二阶混合中心矩,为随机过程X(t)的自协方差函数,简称协方差函数.,例8.2.5 求随机相位正弦波,的自相关函数,解:,随机过程的五种数字特征:均值函数、均方值函数、方差函数、相关

9、函数、协方差函数之间的关系:,EX 1 设,其中X0和V是相互独立的随机变量.且,求随机过程X(t)的五种数字特征.,解:,设X(t),Y(t)是定义在同一样本空间S和同一参数集T上的随机过程，对于不同的tT,(X(t),Y(t)是不同的二维随机变量，称(X(t),Y(t)，tT为二维随机过程,类似一维的讨论，可定义二维随机过程的n+m维分布函数族、互相关函数、互协方差函数。还可定义过程X(t)和Y(t)的独立性与不相关性。,8.2.3.二维随机过程的分布函数和数字特征,8.3 几种常见的随机过程 8.3.1 独立增量过程,定义8.3.1若随机过程 任意n个状态,相互独立,则称 为独立增量过程

10、.,若对任意的非负实数s,t,h,且st,与 具有相同的分布,则称增量具有平稳性.当增量具有平稳性时,称相应的独立增量过程是齐次的.,满足,如:某网站在时间区间0,t内受到的点击次数设为Xt,并设PX0=0=0,则 Xt,tT是一独立增量过程,因为它在不相重叠的时间区间内受到点击的次数可以认为是相互独立的.,若独立增量过程的增量服从poisson分布，即,则称给定随机过程X(t),tT为强度为的poisson过程。,过程,EX（1）若PX(0)=0=1,求poisson过程的五种数字特征。（2）求证,上述poisson 过程X(t)的任意有限维分布律可由增量的分布完全确定。,解:,(2)证明,

11、P184,定义8.3.3 设随机过程W(t),t 0的均方值函数存在,若它满足(1)具有平稳的独立增量；(2)对任意的ts0,W(t)-W(s)服从正态分布N(0,2(t-s)；(3)W(0)=0,则称此过程为维纳过程或Brown运动.其中2称为维纳过程的参数.,8.3.3维纳过程,取2=1,求brown运动X(t)的五种数字特征。,EX,解:,P183 定义8.3.2 若随机过程Xt,tT的每一个有限维分布都是正态分布,则Xt,tT称为正态过程(Gauss过程).,P183,例8.3.2 设,其中随机变量U，V相互独立,且都服从正态分布,是实常数.试证:X(t)是一个正态过程.,8.3.4

12、正态过程,证：,及,令,由U、V的相互独立性,且U、V都服从正态分布,得,即,服从n维正态分布,则随机过程 是一个正态过程.,EX 求证维纳过程是正态过程,证：,及,令,式中ai满足,由于,是独立的正态随机变量,的线性组合，仍然服从正态分布。证毕,则称过程 具有马尔可夫性,或称此过程为马尔可夫(Markov)过程,简称马氏过程.,8.3.5 马尔可夫过程,P186,定义8.3.6 设随机过程 的状态空间为I,若任意,，,马尔可夫过程的特点是:当过程在时刻 t0所处的状态为已知的条件,过程在时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关,这个特性就是无后效性.注:可证,独立增量过程X(

13、t),t0,若X(0)=0,则必为马氏过程.(证明参见闵华玲随机过程),若马氏过程的状态 是离散的,则称条件概率,为马氏过程X(t)在时刻t处于状态ai的条件下,在时刻t+t转移到状态aj的转移概率.,易证,转移概率的性质有(p186),性质（3）称为C-K方程。（Chapman-Kolmogorov),C-K方程基于下列事实，即“从时刻t所处的状态ai出发经时段转移到状态aj”这一事件可分解为“从X(t)=ai出发，先经时段t转移到中间状态ak，再从ak经时段转移到状态aj”。,参数与状态都离散的马尔可夫过程称为马尔可夫链，简称马氏链。设马氏链的参数集为,状态集为,记,显然有,概率与n无关,

14、则称马氏链X(t),tT 为齐次的或时齐的或称马氏链 X(t),tT为齐次马氏链.,若在,的条件下,发生”的,在马氏链是齐次的情况下,称,为马氏链的n步转移概率,称,为马氏链的n步转移概率矩阵,记为.,一步转移概率矩阵记为P。可证,例1(01传输系统)在如图只传输数字0和1的串联系统中，设每一级的传真率为p；误码率为q=1-p，并设一 个单位时间传输一级，X0是第一级的输入，Xn是第n级的输出(n1)，试用马氏链来描述这个系统。并求：（1）n步转移概率矩阵,注：输出与输入数字相同的概率称为系统 的传真率，相反情形称为误码率,解(1),一步转移概率矩阵为,01,0 1,n步转移概率矩阵为,由于P

15、有相异的特征值,由线性代数知识,可将P表示成对角阵的相似矩阵.,具体做法是:求出两特征值对应的特征向量:,令,则,（2）设p=0.9，求系统二级传输后的传真率与三级传输后的误码率将p=0.9,n=2带入P(n)得,同理,（3）设PX0=0=a,又已知系统n级传输后输出为1，问原发字符也是1的概率是多少？,解:根据Bayes公式,当已知系统经n级传输后输出为1,原发字符也是1的概率为,8.4.1 严平稳随机过程,8.4 平稳随机过程,平稳过程是什么意思？,定义8.4.1 若随机过程,具有相同的分布函数,则称随机过程X(t)为严平稳过程.,与,和任意,对于任意时刻,定理 8.4.1 若严平稳过程的

16、均方值函数存在,则,均值函数为,均方值函数为,方差函数为,相关函数,8.4.2 宽平稳随机过程,定义8.4.2 若随机过程 对每一个,二阶矩 都存在,则它为二阶矩过程.,推论:若严平稳过程X(t)还是二阶矩过程,则(1)X(t)的均值函数是一常数,记为 EX(t)=X(2)X(t)的相关函数RX(t1,t2)是单变量=t2-t1的函数,记为,证明:(1)因为X(t)与X(t+h)同分别,令h=-t,得,定义8.4.3 给定二阶矩过程,若对任意,则称X(t)是一个宽平稳过程或广义平稳过程,简称平稳过程,(常数),(仅仅是时间差函数),例1 考察随机相位正弦波,的平稳性。（式中a和b是常数,是在（

17、0,2)上具有均匀分布的随机变量）,例8.4.2 设s(t)是一周期为T的函数,是在区间(0,T)上服从均匀分布的随机变量,称X(t)=s(t+)为随机相位周期过程.试讨论它的平稳性.,例8.4.3 设X(t)是白噪声序列，,设有随机变量序列X(t),tT=tk|k=0,+1,+2,且,则称X(t)为一白噪声序列。,称Y(t)为n阶滑动和过程，判断其平稳性。,解:,常数,仅是的函数.,故Y(t)是平稳过程.,8.5 相关函数的性质:,证明:先证柯西-许瓦茨不等式:,p192,由柯西-许瓦茨不等式,即,是非负定的,即对任意,和任意实值函数g(.)都有,证明:,可以证明:任一连续函数,只要具有非负

18、定性,那么该函数必是某平稳过程的自相关函数,(5)如果平稳过程X(t)满足条件,则称它为周期是T0的平稳过程.周期平稳过程的自相关函数必是周期函数,且其周期也是T0.,证明:,由柯西-许瓦茨不等式,?,如何根据平稳过程的观察值估计过程的数字特征？,8.6 各态历经性,定义(p193)设X(t)是一个平稳过程,称,为X(t)在-T,T上的历时平均值.称,为X(t)在-T,T上的历时相关函数.,上式中的“积分”是什么概念？当 时如何取“极限”？,p193 定义8.6.1 设Xn,n=1.2是由二阶矩存在的随机变量组成的序列,X是一个随机变量,若,则称Xn,n=1,2均方收敛于X,记为,8.6.1

19、均方极限与均方积分,均方极限有如下性质:,1如果,那么,证明:由柯西-许瓦茨不等式:,在上式中,取X=|Xn-X|,Y=1,则有,由,即,2.若n=X,n=Y,则:,证略,3.若n=X,n=Y,则对任意常数a,b,证略,由1.2.3不难推出:当l.i.m.Xn=X,n=Y时,有,(p194)定义8.6.2 设X(t)是一个随机过程,对区间a,b作分割,.若,时,和式,均方极限存在,则称X(t)在a,b上均方可积,此极限称为X(t)的均方积分,且记为,即,均方可积准则:随机过程X(t)在a,b上均方可积的充分条件是X(t)的自协方差函数CX(s,t)在as b,at b上黎曼可积.如果X(t)在

20、a,b上均方连续,即,则X(t)在a,b上均方可积,证略,均方积分的性质:,证明:设,此性质说明求期望号与求积分号可交换次序.,存在.即,存在.由,得,为X(t)的时间均值，称,定义 称,为X(t)的时间相关函数.,设X(t)是平稳过程,易证(p196),证明:,证略,证略,定义 设X(t)是一个平稳过程,若,以概率1成立,则称X(t)的均值具有各态历经性.若,以概率1成立,则称的自相关函数具有各态历经性.,若X(t)的均值和自相关函数都具有各态历经性,则称X(t)是(宽)各态历经过程,或者说X(t)具有遍历性.,8.6.2 各态历经性(Ergodic),定理8.6.1(均值各态历经定理)平稳

21、过程X(t)的均值具有各态历经性的充要条件是,其中,证明:,定理8.6.2(自相关函数各态历经定理)平稳过程X(t)的自相关函数具有各态历经性的充要条件是,其中,证略,例：考察随机相位正弦波均值的各态历经性。解：,故X(t)的均值具有各态历经性,输入：自然光,输出：,输入：x(t),输出：,频率1频率2.,fourier变换,8.7 平稳过程的功率谱密度,2cos(t)+cos(t/2),0.5cos(t)+2cos(t/8),cos(t)+cos(t/8),设x(t)是周期为T的函数,若x(t)在-T/2,T/2上满足Dirichlet条件,则在-T/2,T/2 上（x(t)的连续点上）x(

22、t)可表示为,8.7.1 时间函数的功率谱密度,其中，,对于非周期的函数x(t),可以看成是以T为周期的函数当T时的近似.于是,其中，,若上述极限存在,则,综上所述,设x(t)是时间的函数,若x(t)满足Dirichlet条件,且绝对收敛，则（在x(t)的连续点上）x(t)可表示为,其中，,称为x(t)的fourier变换或频谱。,由Parseval等式,等式左边表示x(t)的总能量，右边如何解释？,称 为x(t)的能谱密度。,？,？,对于能量无限的信号x(t)，该如何展开？,设x(t)是一个普通函数,记,则,称 为x(t)的平均功率.(p198),由Parseval等式,*式两边同乘 并令

23、得,(p198)定义8.7.2称,为函数(信号)x(t)的平均功率谱密度,简称功率谱密度,8.7.2 平稳过程的功率谱密度,设X(t),tR是一个平稳过程,记,(p198)定义8.7.3称,为平稳过程 X(t),tR的功率谱密度.,平稳过程X(t),tR的功率谱密度有下列性质:,(1)SX()是 的实的、非负的偶函数,即SX()0,且SX(-)=SX().,证明:,(2)SX()和自相关函数 RX()是一傅里叶对,即,证明:,此变换的雅可比行列式为,由二重积分换元公式,即SX()是RX()的Fourier变换.利用逆Fourier变换可得,例8.7.1 已知过程X(t)的谱密度,求平稳过程X(

24、t)的自相关函数。,解:X(t)的自相关函数,在,处的留数之和.,注:留数定理：f(z)在围线C所包围的区域D内除a1,an外解析，在闭域D=D+C上除a1,an外连续，则,其中，若a为f(z)的一级极点,根据留数定理有:,式中,x是实变量,z 是复变量,a 是大于零的常数.,上题中,如果,如果,EX,已知平稳过程X(t)的谱密度,求X(t)的自相关函数和均方值。,解:X(t)的自相关函数,需要指出，在实际问题中常常碰到这样一些平稳过程，他们的自相关函数或谱密度在常义下的fourier变换或逆变换是不存在的（例如随机相位正弦波的自相关函数），但与通常频谱分析中遇到的情况一样，如果允许谱密度和自相关函数含有d函数，则在新的意义下，利用d函数的fourier变换性质，有关实际问题仍能得到圆满解决。,d函数的基本性质是：对任一在t=0连续的函数f(t)，有,据此，可以写出以下fourier变换对,例8.7.3 已知平稳过程 V(t)的自相关函数为,求所对应的谱密度 SV().,解,EX 求白噪声过程的谱密度。,设有随机平稳过程X(t),tT,且,则称X(t)为一白噪声过程。,解,在实用上,也可通过查P201 表8.1进行SX()与RX()的互变,