时域离散随机信号的分析.pptx
现代信号处理,信息工程学院2014年春季课程,预修课程,概率论与数理统计信号与系统数字信号处理随机过程,课程讨论的主要问题1,对信号特性的分析研究对象：确定性信号随机信号；研究目的：提取信号中的有用信息；主要内容：随机信号的统计特性；随机信号的参数建模；功率谱估计（经典谱估计和现代谱估计）；,课程讨论的主要问题2,信号处理技术研究目的：提高信号质量；主要内容：维纳滤波理论（平稳条件下）；卡尔曼滤波理论（非平稳条件下）；自适应滤波理论；,课程特点,现代信号处理的基本概念、基本理论和分析方法,课程讲述线索,本课程采用对不同处理对象的线索来讲解：确定性信号随机信号；平稳信号处理非平稳信号处理;根据处理对象和应用背景的不同而选择相应的处理方法 提出问题-分析问题-解决问题-分析结果,课程主要内容,第一章 时域离散随机信号的分析随机过程基础参数估计平稳随机序列通过线性系统时间序列信号模型第二章 维纳滤波和卡尔曼滤波 第三章 自适应数字滤波器第四章 功率谱估计,参考书,张贤达，现代信号处理第二版，清华大学出版社，北京，2002。丁玉美，数字信号处理时域离散随机信号处理，西安电子科技大学出版社，2002。胡广书，数字信号处理理论、算法与实现第二版，清华大学出版社，北京，2003。胡宗福,电子工业出版社,北京,2012.Roberto Cristi,Modern Digital Signal Processing,Thomson-Brooks/Cole，2004。Dimitris G.Manolakis,etc,Statistical and Adaptive Signal Processing,Mc Graw Hill,2000。,考核,平时成绩30%,期末成绩70%,闭卷考试,1.1 随机信号,信号的分类随机变量及其统计描述随机信号及其统计描述,1.1.1 信号的分类,信号的分类：确定性信号随机信号平稳随机信号非平稳随机信号,1.1.2 随机变量,随机变量的统计描述：概率分布函数：概率密度函数：均值（一阶矩）：均方值（二阶原点矩）：方差（二阶中心矩）：协方差：,几种特殊分布的随机变量的概率密度：均匀分布：高斯分布：N个实随机变量 的联合高斯分布的概率密度：,其中，,1.1.3 随机信号,实际应用中，常常把随时间变化而变化的随机变量，称为随机过程。随机信号的特点：在任何时间的取值都是随机的（不能确切已知）取值服从概率分布规律（统计特性确定，但未知）随机信号定义：一个随机信号X(t)是依赖时间t的一族随机变量，或者说它是所有可能的样本函数的集合。,图 1.1.1 n部接收机的输出噪声,X(t)=xi(t),i=1,2,3,X(t)是所有可能样本函数的集合,X(t1)=xi(t1),i=1,2,3,X(t)=X(t1),X(t2),X(t3),X(t)是依赖时间t的一族随机变量,如果对随机信号X(t)进行等间隔采样，或者说将X(t)进行时域离散化,得到随机变量X(t1),X(t2),X(t3),所构成的集合称为时域离散随机信号。用n取代tn，随机序列用X(n)表示，即随机序列是随n变化的随机变量序列。,图 1.1.2 n部接收机输出噪声的时域离散化,X(n)是依赖时间n的一族随机变量,样本函数xi(t)或样本序列xi(n),随机信号X(t)或X(n),随机变量X(t1),X(t2),X(t3),特定时刻,随机信号的统计描述：一维概率分布函数：一维概率密度函数：上述两式只描述随机序列在某一时刻n的统计特性，而对于随机序列，不同n的随机变量之间并不是孤立的。,二维概率分布函数:,对于连续随机变量,其二维概率密度函数为,以此类推,N维概率分布函数为,对于连续随机变量,其N维概率密度函数为,数学期望(统计平均值):均方值:方差：,一般均值、均方值和方差都是n的函数,但对于平稳随机序列,它们与n无关,是常数。,自相关函数：自协方差函数：,对于零均值随机序列，,这种情况下，自相关函数和自协方差函数没有什么区别。,，则,互相关函数定义为,互协方差函数定义为,同样,当 时，,如果C(Xm,Yn)=0，则称信号Xm 与Yn互不相关。,1.2 平稳随机信号的时域统计表达,平稳随机信号的定义平稳随机信号相关函数的性质 平稳随机信号的各态遍历性,1.2.1 平稳随机信号的定义,狭义(严)平稳随机序列：随机信号的统计特性不随时间平移而变化。广义(宽)平稳随机序列：随机信号的均值和方差不随时间变化而变化，其相关函数与时间起点无关，仅是时间差的函数。,均值、方差和均方值均与时间无关：,自相关函数与自协方差函数是时间差的函数:,对于两个各自平稳且联合平稳的随机序列,其互相关函数为,显然,对于自相关函数和互相关函数,下面公式成立:,如果对于所有的m，满足公式：Rxy(m)=0，则称两个随机序列互为正交。如果对于所有的m，满足公式:Cxy(m)=0，则称两个随机序列互不相关。,1.2.2 实平稳随机信号相关函数的性质,（1）自相关函数和自协方差函数是m 的偶函数,用下式表示:,（2）Rxx(0)数值上等于随机序列的平均功率：,（3）相关性随时间差的增大越来越弱：,（4）大多数平稳随机序列内部的相关性随着时间差的变大，愈来愈弱：,（5）,1.2.3 平稳随机信号的各态遍历性,集合平均：由随机序列X(n)的无穷样本 在相应时刻n对应相加来实现的。,由上可知，集合平均要求对大量的样本进行平均,实际中这种做法是不现实的。,时间平均：设x(n)是平稳随机序列X(n)的一条样本曲线，其时间平均值为,类似地，其时间自相关函数为,各态遍历性：对一平稳随机信号，如果它的所有样本函数在某一固定时刻的一阶和二阶统计特性（集合平均）和单一样本函数在长时间内的统计特性（时间平均）一致，则称其为各态遍历信号。意义：单一样本函数随时间变化的过程可以包括该信号所有样本函数的取值经历。直观理解：只要一个实现时间充分长的过程能够表现出各个实现的特征，就可以用一个实现来表示总体的特性。,x(n)=EX(n),x(n)x*(n+m)=EX(n)X*(n+m),1.3 平稳随机信号的Z域及频域的统计表达,相关函数的Z变换平稳随机信号的功率密度谱,1.3.1 相关函数的Z变换,平稳随机序列是非周期函数，且是能量无限信号，无法直接利用傅里叶变换进行分析。由前面对自相关函数和自协方差函数的讨论可知：当 时，Rxx(m)是收敛序列。这说明虽然无限能量信号本身的z变换与傅氏变换不存在，但它的自协方差序列和自相关序列（当 时）的z变换与傅氏变换却是存在的,其Z变换用Pxx(z)表示如下:,且,因为,将上式进行Z变换，得到：,如果z1是其极点，1/z*1也是极点。Pxx(z)的收敛域包含单位圆，因此Rxx(m)的傅里叶变换存在。,令z=exp(j),可以得到Rxx(m)的傅立叶变换如下所示：,将m=0代入上式，得到,随机序列的平均功率；,功率谱密度（简称功率谱）,维纳辛钦定理（Wiener-Khinchin Theorem）,1.3.2 平稳随机信号的功率密度谱,有限时间段随机信号x(t)的功率谱分布为：功率谱：协方差函数的Fourier变换,（1）功率谱是的偶函数：,实、平稳随机序列功率谱的性质,（2）功率谱是实的非负函数，即,Pxx()0,功率谱的分类：平谱（白噪声谱）：一个平稳的随机序列w(n)，如果其功率谱 在 的范围内始终为一常数。白噪声序列在任意两个不同的时刻是不相关的。若w(n)是高斯型的，那么它在任意两个不同时刻又是相互独立的。,线谱：由一个或多个正弦信号所组成的信号的功率谱。若x(n)有L个正弦组成，即,其中，,是均匀分布的随机变量，可以求出,此即为线谱，它是相对与平谱的另一个极端情况。,ARMA谱：既有峰点又有谷点的连续谱，这样的谱可以由一个ARMA模型来表征。,1.4 随机序列数字特征的估计,估计准则均值的估计方差的估计自相关函数的估计,1.4.1 估计准则,估计方法：矩估计法、最大似然估计法、贝叶斯估计、最小均方误差估计、最大后验估计，最小二乘估计、EM算法等。估计准则：无偏性、有效性、一致性,假定对随机变量x观测了N次，得到N个观测值：x0,x1,x2,xN-1，希望通过这N个观测值估计参数，称为真值，它的估计值用表示。是观测值的函数，假定该函数关系用F表示，,(1.4.1),如果估计值接近真值的概率比较大，则说明这是一种比较好的估计方法。,图 1.4.1 估计量的概率密度曲线,1.偏移性令估计量的统计平均值与真值之间的差值为偏移B，其公式为,如果B=0，称为无偏估计。如果B0，则称为有偏估计。如果随着观察次数N的加大，能够满足下式：,则称为渐近无偏估计，这种情况在实际中是经常有的。,在许多情况下，一个有偏但渐进无偏的估计具有比一个无偏的估计好得多的分析和计算性质。,2.有效性估计量的方差如果两个估计量的观察次数相同，又都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即估计量的方差更小一些，就说这一个估计量的估计更有效。如果和都是x的两个无偏估计值，对任意N，它们的方差满足下式：,式中,(1.4.4),则称比更有效。一般希望当N时，。,3.一致性均方误差估计量的均方误差用下式表示：,如果估计量的均方差随着观察次数的增加趋于0，即估计量随N的加大，在均方意义上趋于它的真值，则称该估计是一致估计。,上式表示，随N的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件。通常对于一种估计方法的选定，往往不能使上述的三种性能评价一致，此时只能对它们折衷考虑，尽量满足无偏性和一致性。,常数,估计量的均方误差与估计量的方差和偏移的关系推导如下：,1.4.2 均值的估计,假设已取得样本数据：xi(i=0,1,2,N-1)，均值的估计量用下式计算：,式中N是观察次数。,1.偏移,因此 B=0，说明这种估计方法是无偏估计。,2.估计量的方差与均方误差,先假设数据内部不相关，那么,以上式表明，估计量的方差随观察次数N增加而减少，当时，估计量的方差趋于0。这种情况下估计量的均方误差为,这样，当N时，B=0,，是一致估计。,如果数据内部存在关联性，会使一致性的效果下降，估计量的方差比数据内部不存在相关情况的方差要大，达不到信号方差的1/N。,1.4.3 方差的估计,已知N点样本数据xi(i=0,1,2,N-1)，假设数据之间不存在相关性，且信号的均值mx已知，方差用下式估计,可以证明这是无偏一致估计：,数据之间不存在相关性，均值也不知道的情况下，方差的估计方法。方差估计用下式计算：,1.偏移性,式中的第二项已经推出，式中的第三项推导如下：,由此可以得到,上式表明，该估计方法，是有偏估计，但是渐进无偏。,为了得到无偏估计，可以用下式计算：,之间的关系是,和,还可以证明它也是一致估计。,1.4.4 自相关函数的估计,无偏自相关函数的估计 估计公式为,0mN-1,1-Nm0,将上面两式写成一个表达式：,1.偏移性,因此,B=0,这是一种无偏估计。,为了分析简单，假设x(n)是实的、均值为0的高斯随机信号。对于均值为0的高斯随机变量，其四阶矩为：,2.估计量的方差,利用上式，求和号内的部分可以写成下式：,由此，,式中，令 r=k-n，此时求和域发生了变化，如图所示。,(1.4.25),图,根据变化后的求和域(k,r)，估计量的方差推导如下:,一般观测数据量N很大，,有偏自相关函数的估计 有偏自相关函数用 表示，计算公式如下：,下面可推导出它服从渐近一致估计的原则，比无偏自相关函数的估计误差小，因此以后需要由观测数据估计自相关函数时，均用上式进行计算。,无偏自相关函数与有偏自相关函数的关系式为,因为 是无偏估计，因此得到,1.偏移性,上式说明 是有偏估计，但是渐近无偏，其偏移为,的统计平均值等于其真值乘以三角窗函数wB(m)（或称巴特利特窗函数）,三角窗函数的波形如图所示。只有当m=0时，才是无偏的，其它m都是有偏的，但当N时，wB(m)1，B0,因此 是渐近无偏。,图 1.4.3 三角窗函数,显然,当N时,，并且,由以上得到结论：虽然是有偏估计，但是渐近一致估计，估计量的方差小于的方差。因此实际中多用这种有偏自相关函数估计。,2.估计量的方差,1.5 平稳随机序列通过线性系统,系统响应的均值、自相关函数和平稳性分析输出响应的功率谱密度函数系统的输入、输出互相关函数相关卷积定理,稳定系统有界输入必导致有界输出的系统对连续系统:对离散系统:,因果系统输出必在输入之后,稳定系统：h(t)绝对可积分收敛域包含单位圆因果系统：收敛域内是否包含，即因果稳定系统：传递函数的极点全部在单位圆内最小相位系统：H(z)全部零点在单位圆内可逆系统：无在单位圆上零点的系统,1.5.1 系统响应的均值、自相关函数和平稳性分析,这样,mx与时间无关，my也与时间无关。,输出均值：,输出的自相关函数：,对于一个线性非时变系统，如果输入是平稳随机序列，则输出也是平稳随机序列。,令l=r-k,得到,式中,1.5.2 输出响应的功率谱密度函数,将z=ej代入上式，得到输出功率谱：,Pyy(ej)=Pxx(ej)H(ej)H*(ej)=Pxx(ej)|H(ej)|2,如果h(n)是实序列，,v(l)=h(l)*h(-l),V(z)=H(z)H(z-1),Pyy(z)=Pxx(z)H(z)H(z-1),1.5.3 系统的输入、输出互相关函数,输入、输出互相关定理：,1.5.4 相关卷积定理,线性系统输出的自相关函数等于输入自相关函数与线性系统单位脉冲响应的自相关函数的卷积，即,或者简单地说,卷积的相关函数等于相关函数的卷积。用一般公式表示如下：,如果,那么,ref(m)=rac(m)*rbd(m),例 假设系统的输入、输出和单位脉冲响应分别用x(n)、y(n)和h(n)表示，试求输入、输出互相关函数和输入自相关函数之间的关系。解：按照相关卷积定理，得到,x(n)=x(n)*(n)y(n)=x(n)*h(n)Rxy(m)=Rxx(m)*Rh(m),式中,相应的有：,例 按照图推导两个系统的输出互相关函数与输入互相关函数之间的关系。,图,解：y1(n)=x1(n)*h1(n)y2(n)=x2(n)*h2(n),按照相关卷积定理,有,按照图还有下面关系式,(1),(2),1.6 时间序列信号模型,三种时间序列模型三种时间序列信号模型的适应性自相关函数、功率谱与时间序列信号模型的关系,图 1.6.1 平稳随机序列的信号模型,1.6.1 三种时间序列模型,假设信号模型用一个p阶差分方程描述:,x(n)+a1x(n-1)+apx(n-p)=w(n)+b1w(n-1)+bqw(n-q),式中,w(n)是零均值、方差为2w的白噪声;x(n)是要研究的随机序列。,（）,1.自回归-滑动平均模型（简称ARMA模型）该模型的差分方程用（）式描述，系统函数用下式表示：,式中，是自回归参数，叫做滑动平均参数。,利用维纳辛钦定理给出其功率谱密度为,类似地，可得功率谱为,图1.6.1 ARMA(p,q)随机过程模型,2.滑动平均模型（Moving Average，简称MA模型）当（）式中ai=0,i=1,2,3,p时,该模型称为MA模型。模型差分方程和系统函数分别表示为：,x(n)=w(n)+b1w(n-1)+bqw(n-q)H(z)=B(z)B(z)=1+b1z-1+b2z-2+bqz-q,上式表明该模型只有零点,没有除原点以外的极点，因此此模型也称为全零点模型。如果模型全部零点都在单位圆内部，则是一个最小相位系统。,MA模型的功率谱密度为,类似地，可得功率谱为,图1.6.2 MA(q)随机过程模型,3.自回归模型（Autoregressive,简称AR模型）当（）式中bi=0,i=1,2,3,，q时，该模型称为AR模型。模型差分方程和系统函数分别表示为：,x(n)+a1x(n-1)+a2x(n-2)+apx(n-p)=w(n),A(z)=1+a1z-1+a2z-2+apz-p,上式表明该模型只有极点,没有除原点以外的零点，因此该模型也称为全极点模型。只有当全部极点都在单位圆内部时，模型才稳定。,AR模型的功率谱密度为,类似地，可得功率谱为,图1.6.3 AR(p)随机过程模型,关于ARMA、AR、MA模型的功率谱，可以做一个定性的描述：由于MA模型是通过一个全零点滤波器产生，当有零点接近单位圆时，MA谱可能是一个深谷；类似地，当极点接近单位圆时，AR谱对应的频率处会是一个尖峰；ARMA谱既有尖峰又有深谷。,滤波器长度：一般是指滤波器的单位脉冲响应的长度。对于FIR滤波器或者MA模型,其单位脉冲响应的长度是有限长的，长度就是系数的个数；对于IIR滤波器或者AR模型、ARMA模型，其单位脉冲响应的长度则是无限长的。滤波器阶数：对于IIR滤波器或者AR模型、ARMA模型，阶数是指p的大小，如果用差分方程表示，则p就是差分方程的阶数。对于FIR滤波器或者MA模型的阶数，则是指（）式中q的大小，或者说是它的长度减1。,1.6.2 三种时间序列信号模型的适用性,沃尔德（Wold）分解定理：任意一个实平稳随机序列x(n)均可以分解成：x(n)=u(n)+v(n)，式中u(n)是确定性信号,v(n)是具有连续谱分布函数的平稳随机MA序列。由Wold分解定理可知，AR模型或ARMA模型可用一个可能是无穷阶的MA模型表示，说明MA信号模型和ARMA信号模型具有普遍适用的性质。,柯尔莫格洛夫（Kolmogorov）定理：该定理暗示了MA模型或ARMA模型可用一个可能是无穷阶AR模型来表示，从而说明了AR信号模型的适用性。任意一个MA序列可用无限阶AR信号模型表示，或者用阶数足够大的AR信号模型近似表示。证明如下：,b0=1,对上式进行Z变换得到,X(z)=B(z)W(z),设MA序列为,这样,X(z)G(z)=(1+g1z-1+g2z-2+)X(z)=W(z),对上式进行Z反变换，得到,x(n)+g1x(n-1)+g2x(n-2)+=w(n),上式表示的就是x(n)的AR信号模型差分方程，因此证明了一个时间序列可以用有限阶MA信号模型表示时，也可以用无限阶的AR模型表示。,B-1(z)=G(z)=1+g1z-1+g2z-2+,设MA信号模型满足可逆性条件，即B-1(z)存在，令,对于ARMA模型也可以用无限阶AR模型表示。,设AR模型系统函数用HAR(z)表示：,令HAR(z)=H(z),即,可以求出ci系数,一个ARMA模型可以用一个MA模型来表示：,用MA模型表示：,一般AR模型适合表示时间序列的功率谱有尖峰而没有深谷的信号，MA模型适合表示其功率谱有深谷而没有尖峰的信号，ARMA模型则适合尖峰和深谷都有的情况。,1.6.3 自相关函数、功率谱与时间序列信号模型的关系,(1.6.7),实平稳随机信号x(n)的功率谱为：,如何按照上式唯一地分解出一个因果稳定的模型系统函数H(z)，是本节要讨论的问题。,有理谱信号：如果信号模型输出的功率谱是ej或者cos的有理函数，这种信号称为有理谱信号。,谱分解定理 如果功率谱Pxx(ej)是平稳随机序列x(n)的有理谱，那么一定存在一个零极点均在单位圆内的有理函数H(z),满足,式中，ak,bk都是实数，a0=b0=1,且|k|1,|k|1。,例 已知有理谱如下式：,我们把所有可能的分解形式写出来：,(1),(2),(3),(4),在以上四种分解情况中，只有（1）满足极零点均在单位圆内部，因此按照谱分解定理的约束条件，只能唯一地分解出一个零极点均在单位圆内部的系统函数。如果没有零极点均在单位圆内部的约束条件，分解便不是唯一的。另外，按照谱分解定理分解出H(z)一定是最小相位系统，它保证了模型的可逆性，即逆系统存在。,分解方法：我们知道功率谱是cos的函数，为了对功率谱进行谱分解，下面介绍一种分解方法：（1）用代替cos，得到有理函数V()；（2）求出V()分子、分母的全部根i;（3）构造对每个i的方程:,该方程有两个根：Zi和1/Zi，其中Zi是单位圆内的根；,（4）用单位圆内部极零点构成H(z)，零点是分子多项式的根Zi，极点是分母多项式的根Zj，,常数C由功率谱Pxx(ej)确定。,例 已知x(n)的功率谱,求其模型的系统函数。,解：,（1）令=cos，则,(2),(3),(4),设2w=1，对比给定的功率谱，得到：C=2/3，模型系统函数为,也可以假定2w=4/9，此时模型系统函数为,这样得到的模型系统函数的常数因子不同，但常数因子仅影响其幅度大小，不影响问题实质。,自相关函数、功率谱、时间序列信号模型三者之间的关系：,自相关函数、功率谱、时间序列信号模型三者之间关系,
