高阶谱第1章 高阶统计量的定义与性质.docx

《高阶谱第1章 高阶统计量的定义与性质.docx》由会员分享，可在线阅读，更多相关《高阶谱第1章 高阶统计量的定义与性质.docx（42页珍藏版）》请在三一办公上搜索。

1、高阶谱 第1章 高阶统计量的定义与性质第1章 高阶统计量的定义与性质 1.1 准备知识 1. 随机变量的特征函数 若随机变量x的分布函数为F(x)，则称 F(w)=Eejwx=-ejwxdF(x)=e-jwxf(x)dx 为x的特征函数。其中f(x)为概率密度函数。 离散情况：F(w)=Eejwx=ekjwxkpk,pk=px=xk 特征函数F(w)是概率密度f(x)的付里叶变换。 例：设xN(a,s2)，则特征函数为 F(w)=12ps-e-(x-a)/2s22ejwxdx 令z=(x-a)/2s，则 F(w)=1pp-e-z+j22swz+jwadz 根据公式：e-Ax-22Bx-Cxdx

2、=Ae-AC-BA2，则 2 F(w)=e若a=0，则F(w)=e12-ws2212jwa-ws2。 2. 多维随机变量的特征函数 设随机变量x1,x2,L,xn联合概率分布函数为F(x1,x2,L,xn)，则联合特征函数为 F(w1,w2,L,wn)=Eej(w1x1+w2x2+L+wnxn)=-L-ej(w1x1+w2x2+L+wnxn)dF(x1,x2,L,xn)令x=x1,x2,L,xnT,=w1,w2,L,wnT，则 F()=ejxTf(x)dXn 矩阵形式 或 F(w1,w2,L,wn)=-Lj-ewkxkk=1f(x1,L,xn)dx1,L,dxn 标量形式 1 其中，f(x)=

3、f(x1,x2,L,xn)为联合概率密度函数。 例：设n维高斯随机变量为 x=x1,x2,L,xnT,a=a1,a2,L,anT c11c12Lc1nc=MM cn1cn2Lcnncik=covxi,xk=E(xi-ai)(xk-ak) x的概率密度为 P(x)=1exp(2p)n/2-1(x-a)Tc(x-a)c1/22 x的特征函数为 F()=expjaT-1 矩阵形式 2Tc 其中，=w1,w2,L,wTn, nn F(wL,w-1n1,w2,n)=expjaiwiijwiwj 标量形式2Ci=1i=1j=13. 随机变量的第二特征函数 定义：特征函数的对数为第二特征函数为 Y(w)=l

4、nF(w) (1) 单变量高斯随机过程的第二特征函数 Y(w)=lnejwa-222ws=jwa-1222ws (2) 多变量情形 nY(w1,w2,L,wn)=jaiwi-1nnwiwj i=12Ciji=1ji=11.2 高阶矩与高阶累积量定义 1. 单个随机变量情形 (1) 高阶矩定义 随机变量x的k阶矩定义为 mkk=Exk=-xp(x)dx (1.1) 显然m0=1，m1=h=Ex。随机变量x的k阶中心矩定义为 2 mk=E(x-h)=k-k(x-h)p(x)dx (1.2) 由式(1.2)可见，m0=1,m1=0,m2=s2。 若mk(k=1,2,L,n)存在，则x的特征函数F(w

5、)可按泰勒级数展开，即 nF(w)=1+k=1mkk!(jw)+O(w)kn (1.3) 并且mk与F(w)的k阶导数之间的关系为 mk=(-j)kdF(w)dwkk=(-j)F(0),w=0kkkn (1.4) (2) 高阶累积量定义 x的第二特征函数Y(w)按泰勒级数展开，有 nY(w)=lnF(w)=k=1ckk!(jw)+O(w)kn (1.5) 并且ck与Y(w)的k阶导数之间的关系为 k1dck=klnF(w)kjdwk1dY(w)=kkjdw=(-j)Y(0),w=0kkkn (1.6) w=0ck称为随机变量x的k阶累积量，实际上由F(0)=1及F(w)的连续性，存在df0，使

6、wpd时，F(w)0，故第二特征函数Y(w)=lnF(w)对wpd有意义且单值，lnF(w)的前n阶导数在w=0处存在，故ck也存在。 (3) 二者关系 下面推导ck与mk之间的关系。形式地在式(2.3)与式(2.5)中令n，并利用 F(w)=1+k=1mkk!(jw)kckk=exp(jw)k=1k!2n =1+k=1ck1ck1ckkkk(jw)+(jw)+L+(jw)+L k!2!k=1k!n!k=1k!(1.7) 比较上式中各(jw)k(k=1,2,L)同幂项系数，得k阶累积量与k阶矩的关系如下： 3 c1=m1=Ex=h c2=m2-m1=Ex-(Ex)33222=E(x-Ex)=m

7、2 223c3=m3-3m1m2+2m1=Ex-3ExE(x)+2(Ex)224=E(x-Ex)=m3 34c4=m4-3m2-4m1m3+12m1m2-6m1E(x-Ex)=m4若Ex=h=0，则 c1=m1=0 c2=m2=Ex2 c3=m3=Ex c4=m4-3m2=Ex-3(Ex)32422由上可见，当随机变量x的均值为零时，其前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。 2. 多个随机变量情形 (1) 高阶矩 给定n维随机变量(x1,x2,L,xn)，其联合特征函数为 F(w1,w2,L,wn)=Eexpj(w1x1+w2x2+L+wnxn) (1.8) 其第二联合

8、特征函数为 Y(w1,w2,L,wn)=lnF(w1,w2,L,wn) (1.9) 可见，联合特征函数F(w1,w2,L,wn)就是随机变量(x1,x2,L,xn)的联合概率密度函数p(x1,x2,L,xn)的n维付里叶变换。 对式(1.8)与(1.9)分别按泰勒级数展开，则阶数r=k1+k2+L+kn的联合矩可用联合特征函数F(w1,w2,L,wn)定义为 mk1k2Lkn=Exxk11k22LxknnrF(w1,w2,L,wn)=(-j)knk1k2wwLw12nr (1.10) w1=w2=L=wn=0(2) 高阶累积量 同样地，阶数r=k1+k2+L+kn的联合累积量可用第二联合特征函

9、数Y(w1,w2,L,wn)r定义为 Y(w1,w2,L,wn)wwk11k22ck1k2Lkn=(-j)Lwknn=(-j)w1=w2=L=wn=0rlnF(w1,w2,L,wn)w11w22Lwnnkkkrw1=w2=L=wn=0 (1.11) 4 (3) 二者关系 联合累积量ckk12Lkn可用联合矩mkk12Lkn的多项式来表示，但其一般表达式相当复杂，这里不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。 设x1,x2,x3和x4均为零均值随机变量，则 c11=cum(x1,x2)=Ex1x2(1.12a) c111=cum(x1,x2,x3)=Ex1x2x3

10、(1.12b) c1111=cum(x1,x2,x3,x4) =Ex1x2x3x4-Ex1x2Ex3x4-Ex1x3Ex2x4-Ex1x4Ex2x3(1.12c) 对于非零均值随机变量，则式(1.12)中用xi-Exi代替xi即可。与单个变量情形类似，前三阶联合累积量与前三阶联合矩相同，而四阶及高于四阶的联合累积量则与相应阶次的联合矩不同。注意，式(1.12)中采用cum()表示联合累积量的方法在以后将时常用到。 3. 平稳随机过程的高阶累积量 设x(n)为零均值k阶平稳随机过程，则该过程的k阶累积量ck,x(m1,m2,L,mk-1)定义为随机变量x(n),x(n+m1),L,x(n+mk-

11、1)的k阶联合累积量，即 ck,x(m1,m2,L,mk-1)=cum(x(n),x(n+m1),L,x(n+mk-1)(1.13) 而该过程的k阶矩mk,x(m1,m2,L,mk-1)则定义为随机变量x(n),x(n+m1),L,x(n+mk-1)的k阶联合矩，即 mk,x(m1,m2,L,mk-1)=mom(x(n),x(n+m1),L,x(n+mk-1)(1.14) 这里，mom()表示联合矩。 由于x(n)是k阶平稳的，故x(n)的k阶累积量和k阶矩仅仅是时延 5 m1,m2,L,mk-1的函数，而与时刻n无关，其二阶、三阶和四阶累积量分别为 c2,x(m)=Ex(n)x(n+m)(1

12、.15a) c3,x(m1,m2)=Ex(n)x(n+m1)x(n+m2)(1.15b) c4,x(m1,m2,L,m3)=Ex(n)x(n+m1)x(n+m2)x(n+m3)-c2,x(m1)c2,x(m2-m3) -c2,x(m2)c2,x(m3-m1)-c2,x(m3)c2,x(m1-m2) (1.15c) 可以看出，x(n)的二阶累积量正好就是其自相关函数，三阶累积量也正好等于其三阶矩，而x(n)的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。 1.3 高阶累积量的性质 高阶累积量具有下列重要特性： (1) 设li(i=1,2,L,k)为常数，xi(

13、i=1,2,L,k)为随机变量，则 k cum(l1x1,L,lkxk)=lcum(xii=11,L,xk)(2) 累积量关于变量对称，即 cum(x1,L,xk)=cum(xi,xi,L,xi) 12k其中(i1,L,ik)为(1,L,k)中的任意一种排列。 (3) 累积量关于变量具有可加性，即 cum(x0+y0,z1,L,zk)=cum(x0,z1,L,zk)+cum(y0,z1,L,zk) (4) 如果a为常数，则 cum(a+z1,z2,L,zk)=cum(z1,z2,L,zk) (5) 如果随机变量xi(i=1,2,L,k)与随机变量yi(i=1,2,L,k)相互独立，则 cum(

14、x1+y1,L,xk+yk)=cum(x1,L,xk)+cum(y1,L,yk) (6) 如果随机变量xi(i=1,2,L,k)中某个子集与补集相互独立，则 6 cum(x1,L,xk)=01.4 高斯过程的高阶累积量 1. 单个高斯随机变量情形 设随机变量x服从高斯分布N(0,s2)，即x的概率密度函数为 p(x)=故有 F(w)=ex的第二特征函数为 12ps-x22e2ssw22222 (1.16) Y(w)=lnF(w)=-sw2利用累积量ck与Y(w)的关系式(1.6)，并比较(1.6)与(1.16)两式，可以得到随机变量x的各阶累积量为 c1=0 ， c2=s2 ， ck=0,由此

15、，我们有下列结论： (1) 高斯随机变量x的一阶累积量c1和二阶累积量c2恰好就是x的均值和方差。 (2) 高斯随机变量x的高阶累积量ck(kf2)等于零。 (3) 由于高斯随机变量x的各阶矩为 13L(k-1)sk, mk=Exk=0，k为偶数kf2k为奇数可见，高阶累积量与高阶矩不一样。由于高斯随机变量x的高阶矩并不比其二阶矩多提供信息，它仍取决于二阶矩的统计知识s2，所以人们宁愿选择高阶累积量这一统计量，直接把多余的信息用零来处理。 2. 高斯随机过程情形 先讨论n维高斯随机矢量x=x1,x2,L,xnT，设其均值矢量为a=a1,a2,L,anT，协方差矩阵为 7 c11c21 c=cn

16、1c12c22Mcn2LLLc1nc2n Mcnn其中 cik=E(xi-ai)(xk-ak)i,k=1,2,Lnn维高斯随机变量x的联合概率密度函数为 p(x)=(2p)x的联合特征函数为 1n/2c1/21T-1exp-(x-a)c(x-a) 2 F()=expjaT-1Tc 2其中，=w1,w2,L,wnT x的第二联合特征函数为 Y()=lnF()=ja-T12nc=jaiwi-i=1T12nnijci=1j=1wiwj 由于阶数r=k1+k2+L+kn的联合累积量ckk ckk=(-j)rk12Lkn可由第二特征函数定义为 Y(w)w11w22Lwnnkkr12Lknw1=w2=L=

17、wn=0于是，n维高斯随机变量(x1,x2,L,xn)的各阶累积量为： r=1，即k1,k2,L,kn中某个值取1(设ki=1)，而其余值为零，于是 c0L1L0=(-j)Y(w)wiw1=w2=L=wn=0=ai=Exi r=2，这有两种情况： 1）ki(i=1,2,L,n)中某两个值取1(设ki=kj=1,ij)，其余值为零，这时 c0L1L1L0=(-j)Y(w)wiwj2=cij=E(xi-ai)(xj-aj)w1=w2=L=wn=0ij 上式利用了关系式cij=cji。 2)ki(i=1,2,L,n中某个值取2，其余值为零，这时 8 c0L2L0=(-j)2Y(w)wi22=cii=

18、E(xi-ai) w1=w2=L=wn=02r3，由于Y()是关于自变量wi(i=1,2,L,n)的二次多项式，因而Y()关于自变量的三阶或三阶以上导数等于零，因而x的三阶或三阶以上联合累积量等于零，即 ckk12Lkn=0,k1+k2+L+kn3 由上一节关于随机过程的累积量的定义可知，对于高斯随机过程x(n)，其阶次大于的k阶累积量ck,x(m1,m2,L,mk-1)也为零，即 ck,x(m1,m2,L,mk-1)=0,k3 (1.17) 由于高斯过程的高阶累积量等于零，而对于非高斯过程，至少存在着某个大于的阶次k，其k阶累积量不等于零。因此，利用高阶累积量可以自动地抑制高斯背景噪声的影响

19、，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非常有用的工具。因此，文中在今后的算法研究中均代用高阶累积量而不采用高阶矩。 1.5 双谱及其性质 1. 高阶谱的定义 设x(n)为零均值平稳随机过程，则其k阶累积量ck,x(m1,m2,L,mk-1)的(k-1)维付里叶变换定义为x(n)的k阶谱(kth-order spectrum)，即 k-1ck,x(m1,m2,L,mk-1)exp-jwimi i=1 (1.18) Sk,x(w1,w2,L,wk-1)=Lm1=-mk-1=-通常，Sk,x(w1,w2

20、,L,wk-1)为复数，其存在的充分必要条件是ck,x(m1,m2,L,mk-1)绝对可和，即 Lm1=-ck,x(m1,m2,L,mk-1)pmk-1=-高阶谱又称作多谱(Polyspectrum)，通常k阶谱对应于(k-1)谱。例如三阶 9 谱对应双谱(Bispectrum)，四阶谱对应于三谱(Trispectrum)，今后我们大多数采用多谱这一概念。 取k=2,3,4时，式(1.18)分别简化为功率谱、双谱和三谱公式，即 k=2，为功率谱 S2,x(w)=(1.19) k=3，为双谱 cm1=-2,x(m)exp-jwm 3,x S3,x(w1,w2)=(1.20) k=4，为三谱 cm

21、1=-m2=-(m1,m2)exp-j(w1m1+w2m2) S4,x(w1,w2,w3)=m1=-m2=-m3=-c4,x(m1,m2,m3)exp-j(w1m1+w2m2+w3m3)(1.21) 容易看出，式(1.19)就是维纳-辛钦定理。可见，功率谱也是高阶谱的一种特殊形式。 2. 双谱的性质 在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息，是高阶谱研究中的“热点”。因此下面着重研究双谱及其性质。 设x(n)为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为 rx(m)=c2,x(m)=Ex(n)x(n+m) (1.22) S(w)=S2,x(w)=而其三阶累积量和

22、双谱分别为 rm=-x(m)exp-jwm c3,x(m1,m2)=Ex(n)x(n+m1)x(n+m2)(1.23) 3,xB(w1,w2)=S3,x(w1,w2)=cm1=-m2=-(m1,m2)exp-j(w1m1+w2m2)(1.24) 由式(1.23)可知，三阶累积量c3,x(m1,m2)具有如下对称性： c3,x(m1,m2)=c3,x(m2,m1)=c3,x(-m2,m1-m2)=c3,x(m2-m1,-m1) 10 =c3,x(m1-m2,-m2)=c3,x(-m1,m2-m1) (1.25) 由式(1.24)双谱的定义及式(1.25)三阶累积量的对称性可知： (1) B(w1

23、,w2)通常是复数，即包含幅度和相位。 B(w1,w2)=B(w1,w2)expjfB(w1,w2) (2) B(w1,w2)是以2p为周期的双周期函数，即 B(w1,w2)=B(w1+2p,w2+2p) (3) B(w1,w2)具有如下对称性 B(w1,w2)=B(w2,w1)=B*(-w2,-w1)=B*(-w1,-w2) =B(-w1-w2,w2)=B(w1,-w1-w2) =B(-w1-w2,w1)=B(w2,-w1-w2) (1.26) 此外，双谱在实际应用中还具有如下重要特性： (1) 高斯过程：如果x(n)为零均值、高斯平稳随机过程，则对于所有m1,m2，都有c3,x(m1,m2

24、)=0，因此B(w1,w2)=0。 (2)非高斯白噪声过程：如果w(n)是具有Ew(n)=0，Ew(n)w(n+m1)w(n+m2)=bd(m1,m2)的非高斯白噪Ew(n)w(n+m)=Qd(m)，声过程，则其功率谱和双谱分别为一直线与一平面，即S(w)=Q，B(w1,w2)=b。 (3) 非高斯白噪声通过线性系统：设线性系统的传递函数为H(z)，系统的2输入为零均值非高斯白噪声w(n)，且Ew(n)=0，Ew2(n)=sw，Ew(n)=g3w，则系统输出y(n)的功率谱与双谱分别为 3S(w)=swH(w)22(1.27) * B(w1,w2)=g3wH(w1)H(w2)H(w1+w2)

25、(1.28) 设 H(w)=H(w)expjj(w) 11 (1.29) (1.30) 则 B(w1,w2)=g3wH(w1)H(w2)H(w1+w2) B(w1,w2)=B(w1,w2)expjjB(w1+w2) (2.31) jB(w1,w2)=j(w1)+j(w2)-j(w1+w2) (2.32) 由上可见，双谱的幅度谱和功率谱均由H(w)决定，因而双谱的幅度谱与功率谱的信息一样多。但功率谱不含相位信息，而双谱则包含相位信息，这就使双谱在信号处理领域得到越来越多的应用，因为有些场合如对图像处理来说，相位信息比幅度信息还重要。 (4) 非最小相位系统的辨识 双谱含有相位信息，因此在非最小相

26、位系统辨识中变得十分有用，现用一个简单的例子加以说明。设输入为非高斯平稳白2噪声过程w(n)，它有Ew(n)=0，Ew2(n)=sw，Ew3(n)=g3w。线性系统为下列三种情形的二阶FIR系统。 1) 最小相位系统 H1(z)=(1-az-1)(1-bz-1),系统输出为 y1(n)=w(n)-(a+b)w(n-1)+abw(n-2) 2) 最大相位系统 H2(z)=(1-az)(1-bz) 系统输出为 y2(n)=w(n)-(a+b)w(n+1)+abw(n+2) 3) 混合相位系统 H3(z)=(1-az)(1-bz-1) 系统输出为 y3(n)=-aw(n+1)+(1+ab)w(n)-

27、bw(n-1) 输出y1(n)，y2(n)及y3(n)具有相同的自相关序列，即 r(m)=Ey1(n)y1(n+m)=Ey2(n)y2(n+m)=Ey3(n)y3(n+m) 12 0pap1,0pbp1 2 r(0)=1+a2b2+(a+b)2sw 2 r(1)=-(a+b)(1+ab)sw r(2)=abs2w r(m)=0,m3 这就意味着它们具有相同的功率谱，因此利用功率谱无法将三个系统区分开来。然而利用双谱则可以区分，因为y1(n)，y2(n)及y3(n)具有不同的三阶累积量，见表1.1。这表明三阶累积量可以用来辨识非最小相位系统，这在地震信号反褶积及数据通信中有重要的应用。 表1.1

28、 具有相同自相关的三个系统的输出的三阶累积量 累积量 最小相位系统 333最大相位系统 混合相位系统 33c(0,0) 1-(a+b)+abg3w c(1,1) 2221-(a+b)+abg3w 23(1-ab)-a-bg3w -a(1+ab)+(1+ab)bg3w 22333(a+b)-(a+b)abg3w -(a+b)+ab(a+b)g3w 22c(2,2) abg3w c(1,0) -(a+b)+ab(a+b)g3w 2abg3w 222-abg3w 222(a+b)-(a+b)abg3w a(1+ab)-(1+ab)bg3w c(2,0) abg3w c(2,1) -(a+b)abg3

29、w abg3w 22-abg3w 2-(a+b)abg3w ab(1+ab)g3w (5) 混合高斯和非高斯系统的辨识 设一过程的功率谱为S(w)，双谱为B(w1,w2)。若与S(w)相匹配的线性系统的传递函数为H(z)，即 S(w)=H(w) (1.33) 2 13 而与B(w1,w2)相匹配的线性系统的传递函数为T(z)，即 B(w1,w2)=T(w1)T(w2)T(w1+w2) (1.34) *当由式(1.33)求得的H(w)与由式(1.34)求得的T(w)不同时，可用来辨识高斯与非高斯分量组合的系统。下面就来研究这个问题。 考虑如图1-1所示的过程zn，它由两个过程组成：一为高斯白噪声

30、e(n)通过AR滤波器的输出x(n)，另一为非高斯白噪声w(n)通过AR滤波器的输出y(n)。设e(n)与w(n)相互独立， e(n) x(n) 1B(z) z(n) 1A(z)w(n) y(n) 图1-1 混合高斯和非高斯系统 2=1，g3w=1。于是z(n)的因此x(n)与y(n)相互独立。为方便起见，设se2=sw双谱是x(n)和y(n)各自双谱的和，因为x(n)是高斯过程，其双谱为零，故z(n)的双谱就是y(n)的双谱。y(n)的双谱可由式(1.34)确定，其中 T(w)=而 p1A(w)A(w)=1+ak=1kexp(-jwk) z(n)的功率谱为x(n)与y(n)各自功率谱的和，它

31、由式(1.33)确定，其中 14 H(w)=而 2A(w)A(w)22+B(w)B(w)22q B(w)=1+bkexp(-jwk) k=1这个例子表明，描述过程双谱的模型不同于描述过程功率谱的模型。双谱的这一特征使双谱在辨识高斯与非高斯分量组合系统时起着关键作用，这也是我们利用双谱及多谱进行随机信号建模以及有色噪声中谐波恢复的理论依据。 双谱还具有其它一些性质，如可用来检测二次相位耦合，辨识系统的非线性等，这里就不再详述。 1.6 系统中的高阶累积量 对于单输入单输出线性时不变系统，输入与输出的高阶累积量及多谱之间的关系如下。 定理1 设线性时不变系统的单位脉冲响应为h(n)，传递函数为H(

32、w)=H(z)z=ejw=h(n)en=0-jwn，系统是稳定的，即单位脉冲响应绝对可和n=0h(n)p，输入过程x(n)的k阶累积量ck,x(m1,m2,L,mk-1)存在且满足平稳和绝对可和的条件，则 (1) 输出过程 y(n)=h(i)x(n-i) i=0的k阶累积量ck,y(m1,m2,L,mk-1)存在，且为 ck,y(m1,m2,L,mk-1)=ck,h(m1,m2,L,mk-1)*ck,x(m1,m2,L,mk-1)(1.35) 其中 ck,h(m1,m2,L,mk-1)=(1.36) (2) y(n)的多谱为 h(n)h(n+mn=01)Lh(n+mk-1) 15 Sk,y(w1,w2,L,wk-1)=H(w1)LH(wk-1)H(-w1-L-wk-1)Sk,x(w1,w2,L,wk-1) (1.37) 特殊地，若x(n)为独立地服从同一分布的(i.i.d.)非高斯白噪声，即ck,x(m1,m2,L,mk-1)=gk,xd(m1,m2,L,mk-1)，则 ck,y(m1,m2,L,mk-1)=gk,xh(n)h(n+m1)Lh(n+mk-1) n=0(1.38) Sk,y(w1,w2,L,wk-1)=gk,xH(w1)LH(wk-1)H(-w1)-L-wk-1) (1.39) 公式(1.38)和(1.39)是我们文中进行非最小相位随机信号建模的基础。 16