现代信号与信息处理理论.ppt
2023/8/20,1,现代信号与信息处理方法,2023/8/20,2,课程内容,随机信号特性与分析理论信号检测与估计理论高阶谱理论周期谱理论,2023/8/20,3,参考文献,Steven M.Kay 著，罗鹏飞译，统计信号处理基础:估计与检测理论，电子工业出版社，2003高阶统计量及其谱分析，张贤达，清华大学出版社，2005现代信号处理，张贤达，清华大学出版社，2002,2023/8/20,4,课程内容,随机信号特性与分析理论随机变量，随机信号概念、特性和数学特征函数等随机信号的变换的概念，变换后的特性等窄带随机信号的特性，分量表征，各分量的特性等常见的随机过程,2023/8/20,5,课程内容,信号检测与估计理论信号检测理论参数估计理论高阶谱理论高阶谱特性和估计高阶谱应用周期谱理论周期平稳信号特性周期平稳特性的应用,2023/8/20,6,目标：提取有用的信息方法：滤波、检测、估计理论基础：滤波、检测、估计的统计信号处理理论应用领域：雷达，通信，自动控制，语音，视频，生物医学等,统计信号处理概述,2023/8/20,7,滤波：信号的最佳接收检测：信号有无，或者是哪一个信号估计：信号参数估计,2023/8/20,8,2023/8/20,9,数字源,调制器,信道,解调器,检测器,0或1,2023/8/20,10,共性：噪声中提取所需要的信息统计的方法,2023/8/20,11,估计理论,本章学习内容参数估计的基本概念最大似然估计贝叶斯估计估计的性能线性最小均方估计最小二乘估计,2023/8/20,12,估计理论,物理角度：从含有噪声的数据中估计信号参数数学角度：给定一组观测数据去求未知参量,2023/8/20,13,估计理论,一、参数估计的基本概念,例：测量电阻两端的电压 z1=+v1,如果你有N个观测数据，,zi=+vi i=1,2,.,N,电压值是所有观测数据的平均值,是对电压值的两个估计，这两个估计的性能谁好呢？这需要用一些性能指标来评价,2023/8/20,14,估计理论,评价估计量好坏的性能指标无偏性有效性,为确定性参量为随机参量,方差尽可能小,2023/8/20,15,估计理论,评价估计量好坏的性能指标,2023/8/20,16,估计理论,评价估计量好坏的性能指标无偏性有效性无偏性和有效性一致性：随着观测数据增加，估计依概率收敛于真值克拉美-罗界,为确定性参量（非随机参量）为随机参量,方差尽可能小,均方误差尽可能小,2023/8/20,17,估计理论,二、常用的估计准则,最大后验概率准则 使后验概率密度最大最小均方误差准则 均方误差最小条件中位数估计 条件概率密度的中位数线性最小均方误差准则 线性类估计中均方误差最小最大似然准则 似然函数最大最小二乘准则 测量误差平方和最小求函数的极值问题,2023/8/20,18,估计理论,三、贝叶斯估计,估计是有误差的，这个误差是要付出代价的，贝叶斯估计就是使平均代价最小的估计。,贝叶斯估计的基本思想,估计的误差为,与误差有关的代价函数为,2023/8/20,19,估计理论,常见的代价函数,平方代价函数可得到最小均方估计,绝对值代价函数可得到条件中位数估计,均匀代价函数可得到最大后验概率估计,平均代价为,2023/8/20,20,估计理论,贝叶斯估计就是使平均代价最小的估计,或等价于,不同的代价函数得到不同的估计,其中令,2023/8/20,21,估计理论,1 最小均方估计,采用平方代价函数,平均代价均方误差使平均代价最小等价于使均方误差最小-最小均方估计,2023/8/20,22,估计理论,最小均方估计是被估计量的条件均值,2023/8/20,23,估计理论,2 条件中位数估计,采用绝对值代价函数,上式对估计求导，并令导数等于零，得,求解较复杂，应用不广泛,2023/8/20,24,估计理论,3 最大后验概率估计,采用均匀代价函数,最大后验方程,2023/8/20,25,估计理论,例,设z=A+vAU(-A0,A0)噪声为高斯的,2023/8/20,26,估计理论,2023/8/20,27,估计理论,2023/8/20,28,估计理论,2023/8/20,29,估计理论,4 最大似然概率估计,lnf(z|)-对数似然函数,最大似然方程,例：z=+v,为待估计量，v为零均值高斯白噪声，方差为2,2023/8/20,30,估计理论,举例：高斯白噪声中的DC电平估计,vi 是独立同分布的高斯随机变量，均值为零，方差为 v2,2023/8/20,31,估计理论,2023/8/20,32,估计理论,2023/8/20,33,估计理论,例:设有N次独立观测zi=vi，i=1,2,.N，其中vN(0,2)，求噪声方差2的最大似然估计。,2023/8/20,34,估计理论,例:设有N次独立观测zi=A+vi，i=1,2,.N，其中viN(0,2)，2为未知参数，求2的最大似然估计。,2023/8/20,35,估计理论,例:设有N次独立观测zi=A+vi，i=1,2,.N，其中viN(0,2)，2、A均为未知参数，求A和2的最大似然估计。,2023/8/20,36,估计理论,四、克拉美-罗界CRLB,Cramer-Rao Low Bound 无偏估计量的估计方差的最小值,估计性能：无偏性、有效性估计性能是否最好？克拉美罗界：无偏估计估计方差最小值,2023/8/20,37,估计理论,(1)非随机参数估计的CRLB,任何无偏估计量的方差满足,等号成立的条件：,2023/8/20,38,估计理论,考察最大似然估计：,最大似然估计的估计方差达到CRLB,而：,2023/8/20,39,估计理论,举例：高斯白噪声中未知常数的估计,2023/8/20,40,估计理论,无偏估计,满足等号成立的条件,2023/8/20,41,估计理论,(2)随机参数估计的CRLB,任何无偏估计量的方差满足,等号成立的条件：,2023/8/20,42,估计理论,考察最大后验估计：,最大后验估计的估计方差达到CRLB,而：,2023/8/20,43,估计理论,举例：高斯白噪声中的DC电平估计,vi 是独立同分布的高斯随机变量，均值为零，方差为 v2,满足等号成立的条件,2023/8/20,44,估计理论,无偏估计,2023/8/20,45,估计理论,5 线性最小均方估计标量情况,正交条件,线性最小均方估计是无偏估计,2023/8/20,46,估计理论,例:设观测模型为zi=s+vi，i=1,2,.，其中随机参量s以等概率取-2,-1,0,1,2诸值，噪声干扰vi以等概率取-1,0,1诸值，且Esvi=0，试根据一次、二次、三次观测数据求参量s的线性最小均方估计。,2023/8/20,47,估计理论,单次观测,2023/8/20,48,估计理论,二次观测,三次观测,2023/8/20,49,估计理论,5 线性最小均方估计矢量情况,2023/8/20,50,估计理论,例:高斯白噪声中具有均匀概率密度的恒定电平估计。设观测模型为zi=A+vi，i=1,2,.,N其中A是在(-A0,A0)上均匀分布的随机变量，vi是零均值、方差为2的高斯白噪声序列，且A与vi相互独立，求A的线性最小均方估计.,2023/8/20,51,估计理论,2023/8/20,52,估计理论,6 最小二乘估计,最小二乘估计是无偏估计,2023/8/20,53,估计理论,小结：,性能衡量：无偏性、有效性、CRLB,1 最小均方估计,2 条件中位数估计,3 最大后验概率估计,4 最大似然概率估计,5 线性最小均方估计,6 最小二乘估计,2023/8/20,54,估计理论,7 波形估计,一、一般概念,波形估计有三种类型：,(1)滤波：根据当前和过去的观测值 z(k),k=n0,n0+1,.,n对信号s(n)进行估计,(2)预测:根据当前和过去的观测值z(k),k=n0,n0+1,.,nf 对未来时刻n(nnf)的信号s(n)进行估计，预测也称为外推。,(3)内插:根据某一区间的观测数据z(k),k=n0,n0+1,.,nf对区间内的某一个时刻n(n0nnf)的信号进行估计，内插也称为平滑。,2023/8/20,55,估计理论,二、滤波：根据当前和过去的观测值 z(k),k=n0,n0+1,.,n对信号s(n)进行估计,Wiener-holf方程,2023/8/20,56,估计理论,三、维纳滤波,假定信号和观测过程是平稳随机序列；假定系统为因果的线性时不变系统，n0=-，即观测数据为z(k),-kn，,当观测为白噪声的时候，,2023/8/20,57,估计理论,当观测为非白噪声的时候，,2023/8/20,58,估计理论,例设观测过程为z(n)=s(n)+v(n)，其中假定观测噪声v(n)为零均值白噪声，方差为1，s(n)是具有有理谱的平稳随机序列，功率谱密度为,可从相关函数的FT得到。将Ez(n)s(n)=Es(n)s(n)+v(n)s(n),2023/8/20,59,估计理论,2023/8/20,60,估计理论,参数估计的基本概念和估计性能贝叶斯估计最大后验概率估计最大似然概率估计线性最小均方估计最小二乘估计波形估计维纳滤波,2023/8/20,61,检测理论,本章学习内容 假设检验的基本概念 基本判决准则 多元假设检验 复合假设检验,2023/8/20,62,检测理论,一、假设检验的基本概念,假设检验：对几种可能的假设作出判决 假设：可能判决结果的陈述；例：雷达目标检测：H1:“Target present”H0:“Target not present”“Target present”，“Target not present”是二种可能判决结果的陈述，是两种可供我们选择的两种假设。,假设检验是数理统计中的一个非常重要的概念，信号检测理论和估计理论是在假设检验的基础上发展起来的。,2023/8/20,63,检测理论,H1和H0是互不相容的，这是最简单的二元假设问题，对两种假设进行判决称为二元假设检验问题,更一般的问题是有M个假设，称为M元假设问题，对M个假设进行判决称为M元假设检验问题。,对应于每种假设，我们都可以得到一个观测，观测是一个随机变量，所有观测值构成的空间称为观测空间。,2023/8/20,64,检测理论,所有观测值构成的空间称为观测空间,假设检验的实质是对观测空间进行划分，将观测空间划分成两部分,Z0称为H0的判决域Z1称为H1的判决域,2023/8/20,65,检测理论,信源,信道,接收判决,S1,S2,Sn,Si+v,Sj,信号检测：根据观测数据和判决准则对各种假设进行统计检验，判决哪个假设成立,2023/8/20,66,检测理论,二、基本的判决准则（二元假设检验）,贝叶斯准则最大后验概率准则最大似然概率准则最小错误概率准则极大极小准则奈曼皮尔逊准则,2023/8/20,67,检测理论,二元假设检验有四种可能的判决结果，每种判决都要付出代价，但一般是不一样为了反映这种差别，对每种可能的判决定义一个代价因子 从而得到总的代价：,2023/8/20,68,检测理论,1、贝叶斯准则,应判H0成立，否则应判H1成立。,2023/8/20,69,检测理论,讨论：,1、贝叶斯检验最后归结于似然比检验,2、当C10-C00=C01-C11时，这时贝叶斯检验等价于最大后验概率检验。,2023/8/20,70,检测理论,3、当C10=C01=1，C00=C11=0，这时总的平均代价等于总的错误概率，即,此时贝叶斯准则等价于最小错误概率准则，又因为C10-C00=C01-C11，所以也等价于最大后验概率准则,2023/8/20,71,检测理论,检测器的性能可以通过计算判决可能产生的错误概率来评估。,第一类错误概率(First-kind error Probability)虚警概率,第二类错误概率Second-kind error Probability漏警概率,判决的平均错误概率为,2023/8/20,72,检测理论,例：高斯白噪声中直流电平的检测问题 H1:zi=A+vi i=1,2,N H0:zi=vi i=1,2,Nvi是均值为零，方差为2的高斯白噪声序列，A0,求判决表达式,并确定判决的性能。,解：首先计算似然比，,2023/8/20,73,检测理论,2023/8/20,74,检测理论,判决性能：,虚警概率,2023/8/20,75,检测理论,虚警概率,如果P(H0)=P(H1),并采用最小错误概率准则,则0=1,2023/8/20,76,2、极大极小准则先验概率未知时,p1,p1real,P1,p1,2023/8/20,77,检测理论,p1,p1*,p1real,当C00=C11=0,C01=C10=1时，,2023/8/20,78,检测理论,例：高斯白噪声中直流电平的检测问题 H1:zi=A+vi i=1,2,N H0:zi=vi i=1,2,NVi是均值为零，方差为2=1的高斯白噪声序列，A10,求判决表达式,并确定判决的性能。假设先验概率未知,并令N1，C00=C11=0,C01=2,C10=1,2023/8/20,79,检测理论,该曲线在p1=0或1时,最小平均代价都等于零,在p1=0.4时达到最大值,所以最不利的先验概率为p1=0.4,p0=0.6,对应的判决门限为,2023/8/20,80,3、奈曼-皮尔逊准则先验概率和实际代价函数未知时,虚警概率恒定，漏警概率最小,满足被积函数小于零的z应该归到Z0区域，其他归到Z1区域,目标函数,检测理论,2023/8/20,81,所以，判决表达式为,门限由给定的虚警概率确定,奈曼-皮尔逊的判决形式仍然是似然比检验的形式。,检测理论,2023/8/20,82,检测理论,例：高斯白噪声中直流电平的检测问题 H1:zi=A+vi i=1,2,N H0:zi=vi i=1,2,NVi是均值为零，方差为2=1的高斯白噪声序列，A10,求奈曼-皮尔逊准则判决表达式,并确定判决的性能。N1,要求虚警概率为0.1,2023/8/20,83,检测理论,由此可解得=1.29，对应的检测概率为,检测概率偏低，解决的办法是增加观测次数。,2023/8/20,84,检测理论,2023/8/20,85,检测理论,三、多元假设检验,令,如果使Ci(z)最小的z归入到Zi中，即判Hi成立，则平均代价达到最小。,2023/8/20,86,检测理论,如果,MAP准则,如果P(H0)=P(H1)=,ML准则,2023/8/20,87,检测理论,四、复合假设检验,前面讨论的假设检验，表征假设的参数是已知的。称为简单假设检验，如果表征假设的参数是随机的情况,贝叶斯方法,2023/8/20,88,检测理论,本章小结 假设检验的基本概念 基本判决准则 多元假设检验 复合假设检验,2023/8/20,89,高阶谱理论,本章学习内容概述高阶谱定义高阶谱的性质高阶谱估计方法高阶谱应用,2023/8/20,90,高阶谱理论,概 述,数字信号处理的目的：通过对有限长数据的处理，提取其中的有用信息，并进一步的利用。,随机信号研究,2023/8/20,91,高阶谱理论,概 述,功率谱估计存在的问题：认为各谐波分量互不相关造成：可能丢失有用信息只能完整描述已知均值的高斯过程造成：非高斯不适用功率谱只能提供信号的幅度特征造成：应用范围受限制,引入随机过程的新的数字特征：高阶统计量，大于二阶的统计量,高阶累积量,高阶谱（多谱）,高阶矩谱,高阶矩,2023/8/20,92,高阶谱理论,概 述,高阶统计量的性质：高斯过程的高阶累积量（k=3）全为零。非高斯过程的高阶累积量（k=3）不全为零。高阶谱不但含有信号的幅度信息，而且含有相位信息。高阶统计量的作用应用：可用于提取高斯背景噪声中的非高斯信号，抑制高斯噪声可用于非最小相位系统辨识可用于检测和描述系统的非线性高阶统计量的研究方向：高阶统计量的特性和估计高阶统计量的应用,2023/8/20,93,高阶谱理论,高阶累积量和高阶矩的定义和关系,2023/8/20,94,高阶谱理论,高阶累积量和高阶矩的定义和关系,2023/8/20,95,高阶谱理论,随机信号的高阶矩和累积量的定义和关系,n阶矩表示为：,2023/8/20,96,高阶谱理论,随机信号的高阶矩和累积量的定义和关系,累积量和矩的关系为,2023/8/20,97,高阶谱理论,高阶谱的定义,2023/8/20,98,高阶谱理论,高阶谱的定义,2023/8/20,99,高阶谱理论,线性非高斯过程的高阶谱,2023/8/20,100,高阶谱理论,线性非高斯过程的高阶谱,2023/8/20,101,高阶谱理论,非线性过程的高阶谱,相位耦合问题,这两个信号的自相关序列为,这两个信号的三阶累积量,2023/8/20,102,高阶谱理论,高阶谱的估计方法,2023/8/20,103,高阶谱理论,Brillinger-Rosenblatt估计子,2023/8/20,104,高阶谱理论,Brillinger-Rosenblatt估计子另一种形式,2023/8/20,105,高阶谱理论,高阶统计量的应用,提取高斯背景噪声中的非高斯信号，抑制高斯噪声非最小相位系统辨识检测和描述系统的非线性特性,2023/8/20,106,周期谱理论,周期平稳信号的定义,平稳信号：非平稳信号:周期平稳信号:,2023/8/20,107,周期谱理论,周期平稳信号的重要参数和函数,两个重要的函数：周期自相关函数:周期谱:两个重要参数:循环周期:循环频率:,2023/8/20,108,周期谱理论,周期自相关函数和周期谱示意图,谱冗余，谱相关,2023/8/20,109,周期谱理论,周期平稳特性在通信中的应用,平稳噪声抑制 调制方式识别波特率估计来波方向估计信道估计系统同步参数估计,2023/8/20,110,周期谱理论,周期平稳特性在系统识别中的应用,2023/8/20,111,总结,随机信号特性与分析理论信号检测与估计理论高阶谱理论周期谱理论,2023/8/20,112,作业,文献综述：任选“信号估计与检测”或“高阶谱理论”或“周期谱理论”之一，撰写专题报告：基于选定的方向，在某个信号处理领域（自选，如最佳接收，滤波，信号检测，系统识别或其它感兴趣）的应用研究,
