信号检测与估计理论第二章基础知识.ppt

信号检测与估计理论,第二章 信号检测与估计理论的基础知识,引言,待处理信号目标：建立信号模型；进行统计描述；研究统计平均量之间的关系；统计特性的应用。,随机变量及其统计描述,随机变量的基本概念,是定义在概率空间 上的单值实函数，若对任一实数 x，有称 为随机变量。,概率,事件域,样本空间或集合,例如：用五色球抽奖，=红，蓝，黄，绿，白，球的数量百分比分别为0.1%,0.5%,2%,10%,87.4%，对应的中奖额分别是1000,500,100,50,10元，则中奖额 是一个随机变量。,随机变量及其统计描述,概率、随机变量与随机过程（第4版），【美】A.帕普里斯 S.U.佩莱 著；保铮等译P55：随机变量是赋予实验的每一个结果 的一个数，记为。在掷骰子实验中，赋予每个结果 一个数量，有(b)相同的实验中，把数1赋予每一个偶数结果，数0赋予么一个奇数结果，有【定义】一个随机变量是定义在实验结果所构成的集合S上的一个函数。随机变量x是对每个结果 给定一个数 的过程。产生的函数必须满足下面两个条件：.对每个x，集合x x是一个事件；.事件 x=和事件 x=-的概率等于零。即 P x=0 Px=-=0,随机变量及其统计描述,概率密度函数（Probability Density Function,PDF）,事件 的概率 取决于 x 的值。,一维累积分布函数（Cumulative Distribution Function,CDF）,随机变量、随机矢量及其统计描述,随机变量的概率密度函数,随机变量、随机矢量及其统计描述,随机变量的统计平均量,1.随机变量的均值,表征方法：随机变量的数字特征 或称 矩理论意义：概率密度函数实际操作：通过对有限观测数据的估计获得,随机变量及其统计描述,随机变量的统计平均量,2.随机变量的矩,m阶原点矩：,m阶中心矩：,以上数字特征都是随机变量函数的数学期望；m阶原点矩和m阶中心距可以互相唯一表示。,随机变量及其统计描述,随机变量的统计平均量,2.随机变量的矩,随机变量及其统计描述,切比雪夫不等式,得,随机变量及其统计描述,随机变量的统计平均量,2.随机变量的矩,随机变量、随机矢量及其统计描述,随机变量的统计平均量,3.随机变量的中值,4.随机变量的众数,将随机变量 的概率密度函数 一分为二，各占50%面积的分界点，称为随机变量 的中值，又称中位数，记。,随机变量 的概率密度函数 的峰值对应的 x 值，称为随机变量 的众数，记为。,随机变量、随机矢量及其统计描述,随机变量的统计平均量,一阶原点矩随机变量取值的中心点,二阶中心矩随机变量取值对于均值的分散程度,三阶中心矩衡量随机的分布是否有偏,四阶中心矩随机变量的分布在均值附近的陡峭程度,在实际应用中，高于4阶的矩很少使用。二阶中心距（方差）的值越大，表示随机变量取值分散程度大，一阶原点矩（均值）的代表性差;方差的值越小,则表示随机变量的取值比较集中,以均值作为随机变量取值的代表性好。,随机变量、随机矢量及其统计描述,常用的随机变量举例：,均匀分布随机变量,均匀分布随机变量的PDF曲线,随机变量及其统计描述,2.高斯分布随机变量,标准高斯分布随机变量的PDF曲线,高斯分布随机变量的PDF曲线（）,对于标准正态分布：,随机变量及其统计描述,2.高斯分布随机变量,对于标准正态分布：,累计分布函数,右尾概率,实用的近似公式：,对数纵轴,考察某个随机变量的右尾概率可以判断该变量是否近似服从高斯分布。,随机变量、随机矢量及其统计描述,3.三角对称分布随机变量,三角对称分布随机变量的PDF曲线,三角对称分布随机变量的PDF曲线(0ba),随机变量、随机矢量及其统计描述,4.Chi-Square(Central),若，则 独立同分布。,随机变量、随机矢量及其统计描述,4.Chi-Square(Central),适合性检验：检验观测数与依照某种假设或分布模型计算得到的理论数据之间一致性，以便判断该假设或模型是否与实际观测数相吻合。,独立性检验：通过观测数与理论数之间的一致性判断事件之间的独立性，即判断两个事件是否是独立事件或处理间差异是否显著。,随机变量、随机矢量及其统计描述,关于单边、双边指数分布随机变量（指数分布的无记忆性）,单边指数分布随机变量的PDF曲线（0）,双边指数分布随机变量的PDF曲线（0）,随机变量、随机矢量及其统计描述,指数分布的无记忆性,对连续非负随机变量x，若对任意t，满足该随机变量服从指数分布。,泊松事件流的等待时间（相继两次出现之间的间隔）；非老化性元件的寿命（元件不老化，仅由于突然故障而毁坏）；近似地作为高可靠性的复杂部件、机器或系统的失效分布模型。,随机变量、随机矢量及其统计描述,5.Chi-Square(Noncentral),应用：可参考卡方检验相关文献,随机变量、随机矢量及其统计描述,6.F（Central）,非中心化 F PDF由非中心卡方分布随机变量与一个中心化卡方分布随机变量比值得到。,若,其中，,有,F 分布用于似然比检验，可用于检验总体方差是否相等。,随机变量、随机矢量及其统计描述,7.瑞利（Rayleigh）分布随机变量,瑞利分布随机变量的PDF曲线（2=1）,随机变量 的均值和方差：,窄带高斯过程的包络分布属于瑞利分布。,应用：测量；通信领域。,随机变量、随机矢量及其统计描述,7.瑞利（Rayleigh）分布随机变量,当一个随机二维向量的两个分量呈独立的、有着相同的方差的正态分布时，这个向量的模呈瑞利分布。,瑞利分布是最常见的用于描述平坦衰落信号接收包络或独立多径分量接受包络统计时变特性的一种分布类型。两个正交高斯噪声信号之和的包络服从瑞利分布。,例如：射击弹落点坐标 是一个相互独立的二维随机变量。其中：与 均服从正态分布，与 相互独立。的概率密度函数为,随机变量及其统计描述,8.广义瑞利（Rayleigh）分布随机变量,广义瑞利分布随机变量的PDF曲线（2=1）,关于蒙特卡洛性能评估,Steven M.Kay 译著 P482,若不能通过解析的方法或闭合形式确定随机变量超过某一给定值的概率时，须借助蒙特卡洛计算机模拟。若希望计算一个随机变量或统计量T超过某个门限的概率，例如,观察到数据集，其中且 独立同分布，计算本例中，容易证明：若假定不能使用解析或数值计算方法，可以用计算机模拟来确定,关于蒙特卡洛性能评估,Steven M.Kay 译著 P482,数据产生产生N个独立的 随机变量；对随机变量的实现，计算 重复过程M次，得到,概率计算对 超过 的次数计数，称为；用 来估计概率。,关于蒙特卡洛性能评估,Steven M.Kay 译著 P482,M=10000,M=1000,M=100,随机矢量及其统计描述,1.随机矢量的概念,设 是一概率空间，是分别定义在该概率空间上的N个随机变量，则由N个随机变量构成的矢量称为N维随机矢量。,随机矢量及其统计描述,2.随机矢量的概率密度函数,F(x)称为随机矢量 的N维累积分布函数；p(x)称为随机矢量 的N维联合概率密度函数。,随机矢量及其统计描述,3.随机矢量和协方差矩阵,如果 与 互不相关，则协方差 为对角阵。,随机矢量及其统计描述,4.统计独立性和独立同分布,随机矢量如果对于任意的 和所有的其N维联合概率密度函数 都能表示为则称随机变量 之间是相互统计独立的。若随机变量 对于全部的N都有相同的一维概率密度函数，则称 是具有独立同分布的N维随机矢量。,随机矢量及其统计描述,5.联合高斯随机矢量,N维联合高斯随机矢量 的每个分量 都服从一维高斯分布；(2)联合高斯随机矢量 的线性变换仍然是联合高斯随机矢量。,随机变量的函数,已知变换前随机变量的概率密度函数，需要确定变换后的随机变量的概率密度函数，称为雅克比变换。,Jacobian Transformation,1.一维随机变量的情况,若反函数存在，且连续可导，则 的概率密度函数为其中，,随机变量的函数,2.N维随机矢量的变换,随机变量的特征函数,1.随机变量特征函数的定义,的 和 构成一对傅里叶变换对。,复值随机变量 的均值 称为 的特征函数。,随机变量的特征函数,2.特征函数的主要性质,(1)特征函数存在的必然性,随机变量的特征函数,(2)随机变量线性变换的特征函数,(3)相互统计独立随机变量之和的特征函数,随机变量的特征函数,(3)相互统计独立随机变量之和的特征函数,随机变量的特征函数,3.N个相互统计独立高斯随机变量之和的概率密度函数,设随机变量 是均值为，方差为 的相互统计独立的高斯随机变量，其特征函数为,若,有,结论：仍然是高斯分布，有，。,随机变量的特征函数,3.N个相互统计独立高斯随机变量之和的概率密度函数,设随机变量 是独立同分布的高斯随机变量，有，方差为。则,令,有,结论：是，的高斯随机变量。,随机变量的特征函数,4.随机变量的特征函数与原点矩之间的关系,随机变量的特征函数,4.随机变量的特征函数与原点矩之间的关系,随机矢量的联合特征函数,4.随机变量的特征函数与原点矩之间的关系,随机矢量 的N维联合概率密度函数为则N维联合特征函数定义为,若 是相互独立的随机变量，有,随机过程概念和定义,1.随机过程的基本概念,所研究对象具有随时间演变的随机现象，对其变化过程独立地重复进行多次观测，所得到的结果是时间 t 的函数，每次观测之前不能预知所得结果，这样的过程是一个随机过程。举例：心电图；噪声测定；育苗实验等等。,随机过程的概念和定义,随机过程的统计描述,图2.10连续随机过程 的M个样本函数图形,随机过程的统计描述,随机过程的二维及N维累积分布函数和联合概率密度函数,随机过程的统计平均量,1.随机过程的均值,2.随机过程的均方值,3.随机过程的方差,随机过程的统计平均量,4.随机过程的自相关函数,5.随机过程的自协方差函数,随机过程的统计平均量,6.随机过程的互相关函数,7.随机过程的互协方差函数,随机过程的平稳性,1.随机过程的平稳性分类,严格平稳的随机过程 随机过程x(t)经过时间平移t后，其统计特性保持不变。广义平稳的随机过程 若随机过程x(t)的平均统计量满足一定条件，称为广义平稳随机过程。(1)均值与时间无关；(2)自相关函数只取决于时间间隔.非平稳的随机过程 既不满足严格平稳随机过程，也不满足广义平稳条件的随机过程。,随机过程的平稳性,严格平稳随机过程,严格随机过程x(t)的一维概率密度函数与时间t无关。,严格随机过程x(t)的二维联合概率密度函数仅与时间间隔t有关。,随机过程的平稳性,若随机过程x(t)的统计平均量满足下述条件，为广义平稳随机过程,（1）x(t)的均值是与时间t无关的常数,（2）x(t)的自相关函数只取决于时间间隔，与起始时间无关,2.严格平稳与广义平稳随机过程的关系,如果严格平稳的随机过程是二阶矩过程，必定是广义平稳随机过程；广义平稳的随机过程不一定是严格平稳的，除非该过程是高斯分布的。,随机过程的平稳性,3.平稳随机过程的统计平均量,随机过程的平稳性,4.联合平稳随机过程及其统计特性,两个平稳的随机过程的互相关函数仅与时间间隔有关，与时刻无关，则这两个随机过程是联合平稳的随机过程。,随机过程的遍历性,1.时间平均量,具有遍历性的随机过程：可以从随机过程全体可能样本函数的集合中，取一个具有代表性的样本函数来获得该过程的全部统计特性。,随机过程的遍历性,2.各态遍历的随机过程,各态历经随机过程 x(t)的任何统计平均量都能够以概率1由该过程的 某个单独样本函数的时间平均求得；(2)各态历经随机过程 x(t)的任一单独样本函数在足够长的时间内，先后 经历了该随机过程的各种可能状态。,均值具有遍历性：,自相关函数具有遍历性：,随机过程的遍历性,3.随机过程的平稳性与遍历性的关系,若随机过程 x(t)具有均值和自相关函数的遍历性，为常数，与时间间隔 有关，遍历过程一定是平稳过程；理论角度：并非所有的平稳过程都是遍历的，实际：几乎所有的平稳过程都是各态历经的。可以把平稳随机过程 x(t)的一个样本函数在 时刻的采样作为 随机变量 x()来处理。,随机过程的正交性、不相关性和统计独立性,1.定义,若 x(t)是相互正交的随机变量过程。若 x(t)是互不相关的随机变量过程。等价条件：,若x(t)是平稳随机过程,随机过程的正交性、不相关性和统计独立性,1.定义,设 是随机过程 在不同时刻 的随机变量，若其N维联合概率密度函数对于任意 和所有时刻 都能表示为：则称 是相互统计独立的随机变量过程。,随机过程的正交性、不相关性和统计独立性,2.关系,若，相互正交随机变量过程等价为互不相关随机变量过程。(2)若 是一个相互统计独立随机变量过程，则一定是一个 互不相关随机变量过程。(3)若 是一个互不相关随机变量过程，不一定是相互统计 独立随机变量过程，除非服从联合高斯分布。,随机过程的正交性、不相关性和统计独立性,两个随机过程 和 之间的关系,相互正交(2)互不相关 或(3)联合平稳随机过程，相互正交 互不相关 或(4)相互统计独立,平稳随机过程的功率谱密度,1.功率谱密度,平稳随机过程的功率谱密度,2.功率谱密度的主要性质,平稳随机过程 的功率谱密度 表示该过程的平均功率在频域上的分布，与时域自相关函数 是傅里叶对关系。,平稳随机过程的功率谱密度,3.联合平稳随机过程的互功率谱密度,线性系统对随机过程的响应,图2.11 线性时不变系统,典型自衡系统脉冲响应曲线,响应的平稳性,对于线性时不变系统，输入是一个平稳随机过程，则响应也是一个平稳随机过程。,响应的统计平均量,响应与输入的功率谱密度的关系：,响应的统计平均量,高斯噪声、白噪声和有色噪声,高斯噪声,1.中心极限定理,一般条件下，N 个相互统计独立的随机变量 之和，在 的极限情况下，其概率密度函数趋于高斯分布，不论每个变量 的具体分布。,高斯噪声、白噪声和有色噪声,2.高斯噪声的统计描述,3.不相关性与统计独立性,N 个高斯随机变量 之间是互不相关的，则它们也是相互统计独立的。,高斯噪声、白噪声和有色噪声,白噪声和高斯白噪声,白噪声：功率谱密度均匀分布在整个频率轴上。,白噪声也可定义为：均值为0，自相关函数 为 函数的噪声随机过程，其任意两个不同时刻的随机变量互不相关。,高斯白噪声：概率密度函数是高斯分布，频域的功率谱密度是均匀分布，其任意两个或以上不同时刻的随机变量互不相关，且相互统计独立。,高斯噪声、白噪声和有色噪声,有色噪声,有色噪声：噪声过程 n(t)的功率谱密度在频域上的分布不均匀。一般采用高斯功率谱密度的模型。,信号和随机参量信号及其统计描述,信号的分类,确知信号(1)常数，如A;(2)正弦、余弦信号，其中振幅、频率和相位确知或是时间的确定函数。,2.参量信号(1)未知或随机参量，如m;(2)随机相位、随机振幅或随机频率信号。,其中振幅、频率 或相位 是随机参量。,随机参量信号的统计描述,随机相位信号,随机振幅信号,图2.12 随机相位分布数学模型 曲线,窄带信号分析,电子信息系统中，一般信号,其中，为载波频率，和 是携带信息的参量。,若信号 的带宽，则信号为窄带信号。,图 2.13正交相位检波器,窄带信号分析,窄带噪声的描述,若噪声过程 n(t)的功率谱密度 仅在频域 附近一个很窄的频率范围内存在，而频率 f 相当高，通常这种高频限带噪声称为窄带噪声。,窄带高斯噪声的统计特性,若噪声过程 n(t)是零均值的平稳高斯噪声，则两个正交分量 和 分别也是零均值的高斯噪声，且统计独立。,窄带高斯噪声的统计特性,窄带高斯噪声过程 n(t)的包络和相位是相互统计独立的随机参量。,窄带高斯噪声的统计特性,图2.14窄带高斯噪声包络的PDF曲线（）,信号加窄带噪声的描述,信号+窄带噪声的描述,目的：从噪声、杂波干扰背景中提取信号，以及估计信号的参量及波形。,信号加窄带噪声的描述,信号+窄带噪声的描述,若信号 的振幅 和频率 已知，有,信号加窄带高斯噪声的统计特性,求 和 的联合概率密度函数；(2)雅克比变换；(3)求边缘概率密度。获得信号+窄带高斯噪声的包络和相位的概率密度函数。,信号加窄带高斯噪声的统计特性,信号加窄带高斯噪声的统计特性,图2.15信号加窄带高斯噪声包络的PDF曲线(),图2.16信号加窄带高斯噪声相位的PDF曲线(),