第二章经典估计理论(MVU和BLUE)课件.ppt
经典估计理论MVU和BLUE,罗义军QQ:896442923群号：97508035,经典估计理论内容安排,主要内容,引言,最小方差无偏估计（MVU）,Cramer-Rao下限,线性模型,最佳线性无偏估计（BLUE）,参数估计引言：DSB接收,目标：已知 ，寻求某种意义上的最佳估计,估计的数学问题,已知观测数据,未知参量,如何得到估计问题的统计信息？,需要数据的N维pdf，与有关,看作确定参数,看作随机参数,经典估计，不提供的全部先验信息,贝叶斯估计，要利用的先验pdf,求,估计量性能评估,估计量是否接近参数的真实值？是否还有更好的估计?通常可采用估计量的均值和方差来衡量,期望：,估计量无偏,最小方差准则,均方误差准则（mean square error，MSE）一个很自然的准则,令修正估计量,则,不可实现,令,与A有关,因此，增加约束条件：偏差为0,经典估计理论内容安排,主要内容,引言,最小方差无偏估计（MVU）,Cramer-Rao下限,线性模型,最佳线性无偏估计（BLUE）,最小方差无偏估计,第一次观测：38.0,第二次观测：37.9,第三次观测：38.1,第四次观测：38.1,第五次观测：37.9,前后观测五次温度值如下：,取个平均！,38摄氏度,高斯白噪声，0均值，方差为2,为无偏估计,方差为,最小方差无偏估计的存在性,如果仅有三个无偏估计量有时无法获得MVUE没有无偏估计量不存在一致方差最小的无偏估计量找不到MVUE,求最小方差无偏估计量,几种可能的求解方法：确定CRLB并检查是否有估计量满足该条件（3、4章）。限定估计量为线性的，然后寻找最小方差无偏估计（6章）。,经典估计理论内容安排,主要内容,引言,最小方差无偏估计（MVU）,Cramer-Rao下限,线性模型,最佳线性无偏估计（BLUE）,例：均匀噪声的均值,均匀噪声，,估计量,方差为,例5.8 观测数据,均值,估计量,方差为,显然为无偏估计,Cramer-Rao（CRLB）下限是任何无偏估计量方差的下限,若 是参数的无偏估计量，则,对任何无偏估计量的方差确定一个下限，这在实际中证明是极为有用的。最好的情况下，允许确定估计量是MVU估计量最坏的情况下，为比较无偏估计量的性能提供了一个标准。也提醒我们不可能求得方差小于下限的无偏估计量,Cramer-Rao下限,定理3.1（CRLB标量参数 ） 假设pdf 满足正则条件 其中数学期望是对 求取的。那么，任何无偏估计量的方 差必定满足,或,（参见附录3A）,克拉美-罗限（CRLB）,(4.4.9),(4.4.11),(4.4.12),对于某个函数 ，当且仅当下式成立时，可以求得对所有达到下限的无偏估计量。,该估计量是 ，它是MVU估计量，最小方差是,Cramer-Rao定理举例,例3.1的CRLB,由定理3.1,而,例3.3 高斯白噪声中的固定参数估计,此时，采样平均即为MVUE！,有效估计,定义 若估计量：无偏；且达到Cramer-Rao下限。则称为有效估计必须指出：不是所有估计都是有效的甚至并非所有的MVUE都是的,相位估计的CRLB,例3.4,则,信号功率 ，,噪声功率,有效估计当且仅当,不存在有效估计,CRLB-Fisher信息,Fisher 信息：CRLB的分母。 基本性质非负的对独立观测的可加性,高斯白噪声中信号的CRLB,则,信号对参数变化越敏感，CRLB越小，越可能获得更准确的估计,参数的变换,若希望估计,则,越大，则 的小误差将会造成的更大误差 从而增大CRLB，恶化估计的准确度,即,经典估计理论内容安排,主要内容,引言,最小方差无偏估计（MVU）,Cramer-Rao下限,线性模型,最佳线性无偏估计（BLUE）,一般线性模型,白高斯噪声中的信号,N1,已知观测矩阵（NP）,P1,已知偏移（N1）,数据矢量,已知且满秩,待估参数,已知,矢量形式为,考虑特例：线性观测,一般线性模型：,观测矩阵需要满秩,必须假定H为满秩矩阵否则，估计问题成为病态问题对于给定矢量S，将会有多个不同的矢量可以获得即,对于任意 ， 使得,因此，无法根据观测量对参数进行估计,线性模型的重要性,以下几个原因：某些应用确定为该模型非线性模型有时候可以线性化寻找最佳估计相对简单,一般线性模型的MVUE,若,则,证明：首先假定b=0，这很容易推广到一般情况,由CRLB定理，得出MVU估计，并达到CRLB下限,线性模型的MVUE,定理4.1 若观测数据可表示为,则MVU估计量,协方差矩阵,MVU估计量达到了CRLB,线性模型的例子,例4.1 曲线拟合注意： “线性”的含义,模型对于横坐标n为二次函数而对于参数则是线性的,观测数据,则MVU估计,傅里叶分析,例4.2,数据模型：,待估参数,待估参数：,（傅里叶系数）,观测矩阵：,MVU估计量为,利用三角函数的正交特性,可见，白高斯噪声中信号的傅里叶系数，是无噪声信号傅里叶系数的MVU估计！,系统辨识,一些应用领域：无线通信（识别和均衡多径）地球物理探测（石油勘探）喇叭扩音器（回波抵消）在很多应用中，假定系统为FIR滤波器（长度为p）,目标：确定系统模型,则,经典估计理论内容安排,主要内容,引言,最小方差无偏估计（MVU）,Cramer-Rao下限,线性模型,最佳线性无偏估计（BLUE）,BLUE的目的,除线性模型外，最佳MVU估计也许并不存在或很难找到因此，往往要求助于次优估计量BLUE的思路：估计量是线性的，相对于数据X估计量无偏寻求最优估计（即最小方差）BLUE的优点：只需pdf的均值和方差缺点：通常是次优的；有时是不合适的,BLUE的定义（标量）,观测数据：PDF： 与未知参数有关BLUE限定估计量与数据呈线性的，即选择a，所得无偏且方差最小的估计量即为BLUE。,求BLUE,估计量线性：估计量无偏：考虑标量参数的线性观测：,由无偏可得BLUE要在上述给定约束条件下，使得方差最小令C为X的协方差矩阵，则,目标：使 最小； 约束条件： 带约束条件的求最佳问题 （附录6A）：利用拉格朗日乘子,BLUE的应用,推导BLUE只需满足：观测量线性；不知道噪声的pdf，但知道其均值和方差。这意味着：,BLUE可用于线性观测噪声不必为高斯分布只需知道pdf的前二阶矩,1,扩展到矢量参数,定理6.1（高斯-马尔可夫定理） 若数据具有线性模型形式,已知矩阵,已知均值和方差,则BLUE是,协方差矩阵为,注：若噪声为高斯分布，则BLUE为MVUE,信号处理的例子,例6.3 源定位,假定第i个天线可测量到达时间(TOA)：,从而得到相应的到达时间差TDOA,根据TDOA估计坐标位置,假定N个天线测量的TOA为,含测量误差,TOA测量模型：,信号发射时刻,到天线的距离,测量误差：0均值，方差为,而距离：,可得,将模型线性化以便应用BLUE,假定初步估计为,采用一阶泰勒级数展开,代入得,变换为TDOA模型,需估计的三个未知参数为：,代入可得,应用BLUE到TDOA线性模型,接下来，我们探讨：1. 不同 的估计误差协方差矩阵2. 简化几何模型以寻找变化趋势,可见,对于固定距离R：加大天线间隔d可提改善估计精度对于固定基线长度d：减小距离d可改善估计精度,经典估计理论小结,主要估计方法,?,LSE：不需要统计信息MLE：需要先验概率密度函数矩估计：相应的矩信息MVUE和BLUE：一阶、二阶矩信息（均值、方差）,作业：P53 习题3.3；p121 习题6.4,
