信道编码理论课件.ppt

第三章：统计信号估计,3.1 问题描述3.2 随机参量的Bayes估计3.3 ML估计3.4 估计量的性质3.5 线性最小均方误差估计3.6 最小二乘估计,2,3.1 问题描述（信道估计为例）,数字通信数据帧结构信道估计：根据yP、xP以及hP的统计 信息，估计hP，即：(yP,xP,stat_info(hP)hP（如yP=hPxP+w)可行性：一般信道都是slowly time varying的（相干时间时延要求），因此hdhp其他估计问题：载波频率、相位、时延等,3,建模,估计规则,参量空间,观测空间,4,建模,本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。,估计量性能的评估,估计量的均值,估计量的均方误差,5,3.2 随机参量的贝叶斯估计,常用代价函数贝叶斯估计的概念最小均方误差估计最大后验概率估计条件中值估计最佳估计的不变性,6,代价函数和贝叶斯估计,误差平方代价函数,误差绝对值代价函数,均匀代价函数,贝叶斯估计：使平均代价最小的一种估计准则。,代价函数的基本特性：非负性和 时的最小性。,7,平均代价,设被估计的单随机变量的先验概率密度函数为,平均代价C为,易知代价函数,在 给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。,8,平均代价,由,是非负值，,条件平均代价,9,Relation with cost in M-ary Detection,估计：参数连续取值；检测：参数取自有限个离散点集合。,10,检测与估计的联系,检测：参量的状态是有限的（M-ary检测）估计：参量的状态是连续的（比如实数域，复数域）当M时，检测就变成了估计用检测做估计：复杂度太高，不合适用估计做检测：可以，实际上经常这样用比如，在衰落信道y=hx+w的信号检测中，经常对信号先进行估计得到x的估计值x1（复数域上的任意值），然后将其量化到信号星座上的某个点，即检测值x2。无线通信中，有时候并不严格区分检测与估计,11,最小均方误差估计,选定的代价函数为,使条件平均代价最小的一个必要条件是对上式中,求偏导,令偏导为零来求得最佳的估计量,求解方法,12,最小均方误差估计,13,最小均方误差估计,注：,1.最小均方误差估计的估计量实际是条件均值,2.最小均方误差估计的条件平均代价实际是条件方差,3.最小均方误差估计量的另一种形式,14,最大后验估计,选定的代价函数为,使条件平均代价最小，应该使 取到最大值,当,很小时，为保证上式最大，应当选择估计量，,使它处于后验概率密度函数 最大值的位置。,15,最大后验估计,根据上述分析，得到最大后验概率估计量为,两种等价形式,16,条件中值估计,选定的代价函数为,使条件平均代价最小的一个必要条件是对上式中,求偏导,令偏导为零来求得最佳的估计量,求解方法,17,条件中值估计,18,例1,研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是均值为零，方差为 高斯随机变量,求 的贝叶斯估计量(最小均方误差、最大后验和条件中值),19,解：,根据最大后验估计准则，估计量为满足以下方程的解，即,最大后验估计,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,20,所以最大后验估计量为满足以下方程的解,21,估计量的均方误差为,22,根据最小均方误差估计准则，估计量为,最小均方误差估计,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,23,24,25,上述分布是高斯型的，其均值为,估计量的均方误差为,方差为,所以最小均方误差估计量为,26,条件中值估计,估计量的均方误差为,所以条件中值估计量为,由于,27,结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的 最佳估计的不变性。,条件中值估计,最小均方误差估计,最大后验估计,28,例2,研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中n是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 在(-SM,SM)之间均匀分布的随机变量,求 的最大后验估计。,29,解：,根据最大后验估计准则，估计量为满足以下方程的解，即,最大后验估计,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,30,所以最大后验估计量为满足以下方程的解,31,由于s在(-SM,SM)之间取值，所以,32,3.3 最大似然估计,ML估计：先验等概下的MAP估计出发点：若先验概率 未知，或者为非随机的未知量，此时MAP不适用。构造：,33,例1,如果参量的观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声；是均值为零，方差为 的高斯变量。求 并与 比较,34,35,均方误差,36,37,ML估计的不变性,若 是一对一变换，有.是一对J(J1)变换，,38,例2,同例1，求 的ML估计,39,由题设，可知，给定 条件下，观测信号xk是均值为，方差为 的高斯随机变量,由于 是 的一对一变换，即是单调函数，因此可得,解：,40,所以最大似然估计量为,由最大似然估计原理，得最大似然估计量为满足以下方程的解。,41,3.4 估计量的性质：无偏性,非随机变量无偏估计有偏估计已知偏差的有偏估计 为无偏估计,42,估计量的性质：无偏性,随机变量无偏估计有偏估计渐近无偏估计,43,有效性,对于被估计量 的任意无偏估计 和，若估计的均方误差,则称估计量 比 更有效。,如果 的无偏估计量 小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。,问题：能否确定一个均方误差的下界？,44,一致性,则称估计量 是一致收敛的估计量。,假设根据N次观测量构造的估计量为,若,则称估计量 是均方一致收敛的估计量。,若,45,充分性,若被估计量 的估计量为，x是观测量。如果以 为参量的似然函数 能够表示为：则称 为充分估计量。其中，是通过 才与x有关的函数，并且以 为参量。有效估计量必然是充分估计量,46,Cramer-Rao界：非RV,非RV情况：设 是非随机参量 的无偏估计，则有 当且仅当对任意的 和x，均满足 时，不等式取等号。,47,证明,设 是非随机参量 的无偏估计，则有,对上式求偏导，得,48,证明,上式改写为,49,证明,根据柯西-施瓦滋不等式,当且仅当 时，上式等号成立。,50,证明,等号成立条件,51,证明,克拉美-罗不等式的另一种形式,求偏导,再求一次偏导,52,证明,克拉美-罗不等式的另一种形式,所以,53,Remarks,非随机参量情况下的克拉美-罗不等式的含义和用途,(1)非随机参量 的任意无偏估计量 的方差，即均方误差恒不小于,(2)若非随机参量 的无偏估计量 满足,则估计量的方差 取到最小值，即取到克拉美-罗界。,54,Remarks,(3)若非随机参量 的无偏估计量 满足,则无偏估计量 是有效的，否则是无效的。,(4)若非随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。,55,Remarks,(5)若非随机参量 的无偏有效估计量 存在，它必定是 的最大似然估计量，且可由最大似然方程解得。,(6)非随机参量 的最大似然估计量 不一定是无偏有效的。,最大似然估计量为,由,56,均方误差,若非随机参量 的无偏估计量 也是有效的，则其均方误差为,由,57,例1,如果参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声，,试讨论估计量 的最大似然估计量 的无偏性、有效性和一致性。,58,由题设，,由于,59,60,Cramer-Rao界：RV,设 是随机参量 的无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗不等式,克拉美-罗不等式取等号的条件,61,Remarks,(1)由于,所以,62,Remarks,(2)随机参量 的任意无偏估计量 的方差，即均方误差恒不小于,(3)若随机参量 的无偏估计量 满足,则估计量的方差 取到最小值，即取到克拉美-罗界。,63,Remarks,(5)若随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。,(4)若随机参量 的无偏估计量 满足,则无偏估计量 是有效的，否则是无效的。,64,Remarks,(6)若随机参量 的无偏有效估计量 存在，它必定是 的最大后验估计量。,最大后验估计量为,65,均方误差,若随机参量 的无偏估计量 也是有效的，则其均方误差为,由,66,例2,同例1。试讨论估计量 的贝叶斯估计量的无偏性、有效性和一致性。,67,由题设，,由于,68,由于,69,70,非随机参量函数的CRLB,设 非随机参量 的函数，其估计量 是 的任意无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗不等式,克拉美-罗不等式取等号的条件,71,例3,同例1。求 的无偏性和有效性，并求估计的均方误差。,72,解,由于,易知,根据最大似然估计的不变性，得到,73,74,3.5 LMMSE估计,Model MMSE、MAP估计：需要后验概率信息ML估计：需要先验概率信息若仅已知前二阶距信息：观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。-采用LMMSE估计,75,LMMSE估计准则,线性最小均方误差估计准则 首先，构造的估计矢量 是观测矢量x的线性函数，即：同时要求估计矢量的均方误差最小，即为 最小，式中 表示矩阵的迹。所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。,76,LMMSE估计构造,令,77,LMMSE估计构造,78,LMMSE估计构造,Lemma,79,LMMSE估计构造,注意到,80,LMMSE估计构造,解得,所以,81,LMMSE估计的物理解释,均值（先验）,新息（观测提供的信息）,观测量的信息,参量的信息,82,LMMSE估计的性质,(1)估计矢量是观测矢量的线性函数,(2)线性最小均方误差估计矢量是无偏估计,Recall,83,LMMSE估计的性质,(3)估计的误差矢量与观测矢量的正交性,被估计矢量,与观测矢量x是正交的，即,与线性最小均方误差估计矢量 之间的误差矢量,84,LMMSE估计的性质,85,LMMSE估计的性质,(4)最小均方误差估计与线性最小均方误差估计的关系,当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性最小均方误差估计两者相同,随机矢量的最小均方误差估计矢量可以是观测矢量的非线性函数，而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。,86,例,设M维被估计随机矢量的均值矢量和协方差矩阵分别为 和，观测方程为,求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵,且已知,解：,由,87,88,89,89,的线性函数 的线性MMSE估计矢量 为：,线性变换上的可转换性,的线性MMSE估计矢量为,证明：,随机矢量函数的线性最小均方误差估计,90,90,线性变换上的可转换性,无偏性：,均方误差阵：,的线性函数 的线性MMSE估计矢量 为：,随机矢量函数的线性最小均方误差估计,91,线性MMSE估计的可叠加性,随机矢量函数的线性最小均方误差估计,92,线性MMSE估计的可叠加性可以推广到任意有限L个同维矢量的情况,若 是随机矢量 的线性MMSE估计矢量，则,线性MMSE估计矢量为,随机矢量函数的线性最小均方误差估计,93,3.6 最小二乘估计,不需要任何先验信息，只需知道关于被估计量的观测信号模型系统模型 被估计量的信号模型误差平方和最小,94,线性最小二乘估计,系统模型最小二乘估计误差,95,估计量的构造,96,线性最小二乘估计误差,97,估计量的性质,估计矢量是观测矢量的线性函数若噪声矢量均值为0，LLS估计是无偏估计,98,均方误差矩阵,99,例1,100,解,101,加权估计,给观测噪声较小的观测量以较大的权值，以提高估计的精度加权矩阵W：对称正定矩阵二乘加权估计误差最小二乘加权估计,102,估计量的构造,103,估计量的性质,估计矢量是观测矢量的线性函数若噪声矢量均值为0，LLS估计是无偏估计均方误差矩阵,104,最佳加权矩阵的设计,Lemma：设A和B分别是M*N和N*K的任意两个矩阵,且AAT的逆矩阵存在，则有矩阵不等式令 有 因此,105,例2,求 解：,106,作业3,信道估计问题（Slide 2）Rayleigh,slow fading channel y=hx+w1）分别采用LMMSE估计和LS估计时，给出MSE随长度P的变化曲线。(同时给出C-R界)2）分别采用LMMSE估计和LS估计时，给出BER随信道估计负载比(P/N）的变化曲线。（不同负载比情况下仍要求每帧传输速率相同）,