《其他经典估计》PPT课件.ppt
其他经典估计,最大似然估计,例,最小二乘估计内容安排,1,2,3,4,5,引言,线性最小二乘估计,序贯最小二乘估计,非线性最小二乘估计,小结,最小二乘估计内容安排,1,2,3,4,5,引言,线性最小二乘估计,序贯最小二乘估计,非线性最小二乘估计,小结,最小二乘估计引言,第一次观测：38.0,第二次观测：37.9,第三次观测：38.1,第四次观测：38.1,第五次观测：37.9,前后观测五次温度值如下：,取个平均！,38摄氏度,最小二乘估计引言,假设信号是，经过N次观测，观测数据为：,如何得到A？,取个平均！,最小二乘估计引言,样本均值估计即是一种特殊的最小二乘估计,最小二乘估计引言,无偏估计的类型确定最小方差观测数据的概率描述各种限制。,之前学过的估计方法,对观测数据不做任何概率或统计描述,仅仅假设一个数学模型,最小二乘估计,古老但实用！,最小二乘估计引言,最小二乘估计（Least Square Estimate，LSE）,估计的目的是使得所有观测数据和假设信号之间的平方误差最小,均方误差准则,最小二乘估计引言,假设取决于未知参量 的信号，由于噪声或模型不准确，观测信号是受干扰的信号，用观测数据 表示，的最小二乘估计就是选择使得 最小的 值,通常用于数据的准确统计特性未知，或不能找出最优估计的场合,最小二乘估计引言,假设信号是，经过N次观测，观测数据为：,使得,最小,上式对A求导，并令结果为0，可得：,最小二乘估计引言,最 小 二 乘 估 计,最 小 方 差 无 偏 估 计,是高斯白噪声,最小二乘估计引言,考虑正弦信号，信号模型为：,若A是待估计参量，是已知的：,若 是待估计参量，A是已知的：,线性最小二乘,非线性最小二乘,最小二乘估计内容安排,1,2,3,4,5,引言,线性最小二乘估计,序贯最小二乘估计,非线性最小二乘估计,小结,最小二乘估计线性最小二乘估计,表1中是在不同温度下测量同一热敏电阻的阻值，根据测量值确定该电阻的数学模型，并求出当温度在70摄氏度时的电阻值。,最小二乘估计线性最小二乘估计,R,t,数学模型：,最小二乘估计线性最小二乘估计,LS为：,求极值，对上式求导：,二元一次方程！,最小二乘估计线性最小二乘估计,最小二乘估计线性最小二乘估计,最小二乘估计线性最小二乘估计,矢量最小二乘,假设矢量参量 是 维的，信号是待估计参量的线性函数，假设：,观测矩阵,满秩矩阵,LS为：,最小二乘估计线性最小二乘估计,对 求导，并令其值为0，有：,所以：,定理4.1 若观测数据可表示为,则MVU估计量,最小二乘估计线性最小二乘估计,当系统测量噪声V是均值为0，方差为R时性质1.最小二乘估计即是无偏估计，有：,证 明,最小二乘估计线性最小二乘估计,当系统测量噪声V是均值为0，方差为R时性质2.最小二乘估计的均方误差为：,自行证明,最小二乘估计线性最小二乘估计,因此：,最小二乘估计线性最小二乘估计,估计的均方误差为：,缺点：对所有测量数据 同等看待,最小二乘估计线性最小二乘估计,加权最小二乘法对不同置信度的测量值采用加权的办法分别对待强调可靠数据的重要性,LS改为：,NN维加权矩阵,最小二乘估计线性最小二乘估计,此时的LSE为：,此时估计的均方误差为：,加权最小二乘法,一般的LSE为：,一般的均方误差为：,最小二乘估计线性最小二乘估计,加权最小二乘法,如果 是零均值和具有方差 的不相关噪声，那么加权因子的合理选择是：,当 时，加权最小二乘退化为普通的最小二乘,最小二乘估计线性最小二乘估计,使用加权最小二乘估计,第一次测量的权重大了！,最小二乘估计线性最小二乘估计,使用加权最小二乘估计,估计的均方误差为：,最小二乘估计线性最小二乘估计,小 结,LSE为：,估计的均方误差为：,最小二乘估计内容安排,1,2,3,4,5,引言,线性最小二乘估计,序贯最小二乘估计,非线性最小二乘估计,小结,最小二乘估计序贯最小二乘估计,前面的方法均是等到所有可供使用的数据全部采样后再进行处理。,序贯最小二乘估计,不必得到全部数据后批处理！,求出基于,=,的最小二乘估计,得到,对 进行更新，得到新的,而不是利用全部数据，套用,求得,最小二乘估计序贯最小二乘估计,假设信号是，经过N次观测，观测数据为：,利用前面的知识，容易得到：,又得到新的样本,，那么此时的估计为：,利用前面的LSE和新的观测，可求得新的LSE!,最小二乘估计序贯最小二乘估计,老的估计,修正项,改写形式,最小二乘估计序贯最小二乘估计,若对观测数据加权，,那么，,0,式1,最小二乘估计序贯最小二乘估计,若，其中 是均值为零，方差为 的噪声,则：,因此有：,式2,式3,最小二乘估计序贯最小二乘估计,式1,式2,式3,最小二乘估计内容安排,1,2,3,4,5,引言,线性最小二乘估计,序贯最小二乘估计,非线性最小二乘估计,小结,最小二乘估计非线性最小二乘估计,y不是待估计参量a,b的线性函数！,使用参数变换方法,最小二乘估计非线性最小二乘估计,lny是lna和b的线性函数！,取对数,最小二乘估计非线性最小二乘估计,最小二乘估计非线性最小二乘估计,例：设有一个正弦信号模型为：,参数变换：,已知！,已知！,已知量,已知量,线性了！,最小二乘估计内容安排,1,2,3,4,5,引言,线性最小二乘估计,序贯最小二乘估计,非线性最小二乘估计,小结,最小二乘估计小结,还记得哪些概念和公式,?,#(*&!%&,最小二乘估计小结,最小二乘估计的特点,最小二乘估计定义公式的推导,直线的拟合应用，y=a+bx,矢量最小二乘估计,加权最小二乘估计,序贯最小二乘估计，三个公式,非线性最小二乘估计，参数变换,经典估计理论小结,主要估计方法,?,LSE：不需要统计信息矩估计：相应的矩信息MLE：需要先验概率密度函数BLUE：一阶、二阶矩信息（均值、方差）MVUE：满足CRLB正则条件的概率密度函数（最优）,作业：,
