第二讲 估计方法ppt课件.ppt

广义测量平差,测量平差的任务:测量平差分为：,广义测量平差,经典测量平差,1、函数模型的系数阵是满秩的；2、参数是非随机的；3、观测误差呈现偶然性（随机误差）；4、随机模型没有误差；5、平差准则：最小二乘准则。,1、函数模型的系数阵是秩亏的；2、参数是随机参数；3、观测误差可以包含：偶然误差、系统误差以及粗差；4、存在模型误差（函数模型和随机模型）；5、平差准则：广义最小二乘准则。,1、是根据含有随机误差的观测值来确定被观测量及其函数的平差值，也就是求定未知参数的最佳估值；2、评定精度。,经典测量平差三步骤：函数模型随机模型平差准则参数的估值,思考:做间接平差时有哪些前提或要求?,测量平差：就是根据含有误差的观测向量，依一定的数学模型，按一定的准则，求未知参数。,测量平差过程示意图,观测值,数学模型,平差估计准则？,法方程,平差值,精度评定,1、观测有误差，且呈现偶然性。,2、不考虑参数的先验统计特性；只顾及观测值的先验统计特性。,函数模型：,2）随机模型：,估计准则：,1）函数模型：,3）平差准则：,应用前提：,广义测量平差：1）经典平差是假定没有模型误差的。但实际问题中，模型误差总是存在的。如：函数模型中存在系统误差和粗差；随机模型中方差或协方差不准确等。另随机模型是奇异阵等。2）经典平差是认为未知参数是非随机量（或不考虑其先验统计特性），而实际中有些参数的先验统计特性是已知的(如GPS复测网，形变监测网的平差中。以上这些问题均需要按广义测量平差的方法来解决。,总体,样本,统计量,描述,作出推断,在参数估计问题中：假定总体分布形式已知，未知的仅仅是一个或几个参数。,随机抽样,（观测值）,（分布）,（估计准则）,参数估计问题是：利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。,本章介绍一下三个内容：1、多维正态分布以及条件概率密度；2、估计方法；3、广义最小二乘准则（估计准则推广）。,可见，根据观测值 分布 推断（估计准则）。,第一章 估计方法和广义测量平差原理,本章主要内容：多维正态分布；极大似然估计（对非随机参数或随机参数进行估计）；最小二乘估计（非随机参数）；极大验后估计（对随机参数进行估计）；最小方差估计（随机参数）；广义测量平差原理。,1-1、概述为了确定平面或三维控制网中各点坐标，对控制网的边长和方向进行观测（观测包含误差）。未知参数向量（坐标）X与观测向量（边长、方向）L之间有函数关系：卫星（或其它运动体）的轨道往往可以由如下的微分方程确定 式中表示时间；X（t）表示卫星的轨道参数，称为状态向量；U（t）称为控制向量；（t）是随机的状态噪声。L(t）为观测值。,可以看出：以上的例子，都存在一个对未知参数进行估计的问题。根据含有误差的观测向量，依一定的数学模型，按一定的准则，求未知参数，在数理统计中称为参数估计，在测量中称为平差。由于观测向量含有误差，而且观测个数有限，因此不能求得参数的真值，只能求出参数的估值，这就“参数估计”名称的由来。,所谓的估计问题，就是根据含有误差的观测值L，构造一个函数 ，使 成为未知参数向量X的最佳估计量，其具体数值称为最佳估值。通常 ，简记为 。估计误差：经典最小二乘平差中，习惯上用估值（平差值）的方差衡量精度(参数非随机）；而估计理论中，通常是用估计量的误差方差来衡量其精度的。,由估计理论知道，最优估计量应具有以下几个性质：一致性.（当观测个数无限增加时，估计量向被估参数趋近的概率等于1）无偏性.（估计量的数学期望等于被估计量的数学期望）有效性.（由观测量得到的无偏估计量的误差方差最小）,主要的估计方法有:极大似然估计；最小二乘估计；极大验后估计；最小方差估计；线性最小方差估计；贝叶斯估计等。概率统计中的估计理论是广义测量平差的理论基础。,1-2 多维正态分布,正态分布是测量平差理论中最常用的分布，是最小二乘平差误差理论的基础。1、一维正态分布 服从正态分布的一维随机变量X的概率密度为： 或常写成：,2、多维正态分布的定义和性质,1）多维正态随机变量：设有个互相独立的标准正态随机变量构成的随机变量它们的有限个线性函数 则称X为维正态随机变量。,2）多维正态分布定义：n维正态随机变量X的数学期望、方差阵为X的分布函数、概率密度都称为维正态分布。3）多维正态分布性质：正态随机向量的线性函数还是正态的.,对多维正态随机变量X：,3、多维正态分布 n维正态随机向量X的联合概率密度设有维正态随机向量：则它的概率密度为：,二维正态随机向量X YT，其概率密度为：,当X与Y是互不相关的两个正态随机变量时：,4、正态随机向量的条件概率密度条件期望、条件方差,1-3 极大似然估计,看一例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的这个例子所作的推断就体现了极大似然法的基本思想。,极大似然原理的直观想法是： 一个随机试验如有若干个可能的结果A，B，C，。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大 。,设有参数向量X（可以是非随机量，也可以是随机向量），为了估计X，进行了次观测，得到观测向量L的观测值 ，又假定对X的所有可能取值为 ，在 的条件下得到的观测 向量L的条件概率密度为 。如果 是 中的一个，而 是 中的 最大值，那么， 是X的准确值的可能性最大。,此时把 叫做X的极大似然估值，并记作 。也就是说： 极大似然估计是以 为准则求最佳估值的方法。也可以说：极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本，则必然认为发生该事件的概率最大。,显然，它满足于由于对数是单调增加函数，故 在相同的 值达到最大，即下两式是等价的：上两方程称为似然方程， 称为似然函数，而 称为对数似然函数。,等价,当f(l/x)是正态条件概率密度时,有,则似然方程等价于,带入条件期望、条件方差即得参数估值,求极大似然函数估计值的一般步骤： （1） 写出（构造）似然函数； （2） 对似然函数取对数，并整理； （3） 求导数 ； （4） 解似然方程 。,例,1-4 最小二乘估计,从总体中抽出的样本观测值与总体平均数是有差异的，这种差异属于抽样误差。因而，在总体平均数估计时要尽可能地降低这种误差，使总体平均数估计值尽可能好。参数估计的最小二乘法就是基于这种考虑提出的。,基本思想：是使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近真实的状况。具体方法：是为使误差平方和Q为最小，可通过求Q对待估参数的偏导数，并令其等于0，以求得参数估计量。,设被估计量（未知的参数向量）为X，观测向量为L，观测误差为，观测方程为： 设X的估值为 ，并记：所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：则称 为X的最小二乘估值记为 。,最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛的应用，主要原因：数理统计观点-需要观测向量的验前统计信息最少；数学观点-提供了最优的解一组多余观测的线性代数方程的方法；数值计算角度-最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。,但要保证最小二乘估计求出估值是最优估值，要求：,即：1、表示L中不含系统误差和粗差；2、权阵P应由L或的协方差确定(这时，X必需是非随机参数，否则不会相等的！）。,极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的。最小二乘估计：最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行估计；参数是非随机的。,1-5 极大验后估计,极大验后估计则是以 为准则的估计方 法。 随机参数向量X在 的条件下的条件概率密度一般用 表示由极大验后估计得到的最 佳估值，并称之为极大验后估值。同理，下方程： 称之为验后方程。,例：设有观测值 观测方程为 ，其中参数X与观测误差均为相互独立的正态随机变量,且有 ,试求X的极大验后估值。解：,当X和L均为正态随机向量时，此时条件概率密度为：,其中：,则极大验后准则等价于,求一阶偏导数，并令其等于零，得：故，极大验后估值为：由协方差传播律可得，估值的误差方差阵为：,其中：,（极大验后估值、估值的估计误差方差）,例：如果X和L有如下的观测方程,则带入验后估值公式可得：,不难看出： 极大验后估计考虑了参数的X的先验统计特性，改善了最小二乘估计，故估值的精度比最小二乘估值的精度要高。,1-6 最小方差估计,最小方差估计：是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求参数X的估值，如果它的误差方差比任何其它估值的方差小，就认为这个估值是最优估值。记X的最小方差估值为 。,估计误差为误差方差阵为当 时候的 就是最小方差估值参数的最小方差估值为：,不难看出：,极大似然估计、极大验后估计、最小方差估计，均要知道观测向量或未知参数向量的条件概率密度（或联合概率密度），所得到的估计量可以是L的任意函数；,最小二乘估计不需要知道任何统计性质，所得到的估计量是L的线性函数。,1-7 线性最小方差估计,线性最小方差估计是放宽对概率密度的要求，只要求已知L和X的数学期望、方差、协方差，以及限定所求的估计量是所求观测向量L的线性函数，再以估计量的均方误差达到极小为最优估计量的准则。这样得到的估计量称为线性最小方差估计量，并记为 。,线性最小方差估计量为：当X、L的联合概率密度是正态时，X的线性最小方差估计量就等于最小方差估计量，也等于其极大验后估计量。,1-9 广义测量平差原理,各种估计方法的关系1)对正态分布，极大验后估计、最小方差估计、线性最小方差估计得到的结果相同；2)在一定情况下，可由极大似然估计导出最小二乘估计;3)极大验后估计和最小方差估计是贝叶斯估计的两种形式.故，本节讨论极大似然估计、极大验后估计、最小二乘估计关系。,广义测量平差的估计方法分为两大类:对非随机参数进行估计的最小二乘估计和极大似然估计；对随机参数进行估计的极大验后估计、最小方差估计、线性最小方差估计等.,广义最小二乘原理:,一、对于正态分布，极大似然准则 等价于当有观测方程 似然方程又等价于(推导见下页)即等价于最小二乘估计准则,极大似然估计：,似然方程：,观测方程：,似然方程可写为：,二、极大验后估计准则 等价于当有观测方程 时，上式又等价于上式可写为：,可见：极大似然估计、极大验后估计均可用“广义最小二乘估计”表示！(即：下式是最小二乘估计准则的扩充！）称为“广义最小二乘原理”：,当X是不具有先验统计特性的非随机量时,极大验后估计退化为极大似然估计或最小二乘估计了。按广义最小二乘原理进行平差的过程，称为广义测量平差。,三、广义最小二乘估计准则应用方法若将未知参数X的先验期望x看成是与观测值L相互独立，且方差为DX的虚拟观测值，则有如下“观测方程”误差方程为,是虚拟观测值误差。,等价：,类似间接平差中解法,即:组成并解法方程。,由于按广义最小二乘原理求参数估值时，认为参数 是非随机量,故:所以，在广义最小二乘原理进行平差时，不区分,和 ！,值得注意的是：如果 时，应按以下建立随机模型：,(这种情况一般不多见),于是得出重要的结论：1）当未知参数X是正态随机向量时，可以将它的先验期望当作虚拟观测值，按广义最小二乘原理求参数的估值，其结果与极大验后估值相同。2）如在未知参数中除包含随机参数X外，还包含非随机参数Y，此时只要将未知参数中的随机部分，即X的先验期望当作方差为DX的虚拟观测值，仍可按广义最小二乘原理求估值 。 。3)对于非线性观测方程,按泰勒级数化为线性形式;4)对于非正态分布,也可将它近似地看成是正态分布。,广义测量平差分为三类：1、经典平差问题非随机参数；2、“滤波”-随机参数；3、“配置”或“拟合推估”-包含随机参数，又包含非随机参数。,所谓的广义最小二乘原则，归纳为：当参数是随机量，且DX=0时当参数是随机量，且DX0时特殊地，当参数是非随机量则为：,思考下列数学模型估计参数时应适合的估计方法？1）数学模型2）数学模型3）数学模型4）数学模型,中南大学信息物理工程学院,谢谢！,