最小二乘参数辨识方法及原理ppt课件.ppt
系统辨识,第4章 最小二乘参数辨识方法,1、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、增广最小二乘辨识方法6、多变量最小二乘辨识方法,本章内容,本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识,1、问题的提出,1、问题的提出,辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。,Process,Input,Output,1、问题的提出,极大似然：构造一个以数据和未知参数为自变量的似然函数。,Process,Input,Output,要求：独立观测条件下，知道输出量的概率分布,缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解,1、问题的提出惯性器件标定,陀螺仪,加速度计,1、问题的提出惯性器件标定,1、问题的提出惯性器件标定,1、问题的提出惯性器件标定,1、问题的提出景像匹配,1、问题的提出景像匹配,1、问题的提出摄像机标定,1、问题的提出摄像机标定,1、问题的提出摄像机标定,1、问题的提出摄像机标定,m次独立试验的数据,1、问题的提出,m次独立试验的数据,1795年，高斯提出了最小二乘方法。,1、问题的提出,未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。,1795年，高斯提出的最小二乘的基本原理是,1、问题的提出,Gauss（1777-1855）,未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。,1795年，高斯提出的最小二乘的基本原理是,1、问题的提出,Gauss（1777-1855）,2、最小二乘辨识方法的基本概念,通过试验确定热敏电阻阻值和温度间的关系,当测量没有任何误差时，仅需2个测量值。每次测量总是存在随机误差。,2.1 利用最小二乘法求模型参数,根据最小二乘的准则有,根据求极值的方法，对上式求导,2.1 利用最小二乘法求模型参数,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,若考虑被辨识系统或观测信息中含有噪声,如果定义,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,最小二乘法的几何解释,2.2 一般最小二乘法原理及算法,最小二乘法的几何解释,2.2 一般最小二乘法原理及算法,最小,证明：,2.2 一般最小二乘法原理及算法,如果由测量噪声及模型误差等引起的误差v 的均值为0，且v 与输入矢量X是统计独立的，最小二乘的估计值是无偏的。,证明：,根据第（1）式的证明，显然有,2.2 一般最小二乘法原理及算法,证明：,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,解：由题意得量测方程,2.2 一般最小二乘法原理及算法,2.3 加权最小二乘法原理及算法,一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相同的条件下获得的 有的测量值置信度高，有的测量值置信度低 对不同置信度的测量值采用加权的办法分别对待 置信度高的，权重取得大些；置信度低的，权重取的小些,2.3 加权最小二乘法原理及算法,2.2 加权最小二乘法原理及算法,2.3 加权最小二乘法原理及算法,2.3 加权最小二乘法原理及算法,马尔可夫估计,2.3 加权最小二乘法原理及算法,例3.2 用2台仪器对未知标量各直接测量一次，量测量分别为z1和z2，仪器的测量误差均值为0，方差分别为r和4r的随机量，求其最小二乘估计，并计算估计的均方误差。,2.3 加权最小二乘法原理及算法,解：由题意得量测方程,例3.4 考虑仿真对象,选择如下的辨识模型进行一般的最小二乘参数辨识。,2.3 加权最小二乘法原理及算法,4阶M序列,输出信号,一般最小二乘参数辨识流程图,3.3 递推最小二乘法原理及算法,一般最小二乘或加权最小二乘为一次完成算法或批处理算法。,计算量大、存储大、不适合在线辨识。,采用参数递推估计递推最小二乘算法。,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,如果设,则有,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,令,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,例3.5 对3.4采用递推最小二乘估计辨识模型参数,选择如下的辨识模型进行递推最小二乘参数辨识。,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,数据饱和后，由于递推计算的舍入误差，不仅新的观测值对参数估计不起修正作用，反而使 失去正定性，导致估计误差增加。,3.3 递推最小二乘法原理及算法,当系统参数随时间变化时，因新数据被旧数据所淹没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重(降低)，增加新数据的作用。,主要方法有数据窗法和Kalman滤波法。,数据窗法主要有矩形窗和指数窗。,3.3 递推最小二乘法原理及算法,矩形窗,3.3 递推最小二乘法原理及算法,矩形窗,3.3 递推最小二乘法原理及算法,指数窗,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,指数窗,3.4 增广最小二乘法原理及算法,3.4 增广最小二乘法原理及算法,3.4 增广最小二乘法原理及算法,例3.6 考虑理想数学模型为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,3.5.1 多变量系统的最小二乘辨识的原理,MIMO系统,3.5.1 多变量系统的最小二乘辨识的原理,MIMO系统的子系统,3.5.1 多变量系统的最小二乘辨识的原理,3.5.1 多变量系统的最小二乘辨识的原理,待辨识的参数：,3.5.1 多变量系统的最小二乘辨识的原理,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,多变量系统的最小二乘辨识的算法的递推形式,3.5.2 多变量系统的最小二乘辨识的算法与设计,例3.8 采用多变量系统的最小二乘辨识方法辨识如下MIMO 系统的参数,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.6 本章小结,输入,系统模型,输出,极值原理,测量值加权,批处理,在线,有偏估计时,对噪声辨识,SISO,MIMO,估值精度低,作业1,作业1答案,解：由题意得量测方程,作业2,高斯自己独创了一套行星轨道计算理论。高斯仅用1小时就算出了谷神星的轨道形状，并进 行了预测,1801年初，天文学家皮亚齐发现了谷神星。,因病耽误观测，失去了该小行星的轨迹。,1801年末，天文爱好者奥博斯，在高斯预言的时间 里，再次发现谷神星。1802年又成功地预测了智神星的轨道。,
