辩识最小二乘法ppt课件.ppt
《辩识最小二乘法ppt课件.ppt》由会员分享,可在线阅读,更多相关《辩识最小二乘法ppt课件.ppt(40页珍藏版)》请在三一办公上搜索。
1、1,最小二乘法(Least Squares, LS)是一种经典有效的数据处理方法。它是1795年高斯在预测行星和彗星运动的轨道时提出并实际使用的。在系统辩识和参数估计领域中,最小二乘法是一种最基本的估计方法。它可用于动态系统,也可用于静态系统;可用于线性系统,也可以用于非线性系统;可用于离线估计,也可以用于在线估计。在随机的环境下利用最小二乘法时,并不要求知道观测数据的概率统计信息,而用这种方法所得到的估计结果,却有相当好的统计性质。,第五章辩识的最小二乘法,2,这时的问题是已知系统的输入和输出,求参数ai和bi的估计值。,模型可以改写为:,5.1 最小二乘估计,设时不变SISO动态系统的数学
2、模型为:,其中:,3,将上述模型改写为以下最小二乘格式:,令K=n+1n+N,共N次观测。记,4,5,可见,残差包括两个误差因素。一是参数估计误差带来的拟合误差;二是随机噪声带来的误差。,对于上述模型的辩识问题,其中都是可以观测的数据,是待估计的参数。引入最小二乘准则:,其中称为残差或方程误差, 是参数估计值。进一步可以得到:,6,若非奇异,可以得到:,来确定估计值。求J对的偏导数并令其等于0,可得:,可以看出,指数函数即残差的平方和。最小二乘估计是在残差二乘准则函数极小意义下的最优估计,即按照准则函数:,称 为最小二乘估计值,对应方法称为最小二乘法,7,其中st表示钢产量,t表示年代。试用最
3、小二乘问题的一次完成算法确定参数 。并以此来预测该企业1950年的钢产量。,若钢产量用如下模型描述:,例: 已知某企业1946年-1949年钢产量如表,8,在推导最小二乘法的结果时,并没有考虑噪声e(k)的统计特性。但在评价最小二乘估计的性质时,则必须假设噪声e(k)是不相关的,而且是同分布的随机变量,也即假设e(k)是白噪声序列,即,9,其中w(k)称为加权因子,对所有的k,w(k)都必须是正数。引进加权因子是为了考虑观测数据的可信度。如果有理由认为现时刻的数据比过去时刻的数据可靠,那么现时刻的加权值就要大于过去时刻的加权值。比如,可选当 ,当 ,这就体现了对不同时刻的数据给予了不同程度的信
4、任。一般来说,w(k)的选择多少取决于人的主观因素,并无规律可循。,如果准则函数取为加权函数,即为,10,通过极小化 计算 的方法称为加权最小二乘法,对应的 称为加权最小二乘估计值。加权最小二乘估计的解为:,其中W是一对称正定阵若取W=I,则。所以,最小二乘法是加权最小二乘法的一种特例。,当获得一批数据之后,利用最小二乘法或者加权最小二乘法可一次求得相应的参数估计值,这样处理的方法称为一次完成算法或者批处理算法。这在理论研究方面有很多方便之处,但在计算方面要碰到矩阵求逆的困难。但当维数增加时,矩阵求逆的运算量将急剧增加,会给计算速度和存储带来负担。,11,可以用高斯消去法进行求解方程式,以便更
5、快地求得参数的估计值。但是,更实用的方法还是设法化为递推计算的形式,以便在线辩识,大大减少数据的存储。高斯“未知量的最适合值(最可能值)是使各项实际观测值和计算值之间差的平方乘以度量其精确度的数值以后的和为最小”。,12,(3) 如果出现列相关,即不满秩的情况,为病态矩阵,则不能得到最小二乘估计值。,(2) 每增加一次观测量,必须重新计算一次,上一节给出了最小二乘一次完成算法,但具体使用时不仅占用内存量较大,而且不能用于在线辩识。进一步,一次完成算法还有如下缺陷:,5.3 最小二乘递推算法(RLS),(1) 数据量越多,系统参数估计的精度就越高。为了获得满意的辩识结果,矩阵的阶数常常取得非常大
6、。这样,矩阵求逆的计算量很大,存储量也很大。,13,系统用线性差分方程来描述:,解决这个问题的办法是把它化成递推算法。依观测次序的递推算法就是每获得一次新的观测数据就修正一次参数的估计值,随着时间的推移,便能够获得满意的辩识结果。递推辩识算法具有无矩阵求逆,以及跟踪时变系统等特点,这样不仅可以减少计算量和存储量,而且能实现在线辩识。,14,上式的最小二乘解为:,令:,可得:,15,如果再增加一组新的观测值u(n+N+1),y(n+N+1),记作uN+1,yN+1,则又增加一个方程:,消除矩阵求逆过程,用PN来表示PN+1。,16,17,令,则得到:,矩阵求逆引理:设A为nn矩阵, B为nm矩阵
7、,C为mn矩阵,并且A,A+BC和I+CA-1B都是非奇异阵,则有恒等式:,18,式中为增益矩阵,记为GN+1,而为预报误差。,19,递推过程如下:,综上所述,得到最小二乘估计递推算法如下:,20,方法1:m组数据,用LS一次算法,得到,再从m+1开始递推,对于初值的选取:,方法2: ,任取,另外,可以用下式作为递推算法的停机准则:,式中为参数向量的第i个元素在N+1次递推计算结果, 为给定的表示精度要求的某一正数。,21,所谓数据饱和,是指随着时间的推移,采集的数据越来越多,新数据提供的信息被旧数据淹没。如果辩识算法对新、旧数据给予相同的信度,那么随着从新数据中获得的信息量相对下降,算法就会
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 ppt 课件
链接地址:https://www.31ppt.com/p-1448464.html