最小二乘法 论文.doc
《最小二乘法 论文.doc》由会员分享,可在线阅读,更多相关《最小二乘法 论文.doc(35页珍藏版)》请在三一办公上搜索。
1、学 号:200810050118HEBEI UNITED UNIVERSITY毕业论文GRADUATE THESIS论文题目:最小二乘法及其应用学生姓名:赵龙专业班级:08数学1班学 院:理学院指导教师:郭小强 讲师2012年5月25日摘 要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而,最小二乘法因其抽象、难懂常常不能被准确理解。本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合和可化为线性拟合的非线性拟合,并且给出了加权最小二乘法的
2、方法,运用实例来展示最小二乘法在实践中的应用,在此基础上给出了几种最小二乘法程序的设计原理。关键词 最小二乘法,线性拟合,曲线拟合,应用实例AbstractLeast square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the parameters estimate, system identification, prediction, forecasting
3、and other fields. However, the least square method because of its abstract and difficult ,often can not be accurately understanding. The least square methods principle and the various kinds of fitting methods such as the linear least square fitting, linear fitting, polynomial fitting ,and of linear
4、fitting and nonlinear fitting, nonlinear fitting and gives the method of weighted least squares method, and the use of examples to show the least squares method application in practice, on the basis of several least-squares procedure design principle.Keywords :least square method; linear fitting; cu
5、rve fitting; application examples目 录摘 要IABSTRACTII第1章 绪论1第2章 最小二乘法32.1最小二乘法的定义32.2最小二乘法的统计学原理3第3章 最小二乘法应用53.1曲线拟合53.1.1一元线性拟合53.1.2多元线性拟合73.1.3多项式拟合83.1.4 非线性最小二乘法拟合83.1.5 可化为线性拟合的非线性拟合103.2 加权最小二乘法113.2.1加权最小二乘法定义113.2.2加权最小二乘法原理12第4章 应用最小二乘法解决的实际问题144.1一元线性拟合实例144.2 多项式拟合实例154.3 非线性拟合164.4 可化为线性拟合
6、的非线性拟合17第5章 最小二乘法程序设计185.1程序设计原理185.1.1 一元线性拟合的程序设计原理185.1.2 多元线性拟合的程序设计原理185.2 Matlab对最小二乘法的实现195.2.1 用Matlab实现曲线拟合195.2.2 实例19结 论22参考文献23谢 辞24附 录25 第1章 绪论最小二乘法是一个比较古老的方法,早在十八世纪,首先创立并成功地应用于天文观测和大地测量工作中。虽然勒让德独立地运用最小二乘法是与高斯同时的,但人们一般都认为高斯在1795年(18岁)首先应用了最小二乘法。高斯创造了最小二乘法,使他能够用望远镜的观测结果来估算行星的轨道运动。目前,有三个领
7、域的发展越来越广泛地运用于最小二乘法,对最小二乘法估计理论和实用都带来了深刻的影响。这三个领域的发展是:近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念以及大型快速数字计算机的应用。在每个领域中,对于最小二乘法的应用,其观测值不可能是完善无误的。观测精度总是存在一个极限值,超过这个极限值,不是表达量的数学模型失效,就是测量仪器的分辨力失效,或者两者都失效。超过这个精度极限值,重复观测结果之间不会彼此符合。例如,如果我们用米标尺和肉眼多次观测工作台的长度,那么极限精度很可能为毫米。如果我们把测量结果记录到最接近的0.1毫米,那么它们将是不一致的。我们所希望的精度,往往超过我们所实施的观
8、测的极限精度。在这种情况下,我们不可能知道我们所观测的物理量的真值。我们只能对真值做一个估计。我们希望这个估值是惟一的(即是用某种标准方法来求定估值,当给定同样的观测结果时,这个方法得到同样的估值),而且我们希望知道固执的优度如何。处理不一致的数据的科学方法叫做统计学,确定唯一估值以及其优度的方法叫做统计估计法,最小二乘法是使不符值的平方和为最小的一种统计估计法。应当着重指出,还有其他的方法也能得到唯一的估值。例如,使不符值的绝对值的和为最小的估值法,或使最大的不符值为最小的估值法。但与最小二乘法相比,这些方法至少有下述三个缺点。第一,最小二乘法适用于涉及到线性和非线性数学模型的问题,而其他两
9、种方法仅适用于线性问题,其原因在于受到了基本连续性和可微性的限制。第二,最小二乘法估计与一个统计量(算术平均值)发生关系,这个统计量往往比与其它两种方法关联的两个统计量(它们分别是中位数和中列数)更重要。最后,最小二乘法普遍的应用于许多领域,使得它成为获得唯一估值的标准方法。本文将对最小二乘法以及在现在社会生活中应用进行叙述。第二章介绍最小二乘法定义以及原理,第三章将讨论曲线拟合,第四章将举例来进一步说明最小二乘法在实际中的应用,第五章将分析最小二乘法的程序设计原理,以及用matlab来实现曲线拟合。本章主要介绍了最小二乘法的背景和统计学与最小二乘法,是我们了解了最小二乘法与统计学其他统计数据
10、方法相比较最小二乘法的优点,最后对本文主要内容进行了介绍。第2章 最小二乘法2.1最小二乘法的定义定义1.1 (残差):。希望尽可能小,常见方法有:(1)选取,使偏差绝对值之和最小,即(2)选取,使偏差最大绝对值最小,即(3)选取,使偏差平方和最小,即 称(3)为最小二乘法原则。定义1.2(最小二乘法):根据已知数据组选取一个近似函数,使得最小。这种求近似函数的方法称为曲线拟合的最小二乘法,函数称为这组数据的最小二乘函数。2.2最小二乘法的统计学原理基本最小二乘法,其统计学原理是:设统计量与个变量间的依赖关系式为,其中是方程中需要确定的个参数。最小二乘法就是通过个实验点确定出一组参数值,使由这
11、组参数得出的函数值与实验值间的偏差平方和取得极小值.在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即.这时构成的方程组叫做矛盾方程组.通过用最小二乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出.由微分学的求极值方法可知应满足下列方程组: ,这样就实现矛盾方程组向正规方程组的转换。 本章对最小二乘法做了详细的定义,使我们清楚地认识了最小二乘法。随后又对最小二乘法的统计学原理进行了阐述,使我们更清楚的了解最小二乘法的运算原理。第3章 最小二乘法应用3.1曲线拟合3.1.1一元线性拟合设变量与成线性关系,即.现在已知个实验
12、点 ,求两个未知参数.方法一 由最小二乘法原理,参数应使取得极小值.根据极小值的求法,和应满足,这就是含有两个未知数和两个方程的正规方程组.从中解得,即 (1)其中,线性相关系数,式中,相关系数是用来衡量实验点的线性特性.方法二 将代入得矛盾方程组 (2)令,则(2)式可写成,则有,所以.其中称为结构矩阵,称为数据矩阵,称为信息矩阵,称为常数矩阵.为了定量地给出与实验数据之间线性关系的符合程度,可以用相关系数来衡量.它定义为.值在中,值越接近1,与的线性关系越好.为正时,直线斜率为正,称为正相关;为负时,直线斜率为负,称为负相关.接近于0时,测量数据点分散或之间为非线性.不论测量数据好坏都能求
13、出和,所以我们必须有一种判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是时,测量数据是非线性的。称为相关系数的起码值,与测量次数有关,如图表所示。表3-1 相关系数起码值31.00090.798150.64140.990100.765160.62350.959110.735170.60660.917120.708180.59070.874130.684190.57580.834140.661200.561在进行一元线性拟合之前应先求出值,再与比较,若,则和具有线性关系,可求回归直线;否则反之。3.1.2多元线性拟合设变量与个变量间存在线性关系,.设变量的第次测量值为,对应
14、的函数值为,则偏差平方和为使取极小值,得正规方程组为:,即,.将实验数据代入上述正规方程组中,即得出未知参数.3.1.3多项式拟合对于次多项式,令,则可转化为线性形式这是曲线化直.对于个实验点有,代入多元线性拟合的正规方程:,可直接得出多项式最小二乘拟合的正规方程: ;矩阵形式:,式中代表,这是一个具有个参数和个方程的线性方程组,可用高斯迭代法求出这些未知参数,得出回归方程。3.1.4 非线性最小二乘法拟合将非线性关系直接代入偏差平方和表达式中,采用极小值的求法得出的数值,此方法常常较为繁琐.为此,先将函数展开成泰勒级数,忽略高次项,化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足
15、精度要求的结果。计算步骤:(1) 设所求参数真值为,另取初值,其差值,故.(2) 将函数在处展开成泰勒级数.由于初值与真值应当很接近,故可以略去函数的泰勒展开式高次项,取得一阶近似展开式:,式中(3) 令,则展开式可以写为: ,这是线性关系式的特殊形式。(4) 将多元线性最小二乘法拟合的正规方程式应用于上式,得出其正规方程组:令,则上式成为: 。(5) 以高斯消元法或其它方法求解正规方程,即可得出即,求出,此式是一个近似式,因而得出的也是一个近似值.将首次求出的值赋给作为新的初值,重复上述过程,再求出新的值,从而得到新的初值,反复迭代,直到得出足够精度的为止。3.1.5 可化为线性拟合的非线性
16、拟合有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线,从而用线性拟合进行处理。对于一个实际的曲线拟合问题,一般先按观测值在直角坐标平面上描出散点图,看一看散点同哪类曲线图形接近,然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性 拟合问题,按线性拟合解出后再还原为原变量所表示的曲线拟合方程。表3-2列举了几类 经适当变换化为线性拟合求解的曲线拟合方程及变换关系。表3-2曲线拟合方程变换关系变换后线性拟合方程图3-1中是几种常见的数据拟合情 况。对于图(a),数据接近于直线,故宜采用线性函数y=a+bx拟合;图(b)数据分布接近于抛物线,可采用二次多项式拟合;图(c)的数据分布特
17、点是开始曲线上升较快随后逐 渐变慢,宜采用双曲线型函数或指数型函数;图(d)的数据分布特点是曲线开始下降快,随后逐渐变慢,宜采用或或等函数拟合。图3-13.2 加权最小二乘法3.2.1加权最小二乘法定义此法是应用于实验测量值非等精度的情况下的拟合方法。它不同程度的消除误差因素,结果更准确可靠。设拟合函数为,当值取时的实测值为,取.加权偏差平方和,式中为个实验点的权重因子.选取合适的权重因子可获得高精度的拟合参数。3.2.2加权最小二乘法原理根据实际需要,往往对于精度较高或地位较重要的数据,应该给予较大的权。用加权最小二乘法进行曲线拟合的要求与原则是:对于给定的一组试验数据,要求在中,寻找一个函
18、数使其中 为中任一函数是正数,称为权,大小反映的地位强弱,显然:求可归结为求多元函数的极小点同理可求。但其中:特例:如果选用的拟合曲线为则,相应的方法方程组为=。本章主要介绍了最小二乘法的应用,使我们了解了曲线拟合,对一元线性拟合、多元线性拟合、多项式拟合和非线性拟合的原理有了很好的理解,通过对线性和非线性拟合的理解,又给出了线性拟合向非线性拟合的转变。并且给出了加权最小二乘法的定义和原理,将最小二乘法用模糊数学思想进行计算,使精度更加准确。第4章 应用最小二乘法解决的实际问题4.1一元线性拟合实例例 测得铜导线在温度()时的电阻如表6-1,求电阻R与温度 T的近似函数关系。表4-1i0123
19、456()19.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解 画出散点图(图4-1),可见测得的数据接近一条直线,故取n=1,拟合函数为列表如下表4-2i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.593
20、25.8320029.445正规方程组为解方程组得故得R与T的拟合直线为利用上述关系式,可以预测不同温度时铜导线的电阻值。例如,由R=0得T=-242.5,即预测温度T=-242.5时,铜导线无电阻。图4-14.2 多项式拟合实例例 已知实验数据如表4-3表4-3i01234567813456789101054211234试用最小二乘法求它的二次拟合多项式。解 设拟合曲线方程为列表如下表4-4I01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612879
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 论文

链接地址:https://www.31ppt.com/p-2539903.html