计算方法课件第三章.ppt

第三章曲线拟合的最小二乘法,计算机学院 陈克建4 学时,2/47,本章内容,3.1 引言3.2 什么是最小二乘法3.3 最小二乘解的求法3.4 加权最小二乘法小结作业与实验,3/47,本章要求,1.熟悉插值法和拟合法的区别；2.了解偏差的概念;3.掌握使用最小二乘法进行数据拟合。,4/47,3.1 引言,本节内容一.问题提出二.科学计算中两类逼近问题三.多项式逼近四.函数逼近问题描述五.插值和拟合的概念与区别返回章节目录,5/47,3.1 引言,一.问题提出某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的 24 个纤维样品的强度与相应拉伸倍数的记录。提示：将拉伸倍数作为 x，强度作为 y，在座标纸上标出各点，可以发现什么?,6/47,3.1 引言,7/47,3.1 引言,从图中可以看出,纤维强度与拉伸倍数大致成线形关系,并且 24 个点大致分布在一条直线附近,可用一条直线来表示两者之间的关系。解：设 y*=a+bxi,我们希望y*=a+bxi与所有的数据点(样本点)(xi,yi)越接近越好。即令=yi-y*i最小。必须找到一种度量标准来衡量什么曲线最接近所有数据点。,8/47,3.1 引言,二.科学计算中两类逼近问题：1、关于数学函数的逼近问题：计算机只能做算术运算，因此，在计算机上计算数学函数必须用其它简单的函数来逼近，且用它来代替原来精确的数学函数的计算。如：f(x)=sin(x)用 代替等。函数逼近的特点：（1）要求高精度逼近；（2）要求快速计算（计算量要小）。,无穷级数与函数逼近,9/47,3.1 引言,2、建立实验数据的数学模型：给定函数的实验数据，需要用较简单和合适的函数来逼近（或拟合实验数据）例：已知 y=f(x)实验数据 希望建立y=f(x)数学模型（近似表达式）数据逼近的特点：（1）要求适度的精度；（2）实验数据有小的误差；（3）有些问题会有特殊信息来选择数学模型。,10/47,3.1 引言,三.多项式逼近（已学过）1、Taylor多项式逼近函数（在xx0点）（详见教材P88）例：教材89例12、插值多项式逼近函数（详见教材P88，另教材第2章）,P88?,11/47,3.1 引言,四.函数逼近问题描述设f(x)为a,b上连续函数,寻求一个近似函数P(x)(多项式)使在a,b上均匀逼近f(x)。,12/47,3.1 引言,五.插值和拟合的概念与区别插值法是使用插值多项式来逼近未知或复杂函数的,它要求插值函数与被插函数在插值节点上函数值相同,而在其他点上没有要求。在非插值节点上有时函数值会相差很大。最佳逼近问题要求在被插函数的定义区间上,所选近似函数都能与被插函数有较好的近似。最佳逼近是在函数空间 M中选 P(x)满足,13/47,3.1 引言,但由于绝对值函数不宜进行分析运算,常将上式化为 来讨论,于是最佳逼近问题变为最佳平方逼近问题,而离散的最佳平方逼进问题就是常说的曲线拟合 它们都可用最小二乘法求解。插值法适用于数据精确或可靠度较高的情况 曲线拟合法适用于数据本身就有误差的情况,14/47,3.2 什么是最小二乘法,本节内容一.问题背景二.偏差的概念三.最小二乘原则四.最小二乘法返回章节目录,15/47,3.2 什么是最小二乘法,一.问题背景科学实验，统计分析，获得大量数据,16/47,3.2 什么是最小二乘法,17/47,3.2 什么是最小二乘法,当数据量特别大时一般不用插值法。这是因为数据量很大时所求插值曲线中的未知参数就很多，而且数据量很大时，多项式插值会出现高次插值（效果不理想）或分段低次插值（精度不高）；另外，测量数据本身往往就有误差，所以，使插值曲线刻意经过这些点也不必要。而曲线拟合是，首先根据物理规律或描点画草图确定一条用来拟合的函数曲线形式，也可选择低次多项式形式（所含参数比较少），然后按最小二乘法求出该曲线，它未必经过所有已知点，但它能反映出数据的基本趋势，且误差最小，效果比较好。,18/47,3.2 什么是最小二乘法,二.偏差（残差）的概念,在回归分析中称为残差,仍然是已知 x1 xm;y1 ym,求一个简单易算的近似函数 y(x)f(x)。,但是 m 很大；,i 本身是测量值,不准确,即i f(xi),这时没必要取(xi)=yi,而要使(xi)yi 总体上尽可能小。,P71,19/47,3.2 什么是最小二乘法,常见做法：,使 最小/*minimax problem*/偏差最大绝对值最小,使 最小 偏差绝对值之和,使 最小/*Least-Squares method*/偏差平方和最小,太复杂,不可导，求解困难,20/47,3.2 什么是最小二乘法,三.最小二乘原则1.最小二乘原则使偏差平方和最小（上页中方法3）的原则称为最小二乘原则；2.最小二乘法按最小二乘原则选择拟合曲线y=(x)的方法,P71,21/47,3.2 什么是最小二乘法,四.最小二乘法,P72,22/47,3.2 什么是最小二乘法,23/47,3.3 最小二乘解的求法,本节内容一.最小二乘解的求法二.最小二乘拟合多项式的存在唯一性三.一般最小二乘拟合返回章节目录,24/47,3.3 最小二乘解的求法,一.最小二乘解的求法,25/47,3.3 最小二乘解的求法,26/47,3.3 最小二乘解的求法,27/47,3.3 最小二乘解的求法,P74 m次多项式拟合,28/47,3.3 最小二乘解的求法,（1）直线拟合（一次多项式拟合）若，a0,a1满足法方程组 即a0,a1是法方程组的解。,29/47,3.3 最小二乘解的求法,例1 已知一组试验数据试用直线拟合这组数据.(计算过程保留3位小数)。解 设直线ya0+a1x，那么a0,a1满足的法方程组公式为,30/47,故法方程组为解得a0=1.229 a1=1.483 所求直线方程为 y=1.229+1.483x,3.3 最小二乘解的求法,计算列表如下：,31/47,3.3 最小二乘解的求法,（2）二次多项式拟合 若 满足法方程组 即a0,a1,a2是法方程组的解。,32/47,3.3 最小二乘解的求法,例2 已知一组试验数据 试用二次多项式拟合这组数据.(计算过程保留2位小数)解 设 满足的法方程组,33/47,3.3 最小二乘解的求法,计算列表如下：,34/47,3.3 最小二乘解的求法,故法方程组为解得a0=5.05 a1=-4.04 a2=1.01所求二次多项式为 y=5.054.04x+1.01x2,35/47,3.3 最小二乘解的求法,二.最小二乘拟合多项式的存在唯一性 定理：设点x0,x1,xm互异，则法方程组 存在唯一的一组解 证明：用反证法（略）,36/47,3.3 最小二乘解的求法,三.一般最小二乘拟合,37/47,3.3 最小二乘解的求法,两种非线性最小二乘问题的求解途径（1）化为线性最小二乘问题 部分可化为线性拟合问题的常见函数类型见下页表（2）马奎特（Marquardt）方法 是在计算机上求解非线性最小二乘拟合问题的最为常用和有效的方法之一。（略）,38/47,3.3 最小二乘解的求法,39/47,3.4 加权最小二乘法,本节内容一.加权最小二乘法二.例返回章节目录,40/47,3.4 加权最小二乘法,一.加权最小二乘法 重度：即权重或者密度，统称为权系数。它的大小反映了数据（xi,yi）地位的强弱。定义加权平方误差为：,41/47,3.4 加权最小二乘法,42/47,3.4 加权最小二乘法,二.例 例3 已知一组实验数据（xi,yi）及权 Wi 如表所示。若 x 与 y 之间有线性关系ya+bx，试用最小二乘法确定系数 a 和 b。,P84,43/47,3.4 加权最小二乘法,解 因拟合曲线为一次多项式曲线（直线）1(x)=a+bx，故相应的法方程组形式如式。将表中各已知数据代入即得法方程组 解之得,44/47,小结,3.1 引言3.2 什么是最小二乘法3.3 最小二乘解的求法3.4 加权最小二乘法,45/47,作业与实验,作业（上作业本）：习题三（P89）：1、3实验实验名称：实验二 最小二乘法实验目的：验证多项式曲线拟合的最小二乘解，进一步加深对最小二乘法的理解。实验日期：09计11：5月13日（周五）7、8节、20日（周五）7、8节09计61：5月10日（周二）1、2节、17日（周二）1、2节具体要求见另外文档,第四章数值积分,计算机学院6 学时,47/47,本章内容,4.1 引言4.2 牛顿柯特斯公式4.3 复合牛顿柯特斯公式（*）4.4 龙贝格算法4.5 高斯型求积公式（略）小结作业与实验,48/47,本章要求,1.理解数值求积的基本思想，掌握求积余项和代数精度的概念2.掌握梯形公式，Simpson公式及其误差估计；了解Cotes公式;3.掌握复合梯形公式，复合Simpson公式及其误差估计，了解复合Newton-Cotas公式；4.掌握龙贝格算法。,49/47,作业与实验,作业（上作业本）：习题七（P279）：1（1）、3实验实验名称：实验七、常微分方程初值问题数值解 实验目的：设计改进的欧拉法程序；进一步加深对微分方程数值解的理解。实验日期：（请各班关注自己的实验时间）具体要求见另外文档,