计算方法第三章曲线拟合的最小二乘法ppt课件.ppt
2022/11/14,第三章 曲线拟合的最小二乘法,1,第三章曲线拟合的最小二乘法,1曲线拟合与最小二乘法 2 多项式拟合函数 3 用正交多项式最小二乘法 4 矛盾方程组的最小二乘法,2022/11/14,第三章 曲线拟合的最小二乘法,2,1 曲线拟合与最小二乘法,当我们得到的实验数据是准确值时，可以用代数插值的方法，求出原函数的近似表达式。,经常由观察或测试可得到 y=f(x)的一组离散数据：,但是，这组离散数据由观察或测试得到，往往并非完全精确，如果用插值的方法来逼近，效果就不会太好。,这时可以考虑用最小二乘法进行数据拟合，给出逼近曲线。其特点是：所求的逼近曲线不一定经过这些离散点，但却尽可能的靠近原曲线。,( xi , yi ), yi=f(xi) , i=0,1,m,离散点的最佳平方逼近-几何上称为曲线拟合(curve fitting),2022/11/14,第三章 曲线拟合的最小二乘法,3,最小二乘拟合曲线,2022/11/14,第三章 曲线拟合的最小二乘法,4,三次样条函数插值曲线,2022/11/14,第三章 曲线拟合的最小二乘法,5,Lagrange插值曲线,2022/11/14,第三章 曲线拟合的最小二乘法,6,一、数据拟合的最小二乘法的思想,已知离散数据： ( xi , yi ), i=0,1,2,m ,假设我们用函数 逼近函数f(x)，则两个函数在每一个点xi都会产生一个误差：,我们希望所求的逼近函数在每一个xi 处所产生的误差i 的绝对值|i |达最小。但这样分别考虑太困难，所以我们应考虑整体误差,2022/11/14,第三章 曲线拟合的最小二乘法,7,应该使,整体达最小（误差的平方和最小）。,通过这种度量标准求得拟合曲线的方法，就称作曲线拟合的最小二乘法(最小二乘逼近)。,按照以上思想求 f(x) 的拟合曲线（逼近函数）时，首先需要确定出 f(x) 所属的函数类，然后进一步求出具体函数，具体按照以下步骤进行。,2022/11/14,第三章 曲线拟合的最小二乘法,8,二、最小二乘法拟合曲线的步骤,第二步：根据图示判断点(xi,yi)所反映的函数类，确定曲线 所属的函数类型，例如多项式函数类、三角函数 类、指数函数类、对数函数类等。假设所确定的 函数类的基函数为,第一步：根据如下已知点的坐标，在坐标系里描点,则所求的函数可以表示为：,只要确定了系数，就可以求出拟合曲线。,经验公式,2022/11/14,第三章 曲线拟合的最小二乘法,9,第三步：对于其整体误差,所求的解应该使以上二次函数达到极小，由极值原理应有：,令：,2022/11/14,第三章 曲线拟合的最小二乘法,10,这样由,及,求得,整理为,2022/11/14,第三章 曲线拟合的最小二乘法,11,令,则有,这样就给出了求解 方程组：,离散内积,2022/11/14,第三章 曲线拟合的最小二乘法,12,同样称其为法方程组。解法方程组求得,便得到最小二乘拟合曲线,为了便于求解，我们再对法方程组的导出作进一步分析。,2022/11/14,第三章 曲线拟合的最小二乘法,13,得到法方程组系数矩阵第 j 行的元素为：,由,2022/11/14,第三章 曲线拟合的最小二乘法,14,于是法方程组的系数矩阵可写为：,将右端第二个矩阵记为：,2022/11/14,第三章 曲线拟合的最小二乘法,15,则系数矩阵可以表示为：,此外，关于法方程组的右端项（常数项）：,2022/11/14,第三章 曲线拟合的最小二乘法,16,由,得到,2022/11/14,第三章 曲线拟合的最小二乘法,17,最后可以将法方程组表示为：,其中,这样可以较快写出法方程组来。,2022/11/14,第三章 曲线拟合的最小二乘法,18,如果所求得最小二乘拟合函数为n次多项式，则：,这时：,误差：,证： 法方程组的系数矩阵为,2022/11/14,第三章 曲线拟合的最小二乘法,20,例3.1 根据如下离散数据拟合曲线并估计误差,解: step1: 描点,1 2 3 4 5 6 7 8,7 6 5 4 3 2 1,*,*,*,*,*,*,*,step2: 从图形可以看出拟合曲线为一条抛物线：,step3: 根据基函数给出法方程组,2 多项式拟合函数,2022/11/14,第三章 曲线拟合的最小二乘法,21,由,得到,即,又,求得,法方程组为：,2022/11/14,第三章 曲线拟合的最小二乘法,22,解得：,求得拟合二次多项式函数,误差为：,先计算出拟合函数值：,得到：,或者：,2022/11/14,第三章 曲线拟合的最小二乘法,23,解：在坐标轴描点,例 3.2 根据如下离散数据拟合曲线并估计误差,从离散点的图形上看不出原函数属于哪一类型，一般多采用多项式拟合，在此我们用二次多项式拟合。,2022/11/14,第三章 曲线拟合的最小二乘法,24,根据如下离散数据给出法方程组,这时,求得,得到法方程组,2022/11/14,第三章 曲线拟合的最小二乘法,25,所求二次拟合曲线为,拟合曲线的均方偏差为,由,解得：,2022/11/14,第三章 曲线拟合的最小二乘法,26,拟合曲线在实际中有广泛应用，特别在实验、统计等方面是如此。通常，由一组试验或观测取得数据，这些数据先在平面上标出，然后确定拟合曲线的类型。,例如，电阻与导线的长度呈线性关系，如何确定具体的线性表示式，可通过对不同长度的导线测试电阻所得数据作拟合曲线而得。,对于某些具体问题，有时拟合曲线的类型是已知的，所对应的公式也叫做经验公式，只需确定曲线的具体参数即可 。,下面给出一个已知经验公式，如何确定其中参数的例子。,2022/11/14,第三章 曲线拟合的最小二乘法,27,例3.3 对如下数据作形如 y = aeb x 的拟合曲线,解: 由于函数集合=aeb x | a,b R 不是一线性空间，因此直接作拟合曲线是困难的。,为了便于计算，在函数 y = a eb x 两端分别取对数得到,这时，需要将原函数表进行转换如下,令 z= ln y , A = ln a , B=b,则 z=A+Bx,ln y = ln a+bx,2022/11/14,第三章 曲线拟合的最小二乘法,28,对 z=A+Bx 作线性拟合曲线，取,这时,2022/11/14,第三章 曲线拟合的最小二乘法,29,得正则方程组,解得,于是有,拟合曲线为：,3 用正交多项式作最小二乘法,2022/11/14,33,例3.4 利用最小二乘法解下列超定（矛盾）方程组,解:超定方程组很难得到一组值使得每一个方程都成立。一般情况下用尽量使每一个方程都近似成立的一组值作为超定方程的近似解。这时最小二乘法就可以用于解这类方程。,采用最小二乘法，考虑如下的误差函数：,独立方程数多于变量数,4 矛盾方程组的最小二乘法,2022/11/14,第三章 曲线拟合的最小二乘法,34,所求的最小二乘解应该满足,2022/11/14,第三章 曲线拟合的最小二乘法,35,同理可得：,令偏导数等于零,2022/11/14,第三章 曲线拟合的最小二乘法,36,法方程组为：,解此方程组得最小二乘解：,x1= -0.3141 x2= 0.1333 x3=0.0269,2022/11/14,第三章 曲线拟合的最小二乘法,37,关于法方程组的获得，可以用更简便的方法，先将方程组用矩阵表示,简化为,两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组：,具体计算结果如下：,2022/11/14,第三章 曲线拟合的最小二乘法,38,与前面计算的法方程组相同，解值得最小二乘解,x1= -0.3141 x2= 0.1333 x3=0.0269,2022/11/14,第三章 曲线拟合的最小二乘法,39,矛盾方程组的最小二乘解,2022/11/14,第三章 曲线拟合的最小二乘法,40,本节(1)问题,1、最小二乘法拟合曲线的步骤是什么？,2、如何根据离散数据写出法方程组？,2022/11/14,41,3、最小二乘法拟合曲线的平方误差如何计算？,例3.5 确定经验公式 中的参数，使之 与下列数据拟合,2022/11/14,第三章 曲线拟合的最小二乘法,42,解: 该问题的求解，可以将其化为线性函数进行,由,得到,令,则,则,再令,2022/11/14,第三章 曲线拟合的最小二乘法,43,函数值转化为,这时，法方程组的系数矩阵按下式计算,2022/11/14,第三章 曲线拟合的最小二乘法,44,2022/11/14,第三章 曲线拟合的最小二乘法,45,由,计算出,法方程组,2022/11/14,第三章 曲线拟合的最小二乘法,46,解得 a0 =6.0631 a1 =-0.0474 a2 =-10.0748,利用,得到,最后得到,2022/11/14,第三章 曲线拟合的最小二乘法,47,5 最佳逼近问题,一、函数的逼近方法,关于函数的n次多项式逼近方法，已知有下面的几种：,1. Taylor展式,如果,误差为,2022/11/14,第三章 曲线拟合的最小二乘法,48,2. 插值多项式,同为n 次多项式，哪一个逼近效果更好呢？这时可以建立一个度量标准来进行度量。在所建立的度量标准之下，就可以给出最佳的n 次逼近多项式。,注：除了用多项式来逼近一个函数 f(x) ,也可以用其它具有某种共同特征的函数来逼近 f(x) ，并求出其相应的最佳逼近。,例如，,2022/11/14,第三章 曲线拟合的最小二乘法,49,3.最佳逼近问题,给定函数空间X 中的一个子集合 ， 对于某一已知函数f(x) X ，在 中寻求一个函数p(x)作为函数f(x)关于某个度量标准下的最佳逼近函数, 称之为最佳逼近问题。,本章我们主要考虑连续函数空间X=Ca,b上的最佳逼近问题，这时的子集合可以取为由具有某种共同特征的函数组成，例如多项式函数、三角函数、指数函数、分式有理函数等。,同时，还需要给出连续函数空间上的一个度量标准，下面先通过内积给出平方范数。,(x)从总体上更能反映f(x)的特性或总体上其偏差按某种度量达到最小,2022/11/14,第三章 曲线拟合的最小二乘法,50,二、连续函数的平方范数,已知所有连续函数构成的集合Ca,b是一个线性空间，对于Ca,b中的任意函数 f(x)、g(x) ，定义实数,可以证明此实数满足性质：,这时，称 (f, g) 为 f(x) 与 g(x)的内积。,(1). (f , g)= (g , f );,(2). (f , g)=( f , g ), R;,(3). (f + g , h)=( f ,h)+( g,h );,(4). (f , f ) 0, 当且仅当 f =0 时 (f , f )=0,2022/11/14,第三章 曲线拟合的最小二乘法,51,为函数 f(x) 的平方（欧氏）范数，且满足以下性质：,给出了函数的范数，便给出了函数的一个度量标准，在此度量标准之下，就可以找出 f(x) 在不同函数类中的最佳逼近。下面就来考虑这一最佳逼近问题的解决。,并称,（3.1）,（1） f2 0 , f2 =0 , 当且仅当 f =0 ；,（2） c f2=|c| f2 ;,（3） f + g2 f2+ g2 ;,无穷范数,2022/11/14,第三章 曲线拟合的最小二乘法,52,柯西施瓦茨不等式,2022/11/14,第三章 曲线拟合的最小二乘法,53,基函数,6 函数的最佳平方逼近,一、公式的推导,对于连续函数空间 Ca,b 中的元素 f(x) 及其子空间,所谓 f(x) 在 中的最佳平方逼近，就是存在,使得对于一切,都有：,广义多项式,有限维,2022/11/14,第三章 曲线拟合的最小二乘法,54,不等式,说明所求的,满足等式：,其中,(3.2),由于pn*(x)是由其系数c0* , c1*, ,cn* 唯一确定的，因此，只要我们求出了满足(3.2)的 c0* , c1*, ,cn* ，就可以求出f(x)最佳平方逼近：,投影,2022/11/14,第三章 曲线拟合的最小二乘法,55,(3.3),构造多元函数,根据,则,这时等式,(3.4),意味着,(3.5),2022/11/14,第三章 曲线拟合的最小二乘法,56,(3.5),(3.3),的极小值点。,(3.4),也就是说，求出满足等式(3.4)的 pn*(x) ，等价于求出满足等式(3.5)的 c0* ,c1* , , cn* 。,由(3.5)可知 c0* ,c1* , , cn* 是 n+1 元二次函数函数,2022/11/14,第三章 曲线拟合的最小二乘法,57,而n+1元函数,在区间 (-,+) 上具有一阶连续导函数，因此根据极值原理，在最小值点 c0* ,c1* , , cn* 处：,而,于是,即,2022/11/14,第三章 曲线拟合的最小二乘法,58,利用内积,可以得到,这是一个含有n+1个变量的方程组，具体形式为：,2022/11/14,第三章 曲线拟合的最小二乘法,59,再写成,矩阵形式为,2022/11/14,第三章 曲线拟合的最小二乘法,60,这是关于n+1个变量c0 ,c1 , , cn 的线性方程组，并称其为法方程组，或者正规方程组。,解此方程组，就可以得到c0* ,c1* , , cn* ，也就得到了f(x) 的最佳平方逼近：,格拉姆(Gram)矩阵,最佳平方逼近函数存在惟一,2022/11/14,第三章 曲线拟合的最小二乘法,61,二、误差估计,最佳平方逼近的平方误差为,由方程组,可得,对于最佳逼近解,2022/11/14,第三章 曲线拟合的最小二乘法,62,于是，最佳平方逼近,的平方误差为,如果,(3.6),则称(3.6)为 f(x) 的在a,b上的最佳平方逼近n次多项式。 n较大时，法方程组出现病态（Hilbert矩阵）,可取基函数为正交基函数（如三角函数）,2022/11/14,第三章 曲线拟合的最小二乘法,63,*求连续函数最佳平方逼近的步骤*,1. 给定a,b上的连续函数f(x), 及子空间,2. 利用内积,给出法方程组,2022/11/14,第三章 曲线拟合的最小二乘法,64,3. 求出法方程组的解 c0* ,c1* , , cn* ,得到最佳平方逼近,4. 求出平方误差,称为均方误差,2022/11/14,第三章 曲线拟合的最小二乘法,65,例3.6 求 在 上的最佳平方逼近一次多项式，并估计误差。,直接套用公式：,解：设,令基函数为,则需要求解的方程组为：,2022/11/14,第三章 曲线拟合的最小二乘法,66,这时由,得到,于是得到法方程组,2022/11/14,第三章 曲线拟合的最小二乘法,67,解之得,最佳平方逼近一次多项式为,关于误差，由误差估计式,2022/11/14,第三章 曲线拟合的最小二乘法,68,得到,2022/11/14,第三章 曲线拟合的最小二乘法,69,例3.7 求 f(x)=arctanx 在0,1 上的最佳平方逼近二次多项式，并估计误差。,解：设 P2(x)=c0+ c1 x +c2x2 ，则,需要写出法方程组,这时,2022/11/14,第三章 曲线拟合的最小二乘法,70,2022/11/14,第三章 曲线拟合的最小二乘法,71,法方程组为,解得：,且,2022/11/14,第三章 曲线拟合的最小二乘法,72,本节(6)小结,1.何为连续函数最佳平方逼近多项式？,如何计算连续函数的最佳平方逼近n次多项式？,3. 如何估计最佳平方逼近n次多项式的误差？,4. 练习：试求函数 f(x)=1/x 在区间1, 3上的最佳平方逼近一次多项式并估计误差。,2022/11/14,第三章 曲线拟合的最小二乘法,73,第三章 小结,一、最佳逼近问题 连续函数空间: X=Ca,b 子 函 数 空 间: X 两种度量标准: | f |2 及 | f |二、连续函数的最佳平方逼近,1. 三要素,2022/11/14,第三章 曲线拟合的最小二乘法,74,2. 最佳平方逼近及法方程组,3. 平方误差估计式,2022/11/14,第三章 曲线拟合的最小二乘法,75,三、数据拟合的最小二乘法,1、最小二乘法拟合曲线的步骤,2、法方程组的写出,3、平方误差,2022/11/14,第三章 曲线拟合的最小二乘法,76,练 习 三,3-1 求 a,b ，使 达到极小。,3-2 给出数据表,使分别作出线性、二次曲线拟合，并给出最佳平方误差。,2022/11/14,第三章 曲线拟合的最小二乘法,77,3-3 用最小乘法求一个形如 y=a+bx2 的经验公式， 使与下列数据拟合，并计算均方误差。,3-4 对下列数据,求形如 y=aebx 的拟合曲线,3-5 用最小二乘法解方程组,2022/11/14,第三章 曲线拟合的最小二乘法,78,*,x,y,*,*,*,*,*,
