曲线拟合-最小二乘法.ppt
曲线拟合,曲线拟合问题,仍然是已知 x1 xn;y1 yn,求一个简单易算的近似函数 f(x)来拟合这些数据。,但是 n 很大；,yi 本身是测量值，不准确，即 yi f(xi),这时没必要取 f(xi)=yi,而要使 i=f(xi)yi 总体上尽可能地小。,这种构造近似函数 的方法称为曲线拟合，f(x)称为拟合函数,称为“残差”,y=f(x),y=p(x),插值,求一条曲线,使数据点均在离此曲线的上方或下方不远处,所求的曲线称为拟合曲线,它既能反映数据的总体分布,又不至于出现局部较大的波动,更能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。,拟合,与函数插值问题不同,曲线拟合不要求曲线通过所有已知点,而是要求得到的近似函数能反映数据的基本关系。在某种意义上,曲线拟合更有实用价值。两种逼近概念:插值:在节点处函数值相同.拟合:在数据点处误差平方和最小在对给出的实验(或观测)数据作曲线拟合时,怎样才算拟合得最好呢？,常见做法：,使 最小,较复杂，,使 最小,不可导，求解困难,使 最小,“使 i=P(xi)yi 尽可能地小”有不同的准则,曲线拟合的最小二乘法,一、拟合问题的提出及其最小二乘法,7,例 某物质的溶解度y和温度x的关系经测定满足下面数据表，试建立该问题的数学模型.,将(x,y)的数据点描在一坐标纸上，则如下图所示.,8,y与x近似成抛物线关系，,数据点分布在一抛物线的两侧.,从图中可见，,因此，可以猜测,即有,这就是本问题的数学模型.,9,确定了问题的数学模型后，,即,这里,是线性无关函数系，,为待定常数.,10,在例1中，设函数,误差为,我们希望猜想的数学模型应尽量接近观测数据，,即使得误差带权平方和,越小越好.,根据最小二乘原理，应取 和 使 有极小值，故 和 应满足下列条件：,（1）直线拟合设已知数据点,分布大致为一条直线。作拟合直线,该直线不是通过所有的数据点,而是使偏差平方和,为最小。,即得如下方程组,例 设有某实验数据如下：1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963,用最小二乘法求以上数据的拟合函数 解:把表中所给数据画在坐标纸上,将会看到数据点的分布可以用一条直线来近似地描述,设所求的,拟合直线为 记x1=1.36,x2=1.37,x3=1.95 x4=2.28,y1=14.094,y2=16.844,y3=18.475,y4=20.963则正规方程组为,其中,将以上数据代入上式正规方程组,得,解得,即得拟合直线,（2）多项式拟合 有时所给数据点的分布并不一定近似地呈一条直线,这时仍用直线拟合显然是不合适的,可用多项式拟合。对于给定的一组数据寻求次数不超过n(nm)的多项式，,来拟合所给定的数据，与线性拟合类似，使偏差的平方和,为最小,由于Q可以看作是关于(j=0,1,2,n)的多元函数,故上述拟合多项式的构造问题可归结为多元函数的极值问题。令,得,即有,这是关于系数 的线性方程组，通常称为正规方程组。可以证明，正规方程组有惟一解。,例 设某实验数据如下：1 2 3 4 5 6 0 1 2 3 4 5 5 2 1 1 2 3,用最小二乘法求一个多项式拟合这组数据,解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为,由法方程组（3.2）,经计算得,m=6,其法方程组为,解之得,所求的多项式为,几种常见的数据拟合情况。图(a)表示数据接近于直线，故宜采用线性函数 拟合；图(b)数据分布接近于抛物线。可采拟合；二次多项式,拟合；,(a),(b),图(c)的数据分布特点是开始曲线上升较快随后逐渐变慢,宜采用双曲线型函数 或指数型函数 图(d)的数据分布特点是开始曲线下降快,随后逐渐变慢,宜采用 或 或 等数据拟合。,(c),(d),例3.13 设某实验数据如下:1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3,用最小二乘法求拟合曲线,解:将已给数据点描在坐标系中下图所示,可以看出这些点接近指数曲线,因而可取指数函数作为拟合函数.对函数两边取对数得.令 得 则就得到线性模型,则正规方程组为,其中,将以上数据代入上式正规方程组，得,解得,由 得,由 得,于是得到拟合指数函数为,（4）超定方程组的最小二乘解设线性方程组Ax=b中，,b是m维已知向量，x是n维解向量，当mn，即方程组中方程的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时为矛盾方程组),这时需要寻求方程组的一个“最近似”的解.记,称使,即 最小的解 为方程组Ax=b的最小二乘解。,定理 是Ax=b的最小二乘解的充分必要条件为 是 的解.证明:充分性 若存在n维向量,使 任取一n维向量,令,则且,所以 是Ax=b的最小二乘解。,必要性:r的第i个分量为,记,由多元函数求极值的必要条件，可得,即,由线性代数知识知,上式写成矩阵形式为,它是关于的线性方程组,也就是我们所说的正规方程组或法方程组。可以证明如果A是列满秩的,则方程组（5.48）存在惟一解,例 求超定方程组,的最小二乘解,并求误差平方和。,解:方程组写成矩阵形式为,正规方程组为,即,解得,此时,误差平方和为,我们已经讨论了最小二乘意义下的曲线拟合问题,由于方程比较简单,实际中应用广泛,特别是因为任何连续函数至少在一个较小的邻域内可以用多项式任意逼近,因此用多项式作数据拟合,有它的特殊重要性。从而在许多实际问题中,不论具体函数关系如何,都可用多项式作近似拟合,但用多项式拟合时,当n较大时(n7),其法方程的系数矩阵的条件数一般较大,所以往往是病态的,因而给求解工作带来了困难。,
