组合测量的最小二乘法课件.ppt

1,第五章 线性参数的最小二 乘法与回归分析,教学重点与难点,最小二乘法原理线性参数的最小二乘法组合测量一元回归原理与方法回归方程的方差分析和显著性检验,2,第五章 线性参数的最小二 乘法与回归分析,本章内容,5.1 最小二乘原理,5.2 正规方程,5.3 精度估计,5.4 组合测量的最小二乘法,5.5 回归分析,总结,3,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,5.1 最小二乘原理,最小二乘法是一种在数据处理和误差估计等多学科领域得到广泛应用的数学工具。最小二乘法已经成为参数估计、数据处理、回归分析、经验公式拟合中必不可少的手段，并已形成统计推断的一种准则。,4,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,1、问题的引入,有待测量（难以直接测量）：,直接测量量：,它们的关系（测量方程）：,直接测量量Y的测量值：,直接测量量Y的估计值：,有待测量量X的估计值：,5,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,问题：如何根据测得值和测量方程 ，解得待测量的X估计值？,测量方程,现有n次测量，得到Y的n个测量值L,直接测量量Y的测量值,待测量的量X,直接测量量Y,6,n个方程解n个未知数X，可以直接求得估计值,方程组有冗余，有利于减小随机误差，采用最小二乘原理求 。,讨论：,最小二乘原理：,最可信赖的值,应使残余误差平方和最小。,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,7,2、最小二乘原理,设直接测量量 的估计值为 ，则有（Y的估计值y与X的估计值x的关系）,由此得测量数据 的残余误差（估计值y与测量值l的差）,残差方程式,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,若 不存在系统误差，相互独立并服从正态分布，标准差分别为 ，则 出现在相应真值附近 区域内的概率为,8,由概率论可知，各测量数据同时出现在相应区域的概率为,要使P最大，应有,最小,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,回顾：正态分布概率密度函数,li出现在di区域内的概率,9,最小,以残差的形式表示为,最小,等精度测量的方差2相等。所以等精度测量最小二乘原理：,最小,不等精度测量的最小二乘原理(引入权pi),最小,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,最小二乘原理（其他分布也适用）,10,3、等精度测量的线性参数最小二乘 原理,线性参数的测量方程和相应的估计量为,残差方程为,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,测量值,估计值,11,令,则残差方程的矩阵表达式为,等精度测量最小二乘原理的矩阵形式(残差平方和为最小),第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,代入残差表达式,12,不等精度测量最小二乘原理的矩阵形式,思路一：利用权矩阵P,权矩阵,4、不等精度测量的线性参数最小二 乘原理,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,13,思路二：不等精度等精度,则有：,第五章 线性参数的最小二乘法与回归分析 5.1 最小二乘原理,用权乘以残差方程得到,14,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,5.2 正规方程,正规方程：误差方程按最小二乘法原理转化得到的有确定解的代数方程组。,5.2.1 等精度测量线性参数最小二 乘处理的正规方程,残差方差平方后，求偏导数，并令其为零,15,得正规方程,特点,相对于主对角线对称分布的各系数两两相等。,由,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,主对角线分布着平方项系数，正数；,和,16,看正规方程组中第r个方程,等式左边展开,即,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,上式展开后，合并，并且分别提出air,括号中为i,所以,17,仿此方法处理可得正规方程方程组,正规方程的矩阵形式,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,18,将代入到中，得,（待测量的无偏估计）,令,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,19,已知铜棒的长度和温度之间具有线性关系 为 。现测得不同温度下铜棒的长度 ，如下表。求，的最可信赖值。,解：,1）列出误差方程,令 为两个待估参量，则误差方程为,例题5.1,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,长度yt的测得值,长度yt的估计值,20,按照最小二乘的矩阵形式计算,则有,因此,拟合方程,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,长度测量值,本题就是6次试验c、d的系数，c前系数恒为1，d前系数就是ti,21,5.2.2 不等精度测量线性参数最 小二乘处理的正规方程,由此可得不等精度测量线性参数最小二乘处理的正规方程,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,因为,22,与等精度测量相同的过程（展开后合并）。经过整理得,不等精度的正规方程,写成矩阵形式,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,23,将代入上式，得,（待测量的无偏估计）,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,回顾等精度测量：,24,某测量过程的残差方程式及相应的标准差：,试求 的最可信赖值(每次测量的标准差不同，是不等精度测量)。,解：首先确定各式的权,例题5.2,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,25,第五章 线性参数的最小二乘法与回归分析 5.2 正规方程,26,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,目的：给出最小二乘估计量 的精度(用标准差表示)。,5.3.1 测量数据l精度估计,1. 等精度测量数据l的精度估计,对 进行n次等精度测量，其标准差可按下式计算。,5.3 精度估计,其中n是测量次数，t是待估计量X的个数。,2. 不等精度测量数据的精度估计,27,例题5.3,求例题5.1中铜棒长度的测量精度，且已知,拟合方程,解：残差方程为,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,六次测量的残差,28,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,残差平方和,测量量的标准差,两个估计量y0，。t=2。测量次数n=6,29,5.3.2 最小二乘估计量x的精度 估计,1.等精度测量最小二乘估计量x(t个)的精度估计,设有正规方程,有不定乘数矩阵,用矩阵第一行乘以正规方程每一方程组两边,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,30,方程组相加,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,合并，提出xi,31,因为x1系数等于1，其它等于0。上面方程简化为,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,令x1前系数等于1,令x2、x2、,xt，前系数都等于0,其中有,32,将方程,其中,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,展开后，按照li合并,33,由于 为等精度、标准差为 的相互独立的正态随机变量，则(两边取方差，等精度测量方差相同),同理可得,则相应的最小二乘估计值的标准差为,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,如何获得不定乘数dii?,测量数据l的方差,估计值x1的方差,34,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,不定乘数的获得,解方程组,共t2个方程，可解t2个系数aij。写成矩阵形式,35,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,矩阵方程,解出矩阵对角线上即为dii。,正规方程中的系数矩阵,36,.不等精度测量最小二乘估计量x 的精度估计,代入权，与等精度推导过程同理可得：,各不定乘数 由 求得：,式中 是测量数据l的单位权标准差。,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,37,例题5.4,求例题5.1中铜棒长度和线膨胀系数估计量的测量精度,解：,待估计参数为y0的系数为1。Y0前的系数是ti。,已知：棒的测量精度(即测量量精度) (上例求得),第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,不定乘数为,38,所以估计量a=y0，b=y0的标准差为,因为a=y0，b=y0(y0=1999.97)。所以,第五章 线性参数的最小二乘法与回归分析 5.3 精度估计,39,第五章线性参数的最小二乘法与回归分析5.4组合测量的最小二乘法,组合测量：通过直接测量待测参数的组合量(一般是等精度)，然后对这些测量数据进行处理，从而求得待测参数的估计量，并求其精度估计。,以检定三段刻线间距为例，要求检定刻线A、B、C、D间的距离 。,5.4 组合测量的最小二乘法,测量li，根据li与xi的关系，用最小二乘法求出xi。,40,直接测量各组合量，得,首先列出残差方程,第五章线性参数的最小二乘法与回归分析5.4组合测量的最小二乘法,41,由此可得：,则最小二乘估计为,第五章线性参数的最小二乘法与回归分析5.4组合测量的最小二乘法,42,现求上述估计量的精度估计。将最佳估计值代入误差方程中，,有,第五章线性参数的最小二乘法与回归分析5.4组合测量的最小二乘法,43,测量数据 的标准差为,第五章线性参数的最小二乘法与回归分析5.4组合测量的最小二乘法,不定乘数矩阵,6个测量量，3个待估计量,44,则最小二乘估计量 的标准差为,第五章线性参数的最小二乘法与回归分析5.4组合测量的最小二乘法,45,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,5.5 回归分析,1、变量之间的关系,变量之间的关系可分为两种类型,函数关系：可以用明确的函数关系式精确地表示出来；,回归：从有相关关系或函数关系的若干组自变量与因变量值的对应数据出发，求出反应自变量与因变量关系的未知解析表达式的过程称为回归。,5.5.1 回归分析基本概念,相关关系：这些变量之间既存在着密切的关系，又不能由一个(或几个)自变量的数值精确地求出另一个因变量的数值，而是要通过试验和调查研究，才能确定它们之间的关系。,46,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,2、回归分析,回归是自然科学研究中探明未知规律，把未知的内在规律性表达出来的重要方法。该方法常用于建立变量之间的经验公式或者实验定律。,回归分析是分析回归所得到的解析表达式可靠性的过程，是处理变量之间相关关系的一种数理统计方法。,47,5.5.2 一元线性回归,一元线性回归：确定两个变量之间的线性关系，即直线拟合问题。,一、 一元线性回归方程,1.回归方程的求法,确定某段导线的电阻与温度之间的关系。,解：做散点图如图：,例题5.5,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,48,从散点图可以看出：电阻与温度大致成线性关系。,设测量数据有如下结构形式：,式中， 分别表示其它随机因素对电阻值 影响的总和。,要求电阻y与x的关系，即根据测量数据要求出 的估计值。,和,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,思路：根据测量数据(7组)，可以得到7个测量方程，未知数有两个，而方程个数大于未知数的个数，适合于用最小二乘法求解。,49,设得到的回归方程,残差方程为,根据最小二乘原理可求得回归系数b0和b。,对照最小二乘法的矩阵形式，令,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,回归值,测量值,相当于二乘法公式中的测量值li,相当于二乘法公式中的系数矩阵A,相当于二乘法公式中的待求量X,待求量b0系数为1，b前系数为xi。,仿照最小二乘法的解，则有 的解为,50,误差方程的矩阵形式为,回顾：最小二乘法,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,的解为,相当于将x换成b，A换成x,51,将测得值xt,yt分别代入上式，可计算得,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,将上式拆写成,52,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,其中,53,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,同理,54,将 代入回归方程,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,可得回归直线的另一种形式,55,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,例题5.6 求电阻y对于温度x的回归问题,解：,56,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,回归方程为,57,2. 回归方程的方差分析及显著性检验,问题：这条回归直线是否符合y与x之间的客观规律(回归方程的显著性)？回归直线的预报精度如何？,(1)回归方程的方差分析,变差：观测值 之间的差异称为变差。,引起变差的原因：A、自变量x取值的不同；B、其它因素(包括试验误差)的影响。,方差分析法,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,希望把它们的影响从总变差中分离出来。,58,离差：测量值与平均值之差,S=U+Q,其中,因此总的离差平方和，可分解成二项之和,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,总的离差平方和,括号平方展开，交叉项等于0,回顾：yt：测量值； ：回归值。,59,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,由回归方程的另一种形式,如何求U与Q?,同理,60,S=U+Q,U回归平方和：反映总变差中由于x和y的线性关系而引起的y变化部分。,Q残余平方和：反映所有观测点到回归直线的残余误差，即其它因素对y变差的影响。,Q:反映残余误差。Q大，残余误差大。,U:反映线性关系。U大，Q小，线性关系好。,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,离差：,61,（2）回归方程显著性检验F检验法,基本思路：方程是否显著取决于U和Q的大小，U越大，Q越小，说明y与x的线性关系愈密切。,计算统计量F,即：,查F分布表(根据给定的显著性水平和已知的自由度1和N-2)，得到F(1,N-1),进行如下检验：,回归在0.01的水平上高度显著。,若,回归在0.05的水平上显著。,回归在0.1的水平上显著。,回归不显著(y对x线性关系不密切)。,在回归问题中，总离差自由度s=u+q=N-1，一元回归u=1，所以q=N-2。N：数据个数。,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,62,（3）残余方差与残余标准差,残余方差：排除了x对y的线性影响后(或者当x固定时)，衡量y随机波动的特征量。定义为,残余标准差：,含义： 越小，回归直线的精度越高。,（4）方差分析表,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,63,对例题5.5电阻对温度的回归进行方差分析。,例题5.6,解：回归方程,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,b0前系数为1；b前系数为x。,64,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,65,填写方差分析表,FF0.01,说明回归方程在=0.01水平上显著，可信赖程度99%以上，是高度显著的。,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,66,3、重复试验情况,(1)重复试验的意义,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,由于残余平方和Q中除包括试验误差外，还包括了x和y线性关系以外的其他未加控制的因素的影响。,因此，用残余平方Q和检验回归平方和U所作出的“回归方程显著”这一判断，只表明：相对于其他因素及试验误差来说，因素x的一次项对指标y的影响是主要的；但它并没有告诉我们：影响y的除x外，是否还有一个或几个不可忽略的其他因素；x和y的关系是否确实为线性。,67,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,换言之，在上述意义下的回归方程显著，并不一定表明这个回归方程是拟合得很好的。,为了检验一个回归方程拟合得好坏，可以做些重复试验，从而获得误差平方和QE和失拟平方和QL（它反映非线性及其他未加控制的因素的影响），用误差平方和对失拟平方和进行F检验，来确定回归方程拟合得好坏。,68,（2）重复试验回归直线的求法,设N个试验点，每个试验点重复m次试验，则将这m次试验取平均值，然后再按照前面的方法进行拟合。离差平方和为,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,括号平方展开，交叉项为零,与m无关,回归平方和,残余误差平方和,69,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,括号平方展开，交叉项为零,与m无关,令此项为QE，称为误差平方和,令此项为QL，称为失拟平方和,最后有总离差平方和S,70,S=U+QL+QE s=u+QL+QE,其中：,离差平方和,回归平方和,误差平方和,失拟平方和,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,71,S=U+Q=U+QL+QE,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,U：回归平方和，反映总离差中由于x和y的线性关系而引起的y变化部分。,Q：残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对y变差的影响。,QE：误差平方和，通常与精密测量中仪器的随机误差相对应。,QL：失拟平方和，反应拟合误差，又称模型误差；通常与精密测量中仪器的原理误差（定标误差、非线性误差）相对应。,72,S=U+Q=U+QL+QE,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,从上式可以看出：在一般情况下，重复试验可将误差平方和QE与失拟平方和QL从残余平方和中分离出来，利于统计分析。,因此，不需要对仪器作任何改进，只是通过数据处理，对仪器的系统误差进行修正，就可使仪器的精度明显提高，这是提高仪器精度的一种颇为有效的方法。,在精密测试仪器中，通常失拟平方和QL对应仪器的原理误差（系统误差），误差平方和QE对应仪器的随机误差。重复试验的方差分析可以将系统误差与随机误差分离开来，从而可以对仪器的误差进行修正。,73,方差分析表,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,74,方差检验,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,做F1检验-检验回归平方对试验误差的影响；,若显著，即 ，试验误差比较小。若不显著说明试验误差较大；,做F2检验-检验失拟误差对试验误差的影响；,若显著，即 ，失拟误差对于说明试验误差来说不可忽略，有如下几种可能：,75,第五章 线性参数的最小二乘法与回归分析5.5 回归分析,影响因变量的除了自变量以外，至少还有一个不可忽略的因素；因变量与自变量是曲线关系；因变量与自变量无关。,若不显著，说明失拟误差（非线性误差）相对于试验误差较小，或者误差是由试验误差等随机因素引起的。,76,总结,最小二乘法基本原理：最可信赖值，应使残余误差平方和最小。,等精度测量,不等精度测量,则残差方程的矩阵式为,正规方程,解为,可解决的问题：如直接测量量Y，其测量值L，Y=f(X)，求X。,则残差方程的矩阵式为,正规方程,解为,77,总结,精度估计,测量数据l精度估计,最小二乘估计量x的精度估计,等精度测量,不等精度测量,测量数据的标准差的估计量为,残差等于测量值减去估计值；n数据个数；t是待估计量个数。,等精度测量,不等精度测量,78,总结,回归方程 ， 求b，b0。,回归方程的求法,最小二乘法,残差,便于方差分析，将测得值代入，令,重复测量m次,用平均值作为测量值,79,回归方程的方差分析：回归方程的显著性检验,总结,变差：观测值y之间的差异,离差：测量值与平均值之差,总的离差平方和,S=U+Q,回归平方和,残差平方和,重复测量时,回归平方和,误差平方和,失拟平方和,u=1,Q=N-2,s=N-1,80,总结,回归显著性检验，构造统计量F,回归显著性检验,显著,不显著,重复测量,显著,不显著,显著,不显著,残余标准差：,81,总结,F检验法,构造统计量F,根据被检验量的自由度1，2和显著度，查F分布表得,F(1,2 ),F(1,2 ),回归在0.01的水平上高度显著。,若,回归在0.05的水平上显著。,回归在0.1的水平上显著。,回归不显著.,82,本章结束,83,本章作业,5-1 测力计示值与测量时的温度t 的对应值独立测得如下表所示。,设t无误差，F值随t的变化呈线性关系F = k0 + kt ，试给出线性方程中系数k0和k的最小二乘估计及其相应精度。,5-2 材料的抗剪强度与材料承受的正应力有关。对某种材料试验的数据如下：,假设正应力的数值是精确的，求抗剪强度与正应力之间的线性回归方程。当正应力为24.5 Pa 时，抗剪强度的估计值是多少？,