第01章 误差理论与最小二乘法分析课件.ppt
第一章误差理论与最小二乘法,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,随机误差是因很多暂时未能掌握或不便掌握的微小因素产生的，主要有以下几方面： 测量装置方面的因素 环境方面的因素 人为方面的因素,零部件变形及其不稳定性，信号处理电路的随机噪声等。,温度、湿度、气压的变化，光照强度、电磁场变化等。,瞄准、读数不稳定，人为操作不当等。,第一节随机误差,一、随机误差产生的原因,随机误差： 在同一条件下，多次测量同一值，绝对值和符号以不可预测规律变化的误差。,第一节随机误差,随机误差的特点：1、每个测量值都含有误差，这些误差的出现没有确定的规律，即前一个数据出现后，不能预测下一个数据的大小和方向。2、就误差整体而言，具有某种统计规律。,一、随机误差产生的原因,（1）随机误差分布具有对称性。绝对值相等的正、负误差产生的数量相等。,第一节随机误差,在不考虑系统误差和粗大误差影响的条件下，随机误差服从正态分布，具有如下特点：,误差：,（2）随机误差分布具有单峰性。绝对值小的误差出现几率远远大于绝对值大的误差出现几率。,第一节随机误差,在不考虑系统误差和粗大误差影响的条件下，随机误差服从正态分布，具有如下特点：,误差：,（3）随机误差具有有界性。在一定测量条件下，随机误差的出现不会超过某一范围。,第一节随机误差,在不考虑系统误差和粗大误差影响的条件下，随机误差服从正态分布，具有如下特点：,误差：,（4）随机误差具有抵偿性。测量次数趋于无穷大时，随机误差的算术平均值趋于0。,第一节随机误差,归纳随机误差的特点为：对称性、单峰性、有界性、抵偿性。,在不考虑系统误差和粗大误差影响的条件下，随机误差服从正态分布，具有如下特点：,误差：,第一节随机误差,二、正态分布,误差：,概率密度函数：,1）概率密度函数：,均方根误差/标准误差,误差：,第一节随机误差,二、正态分布,2）特点:,P() - 曲线对称于纵轴,绝对值很大的误差几乎不出现,第一节随机误差,二、正态分布, =0 处随机误差概率密度有最大值,2）特点:,第一节随机误差,二、正态分布,数学期望（Expectation ） - 真值 x0,标准偏差（Standard deviation）,3）特征量：,第一节随机误差,二、正态分布,对某量进行一系列测量时，由于存在随机误差，因此其获得的测量值不完全相同，此时应以算术平均值作为该量的真值。 设 为n 次测量所得的值，则算术平均值为:,第一节随机误差,三、算术平均值,当测量次数无限增加时，算术平均值必然趋近于真值。,由于值反映了测量值或随机误差的散布程度，因此值可作为随机误差的评定尺度。,第一节随机误差,标准差不是测量当中任何一个具体测量值的随机误差。的大小只说明，在一定条件下随机误差的概率分布情况。,哪条曲线表示数据更集中？,四、测量的标准差,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,研究系统误差的重要意义,第二节系统误差,系统误差不易被发现，多次重复测量不能减小它对测量结果的影响。,系统误差: 在确定的测量条件下，某种测量方法和装置，在测量之前就已存在误差，并始终以必然性规律影响测量结果的正确度，如果这种影响显著的话，就要影响测量结果的准确度。,测量结果的精度，与随机误差和系统误差都有关。,计量校准后发现的偏差、仪器设计原理缺陷、仪器制造和安装不正确等。,测量时的实际温度对标准温度的偏差、测量过程中的温度、湿度按一定规律变化的误差。,采用近似的测量方法或计算公式引起的误差等。,测量人员固有的测量习性引起的误差等。,第二节系统误差,一、系统误差产生的原因,系统误差由固定不变的或按确定规律变化的因素造成，在条件充分的情况下这些因素可以掌握。, 测量装置方面的因素, 环境方面的因素, 测量方法的因素, 测量人员的因素,第二节系统误差,二、系统误差的分类和特征,特征：在同一条件下，多次测量同一测量值时，误差的绝对值和 符号保持不变，或者在条件改变时，误差按一定的规律变化。,系统误差不具有抵偿性，它是固定的或服从一定函数规律的误差。,从广义上讲，系统误差是指服从某一确定规律变化的误差。,分类： 不变系统误差 变化系统误差,第二节系统误差,（一）不变系统误差,二、系统误差的分类和特征,在整个测量过程中，误差的大小和符号始终不变。,如：调零误差，量块或其它标准件尺寸的偏差等。它对每一测量值的影响均为一个常量。,（二）变化系统误差,在整个测量过程中，误差的大小和方向随测试的某一个或某几个因素按确定的函数规律而变化。, 线性变化的系统误差,第二节系统误差,二、系统误差的分类和特征, 周期变化的系统误差, 复杂规律变化的系统误差,例：微安表的指针偏转角与偏转力距间不严格保持线性关系，而表盘仍采用均匀刻度所产生的误差。,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,第三节粗大误差,可疑数据： 在一系列重复测量中，与其它数据相比有明显差异的数据。,可疑数据很可能含有粗大误差（简称粗差）。,精度偏,精度偏,影响对 的估计,要对数据中异常值正确判断和处理。,高,低,第三节粗大误差,一、粗大误差产生的原因,产生粗大误差的原因是多方面的，大致可归纳为：, 测量人员的主观原因, 客观外界条件的原因,测量者工作责任感不强、工作过于疲劳、缺乏经验操作不当，或在测量时不小心、不耐心、不仔细等，造成读数错误等。,测量条件意外地改变（如机械冲击、外界振动、电磁干扰等）。,第三节粗大误差,二、判别粗大误差的准则,首要方法：从技术上和物理上找出产生异常值的原因。 （读错记错数据，仪器的突然故障，或外界条件的突变等）,统计方法：测量完成后也不能确知数据中是否含有粗大误差。,第三节粗大误差,二、判别粗大误差的准则,统计法的基本思想是： 给定一个显著性水平，按一定分布确定一个临界值， 凡超过这个界限的误差，就认为它属于粗大误差，应予以剔除。,粗大误差的判定，要特别慎重，应作充分的分析和研究。,第三节粗大误差,二、判别粗大误差的准则,第三节粗大误差,（一） 准则,最常用、最简单的判别准则。,前提：测量次数充分大。,以贝塞尔公式算得 ，以 代替真值。对某个可疑数据 ，若其残差满足： 则可认为该数据含有粗大误差，应予以剔除。,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,第四节最小二乘法,一、引入,待测量（难以直接测量）：,直接测量量：,问题：如何根据 和测量方程解得待测量的估计值 ？,直接求得 。,有利于减小随机误差，采用最小二乘原理求 。,讨论：,二、最小二乘原理,设直接测量量 的估计值为 ，则有:,由此得测量数据 的残余误差：,第四节最小二乘法,各测量数据同时出现的概率为,若 不存在系统误差，相互独立并服从正态分布，标准差分别为 ，则 出现在相应真值附近 区域内的概率为,这n个测量值出现于相应区间的概率P为最大。,最小,最小,第四节最小二乘法,最小二乘原理：,最小,第四节最小二乘法,线性参数的测量方程和相应的估计量为：,残差方程为：,令,第四节最小二乘法,最小二乘原理的矩阵形式：,最小二乘原理：,最小,第四节最小二乘法,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,第五节正规方程,正规方程：误差方程按最小二乘法原理转化得到的有确定解的代数方程组。,正规方程：,第五节正规方程,则正规方程可写成,将代入到中，得,（待测量的估计）,第五节正规方程,令 为两个待估参量，则误差方程为,因此：,第五节正规方程,组合测量：直接测量待测参数的组合量, 然后对这些测量数据进行处理，从而求得待测参数的估计量。,以检定三段刻线间距为例，要求检定刻线AD间的距离 。,测量数据的估计,待测参数的估计,第五节正规方程,直接测量各组合量，得,首先列出误差方程,第五节正规方程,求得估计量为,则,式中，,第五节正规方程,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,第六节回归分析的基本概念,函数与相关,线性正相关,自变量(independent variable)：解释变量，给定的或可以控制的、用来解释、预测因变量的变量。 因变量(dependent variable)：响应变量，由自变量来解释其变化的变量。,X,Y,第六节回归分析的基本概念,回归分析分类,按自变量个数分类,一元回归简单回归,多元回归复回归,按方程式特征分类,线性回归,非线性回归,一 元线性回归,Simple Linear regression,第六节回归分析的基本概念,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,一、参数估计： 确定两个变量之间的线性关系，即直线拟合问题。,第七节 一元线性回归分析,最小二乘法(Least squares method):以极小化 为目标的求估计方程的过程。,残差(Residual):e,第七节 一元线性回归分析,从散点图可以看出：体重与身高大致成线性关系。,第七节 一元线性回归分析,设得到的回归方程为,残差方程为,根据最小二乘原理可求得回归系数b0和b。,对照最小二乘法的矩阵形式，令,第七节 一元线性回归分析,则误差方程的矩阵形式为,对照 ，有,将测得值分别代入上式，可计算得,第七节 一元线性回归分析,第七节 一元线性回归分析,SST(Sum of squares of total)： 总的（离差）平方和SSR(Sum of squares of regression): 回归平方和SSE(Sum of squares of errors): 误差（残差）平方和,第七节 一元线性回归分析,二、回归估计误差：,第七节 一元线性回归分析,SST=SSR+SSE,第七节 一元线性回归分析,第七节 一元线性回归分析,由于样本的相应统计量（相关系数、回归系数等）具有随机性，因此，我们需要对其进行显著性检验，以验证是否可以据此推断总体的参数。,第七节 一元线性回归分析,三、回归方程的检验(F 检验),F检验是基于F分布进行的，是方差分析内容之一。,第七节 一元线性回归分析,问题：这条回归直线是否符合y 与x之间的客观规律？,三、回归方程的检验(F 检验),第七节 一元线性回归分析,1、引起变差的原因： A、自变量x取值的不同； B、其它因素（包括试验误差）的影响。,第七节 一元线性回归分析,其中,回归平方和，反映S中由于x和y的线性关系引起 y变化的部分。,残差平方和，反映其它因素对y变差的影响。,基本思路：方程是否显著取决于U和Q的大小，U越大，Q越小，说明y与x的线性关系愈密切。,计算统计量F,对一元线性回归，应为,查F分布表，根据给定的显著性水平 和已知的自由度1和N-2进行检验：,S=U+Q,第七节 一元线性回归分析,3、F检验,第七节 一元线性回归分析,残余方差：排除了x 对y的线性影响后，衡量y 随机波动的特征量。,残余标准差：,越小，回归直线的精度越高。,第七节 一元线性回归分析,4、残余方差与残余标准差,随机误差系统误差粗大误差最小二乘法正规方程回归分析的基本概念一元线性回归分析多元线性回归,内容,上节讨论的只是两个变量的回归问题，其中因变量只与一个自变量相关。但这只是最简单的情况，在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类问题为多元回归分析。,第八节 多元线性回归,这里着重讨论线性回归问题。多元线性回归分析与一元线性回归分析原理相同，但计算相对复杂。,第八节 多元线性回归,一、模型,第八节 多元线性回归,二、最小二乘法与正规方程,第八节 多元线性回归,化简并整理得：,令,第八节 多元线性回归,上述方程组写为：,第八节 多元线性回归,二元回归方程的直观解释,二元线性回归模型,(测量到的y),回归面,0,i,x1,y,x2,(x1,x2),第八节 多元线性回归,SST,SSR,SSE,三、多元线性回归方程检验,第八节 多元线性回归,三、多元线性回归方程检验,H0： b1b2.=bk=0H1： H0不正确,
