《试验设计与数据处理》讲稿第4章试验数据的回归分析.ppt

《《试验设计与数据处理》讲稿第4章试验数据的回归分析.ppt》由会员分享，可在线阅读，更多相关《《试验设计与数据处理》讲稿第4章试验数据的回归分析.ppt（24页珍藏版）》请在三一办公上搜索。

1、1,第4章 试验数据的回归分析,4.1基本概念方差分析研究两个变量间的显著性问题回归分析处理变量之间相关关系的问题 由试验结果建立数学模型,(1)确定性关系对应关系、函数关系。其变量称确定性变量。(2)相关关系对应的变量称随机变量。没有一一对应的函数关系，但有统计规律散点图、回归方程,一元回归分析研究单因素与试验指标间相关关系 多元回归分析研究多因素与试验指标间相关关系线性回归、非线性回归相关关系为线性或非线性,2,4.2 一元线性回归分析最简单的线性回归分析,4.2.1 一元线性回归方程的建立,设有一组试验数据xi，yi(i=1，2，n)，其中x 是自变量，y 是因变量。若x，y 符合线性关

2、系，或已知经验公式为直线形式，即：称为变量x，y 的一元线性回归方程。,a,b 称为回归系数；是由xi代入回归方程的计算值，称为回归值。,3,一元线性回归方程的建立（续）,与yi 之间的偏差称为残差，用ei 表示，则有：,残差平方值（考虑到残差有正有负）之和为：,显然，只有残差平方和最小时，回归方程与试验值的拟合程度最好。,残差平方和SSe为a，b的函数，即：SSe=f(a,b)为使SSe值到达极小，根据极值原理，只要对上式分别对a，b求偏导数，并令其等于零，求解方程组即可求得a，b之值最小二乘法原理。,4,一元线性回归方程的建立（续）,根据最小二乘法，可以得到：,对方程组求解，即可得到回归系

3、数a,b的计算式：,正规方程组,5,一元线性回归方程的建立（续）,为了方便计算，令：,于是：,4.2.2 一元线性回归效果的检验 检验回归方程的可靠性或可信性,相关系数检验法、F检验即方差分析 法、残差分析法,6,4.2.2.1 相关系数检验法,相关系数用于描述变量x与y的线性相关程度的系数：,回归系数b 与相关系数r 的关系为：,b 与r 有相同的符号,决定系数相关系数的平方r2,7,相关系数的特点：0|r|1,8,相关系数检验：,相关系数r 越接近1，x与y 的线性相关程度越高，然而r 的大小未能回答其值达到多大时，x 与y 之间才存在线性相关，所以须对相关系数r 进行显著性检验：,（1）

4、根据给定的显著性水平a 和试验数据组数n（n2），从附录5（P.208）查取相关系数临界值rmin。表中，m为自变量的个数：一元回归 m=1;二元回归 m=2,（2）显著性检验：如果|r|rmin 线性相关显著；如果|r|rmin 线性相关不显著。更确切地检验：如果|r|rmin(0.01)线性相关非常显著;如果 rmin(0.05)|r|rmin(0.01)线性相关显著;如果|r|rmin(0.05)线性相关不显著。,9,F 检验方差分析 法,(1)计算离差平方和,回归平方和回归值 与算术平均值 的偏差,总离差平方和试验值yi与其算术平均值 的偏差,残差平方和试验值yi与回归值 的偏差,三种

5、平方和之间有下述关系：SSTSSRSSe,SSR还可以用更简单的公式计算:,10,(2)计算自由度,总离差平方和SST的自由度为：dfT=n1回归平方和SSR的自由度为：dfR=1 残差平方和SSe的自由度为：dfe=n2显然，三种自由度之间的关系为：dfT=dfR+dfe,(3)计算均方 离差平方和/自由度,回归平方和的均方,残差平方和的均方,11,表4-3 一元线性回归方差分析表,1.若F F0.01(dfR,dfe)，称 x与y有非常显著的线性关系，用两个“*”号表示2.若F0.05(dfR,dfe)F F0.01(dfR,dfe)，称 x与y有显著的线性关系，用一个“*”号表示；3.若

6、F F0.05(dfR,dfe)，则称 x与y 没有明显著的线性关系，回归方程不可信。,12,4.2.2.3 残差分析,试验值yi与回归值 的偏差称为残差：,用残差来估算试验值的范围,如果试验的随机误差服从正态分布，则：试验值 yi 落在 之内的概率为95；试验值 yi 落在 之内的概率为99。,可见，残差标准差 越小，说明曲线拟合得越好。,13,4.3 多元线性回归分析多个变量的线性回归分析,设y 有n组试验数据x1i,x2i,xmi,yi(i=1,2，,n),如果将自变量x1i，x2i，xmi，代入上述回归方程，就可以得到对应的函数计算值，即回归值。残差平方和为：,4.3.1 多元线性回归

7、方程,14,偏回归系数的确定：,根据最小二乘法原理,要使Q达到最小,应满足以下条件：,由此可以得到如下的正规方程组:,15,方程组的解就是偏回归系数,注意：为了使正规方程组有解，要求n m，即试验次数应大于自变量的个数。,4.3.2 多元线性回归方程的显著性检验,4.3.2.1 F 检验法,总平方和：回归平方和：残差平方和：,16,表4-8 多元线性回归方差分析表,1.若F F0.01(dfR,dfe)，称 y与x1，x2，xm有非常显著的线性关系，用两个“*”号表示2.若F0.05(dfR,dfe)FF0.01(dfR,dfe)，称y与x1，x2，xm有显著的线性关系，用一个“*”号表示；3

8、.若F F0.05(dfR,dfe)，则称y与x1，x2，xm没有明显著的线性关系，回归方程不可信。,17,4.3.2.2 相关系数检验法,一元线性回归:相关系数 r 反映变量y 与x的线性相关程度 多元线性回归:复相关系数 R 反映变量y与多个变量xj之间的线性相关程度 复相关系数R 的定义式：,多元线性回归方程的决定系数：复相关系数的平方R2。反映了回归平方和SSR在总离差平方和SST中所占的比重。,18,复相关系数R 的特点：0R1(与一元线性回归类似),当R=1时，y与x1，x2，xm存在严格的线性关系；当R=0时，y与x1，x2，xm不存在任何线性相关关系，但可能存在其他非线性关系；

9、当0R1时，变量间存在一定程度的线性相关关系。当m=1，复相关系数R与一元线性相关系数r相等。,修正自由度的决定系数,显著性检验：如果|r|rmin(0.01)y与x1，x2，xm有非常显著的线性关系;如果 rmin(0.05)|r|rmin(0.01)有显著的线性关系;如果|r|rmin(0.05)线性相关不显著。,19,4.3.3 偏回归系数的显著性检验因素主次的判断方法,“最优”回归方程的条件：(1)回归方程的残差平方和最小；(2)对y有显著影响的变量不能遗漏；(3)回归方程中含有变量应尽可能少。,用偏回归平方和SSj 来判断：计算偏回归平方和SSj：SSj愈大，表示xj对y影响程度就愈

10、大。,20,4.4 非线性回归分析,已经学过“线性回归分析”方法：一元、多元线性回归,要解决两个问题：一、如何确定非线性函数的具体形式？不同的非线性函数有不同的线性化形式二、如何估计函数中的参数？“线性回归分析”已经解决仍然是最小二乘法,关键：将非线性问题线性化处理,21,4.4.1 一元非线性回归分析,转化为一元线性回归问题的具体做法：根据试验数据，在直角坐标中画出散点图；根据散点图，推测y与x之间的函数关系；选择适当的变换，使之变成线性关系；用线性回归方法求出线性回归方程；返回到原来的函数关系，得到要求的回归方程。,转化为一元线性回归,22,常用非线性函数的线性化变换,23,4.4.2 一元多项式回归,任何复杂的一元连续函数都可用高阶多项式近似表达，因此，对于较难直线化的一元函数，可用多项式来拟合：,如果令Xl=x，X2=x2，Xm=xm，则上式可以转化为多元线性方程：,转化为多元线性回归,24,4.4.3 多元非线性回归,转化为多元线性回归,本章要求：掌握回归分析的基本概念和方法 熟练Excel中“工具分析库”,