回归与相关分析.ppt

第七章 回归与相关分析,（针对两个变量的相互关系进行分析）第一节 直线回归第二节 直线相关第三节 多项式回归第四节 协方差分析*,第七章要点提示,本章对两个变量的相互关系进行分析，是多元统计分析的基石。学习时首先要求区分“回归”术语古今含义的不同之处，充分认识一元线性回归与相关分析的基础地位；熟悉回归关系与相关关系的本质区别及两者在统计表述方法上的联系（如r与b在数学意义上的统一性）和各自的侧重点；重点掌握直线回归与相关分析的显著性检验方法和双变量回归模型的协方差分析技术，以便将统计控制手段与试验控制手段一起综合运用到试验设计和统计分析中去。涉及教材内容：第九章全五节，第十章、第十一章各一节。作业布置：教材第十、十一章所余三节内容自习；教材P191 T5、T6、T9；P224 T7。,第一节 直线回归,一、回归的含义“回归”原文为regression，该术语最先由英国的F.Galton于1886年左右研究人类身高遗传的规律时所作的“高尔顿解释”中使用，详情如右图所示：高尔顿对此所作的解释是：大自然有一种约束机制，使人类身高分布保持某种稳定形态而不作两极分化，也就是有回归于中心的作用，这个中心值即该种族身高在一定历史时期的平均值。现在就“回归”所作的定义是：如果两个变量X和Y，总是Y随着X的变化而变化，且这种变化关系不可逆，则称X和Y为回归关系。其中：X叫自变量dependent variable；Y叫因变量或依变量independent variable。,高：xg 71 72 g(69)64 a矮：xa 67 调查n 1074个家庭，统计结果：X 68英寸 69英寸得：X 1(1英寸2.54cm)但分组统计的结果却并非如此父母为高个子组时，g 721父母为矮个子组时，a 641 走向指回归的本意 走向指回归的今义,第一节 直线回归,二、建立直线回归方程 例7.1 一些夏季害虫的盛发期迟早与春季温度高低有关。江苏武进县观察1956-1964年3 月下旬至4 月中旬的3 段旬均温累积值X和一代三化螟盛发期Y(5月10日起算)所得结果如下，试予分析。解 描散点图 本例已知害虫盛发期迟早随春季气温的变化而变化，且不可逆，又据散点图反映的趋势来看，在3045的温度范围，盛发期天数随值呈下降的线性变化关系。故可假定直线回归方程为：y a bx 读作“Y依x直线回归”,30 35 40 45,y a bx,第一节 直线回归,数据整理 由原始数据算出一级数据6个：X333.7 Y70 XY2436.4X 212517.49 Y 2794 n9 再由一级数据算出二级数据5个：SSX X 2(X)2/n144.64SSY Y 2(Y)2/n 249.56SP XY X Y/n 159.04 XX/n 37.08 Y/n 7.78计算三级数据 b SP/SSX 1.10(159.04)144.64 a bX48.55 7.78(1.10)37.08 得所求直线回归方程为：y 48.55 1.10 x,y 48.55 1.10 x,30 35 40 45,31.7,44.2,第一节 直线回归,三、直线回归关系的显著性检验 将a bx 代入Y a bx 得：y b(xx)及 y b(xx)于是由因变量离均差的两个线性分量：(Y)2(Yy)(y)2 可推导出因变量总SS的如下分解公式：(Y)2(Yy)2(y)2 简写成：SSY SSQ SSU Q U分别叫“离回归平方和”与“回归平方和”其计算公式及本例分解结果：SSUSP2/SSX159.042/144.64 174.89 SSQSSY SSU249.56174.8974.67 故 F MSU/MSQ 16.4*(F0.01,1,712.25)(174.891)/(74.677)表明双变量直线回归关系极显著,所得方程 y 48.55 1.10 x可用于预测。,也可对回归系数进行t-test来证实。只是要利用df(分子)1时，Ft2的关系推导出回归系数的标准误SbSe/SSX其中，Se2SSQ/dfQ 74.677 10.67于是t-test的步骤如下：H0:=0(为回归系数b的真值)Sb Se2/SSX 0.2715 10.67144.64 t(b)Sb(-1.1)0.2715-4.05(3)按自由度 7 查得两尾 t0.01=3.50(4)推断：t t0.01 H0 不成立。可见t-test与F-test的效果完全一致。若显著性检验结果不显著,则三选一：Y与X没有回归关系；Y与X有回归关系，但不是直线回归；Y与X有回归关系，但不是简单回归，而是多元回归。,第二节 直线相关,一、相关的含义 如果两个变量X和Y，总是X和Y 相互制约、平行变化，则称X和Y为相关关系。此时，X和Y没有严格意义上的自变量和因变量之分，既可以说Y随着X的变化而变化，也可以讲X随着Y 的变化而变化。即不存在谁决定谁或谁依赖谁的问题。如人或动物的胸围和体重，作物的生物产量和经济产量，树干的胸径与材积等。可见，相关关系以双向、平行为特征。但相关关系如果仅从数学角度看，和回归关系是统一的，因为其双变量变化规律如果是线性关系的话，也可以由根据“最小二乘法”原理得出的直线方程来表述，所以有些文献不区分回归关系和相关关系，将二者笼统地称之“回归”或者“相关”。从统计上讲，相关分析的侧重点和回归分析不完全一样。,二、相关系数 前已述及，具有线性回归关系的双变量中，Y变量的总变异量分解为：SSY SSQ SSU Q U 对于具有线性相关关系的双变量，Y变量的总平方和也可以分解成同样的两个分量，只是分别改称为“非相关平方和”与“相关平方和”于是有：r SSU/SSY SP/SSX SSY“r”叫相关系数，其绝对值越大，SSU所占的比重就越大，在散点图上就表现为各散点越靠近直线；反之，即SSQ所占的比重越大，各散点越远离直线。并且有以下性质：r 的正负和b一样取决于SP的正负；r0，正相关；r0，负相关 r1，1或r（1，1）；决定系数 r 2bb 或 r bb,第二节 直线相关,三、相关分析举例 例7.2 为研究绵羊胸围（cm）和体重（kg）的相互关系，调查了10只绵羊胸围和体重的对应观察值X和Y，所得结果如下表，试予分析。解 描散点图 本例已知绵羊胸围（X）和体重（Y）为相关关系，散点图也显示两者的变化规律呈线性正相关，SP0。故可假定直线相关方程为：y a bx 或 x a b y后一个方程也可写成：y a b x,y a bx,807468625650,第二节 直线相关,数据整理 由原始数据算出一级数据6个：X720 Y680 XY49123X 251904 Y 246818 n10 再由一级数据算出二级数据5个：SSX X 2(X)2/n64SSY Y 2(Y)2/n 578SP XY X Y/n 163 XX/n 72 Y/n 68计算三级数据 b SP/SSX 16364 2.547 a 72 2.54768 115.4b SP/SSY 163578 0.282 a 68 0.282 72 52.82 即所求相关方程可以有两个(如右图)r SP/SSX SSY 0.8475r 2bb2.547 0.2820.7192,y 52.82 0.282 x,767268,40 50 60 70 80,80706050,y 2.547x115.4,第二节 直线相关,、直线相关关系的显著性检验 和直线回归关系的显著性检验原理一样，直线相关关系的双变量也可导出Y变量总SS的如下分解公式：(Y)2(Yy)2(y)2 简写成：SSY SSQ SSU Q U分别叫“非相关平方和”与“相关平方和”其计算公式引用三级数据后简化为：SSY(1 r 2)SSY r 2 SSY 或者 SSX(1 r 2)SSX r 2 SSX SSU r 2 SSY0.7182 578 415 SSQ(1 r 2)SSY 0.2818 578 163 故 F MSU/MSQ 20.4*(F0.01,1,811.26)(n 2)r 2/(1 r 2)表明双变量直线相关关系极其显著,所得两个直线相关方程都可用于预测。,也可对回归系数进行t-test来证实。只是要利用df(分子)1时，Ft2的关系推导出相关系数的标准误：Sr(1 r 2)/(n 2)并且Se2SSQ/dfQ 1638 20.4于是t-test的步骤如下：H0:=0(为相关系数 r 的真值)Sr 0.28188 0.1877 t(r)Sr0.84750.18774.516(3)按自由度 8 查得两尾 t0.01=3.355(4)推断：t t0.01 H0 不成立。可见t-test与F-test的效果完全一致。若显著性检验结果不显著,则三选一：Y与X没有相关关系；Y与X有相关关系，但不是直线相关；Y与X有相关关系，但不是简单相关，而是复相关。,第二节 直线相关,四、回归与相关关系的统一性 既然相关关系和回归关系的显著性检验原理一样，那么，不论回归还是相关关系，其检验都可用“相关系数”r 进一步简化如下：即由 t2 F(n 2)r 2/(1 r 2)解得：r t2/(n 2 t2)于是利用这一关系将各个自由度下的 t 临界值t0.05和 t0.01换算出相关系数r的临界值r0.05和 r0.01，从而得到直接用于检验回归或者是相关关系显著性的临界值表(附表10)。如从教材P376查得M2，dfQ8时 r0.05 0.632，r0.01 0.765今得 r 0.8475*r0.01 再由例7.1从P376查得M2，dfQ7时 r0.05 0.666，r0.01 0.798算得“r”0.8371*r0.01 检验效果与F-test或者是t-test完全一样。,例7.2关于体重(Y)的ANOVA表：SOV DF SSY MS F F 0.01相关 1 415 415 20.4*11.26非相关 8 163 20.4 总 9 578也可针对胸围(X)做ANOVA表：SOV DF SSX MS F F 0.01相关 1 46 46 20.4*11.26非相关 8 18 2.25 总 9 64例7.1只对盛发期(Y)做ANOVA表：SOV DF SSY MS F F 0.01回归 1 175 175 16.4*12.25离回归 7 75 10.7 总 8 250,第三节 多项式回归,例7.3 观测n7块小麦田孕穗期的叶面积指数(x)和每667m2的籽粒产量(y)的关系，得结果如下，试就其数量变化特点建立多项式回归方程并予以分析。解 先描散点图；初步判断为二次多项式 通常称之为抛物线；这种变化关系在农业和生物学领域普遍存在；完成这类实例分析的方法是将曲线单回归的问题通过变量代换转化为二元线性回归的问题来解决，这也是完成更高次多项式回归分析的基本点。,y2ab1xb2x2的图象,一、确定多项式方程次数的方法,b2 0,b2 0,当两个变数间的曲线关系很难确定时，可以使用多项式去逼近，称为多项式回归（polynomial regression)。最简单的多项式是二次多项式，其方程为：y2 ab1xb2x2 它的图象是抛物线。当b20时，曲线凹向上，有一个极小值；b2 0时，曲线凸向上，有一个极大值，见右图。本例(x,y)的散点图呈单锋趋势，没有明显的其它凹凸变化，故预期可用二次式配合。但多项式回归方程通常只能用于描述试验范围内Y依X的变化关系，外推一般不可靠，这一点首先必须明确。,三次多项式的方程为：y3ab1xb2xb3x3它的图形是具有两个弯曲(一个极大值和一个极小值)和一个拐点的曲线。当b30时，这类曲线由凸向上转为凹向上；当b3 0时，这类曲线由凹向上转为凸向上，见右图。多项式方程的一般形式：yab1xb2x2.bkxk 这是k-1个具有个弯曲(k-1个极值)和k-2 个拐点的曲线；两个变数的n对观察值最多可 配到 k n 1 次多项式；k越大，包含的 统计数越多，计算和解释越复杂；一个多项式 回归方程应取多少次为宜，可根据资料的散点 图作出初步选择；散点图趋势所表现的曲线的 峰数谷数1，即为多项式回归方程次数。散点波动较大或峰谷两侧不对称，可再高一次。,一、确定多项式方程次数的方法,b30,b30,y3=a+b1x+b2x2+b3x3 的图象,二、建立多项式回归方程,变量代换（代换得到的变量个数以m表示）设例7.3的二次多项式方程为：y2 ab1xb2x2 令x1 x，x2x 2；则方程线性化为：y2 ab1x1b2x2数据整理 由原始数据算出一级数据9个：X1 X 39.34 Y2688 X1Y XY 15229.56 X2 X 2236.8408 Y 21034112.00 X1 X2 X3 1508.0760 n7 X2 2 X 4 10029.7617 X2Y X2Y92170.76 再由一级数据算出二级数据9个：SS1 X 2(X)2/n15.75 SS2 X2 2(X2)2/n2016.39556 SP10 X1Y X1 Y/n 123 SP20 X2Y X2 Y/n 1223.8928 SP12 SP21 X1 X2 X1 X2/n 177.030704 SSY 1920 Y/n 384 x1 X1/n 5.62 x2 X2/n 33.8344 仍按“最小二乘方”原理计算三级数据bi 例7.1 已知 a bx，则二次多项式可类推，即：a b1x1 b2x2 也就是列方程组求算各回归系数时，不必把常数项列为未知数求解，这样一来，就可用阶数更少的矩阵运算来减少解方程的工作量。,二、建立多项式回归方程,1、只将bi 列为未知数求解的方法；对于任意次多项式，yab1xb2x2.bkxk 若令x1x，x2x2，,xkxk，则该式可化为：ykab1x1b2x2.bkxk 这时多元线性方程采用矩阵方法只需求 m=k 元方程组的解。SS11 SP12 SP1k b1 SP10 SP21 SS22 SP1k b2 SP20 A.，b.Z.SPm1 SPm2 SSmk bk SPm0 也就是说，以二级数据为元素构建的矩阵 AbZ 阶数只有 mm。求得A-1，并由bA-1 Z 可获得相应的多项式回归方程中 k 个回归系数bi的解，本例 m=k=2，求解过程如下：A SS11 SP12 15.750000 177.030704，Z SP10 123.0000 SP21 SS22 177.030704 2016.395336 SP20 1223.8926,二、建立多项式回归方程,1、只将bi 列为未知数求解的方法；采用矩阵方法求解的关键在于求逆矩阵，这属于线性代数范围的知识，教材分别在P171和P195提示了逆矩阵求算方法，本例用二级数据构建两个矩阵后简化了计算，只需对二阶矩阵求逆(Cij叫高斯乘数)，结果如下：A-1 SS11 SP12-1 4.819803-0.42315765 C11 C12 SP21 SS22-0.42315765 0.03764733 C21 C22 bA-1 Z 4.819803-0.42315765 123.0000 74.936168-0.42315765 0.03764733 1223.8926-5.972095 于是获得本例多项式回归方程中两个回归系数：b174.9，b2-5.97 a b1x1 b2x2 38474.95.62(5.97)33.8344165.05IA-1 A 1.000000568 0.000000346 1 0(单位矩阵)0.000006380 1.000003942 0 1,二、建立多项式回归方程,2、把常数项 a 列为未知数求解的方法；对于任意次多项式，yab1xb2x2.bkxk 若令x1x，x2x2，,xkxk，则该式可化为：ykab1x1b2x2.bkxk 一般的多元线性方程，采用矩阵方法需求 m+1 元方程组的解。1 x12 x22 xk2 1 x12 x122 x12k y1 1 x11 x21 xk1 1 x11 x112 x11k y2X.，Y.1 x1n x2n xkn 1 x1n x1n2 x1n yn 求得XX,XY和(XX)-1，并由b(XX)-1(XY)获得相应的多项式回归方程中k个回归系数 bi 和一个常数项 a 的解。教材从直线回归的内容开始就介绍了利用矩阵计算三级数据 a 和 b 并进行显著性检验的方法，以此作为用矩阵进行多元回归与相关分析的铺垫。这在当今电脑普及的时代意义非同小可，因为用矩阵进行回归与相关分析可一石三鸟：更容易理解计算机解方程的程序；其中的m+1阶(或 m=k 阶)逆矩阵可验证所得方程组的解是否正确包括其精度是否足够；该逆矩阵的对角线上的元素用于检验回归与相关关系的显著性非常方便。,1 3.37 11.3569 349 1 4.12 16.9744 374X Y 1 7.87 61.9369 384 7 39.34 236.8408XX 39.34 236.8408 1508.0760 236.8408 1508.0760 10029.7617 2688 XY 15229.56 92170.76E:matlabR12binwin32matlab.exe 165.03532698b 74.89269841 5.96825397,图11.13 小麦孕穗期叶面积指数与产量的关系,至此即获得了二元线性回归方程y2165.0353269874.89269841x1 5.96825397x2 y2=165.04 74.89x5.97x2,二、建立多项式回归方程,本例互逆矩阵验算结果(m1)(m1)34.52472939 12.76246560 1.10370464(XX)-1 12.76246560 4.81693498 0.42290417 1.10370464 0.42290417 0.03762493 0.99926016 0.00000296 0.00001274(XX)(XX)-1 0.02325500 0.99990676 0.00040240 0.04719600 0.00018830 0.99919211 1 0 0 I 0 1 0 0 0 1,7 39.34 236.8408XX 39.34 236.8408 1508.0760 236.8408 1508.0760 10029.7617,多项式回归分析中，Y 变量的总平方和SSY 亦可分解为回归和离回归两部分,即：SSY SSU SSQ 上式中，SSU为 k 次多项式的总回归效应平方和，即 Y 变量总变异中能被 X 的 k 次多项式所说明的部分，计算过程用矩阵表述为：SSYYY(1Y)2/n 1034112.0026882/71920.00 SSQ为k次多项式的离回归平方和，其中：SSQ YYb(XY)12.7143 1034112.00(165.03532698 74.89269841 5.96825397)(XY)SSU SSY SSQ 1920.0012.71431907.2857 也可利用二、三级数据直接计算总回归效应平方和SSU：SSU b1 SP10 b2 SP20 1907.9436 74.9362123.0000(-5.9721)1223.8928 SSQ SSY SSU 1920.001907.9436 12.0564,三、多项式回归的假设测验,总回归关系的F-test,总回归关系的R-test,各次分量项偏回归关系的F-test,本例总回归效应极显著既然不能排除多项式方程中个别乃至若干个分量项不显著的可能性，就有必要分别对各次分量项进行偏回归关系的F-test。这与多元线性回归中偏回归关系的假设测验相类似，亦需先计算各次分量项的偏回归平方和SSbi，即：SSbi bi2/C(i+1)(i+1)此时SSbi具有自由度df1，故由：F SSbi/(SSQ/n-(k+1)可测验第 i 次分量是否显著。本例由逆矩阵对角线上的元素算得 Y 对各次分量项的偏回归平方和为：SSb174.892698412/4.816934981164.4160 SSb2(-5.96825397)2/0.03762493946.7142变异来源 DF SS MS F F0。01一次分量 1 1164.4160 1164.4160 366.33*21.20二次分量 1 946.7142 946.7142 297.84*离回归 4 12.7143 3.1786 总 6 1920.00 结果表明，在用二次多项式描述叶面积指数与亩产量时，二次分量和一次分量均应保留（但SSU SSb1 SSb2！）。,各次分量项的F测验表变异来源 DF SS MS F F0。01一次分量 1 1164.4160 1164.4160 366.33*21.20二次分量 1 946.7142 946.7142 297.84*离回归 4 12.7143 3.1786 结果表明，在用二次多项式描述教材表11.4资料时，二次分量和一次分量均应保留。,各次分量项偏回归关系的F-test,课后习题,以光呼吸抑制剂亚硫酸氢钠的不同浓度溶液（x,100mg/L）喷射沪选19水稻，2小时后测定剑叶的光合强度（y,co2mg/dm/h），得结果于下表。试计算（1）光合强度依亚硫酸氢钠浓度的 多项式回归方程及离回归标准差。（2）光合强度最高时的亚硫酸氢钠浓度。X 0 1 2 3 4 5Y 19.10 23.05 23.33 21.33 20.05 19.35,第四节 协方差分析,例7.4 有一大豆浸种试验研究结果，k10，随机区组设计，n3，每个试验小区（1.5m2）点播的种子粒数均等。以各小区大豆收获时的籽粒干重（10g）为试验指标进行观察记载。考虑到每个小区结荚株数只占小区总株数的一部分，并且与该小区试验指标之间可能存在着回归关系，故在称量小区干重y的同时，对其结荚株数x一并予以记载（见下图），试进行协方差分析。N,肥 力 梯 度,一、数据整理,Cx(X)2/nk16380 SSx X2 Cx 816.97Cy(Y)2/nk5868.8 SSy Y2 Cy 628.69CxyXY/nk9804.7 SPT XY Cxy 574.16,二、dfT、SPT、SSx、SSy的分解dfT dft dfr dfe 29 9 2 18SPT SPt SPr SPeSPtTxtTyt/n Cxy 52.687140.76737.46935.2SPrTxrTyr/k Cxy 463.57 18384.2232160.2286175.2SPe SPT SPt SPr 57.91SSxtTxt2/n Cx 71.64(712672692)/3 16380 SSxrTxr2/k Cx 530.87(183223222862)/1016380 SSxeSSx SSxtSSxr214.46SSytTyt2/n Cy 106.41(40.7237.4235.22)/3 5868.8 SSyrTyr2/k Cy 476.07(84.22160.22175.22)/105868.8SSyeSSy SSytSSyr46.21,三、SSye、dfye 的再分解与F-testSSueSPe2/SSxe15.64 57.912/214.46SSQeSSyeSSue30.57 46.2115.64 dfye dfue dfQe 18 1 17得检验回归关系的ANOVA表如下：SOV DF SS MS F F 0.01回归 1 15.64 15.64 8.69*8.41离回归 17 30.57 1.80 总 18 46.21 本例因为结荚株数与籽粒干重的直线回归关系极其显著，必须将试验指标的方差分析过程与回归分析结合起来，也就是要做协方差分析。否则（即回归关系的F-test不显著）,就可不必理睬协变量而直接对干重指标进行方差分析。,四、列协方差分析表，修正部分数据后再进行F-test SOV DF SSx SP SSy SSy DF MS F F 0.01 处理t 9 71.64 52.68 106.41 79.30 9 8.89 4.89*3.68 误差e 18 214.46 57.91 46.21 30.57 17 1.80 te 27 286.10 110.59 152.62 109.87 26 区组 2 530.87 463.57 476.07 总 29 816.97 574.16 628.69 既然协变量x与试验结果y之间的回归关系极其显著，各误差项或包含有误差项的数据（平方和）就必须再分解为回归效应和离回归效应两部分，而清除回归效应就是修正过程。SSye SSQe SSyeSSue 30.57 dfye dfQe dfye dfue 17 但SSyt SSytSSut，因为SSyt中不包含误差项SS，无法进行再分解；只有先修正SSy(t+e)得SSy(t+e)，再按 SSy(t+e)SSyt SSye算出。SSy(t+e)SSu(t+e)SSQ(t+e)且 SSu(t+e)SP(t+e)2/SSx(t+e)110.592/286.142.75 SSy(t+e)SSy(t+e)SSu(t+e)152.6242.75109.87故 SSyt SSy(t+e)SSye109.8730.5779.30 于是利用修正后的有关数据算得F4.89*。若遇此时F值不显著，则协方差分析到此结束。,五、修正各处理平均数t并进行多重比较 修正t即求算清除回归效应后的平均数t，本例回归系数：b SPe/SSxe 57.9/214.46 0.27 t t（yt）t b（x t x）t 0.27（x t 23.37）如：A13.570.27(23.6723.37)13.49 B12.470.27(22.3323.37)12.75依次类推得C、D、J11.730.27(23.0023.37)11.83 又由于本例满足应用Finney公式的两个条件，即：F(SSxtdfxt)(SSxedfxe)(71.649)(214.4618)0.6681F0.05 修正后的误差项自由度dfxe 1720 故用于多重比较的标准误SE可用Finney公式计算如下：Se2(SSye/dfxe)(1(SSxt/dfxt)/SSxe)Sye2(1Sxt 2/SSxe)1.80（1 71.649214.46）1.87SE Se2/n 1.87/3 0.789 若实例中不满足上述应用Finney公式的两个条件，则只能应用Wishart公式，该公式必须就每一个两两差数分别计算一一对应的SE值(教材P185),如果本例这样做，就需要计算45个两两差数的SE 值，繁琐得不得了，并且因为只能采用 t-test，犯类错误的概率几乎无法避免（10.95450.9）。由此可见，试验设计时如能保证误差项自由度尽可能达到20左右，对提高协方差分析中多重比较方法本身的可靠性是多么重要！,本例（协）方差分析的多重比较结果对照如下：,