最小二乘法 论文.doc

学 号：200810050118HEBEI UNITED UNIVERSITY毕业论文GRADUATE THESIS论文题目：最小二乘法及其应用学生姓名：赵龙专业班级：08数学1班学 院：理学院指导教师：郭小强 讲师2012年5月25日摘 要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常不能被准确理解。本文探讨了最小二乘法的基本原理及其各种变形的拟合方法，其中包括：一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合和可化为线性拟合的非线性拟合，并且给出了加权最小二乘法的方法，运用实例来展示最小二乘法在实践中的应用，在此基础上给出了几种最小二乘法程序的设计原理。关键词 最小二乘法，线性拟合，曲线拟合，应用实例AbstractLeast square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the parameters estimate, system identification, prediction, forecasting and other fields. However, the least square method because of its abstract and difficult ，often can not be accurately understanding. The least square methods principle and the various kinds of fitting methods such as the linear least square fitting, linear fitting, polynomial fitting ,and of linear fitting and nonlinear fitting， nonlinear fitting and gives the method of weighted least squares method, and the use of examples to show the least squares method application in practice, on the basis of several least-squares procedure design principle.Keywords ：least square method; linear fitting; curve fitting; application examples目 录摘 要IABSTRACTII第1章 绪论1第2章 最小二乘法32.1最小二乘法的定义32.2最小二乘法的统计学原理3第3章 最小二乘法应用53.1曲线拟合53.1.1一元线性拟合53.1.2多元线性拟合73.1.3多项式拟合83.1.4 非线性最小二乘法拟合83.1.5 可化为线性拟合的非线性拟合103.2 加权最小二乘法113.2.1加权最小二乘法定义113.2.2加权最小二乘法原理12第4章 应用最小二乘法解决的实际问题144.1一元线性拟合实例144.2 多项式拟合实例154.3 非线性拟合164.4 可化为线性拟合的非线性拟合17第5章 最小二乘法程序设计185.1程序设计原理185.1.1 一元线性拟合的程序设计原理185.1.2 多元线性拟合的程序设计原理185.2 Matlab对最小二乘法的实现195.2.1 用Matlab实现曲线拟合195.2.2 实例19结 论22参考文献23谢 辞24附 录25 第1章 绪论最小二乘法是一个比较古老的方法,早在十八世纪,首先创立并成功地应用于天文观测和大地测量工作中。虽然勒让德独立地运用最小二乘法是与高斯同时的，但人们一般都认为高斯在1795年（18岁）首先应用了最小二乘法。高斯创造了最小二乘法，使他能够用望远镜的观测结果来估算行星的轨道运动。目前，有三个领域的发展越来越广泛地运用于最小二乘法，对最小二乘法估计理论和实用都带来了深刻的影响。这三个领域的发展是：近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念以及大型快速数字计算机的应用。在每个领域中，对于最小二乘法的应用，其观测值不可能是完善无误的。观测精度总是存在一个极限值，超过这个极限值，不是表达量的数学模型失效，就是测量仪器的分辨力失效，或者两者都失效。超过这个精度极限值，重复观测结果之间不会彼此符合。例如，如果我们用米标尺和肉眼多次观测工作台的长度，那么极限精度很可能为毫米。如果我们把测量结果记录到最接近的0.1毫米，那么它们将是不一致的。我们所希望的精度，往往超过我们所实施的观测的极限精度。在这种情况下，我们不可能知道我们所观测的物理量的真值。我们只能对真值做一个估计。我们希望这个估值是惟一的（即是用某种标准方法来求定估值，当给定同样的观测结果时，这个方法得到同样的估值），而且我们希望知道固执的优度如何。处理不一致的数据的科学方法叫做统计学，确定唯一估值以及其优度的方法叫做统计估计法，最小二乘法是使不符值的平方和为最小的一种统计估计法。应当着重指出，还有其他的方法也能得到唯一的估值。例如，使不符值的绝对值的和为最小的估值法，或使最大的不符值为最小的估值法。但与最小二乘法相比，这些方法至少有下述三个缺点。第一，最小二乘法适用于涉及到线性和非线性数学模型的问题，而其他两种方法仅适用于线性问题，其原因在于受到了基本连续性和可微性的限制。第二，最小二乘法估计与一个统计量（算术平均值）发生关系，这个统计量往往比与其它两种方法关联的两个统计量（它们分别是中位数和中列数）更重要。最后，最小二乘法普遍的应用于许多领域，使得它成为获得唯一估值的标准方法。本文将对最小二乘法以及在现在社会生活中应用进行叙述。第二章介绍最小二乘法定义以及原理，第三章将讨论曲线拟合，第四章将举例来进一步说明最小二乘法在实际中的应用，第五章将分析最小二乘法的程序设计原理，以及用matlab来实现曲线拟合。本章主要介绍了最小二乘法的背景和统计学与最小二乘法，是我们了解了最小二乘法与统计学其他统计数据方法相比较最小二乘法的优点，最后对本文主要内容进行了介绍。第2章 最小二乘法2.1最小二乘法的定义定义1.1 （残差）：。希望尽可能小，常见方法有：（1）选取，使偏差绝对值之和最小，即（2）选取，使偏差最大绝对值最小，即（3）选取，使偏差平方和最小，即 称（3）为最小二乘法原则。定义1.2（最小二乘法）：根据已知数据组选取一个近似函数，使得最小。这种求近似函数的方法称为曲线拟合的最小二乘法，函数称为这组数据的最小二乘函数。2.2最小二乘法的统计学原理基本最小二乘法，其统计学原理是：设统计量与个变量间的依赖关系式为，其中是方程中需要确定的个参数。最小二乘法就是通过个实验点确定出一组参数值,使由这组参数得出的函数值与实验值间的偏差平方和取得极小值.在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即.这时构成的方程组叫做矛盾方程组.通过用最小二乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出.由微分学的求极值方法可知应满足下列方程组: ,这样就实现矛盾方程组向正规方程组的转换。 本章对最小二乘法做了详细的定义，使我们清楚地认识了最小二乘法。随后又对最小二乘法的统计学原理进行了阐述，使我们更清楚的了解最小二乘法的运算原理。第3章 最小二乘法应用3.1曲线拟合3.1.1一元线性拟合设变量与成线性关系,即.现在已知个实验点 ,求两个未知参数.方法一 由最小二乘法原理,参数应使取得极小值.根据极小值的求法,和应满足,这就是含有两个未知数和两个方程的正规方程组.从中解得,即 (1)其中,线性相关系数,式中,相关系数是用来衡量实验点的线性特性.方法二 将代入得矛盾方程组 (2)令,则（2）式可写成,则有,所以.其中称为结构矩阵,称为数据矩阵,称为信息矩阵,称为常数矩阵.为了定量地给出与实验数据之间线性关系的符合程度,可以用相关系数来衡量.它定义为.值在中,值越接近1,与的线性关系越好.为正时,直线斜率为正,称为正相关；为负时,直线斜率为负,称为负相关.接近于0时,测量数据点分散或之间为非线性.不论测量数据好坏都能求出和,所以我们必须有一种判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是时,测量数据是非线性的。称为相关系数的起码值,与测量次数有关,如图表所示。表3-1 相关系数起码值31.00090.798150.64140.990100.765160.62350.959110.735170.60660.917120.708180.59070.874130.684190.57580.834140.661200.561在进行一元线性拟合之前应先求出值,再与比较,若,则和具有线性关系,可求回归直线；否则反之。3.1.2多元线性拟合设变量与个变量间存在线性关系,.设变量的第次测量值为,对应的函数值为,则偏差平方和为使取极小值,得正规方程组为:,即,.将实验数据代入上述正规方程组中,即得出未知参数.3.1.3多项式拟合对于次多项式,令,则可转化为线性形式这是曲线化直.对于个实验点有,代入多元线性拟合的正规方程:,可直接得出多项式最小二乘拟合的正规方程: ；矩阵形式:,式中代表,这是一个具有个参数和个方程的线性方程组,可用高斯迭代法求出这些未知参数,得出回归方程。3.1.4 非线性最小二乘法拟合将非线性关系直接代入偏差平方和表达式中,采用极小值的求法得出的数值,此方法常常较为繁琐.为此,先将函数展开成泰勒级数,忽略高次项,化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足精度要求的结果。计算步骤:(1) 设所求参数真值为,另取初值,其差值,故.(2) 将函数在处展开成泰勒级数.由于初值与真值应当很接近,故可以略去函数的泰勒展开式高次项,取得一阶近似展开式:,式中(3) 令,则展开式可以写为: ,这是线性关系式的特殊形式。(4) 将多元线性最小二乘法拟合的正规方程式应用于上式,得出其正规方程组:令,则上式成为: 。(5) 以高斯消元法或其它方法求解正规方程,即可得出即,求出,此式是一个近似式,因而得出的也是一个近似值.将首次求出的值赋给作为新的初值,重复上述过程,再求出新的值,从而得到新的初值,反复迭代,直到得出足够精度的为止。3.1.5 可化为线性拟合的非线性拟合有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理。对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点同哪类曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性 拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。表3-2列举了几类 经适当变换化为线性拟合求解的曲线拟合方程及变换关系。表3-2曲线拟合方程变换关系变换后线性拟合方程 图3-1中是几种常见的数据拟合情 况。对于图(a)，数据接近于直线，故宜采用线性函数y=a+bx拟合；图(b)数据分布接近于抛物线，可采用二次多项式拟合；图(c)的数据分布特点是开始曲线上升较快随后逐 渐变慢，宜采用双曲线型函数或指数型函数；图(d)的数据分布特点是曲线开始下降快，随后逐渐变慢，宜采用或或等函数拟合。图3-13.2 加权最小二乘法3.2.1加权最小二乘法定义此法是应用于实验测量值非等精度的情况下的拟合方法。它不同程度的消除误差因素,结果更准确可靠。设拟合函数为,当值取时的实测值为,取.加权偏差平方和,式中为个实验点的权重因子.选取合适的权重因子可获得高精度的拟合参数。3.2.2加权最小二乘法原理根据实际需要，往往对于精度较高或地位较重要的数据，应该给予较大的权。用加权最小二乘法进行曲线拟合的要求与原则是：对于给定的一组试验数据，要求在中，寻找一个函数使其中 为中任一函数是正数，称为权，大小反映的地位强弱，显然：求可归结为求多元函数的极小点同理可求。但其中：特例：如果选用的拟合曲线为则，相应的方法方程组为=。本章主要介绍了最小二乘法的应用，使我们了解了曲线拟合，对一元线性拟合、多元线性拟合、多项式拟合和非线性拟合的原理有了很好的理解，通过对线性和非线性拟合的理解，又给出了线性拟合向非线性拟合的转变。并且给出了加权最小二乘法的定义和原理，将最小二乘法用模糊数学思想进行计算，使精度更加准确。第4章 应用最小二乘法解决的实际问题4.1一元线性拟合实例例 测得铜导线在温度()时的电阻如表6-1，求电阻R与温度 T的近似函数关系。表4-1i0123456()19.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解 画出散点图（图4-1），可见测得的数据接近一条直线，故取n=1，拟合函数为列表如下表4-2i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正规方程组为解方程组得故得R与T的拟合直线为利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=-242.5，即预测温度T=-242.5时，铜导线无电阻。图4-14.2 多项式拟合实例例   已知实验数据如表4-3表4-3i01234567813456789101054211234试用最小二乘法求它的二次拟合多项式。解 设拟合曲线方程为列表如下表4-4I0110111101013592781154524416642561664352251256251050461362161296636571493432401749682645124096161287938172965612724381041001000100004040053323813017253171471025得正规方程组解得故拟合多项式为。4.3 非线性拟合例 已知一组数据如下表，在中求其拟合函数。表4-500.10.20.30.40.50.622.202542.407152.615922.830963.054483.28876解 设拟合函数为 即代入得所以解正规方程组得故所求拟合曲线为4.4 可化为线性拟合的非线性拟合例 设一个发射源的发射公式为，通过实验得到如下数据：表4-60.20.30.40.50.60.70.83.162.381.751.341.000.740.56利用最小二乘法确定和a。解 ：，将数据对转化为数据对，然后进行直线拟合。列表如下：表4-7k00.23.161.150570.040.23011410.32.380.867100.090.26013020.41.750.559620.160.22384630.51.340.292670.250.14633540.61.000.00.360.050.70.74-0.301110.49-0.21077460.80.56-0.579820.64-0.4638553.5 1.989032.030.185796 于是得到正规方程组：解得：则，于是得到拟合指数函数为。本章通过对最小二乘法的一元线性拟合、多项式拟合和非线性拟合进行研究，通过进一步加深理解，给出了由非线性拟合向线性拟合的转变，结合社会实际中数据和物理实验数据，找到了相关的社会背景和物理背景，使我们具体的理解了一元线性拟合和多项式拟合的原理。读者可以通过对本文的学习，给出多元拟合的求解。第5章 最小二乘法程序设计5.1程序设计原理5.1.1 一元线性拟合的程序设计原理对于给定的实验数据,求作拟合直线,使总误差为最小.再由数学中极值求法得公式:,式中,。5.1.2 多元线性拟合的程序设计原理对式,设变量的第次测量值为,对应的函数值偏差平方和,求其极小值得正规方程组, , 式中：为实验点数,为未知参数个数,为变量在第次测量中的取值；为函数第次测量值,为正规方程组的系数和,第列存放和；为存放未知参数。5.2 Matlab对最小二乘法的实现5.2.1 用Matlab实现曲线拟合Matlab是一种功能强大的系统分析和仿真工具，我们选用它作为实现曲线拟合的软件工具。用Matlab语言实现最小二乘法的思路：（1） 输入各参量x、y的测量值（以数组形式输入，这样便于在计算过程中引用）；（2） 用Matlab语言中plot函数x、y的曲线关系图，以此图对比典型曲线图，选择合适的经验公式；（3） 选择一个系数a，求f（a，b）对它的偏导数，求出其计算表达式；（4） 编写Matlab的M函数，用来完成经验公式中待定系数a的计算，该函数输入量为x、y、b，输出量为a、f（a，b）按照最小二乘法推导出的公式代入数值由x，y，b计算a，f；（5） 改变b的取值，多次调用该M函数，比较结果中的f值，最小的f值所对应的a、b值即为所求。最后，只要将得到的函数图像和x，y的曲线关系图进行对比，就可以直观的看到拟合的效果了。另外，Matlab语言提供了一个函数，可以完成线性曲线拟合，就是ployfit。函数polyfit的输入量为x、y、n，其中x、y即为需要建立相互关系的两个量的测量量，以数组的形式输入，n为多项式的次数；输出的是多项式系数的行向量，而得到的多项式是降幂的。5.2.2 实例例 下面给定的是乌鲁木齐最近1个月早晨7:00左右(新疆时间)的天气预报所得到的温度数据表，按照数据找出任意次曲线拟合方程和它的图像。表5-1天数12345678910温度910111213141312119天数11121314151617181920温度101112131412111098天数21222324252627282930温度78911976531下面应用Matlab编程对上述数据进行最小二乘拟合（1）Matlab 程序代码：x=1:1:30;y=9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7,6,5,3,1;a1=polyfit(x,y,3)a2= polyfit(x,y,9)a3= polyfit(x,y,15)b1= polyval(a1,x)b2= polyval(a2,x)b3= polyval(a3,x)r1= sum(y-b1).2)r2= sum(y-b2).2)r3= sum(y-b3).2)plot(x,y,'*')hold onplot(x,b1, 'r')hold onplot(x,b2, 'g')hold onplot(x,b3, 'b:o')（2）Matlab 数值结果不同次数多项式拟和误差平方和为：r1 = 67.6659r2 = 20.1060r3 = 3.7952r1、r2、r3分别表示三次、九次、十五次多项式误差平方和。拟和曲线如图5-1：图5-1上图中*代表原始数据，红色曲线代表三次多项式拟合曲线，绿色曲线代表九次多项式拟合曲线，蓝色o线代表十五次多项式拟合曲线。结 论本文先是介绍了下最小二乘法的背景和优点了，然后从最小二乘法的定义和原理开题。分别介绍了最小二乘法的推广，展开的分析了曲线拟合以及加权最小二乘法，然后通过实例说明了在实际中的应用，最后给出了最小二乘法的程序设计原理以及程序的应用实例。从线性拟合实例出发，研究了最小二乘法在物理关系电阻和铜丝文都的关系的应用，适合刚接触的人很快上手学以致用。对于最小二乘法原理问题在物理关系中的应用，做了一些初步的探索，接下来对物理实验数用多项式拟合方法进行计算和给出了Matlab编程。对于加权最小二乘法的给出是本文的一个创新点，应用模糊数学的思想将最小二乘法的准确度进一步提高，对于未来的预测结果更准确的给出，是对最小二乘法深层次理解的基础上进一步的延伸和学习，有很强的实用性。最小二乘法原理在很多领域都很广泛的应用，利用Matlab求解非常方便，但一定要主要问题的类型，尤其是对非线性的问题，最终得到的结果要保证收敛并且在有效的误差范围内，如果不能满足上述要求，则要根据具体问题的要求根据最小二乘法的原理去重新编写程序。最后，最小二乘法是一个比较古老的方法,早在十八世纪,就由首先创立并成功地应用于天文观测和大地测量工作中.此后近三百年来,它已经广泛应用于科学实验与工程技术中.最小二乘法能将从实验中得出的一大堆看上去杂乱无章的数据中找出一定规律,拟合成一条曲线来反映所给数据点总趋势,以消除其局部波动.它为科研工作者提供了一种非常方便实效的数据处理方法.随着现代电子计算机的普及与发展,这个占老的方法更加显示出其强大的生命力。参考文献1 施光燕，钱伟懿，庞丽萍.最优化方法（第2版）.北京:高等教育出版社,2007.2 张德丰.MATLAB数值计算方法.北京:机械工业出版社,2010.3 肖悠南.现代数值计算方法.北京:北京大学出版社,2010.4 李庆扬,王能超,易大义.数值分析(第4版)M.北京:清华大学出版社,2001.5 宋文臣.True Basic语言程序设计M.北京:电子工业出版社,1994.6 赵新那.数值分析在分析化学中的应用M.武汉:中南工业大学出版社,1987.7 徐成贤,陈志平,李乃成.近代优化方法M.北京:科学出版社,2002.8 (美)里德.数值分析与科学计算.北京:清华大学出版社,2008.9（美）约翰逊.数学分析与科学计算.北京:科学出版社,2012.10 Gotz Trenkler: Mean Square Error Matrix Comparisons between Biased Restricted Least Squares EstimatorsJ: Sankhya: The indian Journal of Statistics,Series A, Vol. 53, No. 3,1991,pp. 309-319.11 GirdharG. Agarwal and W. J. Studden: ASymptotic Integrated Mean Square Error Using Least Squares and Bias Minimizing SplineJ: The Annals of Statistics, Vol. 8, No. 6, 1980, pp. 1307-1325.12 V. P. Gupta and S. R. Srivastava: Bias and Mean Square of an Estimation Procedure after Two Preliminary Test of Significance in Anova Model-IJ: Sankhya: The Indian Journal of Statistics,Series A, Vol. 31, No. 3,1969,pp. 319-332.谢 辞经过一段时间的努力我终于完成了本科结业论文，也到了该写致谢的时间了，我也希望能用这样一篇文章来表达我对老师、同学和家人的深深谢意。本文的顺利完成，是在郭小强老师的严格要求和悉心指导下完成的。郭老师严谨的治学精神，一丝不苟的工作态度是我学习的榜样。没有郭老师的关怀与指导就没有本文的完成，再次表示衷心的感谢。同时，本文的完成还得益于在河北联合大学四年时间里老师传授的知识，我要谢谢在我本科四年的学习生涯中教过我的老师们，谢谢他们在科研使命云云繁重时还能够耐心详尽的给我们解说基础课程。我从他们身上学到的不仅是知识，另有一个科研事情者必备的素质和品质。在此我还要感谢我的同学们，我们大学共度了四年美好的时光，与你们相知相识是我一生的财富。我们在大学里共同学习，共同进步，拥有了真挚的友谊，在我们走出校门以后，我们还是最亲切的家人，最诚挚的朋友。还不得不感谢百度和Google公司。他们的搜索功能强大、快捷又免费。在这里，我敢说，我们每一位写论文的同学，没有一位不曾借助过它们。那些日子，我们启动电脑后打开的第一个网页一定是它们中的一个。是它们让我们很方便地搜索到了我们所需要的"论文材料"，国内的、国外的，中文的、外文的。正是靠着这些"论文材料"，我们才得以顺利完成我们的"百衲衣"论文。更感谢Google公司增设了翻译功能，它的翻译不仅正确率高而且功能强大，一次便可翻译一整篇论文。我们的外文文献，全赖于此。最后，我要感谢我的父母，感谢他们二十多年了对我含辛茹苦的养育之恩，感谢爸爸妈妈为我提供这么好的学习生活条件，你们永远是我的精神支柱和前进的动力。在以后的工作学习中，我将会更加努力奋斗，用优异的成绩来报答你们。附 录原程序码：x=1:1:30;y=9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7,6,5,3,1;a1=polyfit(x,y,3) %三次多项式拟合%a2= polyfit(x,y,9) %九次多项式拟合%a3= polyfit(x,y,15) %十五次多项式拟合%b1= polyval(a1,x)b2= polyval(a2,x)b3= polyval(a3,x)r1= sum(y-b1).2) %三次多项式误差平方和%r2= sum(y-b2).2) %九次次多项式误差平方和%r3= sum(y-b3).2) %十五次多项式误差平方和%plot(x,y,'*') %用*画出x,y图像%hold onplot(x,b1, 'r') %用红色线画出x,b1图像%hold onplot(x,b2, 'g') %用绿色线画出x,b2图像%hold onplot(x,b3, 'b:o') %用蓝色o线画出x,b3图像%输出结果：a1 = -0.0003 -0.0094 0.2920 10.2085Warning: Polynomial is badly conditioned. Remove repeated data points or try centering and scaling as described in HELP POLYFIT.> In polyfit at 81a2 = -0.0000 0.0000 -0.0000 0.0013 -0.0292 0.3812 -2.8773 11.5034 -19.9503 20.4344Warning: Polynomial is badly conditioned. Remove repeated data points or try centering and scaling as described in HELP POLYFIT.> In polyfit at 81a3 = Columns 1 through 11 0.0000 -0.0000 0.0000 -0.0000 0.0000 -0.0000 0.0005 -0.0076 0.0788 -0.5854 3.0794 Columns 12 through 16 -11.2018 27.1803 -41.3221 35.8495 -4.0719b1 = Columns 1 through 11 10.4908 10.7526 10.9919 11.2073 11.3967 11.5587 11.6912 11.7928 11.8615 11.8956 11.8934 Columns 12 through 22 11.8532 11.7731 11.6515 11.4865 11.2765 11.0197 10.7144 10.3587 9.9510 9.4895 8.9724 Columns 23 through 30 8.3980 7.7646 7.0704 6.3136 5.4925 4.6054 3.6505 2.6261b2 = Columns 1 through 11 9.4634 8.7739 11.1014 13.1215 13.8090 13.3110 12.2180 11.1360 10.4750 10.3866 10.7938 Columns 12 through 22 11.4699 12.1321 12.5279 12.4978 12.0080 11.1492 10.1082 9.1172 8.3917 8.0702 8.1657 Columns 23 through 30 8.5427 8.9292 8.9698 8.3244 6.8093 4.5725 2.2869 1.3378b3 = Columns 1 through 11 8.9996 10.0055 10.9750 12.0355 13.0672 13.6936 13.3632 12.0521 10.4657 9.5373 9.7624 Columns 12 through 22 10.9157 12.2830 13.1504 13.1794 12.4588 11.2950 9.9755 8.7088 7.7381 7.4168 8.0112 Columns 23 through 30 9.2639 10.1608 9.5040 7.2941 5.4503 5.3120 2.9161 1.0091r1 = 67.6659r2 = 20.1060r3 = 3.7952>>