应用统计方法第四章-回归分析.ppt

2023/9/10,应用统计方法第四章,1,第四章 回归分析,多元回归方法：在众多的相关的变量中，根据问题的要求，考察其中一个或几个变量与其余变量的依赖关系。多元回归问题：如果只考察某一个变量（常称为响应变量，因变量，指标）与其余多个变量（自变量或因素）的相互依赖关系。多因变量的多元回归问题（多对多回归）,2023/9/10,应用统计方法第四章,2,例如：若某公司管理人员要预测来年该公司的销售额y时，研究认为影响销售额的因素不只是广告宣传费x1,还有个人可支配收入x2,价格x3,研究与发展费用x4,各种投资x5,销售费用x6.,2023/9/10,应用统计方法第四章,3,多元线性回归回归变量的选择与逐步回归。可化为多元线性回归的问题,2023/9/10,应用统计方法第四章,4,第一节 多元线性回归,2023/9/10,应用统计方法第四章,5,2023/9/10,应用统计方法第四章,6,一、多元线性回归模型的基本假定解释变量x1,x2,xm是确定性变量，不是随机变量，而且解释变量之间互不相关随机误差项具有零均值和同方差 随机误差项在不同样本点之间是相互独立的，不存在序列相关,2023/9/10,应用统计方法第四章,7,随机误差项与解释变量之间不相关 随机误差项服从零均值，同方差的正态分布,2023/9/10,应用统计方法第四章,8,二、建立回归方程设令 即,2023/9/10,应用统计方法第四章,9,2023/9/10,应用统计方法第四章,10,2023/9/10,应用统计方法第四章,11,2023/9/10,应用统计方法第四章,12,2023/9/10,应用统计方法第四章,13,2023/9/10,应用统计方法第四章,14,2023/9/10,应用统计方法第四章,15,2023/9/10,应用统计方法第四章,16,例2中，方差分析表为：,y,2023/9/10,应用统计方法第四章,17,2023/9/10,应用统计方法第四章,18,2023/9/10,应用统计方法第四章,19,2023/9/10,应用统计方法第四章,20,2023/9/10,应用统计方法第四章,21,2023/9/10,应用统计方法第四章,22,2023/9/10,应用统计方法第四章,23,2023/9/10,应用统计方法第四章,24,2023/9/10,应用统计方法第四章,25,2023/9/10,应用统计方法第四章,26,2023/9/10,应用统计方法第四章,27,2023/9/10,应用统计方法第四章,28,2023/9/10,应用统计方法第四章,29,2023/9/10,应用统计方法第四章,30,data d411;input x1-x4 y;cards;7 26 6 60 78.51 29 15 52 74.311 56 8 20 104.311 31 8 47 87.67 52 6 33 95.911 55 9 22 109.23 71 17 6 102.71 31 22 44 72.52 54 18 22 93.121 47 4 26 115.91 40 23 34 83.811 66 9 12 113.310 68 8 12 109.4；proc reg data=d411;model y=x1-x4;run;quit;,2023/9/10,应用统计方法第四章,31,data d411;input x1-x4 y;cards;7 26 6 60 78.51 29 15 52 74.311 56 8 20 104.311 31 8 47 87.67 52 6 33 95.911 55 9 22 109.23 71 17 6 102.71 31 22 44 72.52 54 18 22 93.121 47 4 26 115.91 40 23 34 83.811 66 9 12 113.310 68 8 12 109.4;proc reg data=d411;model y=x1-x4/selection=stepwise sle=0.10 sls=0.10;run;quit;,2023/9/10,应用统计方法第四章,32,The SAS System 13:43 Wednesday,March 10,2008 7 The REG Procedure Model:MODEL1 Dependent Variable:y Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 4 2667.89944 666.97486 111.48|t|Intercept 1 62.40537 70.07096 0.89 0.3991 x1 1 1.55110 0.74477 2.08 0.0708 x2 1 0.51017 0.72379 0.70 0.5009 x3 1 0.10191 0.75471 0.14 0.8959 x4 1-0.14406 0.70905-0.20 0.8441,2023/9/10,应用统计方法第四章,33,2023/9/10,应用统计方法第四章,34,2023/9/10,应用统计方法第四章,35,data d411;input x1-x4 y;cards;7 26 6 60 78.51 29 15 52 74.311 56 8 20 104.311 31 8 47 87.67 52 6 33 95.911 55 9 22 109.23 71 17 6 102.71 31 22 44 72.52 54 18 22 93.121 47 4 26 115.91 40 23 34 83.811 66 9 12 113.310 68 8 12 109.4;proc reg data=d411;model y=x1 x2;run;quit;,2023/9/10,应用统计方法第四章,36,The SAS System 13:43 Wednesday,March 10,2008 11 The REG Procedure Model:MODEL1 Dependent Variable:y Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 2 2657.85859 1328.92930 229.50|t|Intercept 1 52.57735 2.28617 23.00.0001 x1 1 1.46831 0.12130 12.10.0001 x2 1 0.66225 0.04585 14.44.0001拟合的很好，x1,x2对y的影响显著,2023/9/10,应用统计方法第四章,37,Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 1 1831.89616 1831.89616 22.80 0.0006 Error 11 883.86692 80.35154 Corrected Total 12 2715.76308 Parameter Standard Variable Estimate Error Type II SS F Value Pr F Intercept 117.56793 5.26221 40108 499.16 F Model 2 2641.00096 1320.50048 176.63.0001 Error 10 74.76211 7.47621 Corrected Total 12 2715.76308,2023/9/10,应用统计方法第四章,38,Stepwise Selection:Step 3 Variable x2 Entered:R-Square=0.9823 and C(p)=3.0182 Analysis of Variance Sum of MeanSource DF Squares Square F Value Pr FModel 3 2667.79035 889.26345 166.83.000Error 9 47.97273 5.33030Corrected Total 12 2715.76308,2023/9/10,应用统计方法第四章,39,Stepwise Selection:Step 4 Variable x4 Removed:R-Square=0.9787 and C(p)=2.6782 Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 2 2657.85859 1328.92930 229.50 F Intercept 52.57735 2.28617 3062.60416 528.91.0001 x1 1.46831 0.12130 848.43186 146.52.0001 x2 0.66225 0.04585 1207.78227 208.58.0001 Bounds on condition number:1.0551,4.2205,2023/9/10,应用统计方法第四章,40,All variables left in the model are significant at the 0.1000 level.No other variable met the 0.1000 significance level for entry into the model.Summary of Stepwise Selection Variable Variable Number Partial Model Step Entered Removed Vars In R-Square R-Square C(p)F Value Pr F 1 x4 1 0.6745 0.6745 138.731 22.80 0.0006 2 x1 2 0.2979 0.9725 5.4959 108.22.0001 3 x2 3 0.0099 0.9823 3.0182 5.03 0.0517 4 x4 2 0.0037 0.9787 2.6782 1.86 0.2054,2023/9/10,应用统计方法第四章,41,三.回归变量的选择与逐步回归（1）enter:强迫进入法（2）stepwise:逐步选择法（3）remove:强迫消除法（4）backward:向后剔除法（5）forward:向前引入法,2023/9/10,应用统计方法第四章,42,2023/9/10,应用统计方法第四章,43,2023/9/10,应用统计方法第四章,44,2023/9/10,应用统计方法第四章,45,2023/9/10,应用统计方法第四章,46,2023/9/10,应用统计方法第四章,47,2023/9/10,应用统计方法第四章,48,2023/9/10,应用统计方法第四章,49,2023/9/10,应用统计方法第四章,50,2023/9/10,应用统计方法第四章,51,2023/9/10,应用统计方法第四章,52,2023/9/10,应用统计方法第四章,53,2023/9/10,应用统计方法第四章,54,data d411;input x1-x4 y;cards;7 26 6 60 78.51 29 15 52 74.311 56 8 20 104.311 31 8 47 87.67 52 6 33 95.911 55 9 22 109.23 71 17 6 102.71 31 22 44 72.52 54 18 22 93.121 47 4 26 115.91 40 23 34 83.811 66 9 12 113.310 68 8 12 109.4;proc reg data=d411;model y=x1-x4/selection=rsquare b adjrsq cp aic mse sbc;run;quit;,2023/9/10,应用统计方法第四章,55,The REG Procedure Model:MODEL1 Dependent Variable:y R-Square Selection Method Number in Adjusted Model R-Square R-Square C(p)AIC MSE SBC 1 0.6745 0.6450 138.7308 58.8516 80.35154 59.98154 1 0.6663 0.6359 142.4864 59.1780 82.39421 60.30789 1 0.5339 0.4916 202.5488 63.5195 115.06243 64.64937 1 0.2859 0.2210 315.1543 69.0674 176.30913 70.19730-2 0.9787 0.9744 2.6782 25.4200 5.79045 27.11484 2 0.9725 0.9670 5.4959 28.7417 7.47621 30.43655 2 0.9353 0.9223 22.3731 39.8526 17.57380 41.54743 2 0.8470 0.8164 62.4377 51.0371 41.54427 52.73199 2 0.6801 0.6161 138.2259 60.6293 86.88801 62.32417 2 0.5482 0.4578 198.0947 65.1167 122.70721 66.81153-3 0.9823 0.9764 3.0182 24.9739 5.33030 27.23368 3 0.9823 0.9764 3.0413 25.0112 5.34562 27.27099 3 0.9813 0.9750 3.4968 25.7276 5.64846 27.98735 3 0.9728 0.9638 7.3375 30.5759 8.20162 32.83568-4 0.9824 0.9736 5.0000 26.9443 5.98295 29.76903,2023/9/10,应用统计方法第四章,56,Number in-Parameter Estimates-Model R-Square Intercept x1 x2 x3 x4 1 0.6745 117.56793.-0.73816 1 0.6663 57.42368.0.78912.1 0.5339 81.47934 1.86875.1 0.2859 110.20266.-1.25578.-2 0.9787 52.57735 1.46831 0.66225.2 0.9725 103.09738 1.43996.-0.61395 2 0.9353 131.28241.-1.19985-0.72460 2 0.8470 72.07467.0.73133-1.00839.2 0.6801 94.16007.0.31090.-0.45694 2 0.5482 72.34899 2.31247.0.49447.-3 0.9823 71.64831 1.45194 0.41611.-0.23654 3 0.9823 48.19363 1.69589 0.65691 0.25002.3 0.9813 111.68441 1.05185.-0.41004-0.64280 3 0.9728 203.64196.-0.92342-1.44797-1.55704-4 0.9824 62.40537 1.55110 0.51017 0.10191-0.14406,2023/9/10,应用统计方法第四章,57,2023/9/10,应用统计方法第四章,58,2023/9/10,应用统计方法第四章,59,2023/9/10,应用统计方法第四章,60,2023/9/10,应用统计方法第四章,61,2023/9/10,应用统计方法第四章,62,2023/9/10,应用统计方法第四章,63,data d431;input year x1-x5 y1 y2;cards;1949 0.9 0.8 0.14 6.63 0.24 1.47 7.311950 1.0 2.1 0.15 7.07 0.46 1.25 7.421951 2.9 6.3 0.33 7.60 1.02 2.05 11.131952 5.0 4.4 0.78 12.88 1.61 2.49 16.081953 8.2 13.3 1.18 15.86 1.63 3.16 22.861954 13.1 16.8 1.56 18.79 1.93 3.87 29.521955 23.8 17.8 2.11 14.63 2.31 4.50 34.541956 34.8 27.8 3.09 19.79 3.32 6.09 41.221957 35.4 22.1 3.58 16.50 4.44 6.78 47.541958 47.0 32.2 7.31 26.22 7.18 10.73 60.001959 62.6 33.2 9.61 28.00 8.77 17.65 78.001960 68.0 55.6 12.85 27.56 9.89 26.84 96.201961 35.3 24.4 6.76 10.95 5.58 24.20 52.371962 31.3 17.9 5.08 10.15 6.03 20.08 37.771963 35.2 24.8 5.54 14.23 7.18 19.28 40.071964 45.3 37.8 7.14 20.38 8.80 22.89 50.361965 49.5 78.8 11.20 26.56 10.45 28.94 65.331966 59.7 101.6 15.89 33.18 12.51 39.05 83.641967 47.8 74.9 10.86 23.90 11.42 39.09 68.161968 17.7 40.2 5.10 17.56 9.03 26.81 41.641969 36.0 73.3 13.14 27.20 8.05 37.19 67.301970 62.0 138.6 25.54 36.28 10.30 54.09 103.571971 97.0 247.0 31.31 41.53 14.18 77.39 135.801972 95.2 270.0 28.79 40.24 15.19 84.02 118.101973 118.4 233.5 28.03 38.20 15.77 88.39 119.621974 99.9 205.0 26.50 31.54 12.29 86.32 112.391975 151.0 288.0 38.61 46.87 17.36 107.94 144.411976 108.0 262.2 31.46 38.62 15.10 102.76 130.661977 162.5 358.6 46.21 52.48 20.48 118.84 175.101978 238.2 454.8 55.86 55.96 26.40 139.30 214.44;proc print;run;proc reg data=d431;model y1 y2=x1-x5;mtest x3,x4,x5;run;quit;,2023/9/10,应用统计方法第四章,64,The SAS System 07:49 Sunday,March 21,2008 4 The REG Procedure Model:MODEL1 Multivariate Test 1 Multivariate Statistics and F Approximations S=2 M=0 N=10.5 Statistic Value F Value Num DF Den DF Pr F Wilks Lambda 0.17390860 10.72 6 46.0001 Pillais Trace 1.08953122 9.57 6 48.0001 Hotelling-Lawley Trace 3.23532937 12.16 6 28.955.0001 Roys Greatest Root 2.66743672 21.34 3 24.0001 NOTE:F Statistic for Roys Greatest Root is an upper bound.NOTE:F Statistic for Wilks Lambda is exact.,2023/9/10,应用统计方法第四章,65,data d431;input year x1-x5 y1 y2;cards;1949 0.9 0.8 0.14 6.63 0.24 1.47 7.311950 1.0 2.1 0.15 7.07 0.46 1.25 7.421951 2.9 6.3 0.33 7.60 1.02 2.05 11.131952 5.0 4.4 0.78 12.88 1.61 2.49 16.081953 8.2 13.3 1.18 15.86 1.63 3.16 22.861954 13.1 16.8 1.56 18.79 1.93 3.87 29.521955 23.8 17.8 2.11 14.63 2.31 4.50 34.541956 34.8 27.8 3.09 19.79 3.32 6.09 41.221957 35.4 22.1 3.58 16.50 4.44 6.78 47.541958 47.0 32.2 7.31 26.22 7.18 10.73 60.001959 62.6 33.2 9.61 28.00 8.77 17.65 78.001960 68.0 55.6 12.85 27.56 9.89 26.84 96.201961 35.3 24.4 6.76 10.95 5.58 24.20 52.371962 31.3 17.9 5.08 10.15 6.03 20.08 37.771963 35.2 24.8 5.54 14.23 7.18 19.28 40.071964 45.3 37.8 7.14 20.38 8.80 22.89 50.361965 49.5 78.8 11.20 26.56 10.45 28.94 65.331966 59.7 101.6 15.89 33.18 12.51 39.05 83.641967 47.8 74.9 10.86 23.90 11.42 39.09 68.161968 17.7 40.2 5.10 17.56 9.03 26.81 41.641969 36.0 73.3 13.14 27.20 8.05 37.19 67.301970 62.0 138.6 25.54 36.28 10.30 54.09 103.571971 97.0 247.0 31.31 41.53 14.18 77.39 135.801972 95.2 270.0 28.79 40.24 15.19 84.02 118.101973 118.4 233.5 28.03 38.20 15.77 88.39 119.621974 99.9 205.0 26.50 31.54 12.29 86.32 112.391975 151.0 288.0 38.61 46.87 17.36 107.94 144.411976 108.0 262.2 31.46 38.62 15.10 102.76 130.661977 162.5 358.6 46.21 52.48 20.48 118.84 175.101978 238.2 454.8 55.86 55.96 26.40 139.30 214.44;proc print;run;proc reg data=d431;model y1 y2=x1-x5/selection=stepwise sle=0.05 sls=0.05;run;proc reg data=d431;model y1 y2=x3-x5;run;quit;,2023/9/10,应用统计方法第四章,66,The REG Procedure Model:MODEL1 Dependent Variable:y1 Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 3 46484 15495 291.53|t|Intercept 1 8.49945 4.65024 1.83 0.0791 x3 1 2.84128 0.34248 8.30.0001 x4 1-0.84954 0.34357-2.47 0.0203 x5 1 1.34764 0.70305 1.92 0.0663,2023/9/10,应用统计方法第四章,67,The REG Procedure Model:MODEL1 Dependent Variable:y2 Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 3 76352 25451 425.62|t|Intercept 1 5.29311 4.93246 1.07 0.2931 x3 1 1.72533 0.36326 4.75.0001 x4 1 1.00529 0.36442 2.76 0.0105 x5 1 1.97305 0.74572 2.65 0.0136,2023/9/10,应用统计方法第四章,68,回归方程的残差分析,残差序列的正态性分析残差序列的随机性分析残差序列的独立性分析奇异值诊断异方差诊断 返回,2023/9/10,应用统计方法第四章,69,残差序列的正态性分析：,通过绘制标准化残差序列的带正态曲线的直方图或累计概率图来分析，确定残差是否接近正态返回,2023/9/10,应用统计方法第四章,70,残差序列的随机性分析：,可以绘制残差序列和对应的预测值序列的散点图。如果残差序列是随机的，那么残差序列应与预测值序列无关，残差序列点将随机地分布在经过零的一条直线上下。返回,2023/9/10,应用统计方法第四章,71,残差序列的独立性分析：,分析残差序列是否存在后期值与前期值相关的现象。D.W检验返回,2023/9/10,应用统计方法第四章,72,2023/9/10,应用统计方法第四章,73,样本奇异值的诊断：,样本奇异值是样本数据中那些远离均值的样本数据点。它们会对回归方程的拟合产生较大偏差影响。一般认为，如果某样本点对应的标准化残差的值超出了-3+3的范围，就可以判定该样本数据为奇异值。返回,2023/9/10,应用统计方法第四章,74,异方差诊断：,线性回归模型要求残差序列服从等方差的正态分布一般通过绘制残差序列与解释变量的散点图或计算残差与解释变量间的相关系数。如果残差序列和解释变量的平方根成正比例变化，可以对解释变量作开方处理；如果残差序列与解释变量成比例变化，可以对解释变量取对数；如果残差序列与解释变量的平方成比例的变化，可以对解释变量求倒数。还可以用WLS（加权最小二乘）法消除异方差。返回,2023/9/10,应用统计方法第四章,75,七、预测和控制所谓预测就是给定解释变量x样本外的某一特征值x0=(1，x01,x02,x0p),对因变量的值y0以及E(y0)进行估计。1、y0的点预测：2、y0的（1-）的预测区间：,2023/9/10,应用统计方法第四章,76,第二节 可化为多元线性回归的问题,在自然科学中，y关于x 的数量关系多数都不是简单的线性关系，而是各种各样的非线性关系，于是我们常会遇到非线性回归模型，在非线性回归模型中，一种类型是可以通过变量变换化为线性模型，然后按线性模型加以解决；另一种类型的非线性模型是用任何变量变换办法都不能或不方便直接化为线性模型求得参数的估计值。,2023/9/10,应用统计方法第四章,77,多项式函数Y=0+1x+2x2+pxp设i=xi则多项式化为:Y=0+1 1+2 2+p p多元幂函数 y=x1 1 x2 2 xp p lny=ln+1ln x1+pln xp 令z=lny,0=ln,i=ln xi z=0+1 1+2 2+p p,2023/9/10,应用统计方法第四章,78,指数函数 y=ae ixi y=a+1x1+2x2+pxp z=y,0=a,则 z=0+1x1+2x2+pxp多元对数函数 y=a+1x1+2x2+pxp 设i=xi,则 y=a+1 1+2 2+p p,2023/9/10,应用统计方法第四章,79,指数函数与幂函数的积 y=aexp ixi xibi y=a+1x1+2x2+pxp+b1x1+b2x2+bpxp 令z=y,0=a,i=xi z=0+1x1+2x2+pxp+b1 1+b2 2+bp p,2023/9/10,应用统计方法第四章,80,第五节 岭回归(略),2023/9/10,应用统计方法第四章,81,一、岭回归的方法原理用xx+kI代替xx，人为降低均方误差二、一个简单选择K值的方法,2023/9/10,应用统计方法第四章,82,三、步骤 1.进行最小二乘估计 2.寻找正交矩阵U,使得U(XX)U=3.利用U,对最小二乘估计量进行变换 4.产生方差2 5.令Kt=2/maxi2 6.最后利用最小二乘估计量,得到岭估计量.,2023/9/10,应用统计方法第四章,83,EX,1.对于实际数据，用线性回归模型解决本专业的一个实际问题。2.参考习题P106 4-1，4-3,2023/9/10,应用统计方法第四章,84,2023/9/10,应用统计方法第四章,85,2023/9/10,应用统计方法第四章,86,data data41;input x1 x2 y;n=_n_;cards;120 100 102140 110 100190 90 120130 150 77155 210 46175 150 93125 250 26145 270 69180 300 65150 250 85170 160.;proc print;run;*4-1(1)+(2)+(3);proc reg data=data41;model y=x1 x2/r;output out=o41 cookd=d student=stu;run;*4-1(2);data r41(keep=n y d stu);set o41;if abs(stu)=2 or abs(d)4/10;run;proc print data=r41;id n;var y d stu;run;*4-1(4);data da41;set data41;x3=x1*x1;x4=x1*x2;x5=x2*x2;run;proc print;run;proc reg data=da41;model y=x1-x5/selection=stepwise sle=0.10 sls=0.10;run;quit;,2023/9/10,应用统计方法第四章,87,data data43;input x1 x2 y;n=_n_;cards;1.5 5.0 962.0 2.0 901.5 4.0 952.5 2.5 923.3 3.0 952.3 3.5 954.2 2.5 942.5 3.0 943.5 2.0.;proc print;run;*4-3(1)+(2)+(3)+(4);proc reg data=data43;model y=x1 x2/r;output out=o43 cookd=d student=stu;run;*4-3(2);data r43(keep=n y d stu);set o43;if abs(stu)=2 or abs(d)4/8;run;proc print data=r43;id n;var y d stu;run;,