数理统计CH7回归分析72ppt课件.ppt

《数理统计CH7回归分析72ppt课件.ppt》由会员分享，可在线阅读，更多相关《数理统计CH7回归分析72ppt课件.ppt（76页珍藏版）》请在三一办公上搜索。

1、山西农业大学,应用数理统计 第7章,1,第七章 回归分析regression analysis,山西农业大学,应用数理统计 第7章,2,7.1 变量间的关系7.2 一元线性回归7.3 多元线性回归7.4 回归注意事项,本章内容,7 回归分析,山西农业大学,应用数理统计 第7章,3,7.2.3 回归预测Response Estimate by Linear Regression Model,7.2 一元线性回归,山西农业大学,应用数理统计 第7章,4,7.2.3 回归预测,(1)预测问题,当回归方程检验显著并有较大的决定系数时可将其用于回归预测,给定x，求y的估计值和置信区间称作回归预测,山西农

2、业大学,应用数理统计 第7章,5,7.2.3 回归预测,(2)响应y的点预测,点预测公式,山西农业大学,应用数理统计 第7章,6,7.2.3 回归预测,(3)点预测的期望和方差,山西农业大学,应用数理统计 第7章,7,7.2.3 回归预测,(4)响应统计量分布,响应预测的分布,响应预测差的分布,引用独立性,响应模型,山西农业大学,应用数理统计 第7章,8,7.2.3 回归预测,(5)响应的区间预测,t 统计量,山西农业大学,应用数理统计 第7章,9,7.2.3 回归预测,(5)响应的区间预测,响应区间估计,响应预测差的置信区间和置信度,山西农业大学,应用数理统计 第7章,10,7.2.3 回归

3、预测,(5)响应的区间预测,响应区间估计,响应的置信区间和置信度,山西农业大学,应用数理统计 第7章,11,7.2.3 回归预测,(6)回归预测案例,响应的点预测和区间预测,山西农业大学,应用数理统计 第7章,12,7.2.3 回归预测,(6)回归预测案例,响应的点预测和区间预测,y0的点预测和区间预测,山西农业大学,应用数理统计 第7章,13,7.2.3 回归预测,(6)回归预测案例,试验范围内响应预测,x0=2:0.2:6.4,山西农业大学,应用数理统计 第7章,14,7.2.3 回归预测,(6)回归预测案例,禁止试验范围外对响应进行预测,x0=0:0.5:25,山西农业大学,应用数理统计

4、 第7章,15,7.2 一元线性回归,7.2.4 可线性化非线性回归 Linear Regression by Transformed Nonlinear Models,山西农业大学,应用数理统计 第7章,16,7.2.4 可线性化非线性回归,(1)问题的提出,变量y与x不线性相关但可能非线性相关,山西农业大学,应用数理统计 第7章,17,试验观测本是非线性相关，虽然也能拟合一条直线(线性回归)，但对变量间关系的描述是错误的，用于预测将会导致有害的结论。因此，对于具有非线性相关趋势的试验观测，应在其散点图的点云“中间”拟合一条曲线(非线性回归)，该曲线方程的参数应使残差平方和达最小，即曲线与试

5、验观测点的总距离为最小,用最小二乘法解决问题。,7.2.4 可线性化非线性回归,(1)问题的提出,变量y与x是非线性相关做线性回归无意义,山西农业大学,应用数理统计 第7章,18,非线性回归模型有两种，一种是可线性化模型，另一种是不可线性化模型。可线性化模型，指可变换为线性模型的非线性模型，能借用线性回归进行分析。不可线性化模型，则需借助优化方法进行回归分析，称作本质非线性回归。本节讨论可线性化模型的线性回归方法。,7.2.4 可线性化非线性回归,(1)问题的提出,可线性化模型不可线性化模型,山西农业大学,应用数理统计 第7章,19,步骤1：写出非线性模型(示例),步骤2：对非线性模型做线性变

6、换(线性化),7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,为区分计，原变量用大写，它的变换用小写,山西农业大学,应用数理统计 第7章,20,步骤3：样本数据做相同变换,7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,步骤4：利用线性变换后的样本数据做线性回归,回归参数估计,山西农业大学,应用数理统计 第7章,21,7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,步骤5：写出线性回归方程,步骤6：线性回归方程还原为非线性回归方程,山西农业大学,应用数理统计 第7章,22,The ANOVA Table,7.2.4 可线性化非线性回归,(2)非线性模型

7、线性回归步骤,步骤7：利用线性变换后的样本数据进行方差分析，检验回归显著性,山西农业大学,应用数理统计 第7章,23,7.2.4 可线性化非线性回归,(3)可线性化非线性回归案例,案例：出钢时，钢水对耐火材料的侵蚀使钢包容积不断增加。成对测定了钢包使用次数(X)和容积增大量(Y)数据，试求描述响应变量Y与自变量X关系的经验公式(回归方程)。,山西农业大学,应用数理统计 第7章,24,7.2.4 可线性化非线性回归,(4)案例双曲线回归,根据试验观测散点图的特征选双曲线模型,线性化变换,山西农业大学,应用数理统计 第7章,25,7.2.4 可线性化非线性回归,(4)案例双曲线回归,试验观测的线性

8、化变换,山西农业大学,应用数理统计 第7章,26,7.2.4 可线性化非线性回归,(4)案例双曲线回归,线性回归数据计算,山西农业大学,应用数理统计 第7章,27,SSx=0.58433-0.37785=0.20648,n=15SP=0.27265-2.38071.5469/15=0.02714b=SP/SSx=0.02714/0.20648=0.13144a=1.5469/15-b2.3807/15=0.08227SST=SSy=0.16333-0.15953=0.00380SSR=SP2/SSx=0.027142/0.20648=0.00357SSE=SST-SSR=0.0038-0.00

9、357=0.00023,7.2.4 可线性化非线性回归,(4)案例双曲线回归,线性回归估计和平方和计算,山西农业大学,应用数理统计 第7章,28,R2=SSR/SST=0.00357/0.0038=0.9395,方差分析表,7.2.4 可线性化非线性回归,(4)案例双曲线回归,回归方程和显著性检验,山西农业大学,应用数理统计 第7章,29,R2=SSR/SST=0.00357/0.0038=0.9395,方差分析表,7.2.4 可线性化非线性回归,(4)案例双曲线回归,回归方程和显著性检验,山西农业大学,应用数理统计 第7章,30,7.2.4 可线性化非线性回归,(4)案例双曲线回归,双曲线回

10、归的拟合效果,山西农业大学,应用数理统计 第7章,31,7.2.4 可线性化非线性回归,(5)案例指数回归,根据试验观测散点图特征选指数曲线模型,线性化变换,山西农业大学,应用数理统计 第7章,32,7.2.4 可线性化非线性回归,(5)案例指数回归,试验观测的线性化变换,山西农业大学,应用数理统计 第7章,33,7.2.4 可线性化非线性回归,(5)案例指数回归,线性回归数据计算,山西农业大学,应用数理统计 第7章,34,SSx=0.58433-0.37785=0.20648SP=5.20223-2.380734.2226/15=-0.22935b=SP/SSx=-0.22935/0.206

11、48=-1.11076a=34.2226/15+1.110762.3807/15=2.4578SST=SSy=78.34477-78.07909=0.26568SSR=SP2/SSx=(-0.22935)2/0.20648=0.25475SSE=SST-SSR=0.26568-0.25475=0.01093,7.2.4 可线性化非线性回归,(5)案例指数回归,线性回归估计和平方和计算,山西农业大学,应用数理统计 第7章,35,方差分析表,R2=SSR/SST=0.25457/0.26568=0.9582,7.2.4 可线性化非线性回归,回归方程和显著性检验,(5)案例指数回归,山西农业大学,应

12、用数理统计 第7章,36,方差分析表,R2=SSR/SST=0.25457/0.26568=0.9582,7.2.4 可线性化非线性回归,回归方程和显著性检验,(5)案例指数回归,山西农业大学,应用数理统计 第7章,37,7.2.4 可线性化非线性回归,(5)案例指数回归,指数曲线回归的拟合效果,山西农业大学,应用数理统计 第7章,38,同一案例可采用不同非线性模型回归，这就带来一个问题，究竟哪个模型更适合作回归函数的估计？根据最小二乘法原理，选模型线性化后决定系数最大的哪个模型较合理。本案例采用指数模型比采用双曲线模型拟合效果更好，由此可见，选择合适的回归模型是非线性回归的一项重要技能。,双

13、曲线模型 R2=0.9395指数模型 R2=0.9582,7.2.4 可线性化非线性回归,(6)模型对比,山西农业大学,应用数理统计 第7章,39,若根据试验观测的变化特征选择多个非线性模型进行非线性回归，一个合理的做法是，选决定系数最大或回归残差平方和最小的模型作为最终的结果。其中，决定系数是数据变换后线性模型的决定系数，回归残差平方和是原响应变量Y 的观测值与预测值之差的平方和，两种方法等价。,7.2.4 可线性化非线性回归,(6)模型对比,决定系数和回归残差平方和,山西农业大学,应用数理统计 第7章,40,7.2.4 可线性化非线性回归,(6)模型对比,决定系数较大则残差平方和较小,山西

14、农业大学,应用数理统计 第7章,41,7.2.4 可线性化非线性回归,(6)模型对比,双曲线回归对比指数曲线回归,山西农业大学,应用数理统计 第7章,42,7 回归分析,7.3 多元线性回归MultipleLinearRegression,山西农业大学,应用数理统计 第7章,43,7.3 多元线性回归,(1)案例和问题,Hald水泥问题观测数据,Hald水泥问题：观测水泥凝固过程中不同组分样品的热量释放，获得样本数据。定义表示组分含量和释放热量的变量如下：X1=3CaOAl2O3(%)X2=3CaOSiO2(%)X3=4CaOAl2O3Fe2O3(%)X4=2CaOSiO2(%)Y=释放的热量

15、(cal/g),山西农业大学,应用数理统计 第7章,44,7.3 多元线性回归,(1)案例和问题,Hald水泥问题观测数据,Hald水泥问题：假定样品释放的热量与组分含量是线性相关关系，即：Y=+1X1+2X2+3X3+4X4+e试做回归分析。,山西农业大学,应用数理统计 第7章,45,响应变量Y与自变量X1,X2,Xm及随机偏差e的线性相关关系表为下面的线性模型：,7.3 多元线性回归,(2)线性回归模型,Y-响应变量Xj-自变量j-回归系数,j变量编号,山西农业大学,应用数理统计 第7章,46,第i次试验的响应变量值记作Yi，自变量值记作Xi1,Xi2,Xim，随机偏差值记作ei，则变量间

16、的相关关系可表为下面的模型：,7.3 多元线性回归,(2)线性回归模型,Y-响应变量Xj-自变量j-回归系数,i观测编号j变量编号,山西农业大学,应用数理统计 第7章,47,7.3 多元线性回归,(2)线性回归模型,山西农业大学,应用数理统计 第7章,48,7.3 多元线性回归,(2)线性回归模型,山西农业大学,应用数理统计 第7章,49,7.3 多元线性回归,(3)参数估计,求使残差平方和达最小的回归参数：,回归参数的最小二乘估计,山西农业大学,应用数理统计 第7章,50,7.3 多元线性回归,(4)统计假设,线性模型假设回归参数假设,检验模型的假设,检验参数的假设,山西农业大学,应用数理统

17、计 第7章,51,(5)平方和计算,7.3 多元线性回归,平方和计算是完成显著性检验的关键技术,矫正数是平方和计算需要的一个数据,为平方和计算准备一个数据：,山西农业大学,应用数理统计 第7章,52,(5)平方和计算,7.3 多元线性回归,Model SS:,Corrected Total SS:,山西农业大学,应用数理统计 第7章,53,Error SS:,(5)平方和计算,7.3 多元线性回归,误差均方,山西农业大学,应用数理统计 第7章,54,(6)回归模型检验,7.3 多元线性回归,山西农业大学,应用数理统计 第7章,55,模型检验方差分析表,7.3 多元线性回归,(6)回归模型检验,

18、山西农业大学,应用数理统计 第7章,56,(7)回归参数检验,7.3 多元线性回归,山西农业大学,应用数理统计 第7章,57,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,58,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,59,7.3 多元线性回归,(8)Hald水泥问题回归分析,Hald水泥问题模型检验方差分析表,回归模型显著性检验,山西农业大学,应用数理统计 第7章,60,7.3 多元线性回归,(8)Hald水泥问题回归分析,Hald水泥问题模型检验方差分析表,回归模型显著性检验,山西农业大学,应用数

19、理统计 第7章,61,7.3 多元线性回归,(8)Hald水泥问题回归分析,Hald水泥问题参数估计和检验,回归参数显著性检验,山西农业大学,应用数理统计 第7章,62,模型检验的方差分析结果表明，线性模型零假设在0.0001水平上被拒绝，且决定系数达0.9824，说明响应变量与自变量间存在很强的线性关系，响应观测值与回归预测值之间的残差较小。因此，回归模型拟合良好并具有较高的预测精度。,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,63,回归参数的t检验结果表明，回归系数零假设在0.05水平上均被接受，即回归系数都不显著，这与响应变量与自变量间存在

20、很强线性关系的结论矛盾，说明自变量之间存在较强的线性相关。因此，需要选用其它回归方法来改进回归分析的结果。,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,64,7 回归分析,7.4 回归注意事项Taking Notice to Something,山西农业大学,应用数理统计 第7章,65,在实际中应用回归方程应谨慎：(1)禁止回归方程外推；(2)试验实施和应用场合的非处理因素(条件)应大致相当；(3)禁止回归方程逆向使用；(4)x和y均为随机变量时，只有部分回归公式仍适用。,7.4 回归注意事项,(1)回归方程的应用,山西农业大学,应用数理统计 第7

21、章,66,7.4 回归注意事项,自变量x增加或减少1个单位则y平均增加或减少1个单位的说法应谨慎！,(2)回归系数的应用,山西农业大学,应用数理统计 第7章,67,回归方程是在一定的自变量观测范围内建立的，在自变量观测范围之外使用回归方程，称作回归的外推；如果在自变量观测范围之内使用，就叫做内插。内插使用上一般没什么问题，但外推使用有可能存在很大的偏差，故一般不主张对回归方程做外推使用，没把握就不要使用。,7.4 回归注意事项,(3)禁止回归方程外推,山西农业大学,应用数理统计 第7章,68,7.4 回归注意事项,(3)禁止回归方程外推,用x从4到16的试验观测得一条决定系数达0.9508的回

22、归直线，由此预测x=24 处的响应 y 会导致很大偏差，而且y与x为线性关系的结论也是错误的。,山西农业大学,应用数理统计 第7章,69,7.4 回归注意事项,(3)禁止回归方程外推,用x从2到16的试验观测得到一条决定系数0.9582的指数回归曲线，由此做出y与x是指数关系的结论较恰当。,山西农业大学,应用数理统计 第7章,70,禁止超越x 的试验范围解释回归系数，超范围解释可能造成与实际的严重偏离。例如，产量y的平均值大致随施肥量x的增加呈线性增长。但超出一定范围，如施肥量过大，则进一步增加施肥量不仅不能促进增产，反而可能产生肥害导致减产。,7.4 回归注意事项,合理解释回归系数,(3)禁

23、止回归方程外推,山西农业大学,应用数理统计 第7章,71,注意试验实施与应用场合的非处理因素应大致相当(背景条件一致性)，否则在x试验范围内解释回归系数仍可能出问题。例如，在贫瘠土壤上实施试验并建立产量与施肥量的回归方程，若给定施肥量并用该回归方程预测肥沃田地的产量就会产生错误结论。,7.4 回归注意事项,(4)试验和应用的条件一致性,山西农业大学,应用数理统计 第7章,72,7.4 回归注意事项,(5)禁止回归方程逆向使用,由x做自变量和y做因变量得到的回归方程导出y做自变量和x做因变量的回归方程，再去应用称作逆向使用。例如，如果你想要通过身高x来预测体重y，则选x做自变量和y做因变量，估计

24、出回归方程；如果你想要通过体重y预测身高x，则你并不能直接利用上述回归方程，而必须从头做起，取y做自变量和x做因变量，估计一个新的回归方程。,山西农业大学,应用数理统计 第7章,73,7.4 回归注意事项,(5)禁止回归方程逆向使用,同一组观测两线性回归,山西农业大学,应用数理统计 第7章,74,7.4 回归注意事项,(5)禁止回归方程逆向使用,注意，强调回归方程不能逆向使用是指用于预测，而用于控制则另当别论。例如，为要把y值控制到尽可能小的误差，自变量x应取何值？,山西农业大学,应用数理统计 第7章,75,只假定响应y 是随机变量的线性回归结果不适用于x和y均为随机变量的情况，但下述特定条件下部分回归结果还可用：(1)(x,y)服从二维正态联合分布，除回归参数的方差计算公式外，其余公式仍适用。(2)(x,y)的联合分布不是正态分布，只有回归参数的估计公式仍适用。,7.4 回归注意事项,(6)x和y均为随机变量的回归,山西农业大学,应用数理统计 第7章,76,结束,7 回归分析,