数理统计CH7-回归分析.ppt

10/1/2023,王玉顺：数理统计07_回归分析,1,第七章 回归分析regression analysis,10/1/2023,王玉顺：数理统计07_回归分析,2,本章内容,7.1 变量间的关系7.2 一元线性回归7.3 多元线性回归7.4 回归注意事项,7 回归分析,重点：一元线性回归和决定系数,10/1/2023,王玉顺：数理统计07_回归分析,3,7.1 变量间的关系Correlation between Variables,7 回归分析,10/1/2023,王玉顺：数理统计07_回归分析,4,7.1 变量间的关系,(1)函数关系,10/1/2023,王玉顺：数理统计07_回归分析,5,7.1 变量间的关系,(2)随机关系,10/1/2023,王玉顺：数理统计07_回归分析,6,(3)相关关系,7.1 变量间的关系,10/1/2023,王玉顺：数理统计07_回归分析,7,(4)回归分析解决的问题,考察响应变量与自变量之间的关系，存在如下三种类型：(1)确定性关系：响应=自变量的函数(2)不确定关系：响应=独立随机变量(3)相关关系：响应=函数+独立随机变量,回归分析就是对相关关系中的函数部分进行估计和检验,7.1 变量间的关系,10/1/2023,王玉顺：数理统计07_回归分析,8,生物学家FGalton和统计学家KPearson的种族身高研究(1889)。,(5)为什么称作“回归分析”,7.1 变量间的关系,10/1/2023,王玉顺：数理统计07_回归分析,9,(6)回归分析类型,一元回归：只有一个自变量的回归多元回归：有两个以上自变量的回归线性回归：回归函数是自变量的线性组合非线性回归：回归函数是自变量的非线性组合,7.1 变量间的关系,10/1/2023,王玉顺：数理统计07_回归分析,10,7.2 一元线性回归Linear Regression,7 回归分析,10/1/2023,王玉顺：数理统计07_回归分析,11,案例：某特种钢抗拉强度试验，控制某稀有金属含量x测得不同抗拉强度y，试验结果如表所示。问题：(1)估计y对x的回归函数；(2)检验回归估计的显著性；(3)考察y与x的相关程度；(4)由x预测y。,抗拉强度试验结果,(1)案例和问题,7.2 一元线性回归,x称作自变量y称作响应变量,10/1/2023,王玉顺：数理统计07_回归分析,12,(2)数据模式,7.2 一元线性回归,抗拉强度试验结果,随机的试验响应,非随机人工控制变量,10/1/2023,王玉顺：数理统计07_回归分析,13,(3)回归模型,7.2 一元线性回归,回归模型指响应与自变量关系的数学表达,回归模型描述响应y与自变量x的关系模型对的分布没有特别要求,10/1/2023,王玉顺：数理统计07_回归分析,14,用线性回归模型描述第i次观测响应yi与自变量xi的关系：,7.2 一元线性回归,(3)回归模型,回归模型指响应与自变量关系的数学表达,一元线性回回模型,10/1/2023,王玉顺：数理统计07_回归分析,15,以矩阵形式表达线性回归模型：,7.2 一元线性回归,(3)回归模型,10/1/2023,王玉顺：数理统计07_回归分析,16,7.2 一元线性回归,(3)回归模型,n阶协差阵,n阶单位阵,以矩阵形式表达线性回归模型：,10/1/2023,王玉顺：数理统计07_回归分析,17,(4)回归分析内容,7.2 一元线性回归,10/1/2023,王玉顺：数理统计07_回归分析,18,7.2.1 回归最小二乘估计Least-Square Estimation on Linear Regression,7.2 一元线性回归,10/1/2023,王玉顺：数理统计07_回归分析,19,对于回归方程,回归方程的估计记作,回归估计实际上是由样本数据求得回归方程的一个估计，回归方程的估计亦简称作回归方程。求一元回归方程等价于对回归系数和回归截距进行参数估计。,(1)回归估计问题,回归最小二乘估计,回归方程估计的期望：,10/1/2023,王玉顺：数理统计07_回归分析,20,(2)最小二乘思想,回归最小二乘估计,最小二乘几何描述,10/1/2023,王玉顺：数理统计07_回归分析,21,求回归方程a+bx的估计，数学上就是用一个一元线性函数去拟合试验数据，几何上可看作为试验点拟合一条直线。可拟合的直线有无穷多条，哪一条直线在表达y对x的相关关系上更合理呢？自然想到与所有试验点总距离为最小的那条线较合理。,(2)最小二乘思想,回归最小二乘估计,合理解决方案,10/1/2023,王玉顺：数理统计07_回归分析,22,回归方程的最小二乘估计可归结为求解下面的优化模型：,用残差(误差)平方和代表试验点与回归直线的总距离,残差计算：,(2)最小二乘思想,回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,23,步骤1：构建由观测数据表达的残差平方和,回归最小二乘估计问题可表为：,(3)回归最小二乘估计,回归最小二乘估计,残差平方和,10/1/2023,王玉顺：数理统计07_回归分析,24,步骤2：残差平方和分别对a,b求偏导,回归最小二乘估计,(3)回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,25,回归最小二乘估计,(3)回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,26,符号简写：,步骤3：令偏导等于0整理出正规方程组,回归最小二乘估计,(3)回归最小二乘估计,正规方程组,10/1/2023,王玉顺：数理统计07_回归分析,27,则下面的正规方程组有唯一解(克莱姆法则)：,步骤4：用克莱姆法则解方程组得回归估计,回归最小二乘估计,若有,(3)回归最小二乘估计,克莱姆法则,10/1/2023,王玉顺：数理统计07_回归分析,28,克莱姆法则,回归最小二乘估计,(3)回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,29,回归最小二乘估计,克莱姆法则,(3)回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,30,(4)回归最小二乘估计概要,回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,31,(5)回归最小二乘估计的性质,回归最小二乘估计,10/1/2023,王玉顺：数理统计07_回归分析,32,回归最小二乘估计,(6)回归最小二乘估计案例,数据的表格算法,10/1/2023,王玉顺：数理统计07_回归分析,33,回归最小二乘估计,平方和计算,(6)回归最小二乘估计案例,10/1/2023,王玉顺：数理统计07_回归分析,34,回归方程：,回归最小二乘估计,参数估计,(6)回归最小二乘估计案例,10/1/2023,王玉顺：数理统计07_回归分析,35,回归最小二乘估计,(6)回归最小二乘估计案例,求回归方程几何上就是求一条能较好解释数据的最佳直线。,10/1/2023,王玉顺：数理统计07_回归分析,36,7.2.2 回归显著性检验Significance Testing on Linear Regression,7.2 一元线性回归,10/1/2023,王玉顺：数理统计07_回归分析,37,回归显著性检验,(1)线性相关存在性,线性相关存在但相关程度不同,10/1/2023,王玉顺：数理统计07_回归分析,38,(1)线性相关存在性,回归显著性检验,变量非线性相关,10/1/2023,王玉顺：数理统计07_回归分析,39,无论y与x间是什么关系，形式上最小二乘法总能估计出一个线性回归方程，在不明了是否线性相关情况下应用回归方程是无意义的；有必要确认y与x间是否存在线性相关以及试验点到回归直线的总距离的大小，愈小表示线性相关愈强，将y与x的关系描述为线性关系愈合理。这两个问题可通过检验y与x之间的线性相关假设和计算y与x的决定系数来解决。,回归显著性检验,(2)显著性检验必要性,检验线性相关计算决定系数,10/1/2023,王玉顺：数理统计07_回归分析,40,线性回归模型：,(3)模型和假设,回归显著性检验,线性回归模型线性相关假设,线性相关假设：,模型要求i服从均值为0的正态分布,10/1/2023,王玉顺：数理统计07_回归分析,41,(3)模型和假设,回归显著性检验,线性回归模型线性相关假设,由线性回归模型可推论：,10/1/2023,王玉顺：数理统计07_回归分析,42,求SP方差并利用正态变量线性组合不变性,(4)参数估计量的分布,回归显著性检验,将SP表为y的函数：,10/1/2023,王玉顺：数理统计07_回归分析,43,将a的估计表为y的函数,回归显著性检验,(4)参数估计量的分布,10/1/2023,王玉顺：数理统计07_回归分析,44,回归显著性检验,求a估计量的方差并利用正态变量线性组合不变性,(4)参数估计量的分布,10/1/2023,王玉顺：数理统计07_回归分析,45,(5)平方和分解,回归显著性检验,SST表征响应的总变异,总离差平方和SST的分解,SST分解为SSE和SSR两部分,10/1/2023,王玉顺：数理统计07_回归分析,46,SST称作y的总离差平方和，是n个数据离差平方的总和，表征响应y所有观测的总变异。,回归显著性检验,SST的算法,(6)校正总平方和SST及分布,Corrected Total Sum of Squares,10/1/2023,王玉顺：数理统计07_回归分析,47,回归显著性检验,(6)校正总平方和SST及分布,SST的分布,10/1/2023,王玉顺：数理统计07_回归分析,48,SSR称作y的回归平方和，是响应y的n个估计值与样本均值差值平方的总和，是总离差平方和中由自变量x决定的部分，代表x的效应,回归显著性检验,(7)回归平方和SSR及分布,Model Sum of Squares,SSR的算法,10/1/2023,王玉顺：数理统计07_回归分析,49,回归显著性检验,(7)回归平方和SSR及分布,SSR的分布,10/1/2023,王玉顺：数理统计07_回归分析,50,SSE称作y的误差平方和，是y的n个观测值与其估计值差值平方的总和，是y的总离差平方和中由随机误差决定的部分，代表除x之外其余未知因素对响应变量y的效应。因它恰好等于扣除x线性影响后总离差平方和的剩余部分，故也称残差平方和，或剩余平方和。,回归显著性检验,(8)误差平方和SSE及分布,Error Sum of Squares,10/1/2023,王玉顺：数理统计07_回归分析,51,回归显著性检验,残差平方和,(8)误差平方和SSE及分布,SSE的算法,10/1/2023,王玉顺：数理统计07_回归分析,52,回归显著性检验,(8)误差平方和SSE及分布,求SSE的期望利用二阶矩与方差及期望的关系利用响应、响应样本均值及回归参数估计的分布,SSE的期望,10/1/2023,王玉顺：数理统计07_回归分析,53,回归显著性检验,(8)误差平方和SSE及分布,SSE的期望,Error Sum of Squares,10/1/2023,王玉顺：数理统计07_回归分析,54,回归显著性检验,(8)误差平方和SSE及分布,无论H0是否成立误差均方MSE都是2的无偏估计,Error Mean Square,Error Degrees of Freedom,SSE的分布,10/1/2023,王玉顺：数理统计07_回归分析,55,对于一定的总离差平方和SST，SSR与SSE成反比。因此，F愈大，回归效应SSR相比SSE所占比重愈大；反之F愈小，回归效应SSR相比SSE所占比重愈小。故可采用右方F检验法对线性回归模型的显著性进行检验。,(9)检验统计量,回归显著性检验,10/1/2023,王玉顺：数理统计07_回归分析,56,回归显著性检验,(9)检验统计量,回归系数绝对值愈大，线性相关程度愈高或回归效应愈大，反之愈低。因此采用双侧t检验对回归系数的显著性进行检验。,10/1/2023,王玉顺：数理统计07_回归分析,57,回归显著性检验,回归模型检验,回归系数检验,(10)显著性检验,10/1/2023,王玉顺：数理统计07_回归分析,58,一元线性回归方差分析表,回归显著性检验,显著性检验全部工作可归结于方差分析表,或：,(10)显著性检验,10/1/2023,王玉顺：数理统计07_回归分析,59,相关系数取值范围,决定系数,回归显著性检验,决定系数是对y与x线性相关程度的估计,(11)线性相关程度,10/1/2023,王玉顺：数理统计07_回归分析,60,回归显著性检验,决定系数表征回归效应在响应总变异中的比重,(11)线性相关程度,10/1/2023,王玉顺：数理统计07_回归分析,61,(12)回归分析案例,回归显著性检验,数据的表格算法,10/1/2023,王玉顺：数理统计07_回归分析,62,回归显著性检验,平方和计算,(12)回归分析案例,10/1/2023,王玉顺：数理统计07_回归分析,63,回归显著性检验,(12)回归分析案例,回归参数估计,平方和计算,10/1/2023,王玉顺：数理统计07_回归分析,64,方差分析表,计算决定系数：,回归显著性检验,(12)回归分析案例,方差分析表和决定系数,10/1/2023,王玉顺：数理统计07_回归分析,65,方差分析表,计算决定系数：,回归显著性检验,(12)回归分析案例,方差分析表和决定系数,10/1/2023,王玉顺：数理统计07_回归分析,66,回归显著性检验,(12)回归分析案例,10/1/2023,王玉顺：数理统计07_回归分析,67,(13)回归分析小结,一元线性回归分析可归结为：(1)利用样本对回归方程a+bx做最小二乘估计，即做回归参数a,b的最小二乘估计；(2)用右方F检验法和双侧t检验法分别检验回归方程和回归系数的显著性；(3)计算决定系数R2，对响应y与自变量x的线性相关程度做出评价。,回归显著性检验,10/1/2023,王玉顺：数理统计07_回归分析,68,结束,7 回归分析,