第二章回归分析ppt课件.ppt
《第二章回归分析ppt课件.ppt》由会员分享,可在线阅读,更多相关《第二章回归分析ppt课件.ppt(101页珍藏版)》请在三一办公上搜索。
1、海洋与气象学院大气科学专业,第二章 回归分析,Ch2.1 回归分析与简单线性回归Ch2.2 多元线性回归Ch2.3 逐步回归Ch2.4 非线性回归Ch2.5 回归分析在气象上的应用,海洋与气象学院大气科学专业,回归分析目前是所有统计分支中应用最广泛的一门学科,它被用于几乎所有的研究领域及工农业生产,包括产品的统计质量管理,市场预测,自动控制中数学模型的建立、气象预报、地质勘探、医学卫生等等。,海洋与气象学院大气科学专业,Ch2.1 回归分析与简单线性回归,一、相关与回归的基本概念,二、简单线性回归,1、相关关系的特点,2、回归分析的基本概念,1、 一元线性回归模型,2、回归系数的最小二乘法估计
2、,3、回归方程的方差分析,4、相关系数与线性回归,5、回归方程的显著性检验(F检验),海洋与气象学院大气科学专业,正相关,线性相关,不相关,相关系数:,统计依赖关系,负相关,有因果关系,回归分析,正相关,无因果关系,相关分析,非线性相关,不相关,负相关,一、相关与回归的基本概念,海洋与气象学院大气科学专业,1、相关关系的特点,一、相关与回归的基本概念,(1)现象之间确实存在数量上的依存关系。(2)现象之间数量上的依存关系不是确定的。,海洋与气象学院大气科学专业,它是以直角坐标系的横轴代表变量X,纵轴代表变量Y,将两个变量间相对应的变量值用坐标点的形式描述出来,用来反映两变量之间相关关系的图形。
3、,相关图:,又称散点图,正 相 关,负 相 关,曲线相关,不 相 关,海洋与气象学院大气科学专业,它是以直角坐标系的横轴代表变量X,纵轴代表变量Y,将两个变量间相对应的变量值用坐标点的形式描述出来,用来反映两变量之间相关关系的图形。,相关图:,又称散点图,北京3月下旬平均最低温度(Tm),环流指标A( 3月1620日500Pha候平均图上沿130E,3040N 的高度差),例,海洋与气象学院大气科学专业,北京Tm与A资料表,海洋与气象学院大气科学专业,2、回归分析的基本概念,回归分析(regression analysis),是研究一个变量关于另一个(些)变量的具体依赖关系的计算方法和理论。,
4、其目的在于通过后者的已知或设定值,去估计和(或)预测前者的(总体)均值。,一、相关与回归的基本概念,根据相关关系的数量表达式(回归方程式)与给定的自变量x,揭示应变量y在数量上的平均变化和求得应变量的预测值的统计分析方法,即当自变量取某个确定值时,与之统计相关的应变量所有可能出现的对应值的平均值。,海洋与气象学院大气科学专业,北京Tm与A的相关图,海洋与气象学院大气科学专业,或更一般地称为总体回归曲线,是一线性函数。其中,0,1是未知参数,称为回归系数(regression coefficients)。,回归模型(sample regression model),在给定自变量Xi条件下,应变量
5、Yi的期望轨迹,(population regression line),(population regression curve),称为总体回归线,海洋与气象学院大气科学专业,回归分析的类型,(简单回归),(复回归),一 元线性回归,Simple Linear regression,海洋与气象学院大气科学专业,Ch2.1 回归分析与简单线性回归,一、相关与回归的基本概念,二、简单线性回归,1、相关关系的特点,2、回归分析的基本概念,1、 一元线性回归模型,2、回归系数的最小二乘法估计,3、回归方程的方差分析,4、相关系数与线性回归,5、回归方程的显著性检验(F检验),海洋与气象学院大气科学专
6、业,二、简单线性回归,1. 一元线性回归模型,或,回归常数,回归系数,(2.1),海洋与气象学院大气科学专业,( )2,2、回归系数的最小二乘法估计,最小二乘法(Ordinary Least Squares ),即,达最小值,(2.2),Q是待定回归系数b0和b的函数。,OLS基本思想:所有散点离回归线最近,即残差平方和最小。,使观测值y与估计值 的 误差(残差)平方和达最小值的求回归系数 b0 和b的方法。,海洋与气象学院大气科学专业,根据微积分学的极值原理,有,即,海洋与气象学院大气科学专业,整理,有,(2.3),求回归系数的标准方程组(正规方程组),海洋与气象学院大气科学专业,解标准方程
7、组有:,由式得,(2.4 a),将b0代入式整理,(2.4 b),海洋与气象学院大气科学专业,对北京Tm与A建立一元线性回归模型,根据所得观测资料,计算有关统计量,海洋与气象学院大气科学专业,计算b和b0,回归方程,海洋与气象学院大气科学专业,复习提问,1. OLS的基本思想是什么?,2. 说出求一元回归方程系数的公式,所有散点离回归线最近,即残差平方和最小。,海洋与气象学院大气科学专业,对于某一个样本点yi的值,可分解成,对上式两端平方,3、回归方程的方差分析,从x与y的相关回归图上可以发现:,整理上式,=0,海洋与气象学院大气科学专业,结果,总离差平方和,记为Lyy。表示样本本身的变化。,
8、回归平方和,记为U。其表示由自变量X的变化而引起Y的变化,残(误)差平方,记为Q。其表示排除自变量x影响以外的其他偶然因素引起对Y的影响。,海洋与气象学院大气科学专业,总离差平方和,记为Lyy。表示样本本身的变化。,回归平方和,记为U。其表示由自变量X的变化而引起Y的变化,残(误)差平方,记为Q。其表示排除自变量x影响以外的其他偶然因素引起对Y的影响。,原式写为,海洋与气象学院大气科学专业,对于给定的样本,Lyy是定值。,当Q增大时,U减小;Q减小时,则U增大。,当U较大时,表明用这种线性关系解释y与x的关系比较符合实际情况,回归模型就比较好。,原式写为,海洋与气象学院大气科学专业,将,代入上
9、式,4、相关系数与线性回归,海洋与气象学院大气科学专业,得,意义:,反映了预报因子x与预报量y的的线性关系程度。,说明所有实测点y全在直线回归方程上。,当r=0时,,即当预报因子x与预报对象y的|r|越大,则U越大,回归效果越好.,当r=1时,,说明x与y无线性关系。,海洋与气象学院大气科学专业,5、回归方程的显著性检验(F检验),假设H0:总体的回归系数=0,引入F统计量,其中,思考:,为什么分子自由度是1,分母的是n-2?,F(f1,f2),海洋与气象学院大气科学专业,五、回归方程的显著性检验(F检验),取信度(0.1,0.05,0.01),查F分布表。,若F 时,接受H0,方程回归效果不
10、显著,若F 时,拒绝H0,方程回归效果显著,海洋与气象学院大气科学专业,对北京3月下旬Tm与A的回归方程进行显著检验,对于一元线性回归,其U的表达式,海洋与气象学院大气科学专业,对北京3月下旬Tm与A的回归方程进行显著检验,根据所给资料计算,海洋与气象学院大气科学专业,则F统计量值,取信度=0.05,查F分布表,结果:回归方程显著,F=4.41,海洋与气象学院大气科学专业,小结,相关与回归分析的概念,一元线性回归分析,一元线性回归的模型,最小二乘法估计回归系数,回归方程效果分析与检验,海洋与气象学院大气科学专业,北京Tm与A资料表,海洋与气象学院大气科学专业,北京Tm与A的相关图,海洋与气象学
11、院大气科学专业,北京Tm与A的相关图,海洋与气象学院大气科学专业,北京Tm与A的相关图,基本数学要求,海洋与气象学院大气科学专业,北京Tm与A的相关图,海洋与气象学院大气科学专业,北京Tm与A的散布图,海洋与气象学院大气科学专业,Ch2.2 多元线性回归(Multiple Regression),一、多元线性回归方程模式,二、用最小二乘法估计回归系数,三、回归效果分析,五、多元线性回归方程建立步骤,四、多元线性回归方程因子数目,海洋与气象学院大气科学专业,一、多元线性回归方程模式,设y与多个变量x1,x2,x3,xp的关系是线性的,则其线性回归表达式为,多元线性回归的几何意义:不是一条直线,而
12、是一个回归平面,海洋与气象学院大气科学专业,二、用最小二乘法估计回归系数,建立正规方程组,OLS基本思想:所有散点离回归线最近,即残差平方和最小。,即,由微分极值定理知必有,.,海洋与气象学院大气科学专业,得P+1个方程,组成确定回归系数的方程组。,海洋与气象学院大气科学专业,海洋与气象学院大气科学专业,正规方程组,P个方程,公式小结,海洋与气象学院大气科学专业,与原始变量的相同,距平变量的多元回归模式:,标准化变量的多元回归模式:,其正规方程组,其正规方程组,相关系数取代了协方差,海洋与气象学院大气科学专业,2解正规方程组,(1)当为二元方程组时,可用代入法、行列式法解。(2)当为三元以上时
13、,则用高斯-约当消元法(求解求逆)解方程。(具体见教材P260263),海洋与气象学院大气科学专业,初始步:将正规方程组的系数、常数项组成系数的增广矩阵为,(1)消元法的基本思路及步骤,海洋与气象学院大气科学专业,第一步:令k=1,先把第一列中的元素变换为,第二步:令k=2,再把第列中的元素变换为,第三步:依此类推,直到把所有的系数矩阵的元素都转换成0、1,使得增广矩阵的系数矩阵变为单位矩阵。求出系数值。,(1)消元法的基本思路及步骤,此时称为对第1列消元,称为对第2列消元,海洋与气象学院大气科学专业,(2)消元法的计算公式,(B.1),高斯约当消元求解求逆计算公式,(B.2),高斯约当消元求
14、解求逆紧凑公式,海洋与气象学院大气科学专业,Ch2.2 多元线性回归(Multiple Regression),一、多元线性回归方程模式,二、用最小二乘法估计回归系数,三、回归效果分析,五、多元线性回归方程建立步骤,四、多元线性回归方程因子数目,海洋与气象学院大气科学专业,三、回归效果分析,(一)总回归效果分析,海洋与气象学院大气科学专业,(二) 复相关系数,表示一个变量与多个变量的综合作用。,几何意义上是一超几何空间的、由多个变量形成的“面”,用“R”表示,取值范围是0,1,R=1,表示实际点子与理论上配合的面完全重合,R越大,表示各自变量与预报对象相关越紧密,回归效果越好。,定义,(Mul
15、tiple Correlation),海洋与气象学院大气科学专业,F检验公式也可以用R计算求得,海洋与气象学院大气科学专业,(三)各因子重要性检验(偏回归平方和的检验),前面讲的有关多元线性回归的内容,纯属一元情形的推广,只是形式上复杂一些而已,而各因子的重要性检验则是多元回归分析所特有的。 在实际工作中,建立多元回归方程的同时,我们还关心Y对x1,x2,xk的线性回归中,哪些预报因子(自变量)更重要些,哪些不重要。,海洋与气象学院大气科学专业,怎栏来衡量某个特定因素(=,p)的影响呢?,1标准回归系数法,该方法不用适用于因子间关系太密切的情况。,bzp消除了因子量纲,bzp标准回归系数越大,
16、因子对Y的影响越大,也就越重要。,海洋与气象学院大气科学专业,对于Y的总的线性影响,记作U(k),2偏回归平方和检验法,前面学过的知识,回归平方和U刻划了全体自变量对Y总的线性影响,考察xk的作用,当从原来个自变量中删除xk变量时,U-U(k),则有,Vk=,假定原方程中有x1,x2,xk因子,方程的回归平方和为U,海洋与气象学院大气科学专业,对于Y的总的线性影响,记作U(k),2偏回归平方和检验法,前面学过的知识,回归平方和U刻划了全体自变量对Y总的线性影响,考察xk的作用,当从原来个自变量中删除xk变量时,U-U(k),则有,Vk=,假定原方程中有x1,x2,xk因子,方程的回归平方和为U
17、,海洋与气象学院大气科学专业,U-U(k),Vk=,这个差值可看作是由xk产生的、对回归平方和的作用(贡献)。一般我们就称为x1,x2,xk中xk的偏回归平方和。,偏回归平方和定义,当取消(引入)一个自变量Xi后,方程总回归平方和的减少(增加)的数值称为Y对Xi的偏回归平方和,记为Vi。其计算公式为,其中Cii为系数矩阵的逆矩阵中对角线上对应的元素。,海洋与气象学院大气科学专业,从偏回归平方和的意义可以看出,凡是对Y作用显著的因素一般具有较大的Vi值。Vi愈大,该因素对Y的作用也就愈大,这样通过比较各个因素的V值就可以大致看出各个因素对因素变量作用的重要性。,大到什么程度才算显著,偏回归平方和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 章回 分析 ppt 课件
链接地址:https://www.31ppt.com/p-1870042.html