统计学第七章相关与回归分析.ppt

第七章 相关与回归分析,本章主要讨论两变量之间的相互依存关系。学习本章要求 了解相关和回归分析的概念、特点、两者的区别和联系以及相关的判定方法。熟练掌握线性相关系数的计算方法及一元线性回归模型的拟合方法、了解方程拟合精度的测定与评价方法。,消费者应该留下多少小费？在西方国家餐饮等服务行业有一条不成文的规定，即发生餐饮等服务项目消费时，必须给服务员一定数额的小费，许多人都听说小费应该是账单的16%左右，是否真的如此呢？让我们来考察下表，表中的数据是经过调查所得的样本数据，通过对这几组数据的分析与观察，我们能发现两者之间的数量关系。,问题是：1、是否有足够的证据断定：在账单与小费数额之间存在某种联系？2、如果存在某种联系，怎样使用这种联系来确定应该留下多少小费？如上例，我们想要确定账单与小费数额之间是否存在某种联系，如果存在，我们就想用一个公式描述它，这样就能找出人们留小费时遵循的规则。类似这样的问题还有很多，如：（1）犯罪率与偷窃率；（2）香烟消费与患癌症率；（3）个人收入水平与受教育年限；（4）血压与年龄；（5）父母身高与子女身高；（6）薪金与酒价；（7）人的手掌生命线的长度与人的寿命长短。,第一节 相关与回归分析的基本概念,一、函数关系与相关关系,1.函数关系,当一个或几个变量取一定的值时，另一个变量有确定值与之相对应，这种确定性的数量依存关系称为函数关系。,（函数关系）,（1）是一一对应的确定关系（2）设有两个变量 x 和 y，变量 y 随变量 x 一起变化，并完全依赖于 x，当变量 x 取某个数值时，y 依确定的关系取相应的值，则称 y 是 x 的函数，记为 y=f(x)，其中 x 称为自变量，y 称为因变量（3）各观测点落在一条线上,2.相关关系：当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化。现象之间客观存在的不严格、不确定的数量依存关系称为相关关系。,变量间的关系（相关关系）,（1）变量间关系不能用函数关系精确表达；（2）一个变量的取值不能由另一个变量唯一确定；（3）当变量 x 取某个值时，变量 y 的取值可能有几个；（4）各观测点分布在直线周围。,（相关关系）,相关关系的例子商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系,3、相关关系与函数关系的区别与联系,（1）都可用函数式加以描述，但表达式不同（2）相关分析需要利用函数关系数学表达式来研究（3）相关关系是相关分析的研究对象，函数关系是相关分析的工具,二、相关关系的种类,相关关系,自变量个数的多少,相关的密切程度,一元相关学习成绩与学习时间；血压与年龄；亩产量与施肥量多元相关经济增长与人口增长、科技水平、自然资源、管理水平等之间的关系；,相关的方向,相关的形式,线性相关收入与支出非线性相关施肥量与农产量,完全相关不完全相关不相关,正相关同增同减负相关一增一减,三、相关分析与回归分析,（一）概念：,1.相关分析,就是用一个指标来表明现象间相互依存关系的密切程度。广义的相关分析包括相关关系的分析（狭义的相关分析）和回归分析。,2.回归分析,是指对具有相关关系的现象，根据其相关关系的具体形态，选择一个合适的数学模型（称为回归方程式），用来近似地表达变量间的数量变化关系的一种统计分析方法。,（二）相关分析与回归分析的区别,1.在相关分析中，不必确定自变量和因变量；而在回归分析中，必须事先确定哪个为自变量，哪个为因变量，而且只能从自变量去推测因变量，而不能从因变量去推断自变量。2.相关分析不能指出变量间相互关系的数量具体形式；而回归分析能确切的指出变量之间相互关系的数量具体形式，它可根据回归模型从已知量估计和预测未知量。3.相关分析所涉及的变量一般都是随机变量，而回归分析中因变量是随机的，自变量则作为研究时给定的非随机变量。,（三）相关分析与回归分析的联系,相关分析和回归分析有着密切的联系，它们不仅具有共同的研究对象，而且在具体应用时，常常必须互相补充。相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。简单说：1、相关分析是回归分析的基础和前提；2、回归分析是相关分析的深入和继续。,定性分析,是依据研究者的理论知识和实践经验，对客观现象之间是否存在相关关系，以及何种关系作出判断。,定量分析,在定性分析的基础上，通过编制相关表、绘制相关图、计算相关系数等方法，来判断现象之间相关的方向、形态及密切程度。,第二节相关分析的方法,一、相关关系的判断,相关表判断1.简单相关表：未分组资料（对自变量数列有序排列后观察相应的因变量数值的变化，以判断是否相关，方向如何？）2.分组相关表：（1）单变量分组相关表（对自变量分组并计算次数，对应的因变量不分组，计算平均值，进行比较判断。）（2）双变量分组相关表（对自变量因变量都进行分组后制成的相关表。注意：自变量放在纵栏，因变量放在横栏。,单变量分组相关表：自变量分组且计算次数，因变量只计算平均数。,2、双变量分组相关表：对自变量与因变量均进行分组。注：自变量X轴；因变量Y轴。,（三）利用散点图判断(scatter diagram),（四）、通过计算相关系数进行判断,这是利用有关的两变量的具体数值，采用一定的方法计算出能反映变量之间相互关系的统计数字（相关系数），以说明变量之间相关的密切程度。常用的有皮尔逊线性相关系数。,二、相关系数的计算,1、含义,说明两变量之间线性相关密切程度的统计分析指标。用r表示。,绝对值r界于0与1之间 当r0,表示正相关绝对值r 越接近1，线性相关越密切绝对值r 越接近0，相关程度越弱,数值说明,（一）、皮尔逊线性相关系数r,r,通常：当相关系数的绝对值：小于0.3时,表示不相关或微弱相关介于0.3至0.5，表示低度相关介于0.5至0.8，表示显著（中度）相关大于0.8 时，表示高度相关,2、直线单相关系数r的计算公式（过程）,（1）计算自变量数列的标准差（2）计算因变量的标准差（3）计算两者的协方差协方差表示X和Y两变量相对与各自均值所造成的共同平均离差（4）计算相关系数,3.相关系数的其他公式,（1）积差法公式：（2）积差法简化式：（3）简捷公式：,xy的作用1、显示x与y之间的相关方向正相关,负相关,2、显示x与y之间的相关程度。,负相关,不相关,归纳 xy的作用第一、显示x与y之间的相关方向,第二、显示x与y之间的相关密切程度,x、y的作用1、使不同变量的协方差标准化直接对比。,试根据下列资料计算直线相关系数：,例如：某企业某种产品产量与单位成本的资料如下：计算直线相关系数,理论上可以先通过定性判断、画散点图等确定两个变量间是否有关系，在此基础上可以直接用公式计算相关系数。公式的选择可以根据实际的资料和计算条件来确定。注意：在计算相关系数时，无需确定自变量和因变量，所以x,y 的确定是任意的。,相关系数计算表,r=-0.9091即单位成本与产量间存在着高度的线性负相关关系。,解,答：即账单消费额与小费之间存在着高度的正线性相关关系。,关于相关系数的解释,1、相关并不一定意味着因果关系。如：一项研究表明，统计学教授的薪金与每人的啤酒消费量之间有很强的正相关关系，但这两个变量都受经济形势的影响。（隐藏变量）2、相关系数为0，不一定不相关,只能说明不存在线性相关。3、基于平均数进行相关分析与基于个体数据进行相关分析，其相关程度不一样。如：一项研究中，关于个人收入和教育的成对数据产生了一个0.4的线性相关系数，但当使用区域平均时，线性相关系数变为0.7。4、相关系数具有对称性。5、相关系数数值大小与X和Y变量的原点及尺度无关。,一些人相信他们的手掌生命线的长度可以来预测他们的寿命。和在美国医学协会学报上发表的一封信中，通过对尸体的研究对此给予了驳斥。死亡时的年龄与手掌生命线的长度被一起记录下来。作者得出死亡时的年龄与生命线的长度不存在显著相关的结论。手相术失传了，手也就放下了。,看手相：,4、相关系数的显著性检验一般情况下，总体相关系数是未知的，通常有样本相关系数r作为近似的估计值。样本不同，r的值不同，是随机变量，能否用r说明总体的相关程度，就需要考察样本r的可靠程度，也就是进行显著性检验。如r的抽样分布服从正态分布的假设成立，用正态分布来检验。但对r抽样分布的讨论可知，这种假设的风险很大，所以通常对r用t分布检验，该检验可用于小样本也可用大样本。检验步骤（1）（2）计算检验的统计量（3）进行判断,例：下表是有关15个地区某种食物需求量和地区人口增加量的资料。,相关系数的显著性检验（实例）,对相关系数进行显著性检(0.05)提出假设：H0：；H1：0计算检验的统计量,根据显著性水平0.05，查t分布表得t(n-2)=2.160由于t=48.385t(15-2)=2.160，拒绝H0，该种食物需求量和地区人口增加量之间的相关关系显著。,（三）斯皮尔曼等级相关系数的计算,1.等级相关的含义 就是把有关联的数量标志或品质标志的具体表现按等级次序排列，形成X和Y这两个序列，再测定这两个序列之间的相关程度，得到的相关系数即为等级相关系数。常用的有斯皮尔曼相关系数、肯特尔相关系数等。2.等级相关的优缺点优点：简单易行、应用广泛，适用于不便精确计量 的标志(即定序尺度衡量的现象)缺点：精确度稍差于按积差法计算的相关系数,3.斯皮尔曼等级相关系数的计算,计算步骤,定等级依此计算每对观察值相应的等级差D计算D2代入公式,例：以下是两组消费者对十种商品的评分资料，据此计算两组资料间的等级相关系数,计算等级相关系数，首先应将原数据转化为等级，本例中甲组最低分是68分，则可将它的等级数定为1，70分的等级数就是2，72分的为3，依次类推，如果两个数值相等，则值以平均位置数代替。,等级相关系数计算表,第三节回归分析的基本问题,“回归”一词最早源于生物学。英国生物学家高尔顿，根据1078对父子身高的散点图发现，虽然身材高的父母比身材矮的父母倾向有高的孩子。但平均而言，身材高大的其子要矮些，身材矮小的其子要高些。这种遗传上身高区域一般，退化到平均的现象，高尔顿称为回归。一、回归分析的含义（一）回归分析的目的：探求变量间的不确定性数量关系。（二）回归分析的概念及实质1.回归分析概念：是对具有相关关系的两个或两个以上变量之间的数量变化进行数量测定，配合一定的模型，以便给出自变量的值对因变量进行估计或预测的一种统计分析方法。2.回归分析的实质：是在相关分析的基础上，研究现象间的数量变化规律。,二、回归分析与相关分析的区别,（1）相关分析中，变量 x 变量 y 处于平等的地位，毋需确定自变量、因变量，而回归分析必须区别。变量之间有前后因果关系时，确定较为容易；变量之间互为因果关系或没有明显因果关系时，根据研究目的确定。（2）相关分析中所涉及的变量 x 和 y 都是随机变量；回归分析中，因变量 y 是随机变量，自变量 x 则是给定的。（3）相关分析主要是描述变量之间有无关系？密切程度如何？回归分析则进一步揭示变量 x 对变量 y 的影响大小，并可以由回归方程进行预测或估计，具有较强的应用性（4）在没有明显因果关系的两个变量 x 和 y 中可求得两个回归方程,也就是回归方程不具有对等性。而相关系数却只有一个,也就是相关系数具有对等性。（5）在线性回归方程中，自变量的系数称为回归系数，它相关相关系数同号,也能表明相关的方向。,三、回归分析的内容,（一）根据研究目的和变量间的内在联系，确定自变量和因变量例 粮食产量（y）施肥量（x）；消费支出（y）国民收入（x）；火灾损失额（y）火灾发生地与最近一个消防站之间的距离（x）。（二）确定回归分析模型的类型及数学表达式（三）建立模型（解参数）（四）对回归分析模型进行评价（五）预测例 消费与收入的回归方程：y=a+bx=200+0.15x 已知 x确定y：估计或预测,四、回归模型的种类,（一）简单回归与多元回归：根据变量个数划分1.简单回归分析模型是指只有一个自变量和一个因变量的回归分析模型；2.多元回归分析模型是指多个自变量与一个因变量组成的回归分析模型。（增加了自变量的个数）（二）线性回归与非线性回归：按变量间相互关系的形态分1.线性回归模型是指变量间的关系为直线趋势的模型形态；2.非线性回归模型是指变量间的关系为曲线趋势的模型形态上述四种情况交叉结合为简单线性回归和简单非线性回归，多元线性回归和多元非线性回归等不同类型,五、一元(简单)线性回归模型,（一)描述因变量 Y如何依赖于自变量 X 和误差项 的方程称为回归模型（二）一元线性回归模型可表示为 Y=+X+Y是 X 的线性函数部分加上误差项 线性部分反映了由于 X 的变化而引起的 Y 的变化误差项 是随机变量,反映了除 X和 Y之间的线性关系之外的随机因素对Y的影响，是不能由 X 和 Y之间的线性关系所解释的变异性。由于的值是非固定的，从而使X和 Y呈现非确定性关系 和 称为模型的参数误差项 是一个服从正态分布的随机变量,且独立.即_N(0,)。,回归估计方程,在回归模型中，X是自变量，是可控的，Y是随机变量，对上述的一元线性回归模型两端取数学期望，即得一元线性回归方程：E（Y）=+X这一模型表明Y的期望值是X的线性函数。其中：和 是待定系数，是回归系数，它表示自变量 x 每变动一个单位时，因变量Y的平均变动值。由于总体回归参数 和 是未知的，必需利用样本数据去估计。得一元回归估计方程,（六）方程的参数的估计方法-最小二乘法,要使所拟合的直线最理想，必须使实际值与估计值的偏差最小，如果用作图法和目测法，很难达到上述的要求，因此需数学的方法，即是离差平方和最小。,根据上述的论述，最小平方法满足的条件是：和把回归方程 代入对a、b参数求导得：,整理得两个方程 求得,b回归系数，反映自变量变动一个单位时因变量的平均变动量。,如果x和y互为因果关系，还可求出x依y的回归方程中的参数,（七）回归分析的应用,在计算相关系数时，我们曾列出了一个企业的产量和单位成本的两组数据，通过计算，我们得出了这两个变量呈现高度负相关的结论。那么进一步研究，来看看它们之间到底呈现怎样的数量关系呢？产量的变动对成本的具体影响又是如何呢？我们可以用最小二乘法来求解参数，作出判断和预测。,例3 回归分析计算表,由于是进行回归分析，所以必须确定自变量和因变量，在无明显因果关系时，理论上可以拟合两条回归方程，视要求选择。而如果变量间有明显因果关系时，必须将“因”作为自变量，“果”作为因变量。本例中我们研究产量变动对成本的影响，故以产量为 x，成本为y。,解得：,则成本依产量回归的方程为:yc,回归系数b=-1.82说明当产量每增加1千件时，单位成本平均下降1.82元。两者呈负相关。同时，用回归方程还可以进行预测，例：当产量达到10千件时，单位成本会降到66.55元。,例为研究用餐消费与小费支出的关系，随机抽取了10位用餐顾客，得样本数据如下（用EXCEL软件生成的散点图）,请拟合样本回归方程,解：通过散点图可近似看出呈线性关系，故设两者有关系,经济意义：用餐消费每增加100美元，小费支出平均增加16.6美元。,（八）回归系数与相关系数的关系,（1）两者是同向的；（2）r反映变量的相关方向与密切程度；b反映某一变量变动一个单位时另一变量的平均变动b量。,1.已知变量y依x的直线回归方程的斜率为b,又知变量y和x之间的相关系数是r，那么x变量依y变量的直线回归方程斜率是多少？2.已知直线回归方程yc=1.35+4.2x,=6,r=0.9 试求,（九）回归估计标准误差,说明了回归直线的拟合程度的指标。是对回归直线的代表性大小的衡量.实际观察值与回归估计值离差平方和的均方根。反映实际观察值在回归直线周围的分散状况。计算公式为,由样本资料计算,在统计学中，自由度指的是计算某一统计量时，取值不受限制的变量个数。通常df=n-k。其中n为样本含量，k为被限制的条件数或变量个数，或计算某一统计量时用到其它独立统计量的个数。,计算例子,下表是有关15个地区某种食物需求量和地区人口增加量的资料。,.回归估计标准误的简化计算公式（利用 可推导出上述公式）,七、判定系数(回归模型拟合程度的评价),（一）离差平方和（总变差）的分解,因变量 y 的取值是不同的，y 取值的这种波动称为总变差。变差来源于两个方面：由于自变量 x 的取值不同造成的；除 x 以外的其他随机因素的影响。对一个具体的观测值来说，总变差的大小可以通过该实际观测值与其均值之差 来表示。,判定系数是从另一角度说明回归直线拟合程度的又一度量值。它的引入是从离差平方和的分解入手的。,总变差构成图解：,、变差的分解,从图中我们可将总变差分解,（1）总平方和(SST)反映因变量的 n 个观察值与其均值的总离差（2）回归平方和(SSR)反映由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称可解释的平方和。说明自变量 x 的变化对因变量 y 取值变化的影响。（3）残差平方和(SSE)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和。,（二）判定系数,判定系数：也称决定系数或确定系数。是指回归变差占总变差的比重是反映回归直线的拟合优度的统计指标。,在直线相关中,判定系数就是相关系数的平方.,判定系数的作用,此外，判定系数就测量变量之间的相关关系而言，具有独立的意义。它不仅适用线性相关，也适用非线性相关。,4、方差法相关系数,例已知下列资料，试计算判定系数与估计标准误。,答：观察值与回归值之间的平均离差为0.73，总离差中的88.03%是因为x的变动所引起的。或者说支出数值的变动中,有88.03%是由收入的变动所决定的.可见支出和收入之间有较强的相关关系.,已知回归直线的斜率是0.8，自变量的方差是200，样本容量是20，那么回归离差平方和是多少。,八、回归方程的统计检验,检验自变量和因变量之间的线性关系是否显著具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，我们知道对于一个具体的实验来说，SST是一个定值，如果SSR远大于SSE，则表明因变量和自变量之间的线性关系显著，否则，便认为不显著。F统计量就是这样构造来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系,回归方程的显著性检验F检验模型整体拟合效果的显著性检验,对于所拟合的回归模型需要检验其合理性.检验的内容包括模型整体的拟合效果是否理想,模型的参数在统计意义上是否显著.,回归方程的显著性检验（检验的步骤）,提出假设H0：线性关系不显著 H1：线性关系显著,2.计算检验统计量F,确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 作出决策：若FF,拒绝H0；若FF,接受H0,回归系数的显著性检验t检验（要点）,在一元线性回归中，等价于回归方程的显著性检验,回归系数的显著性检验是进一步检验自变量 x 对因变量 y 的影响是否显著。如果总体回归系数b=0，总体回归直线是一条水平线，表明自变量的变化对因变量没有影响，因此回归系数的检验就是检验回归系数b与0之间是否有显著差异。（具体步骤见书P190）,理论基础是回归系数 b 的抽样分布,九、因变量的置信区间估计p190,前曾给出利用回归方程 对y进行估计或预测，但回归方程给出的 只是所预测的y均值，是y的点估计值，所以还需求出y的区间估计值概念：在一定的概率保证下对总体估计值作出置信区间估计。公式：,总结：1、相关系数的计算2、简单线性回归模型的建立3、相关系数和回归系数的关系4、回归估计标准误的计算,第四节 多元线性回归模型的建立,一、概念：在线性相关条件下，两个或两个以上自变量对一个因变量的数量变化关系的分析模型。二、多元线性回归模型表达式 三、多元线性回归模型建立（以两个自变量为例）,得方程,例如,增加值y万元 新增固定资产（万元）x1 职工人数（百人）x2 54 18 1.1 62 22 1.2 70 25 1.4 104 30 2.1 130 36 2.5 160 40 3.0 170 47 3.2 200 50 4.1合计 950 268 18.6,=4.63,=-36.82,y,x1,x1 x2,y x1,x2,yx2,合计950 268 18.6 709.6 36276 2679.2 9938 51.32,简单相关系数有正负相关之分，回归系数也有正负之分，但在研究多变量相关时，b1、b2只说明回归的部分（偏回归系数），b1、b2虽然也有正负号，但不能根据其中一个系数的正负号来反映相关方向。净回归系数有其自身的特点和性质，具体地说：其一，净回归系数有两个主要特点：一是线性假设性：假设所有的自变量都与因变量成线性相关关系；二是不等值性：数量和方向均不等值。其二，净回归系数的重要性质是：对于任何一个特定的自变量而言，它的回归系数不仅测度了它与因变量之间的相关关系，同时也包含了与它相关的自变量与自变量之间的相关关系，所以，在多元性回归分析中，若自变量与自变量之间呈高度相关，则净回归系数是不可靠的。,二、自变量的选择原则：1、必须选择与因变量密切相关的自变量2、所选择的自变量之间不能有较高的线性相关系数,r y 与 x1 x2 定量分析 r x1 x2-自变量间的相关关系定性分析,定性分析的结果选择x1 x2 X4,第五节非线性相关与回归分析,一、非线性函数形式的确定在对实际的客观现象进行定量分析时，选择回归方程的具体形式应遵循以下原则：首先，方程形式应与有关实质性科学的基本理论相一致。例如，采用幂函数的形式，能够较好地表现生产函数；采用多项式方程能够较好地反映总成本与总产量之间的关系等等。其次，方程有较高的拟合程度。因为只有这样，才能说明回归方程可以较好地反映现实经济的运行情况。最后，方程的数学形式要尽可能简单。如果几种形式都能基本符合上述两项要求，则应该选择其中数学形式较简单的一种。一般来说，数学形式越简单，其可操作性就越强。,二、模型的建立：以二次 抛物线模型为例。模型：,产量Y,农,X2 X3 X4 Xy X2y140 784 4676 166 782,