第八章相关与回归分析ppt课件.ppt

2023/6/25,版权所有 BY 统计学课程组,1,第八章 相关与回归分析,第一节 相关分析第二节 一元线性回归分析第三节 多元线性回归分析第四节 非线性回归分析,2023/6/25,版权所有 BY 统计学课程组,2,本章重点,相关与回归分析概念、种类、相关关系与函数关系、相关关系与因果关系的联系。相关分析与回归分析的区别与联系。直线相关系数的涵义、计算与分析。直线回归方程的确定与精确度的评价。回归方程的应用。,2023/6/25,版权所有 BY 统计学课程组,3,本章难点,直线相关系数的涵义、计算与分析。直线回归方程的确定与精确度的评价。参数估计的理论方法，如最小二乘法的基本原理等。参数估计的显著性检验及拟合优度的检验的基本理论。非线性回归的转化问题。,2023/6/25,版权所有 BY 统计学课程组,4,学习目标,通过本章的学习，要明确相关与回归分析的概念、意义和种类；了解相关关系与函数关系的区别、相关分析与回归分析的联系与区别；掌握相关分析的特点和方法、进而掌握回归分析的方法；理解进行相关与回归分析应注意的问题。,2023/6/25,版权所有 BY 统计学课程组,5,第一节 相关分析,一、相关关系与函数关系二、相关关系的种类三、相关分析与回归分析四、相关关系的测度,2023/6/25,版权所有 BY 统计学课程组,6,一、相关关系与函数关系,客观现象之间的数量联系可以归纳为两种不同的类型，一种是函数关系，另一种是相关关系。函数关系是指变量之间存在的严格确定的依存关系，即当一个或几个相互联系的自变量取一定的值时，因变量必定有一个且只有一个确定的值与之对应。相关关系是指变量之间客观存在的非严格确定的依存关系，即当一个或几个相互联系的自变量取一定的数值时，与之对应的因变量往往会出现几个不同的值，但这些数值会按某种规律在一定范围内变化。,2023/6/25,版权所有 BY 统计学课程组,7,二、相关关系的种类,(一)按变量多少划分按相关关系涉及变量的多少可分为单相关、复相关和偏相关。两个现象的相关，即一个变量对另一个变量的相关关系，称为单相关。当所研究的是一个变量对两个或两个以上其他变量的相关关系时，称为复相关。,2023/6/25,版权所有 BY 统计学课程组,8,相关关系的种类,(二)按相关程度划分按变量之间相关关系的密切程度不同，可分为完全相关、不完全相关和不相关。当一种现象的数量变化完全由另一个现象的数量变化所确定时，称这两种现象间的关系为完全相关。当两个现象彼此互不影响，其数量变化各自独立时，称为不相关现象。两个现象之间的关系介于完全相关和不相关之间，称为不完全相关，一般的相关现象都是指这种不完全相关。,2023/6/25,版权所有 BY 统计学课程组,9,相关关系的种类,(三)按相关形式划分按相关关系的表现形态不同可分为线性相关和非线性相关。当两种相关现象之间的相关关系在直角坐标系中近似地表现为一条直线时，称之为线性相关。如果两种相关现象之间，在图上并不表现为直线形式而是表现为某种曲线形式时，则称这种相关关系为非线性相关。,2023/6/25,版权所有 BY 统计学课程组,10,相关关系的种类,(四)按相关方向划分线性相关中按相关的方向可分为正相关和负相关。当一个现象的数量由小变大，另一个现象的数量也相应由小变大，这种相关称为正相关。当一个现象的数量由小变大，而另一个现象的数量相反地由大变小，这种相关称为负相关。,2023/6/25,版权所有 BY 统计学课程组,11,相关关系的种类,(五)按相关性质划分按相关的性质可分为“真实相关”和“虚假相关”。当两种现象之间的相关确实具有内在的联系时，称之为“真实相关”。当两种现象之间的相关只是表面存在，实质上并没有内在的联系时，称之为虚假相关。,2023/6/25,版权所有 BY 统计学课程组,12,三、相关分析与回归分析,相关分析是指研究一个变量与另一个变量或另一组变量之间相关方向和相关密切程度的统计分析方法。回归分析是指根据相关关系的具体形态，选择一个合适的数学模型来近似地表达变量间平均变化关系的统计分析方法。,2023/6/25,版权所有 BY 统计学课程组,13,相关分析与回归分析的联系,相关分析和回归分析是研究现象之间相关关系的两种基本方法，两者有着密切的联系，它们不仅具有共同的研究对象，而且在具体应用时，常常必须互相补充。相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。由于上述原因，回归分析和相关分析在一些统计学的书籍中被合称为相关关系分析或广义的相关分析。,2023/6/25,版权所有 BY 统计学课程组,14,相关分析与回归分析的区别,(1)相关分析中，变量x与变量y处于平等地位，不需要区分自变量和因变量；回归分析中，变量y称为因变量，处在被解释的特殊地位。变量x称为自变量，可以通过x的变化来解释y的变化，故亦称为解释变量。(2)相关分析中所涉及的变量y与x全是随机变量。而回归分析中，因变量y是随机变量，自变量x 可以是随机变量，也可以是非随机的确定变量。(3)相关分析的研究主要是刻画两类变量间线性相关的密切程度。而回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制。,2023/6/25,版权所有 BY 统计学课程组,15,四、相关关系的测度,测度相关关系的方式有三种，相关表相关图相关系数,2023/6/25,版权所有 BY 统计学课程组,16,(一)相关表和相关图,相关表是一种反映变量之间相关关系的统计表。将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便可得到简单的相关表。【例8.1】要求：根据本章案例表8.1中的数据绘制2005年中国城镇居民年人均可支配收入和年人均消费性支出之间的相关图。(P216),2023/6/25,版权所有 BY 统计学课程组,17,从下图可以看出，居民的消费支出和可支配收入之间呈现正线性相关关系,(二)相关系数(P223)(correlation coefficient),1.概念：对变量之间关系密切程度的度量对两个变量之间线性相关程度的度量称为简单相关系数若相关系数是根据总体全部数据计算的，称为总体相关系数，记为若是根据样本数据计算的，则称为样本相关系数，记为 r,2.相关系数的计算公式（记住P223）,样本相关系数的计算公式,或化简为,3.相关系数取值及其意义,r 的取值范围是-1,1|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关 r=0，不存在线性相关关系-1r0，为负相关 0r1，为正相关|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切,相关系数的性质,2023/6/25,版权所有 BY 统计学课程组,21,相关系数取值范围与直观意义,r=1,完全正相关,r=1,完全负相关,2023/6/25,版权所有 BY 统计学课程组,22,相关系数取值范围与直观意义,-1r0,不完全相关,0r1,不完全相关,主要研究对象,2023/6/25,版权所有 BY 统计学课程组,23,相关系数取值范围与直观意义,X和Y 都是相互对称的随机变量；线性相关系数只反映变量间的线性相关程度，不能说明非线性相关关系；样本相关系数是总体相关系数的样本估计值，由于抽样随机性，样本相关系数是个随机变量，其统计显著性有待检验；相关系数只能反映线性相关程度，不能确定因果关系，不能说明相关关系具体接近哪条直线。,使用相关系数时应注意:,相关系数的检验p226,检验两个变量之间是否存在线性相关关系等价于对回归系数 b1的检验采用R.A.Fisher提出的 t 检验检验的步骤为提出假设：H0：；H1：0,计算检验的统计量：,确定显著性水平，并作出决策 若 t t，拒绝H0 若 t t，不能拒绝H0,2023/6/25,版权所有 BY 统计学课程组,26,第二节 一元线性回归分析(P227),一、一元线性回归模型的基本形式二、一元线性回归模型的估计三、回归方程的显著性检验四、回归模型的应用五、统计软件SPSS应用,回归模型的类型,一元线性回归含义,涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependent variable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independent variable)，用x表示 因变量与自变量之间的关系用一个线性方程来表示,一.一元线性回归模型的基本形式,描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为理论回归模型一元线性回归模型可表示为 y=b0+b1 x+ey 是 x 的线性函数(部分)加上随机误差项线性部分反映了由于 x 的变化而引起的 y 的变化误差项 是随机变量(未纳入模型但对y有影响的诸多因素的综合影响)反映了除 x 和 y 之间的线性关系之外的随机因对 y 的影响是不能由 x 和 y 之间的线性关系所解释的变异性0 和 1 称为模型的参数,理论回归模型,回归模型的基本假设 p229,假设1：误差项的期望值为0，即对所有的i有假设2：误差项的方差为常数，即对所有的i有假设3：误差项之间不存在自相关关系，其协方差为0，即当 时，有；假设4：自变量是给定的变量，与随机误差项线性无关；假设5：随机误差项服从正态分布。以上这些基本假设是德国数学家高斯最早提出的，故也称为高斯假定或标准假定。,一元线性回归模型基本假定,自变量x 取值是非随机的，y 是随机变量误差项是一个期望值为0的随机变量，即E()=0。对于一个给定的 x 值，y 的期望值为 E(y)=0+1 x对于所有的 x 值，的方差2 都相同误差项是一个服从正态分布的随机变量，且相互独立。即N(0,2)独立性意味着对于一个特定的 x 值，它所对应的与其他 x 值所对应的不相关,2023/6/25,32,.回归方程(regression equation),描述 y 的期望值如何依赖于 x 的方程称为回归方程一元线性回归方程的形式如下 E(y)=0+1 x,方程的图示是一条直线，也称为直线回归方程0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值,举例：假如已知100个家庭构成的总体,总体回归函数,在抽样中，自变量x的取值是固定的，即x是非随机的；因变量y是随机的。即当解释变量X取某固定值时，Y的值不确定，Y的不同取值形成一定的分布，这是Y的条件分布。回归线，描述的是Y的条件期望E（Y/xi）与之对应xi，代表这些Y的条件期望的点的轨迹所形成的直线或曲线。如注意：由于单个数据点是从y的分布中抽出来的，可能不在这条回归线上，因此必须包含随机误差项e来描述模型数据点,注意：假定,x,E(y)=0+1 x,y,回归线,2023/6/25,35,.估计的回归方程(estimated regression equation),一元线性回归中估计的回归方程为,用样本统计量 代替回归方程中的未知参数 和，就得到了估计的回归方程,总体回归参数 和 是 未知的，必须利用样本数据去估计,其中：是估计的回归直线在 y 轴上的截距，是直线的斜率，它表示对于一个给定的 x 的值，是 y 的估计值，也表示 x 每变动一个单位时，y 的平均变动值,一般情况下，在研究某个实际问题时，对于获得的n组样本观测值来说，如果它们符合总体回归模型，则,二、一元线性回归模型的估计 p229,(一)参数的最小二乘估计,.参数的最小二乘(平方)法的估计(ordinary least squares estimators),使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即,用最小平方法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线的误差都小,2023/6/25,版权所有 BY 统计学课程组,39,参数的最小二乘估计,2023/6/25,版权所有 BY 统计学课程组,40,参数的最小二乘估计,记住啦p230,2023/6/25,版权所有 BY 统计学课程组,41,参数的最小二乘估计,用Excel进行回归分析,第1步：选择“工具”下拉菜单第2步：选择“数据分析”选项第3步：在分析工具中选择“回归”，然后选择“确定”第4步：当对话框出现时 在“Y值输入区域”设置框内键入Y的数据区域 在“X值输入区域”设置框内键入X的数据区域 在“置信度”选项中给出所需的数值 在“输出选项”中选择输出区域 在“残差”分析选项中选择所需的选项,2023/6/25,版权所有 BY 统计学课程组,43,(二)最小二乘估计量的性质 p231,最小二乘法是多种估计方法中的一种。按最小二乘法求得的总体回归系数的估计值被称为最小二乘估计量。最小二乘估计量的形式是不变的，但根据所选取的样本不同，的具体数值会随之变化，因此它是一种随机变量。可以证明，在基本假设能够得到满足的条件下，回归系数的最小二乘估计量的期望值等于真值，即有,2023/6/25,版权所有 BY 统计学课程组,44,最小二乘估计量的性质,2023/6/25,版权所有 BY 统计学课程组,45,(三)回归系数的区间估计p233,2023/6/25,版权所有 BY 统计学课程组,46,回归系数的区间估计,2023/6/25,版权所有 BY 统计学课程组,47,回归系数的区间估计,2023/6/25,版权所有 BY 统计学课程组,48,(四)总体方差的估计 p233,2023/6/25,版权所有 BY 统计学课程组,49,总体方差的估计,回归标准差,总体方差的估计 p233,2023/6/25,版权所有 BY 统计学课程组,51,三、回归方程的显著性检验 p234,2023/6/25,版权所有 BY 统计学课程组,52,(一)t检验,t 检 验,2023/6/25,版权所有 BY 统计学课程组,54,t检验,2023/6/25,版权所有 BY 统计学课程组,55,(二)F检验 P235,如上所述，t检验主要用来检验各个回归系数是否显著，F检验则主要用于检验整个回归方程是否有效。对于一元线性回归模型，由于只有一个回归系数，两种检验所得的结果是相同的。但对于多元线性回归模型则不同，t检验与F检验的结果可能相同也可能不相同，即会出现各个回归系数能通过检验而整个回归方程却不一定能够通过检验的情形，或者出现相反的情形。F检验的主要目的在于分析各个因变量值与其均值离差平方和中，由于自变量与因变量之间的回归关系所产生的影响情况。,(二)F检验 p235离差平方和的分解(三个平方和的关系),1.总平方和(SST)反映因变量的 n 个观察值与其均值的总离差2.回归平方和(SSR）（SSR：sum of squares for regression)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和3.残差平方和(SSE)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和,三个平方和的意义,2023/6/25,58,F检验的步骤 p236,提出假设H0：1=0 线性关系不显著,2.计算检验统计量F,确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 作出决策：若FF,拒绝H0；若FF,不能拒绝H0,P代表自变量的个数,2023/6/25,59,(三)样本决定系数r2 p237(coefficient of determination),回归平方和占总离差平方和的比例,反映回归直线的拟合程度取值范围在 0,1 之间 r2 1，说明回归方程拟合的越好；r20，说明回归方程拟合的越差样本决定(判定)系数等于相关系数的平方,样本决定系数与相关系数的关系：,联系：数值上判定(可决)系数是相关系数的平方 区别：判定系数 相关系数 就模型而言 就两个变量而言 说明解释变量对因变 说明两变量线性依存程度 量的解释程度 取值 有非负性 取值-1r1 可正可负,2023/6/25,版权所有 BY 统计学课程组,61,F检验,2023/6/25,版权所有 BY 统计学课程组,62,(四)样本决定系数,四、回归模型的应用 p238,回归模型的应用 p238,回归模型的应用,回归模型的应用,2023/6/25,版权所有 BY 统计学课程组,67,回归模型的应用,回归模型的应用2.因变量平均值的置信区间,2023/6/25,版权所有 BY 统计学课程组,69,回归模型的应用,2023/6/25,版权所有 BY 统计学课程组,70,五、统计软件SPSS应用,这部分内容详见教材,2023/6/25,版权所有 BY 统计学课程组,71,第三节 多元线性回归分析p242,一、多元线性回归模型二、多元线性回归模型的估计四、拟合优度检验五、偏相关系数与复相关系数六、多元线性回归模型预测与案例分析,2023/6/25,版权所有 BY 统计学课程组,72,一、多元线性回归模型,因为客观现象非常复杂，现象之间的联系方式和性质各不相同，影响因变量变化的自变量往往是多个而不只是一个，其中既有主要因素也有次要因素。如果仅仅进行一元回归分析，不一定能得到满意的结果。因此，有必要将一个因变量与多个自变量联系起来进行分析。在线性相关条件下，研究两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学表达式则称为多元线性回归方程或多元线性回归模型。,2023/6/25,版权所有 BY 统计学课程组,73,一、多元线性回归模型,2023/6/25,版权所有 BY 统计学课程组,74,多元线性回归模型的一般形式,2023/6/25,版权所有 BY 统计学课程组,75,多元线性回归模型的一般形式,2023/6/25,版权所有 BY 统计学课程组,76,(二)多元线性回归模型的基本假定,2023/6/25,版权所有 BY 统计学课程组,77,(三)多元线性回归方程的解释,2023/6/25,版权所有 BY 统计学课程组,78,多元线性回归方程的解释,2023/6/25,版权所有 BY 统计学课程组,79,二、多元线性回归模型的估计,2023/6/25,版权所有 BY 统计学课程组,80,回归系数的估计,2023/6/25,版权所有 BY 统计学课程组,81,回归系数的估计,2023/6/25,版权所有 BY 统计学课程组,82,回归系数的估计,2023/6/25,版权所有 BY 统计学课程组,83,(二)最小二乘估计量的性质,2023/6/25,版权所有 BY 统计学课程组,84,最小二乘估计量的性质,2023/6/25,版权所有 BY 统计学课程组,85,(三)总体方差的估计,2023/6/25,版权所有 BY 统计学课程组,86,三、多元线性回归模型的检验,2023/6/25,版权所有 BY 统计学课程组,87,回归系数的显著性检验(t检验),2023/6/25,版权所有 BY 统计学课程组,88,回归系数的显著性检验(t检验),2023/6/25,版权所有 BY 统计学课程组,89,(二)回归方程显著性的F检验,2023/6/25,版权所有 BY 统计学课程组,90,回归方程显著性的F检验,2023/6/25,版权所有 BY 统计学课程组,91,(三)回归系数的置信区间,2023/6/25,版权所有 BY 统计学课程组,92,四、拟合优度检验,2023/6/25,版权所有 BY 统计学课程组,93,拟合优度检验,2023/6/25,版权所有 BY 统计学课程组,94,五、偏相关系数与复相关系数,在测定简单相关系数时，仅考虑一个自变量和一个因变量之间的相关关系，不考虑其他自变量对因变量的影响；在测定两个特定变量的偏相关系数时，要考虑其他自变量对因变量的影响，只不过是将其他自变量控制起来作为常数处理，以便揭示两个特定变量之间的相关程度。但是，计算偏相关系数时需要以各有关相关系数为依据。偏相关系数的数值和简单相关系数的数值常常不同，有时两者的正负号也不相同。,2023/6/25,版权所有 BY 统计学课程组,95,偏相关系数与复相关系数,2023/6/25,版权所有 BY 统计学课程组,96,偏相关系数与复相关系数,2023/6/25,版权所有 BY 统计学课程组,97,六、多元线性回归模型预测,2023/6/25,版权所有 BY 统计学课程组,98,多元线性回归模型预测,2023/6/25,版权所有 BY 统计学课程组,99,七、案例分析,详见教材,2023/6/25,版权所有 BY 统计学课程组,100,第四节 非线性回归分析,一、非线性回归分析的意义二、非线性函数的主要形式及其线性化方法三、非线性回归案例分析,2023/6/25,版权所有 BY 统计学课程组,101,一、非线性回归分析的意义,在现实生活中，非线性关系却是大量存在的。在许多场合，非线性的回归函数比线性回归函数更能够正确地反映客观现象之间的相互关系。非线性回归分析必须解决两个主要问题：一是如何确定非线性回归函数的具体形式；二是如何估计函数中的参数。,2023/6/25,版权所有 BY 统计学课程组,102,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,103,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,104,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,105,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,106,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,107,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,108,二、非线性函数的主要形式及其线性化方法,2023/6/25,版权所有 BY 统计学课程组,109,三、非线性回归案例分析,详见教材,2023/6/25,版权所有 BY 统计学课程组,110,本章小结,本章主要以定性分析为基础，利用相关图、相关表和相关系数来研究事物之间的相关关系，并在此基础上借用数学模型近似反映事物之间的数量关系，即进行回归分析，包括一元线性回归分析、多元线性回归分析和非线性回归分析。,2023/6/25,版权所有 BY 统计学课程组,111,本章小结,1客观现象之间的数量联系可以归纳为函数关系和相关关系两种类型。函数关系是指变量之间存在的严格确定的依存关系；相关关系是指变量之间客观存在的非严格确定的依存关系。按相关关系涉及变量的多少可分为单相关、复相关和偏相关。按变量之间相关关系的密切程度不同，可分为完全相关、不完全相关和不相关。按相关关系的表现形态不同可分为线性相关和非线性相关。线性相关中按相关的方向可分为正相关和负相关。按相关的性质可分为“真实相关”和“虚假相关”。,2023/6/25,版权所有 BY 统计学课程组,112,本章小结,2相关分析是指研究一个变量与另一个变量或另一组变量之间相关方向和相关密切程度的统计分析方法。通常计算相关系数反映变量之间的线性相关程度。相关系数可以分为简单相关系数、偏相关系数和复相关系数。3回归分析是指根据相关关系的具体形态，选择一个合适的数学模型来近似地表达变量间平均变化关系的统计分析方法。在回归分析中，最简单的模型是只有一个因变量和一个自变量的一元线性回归模型。在线性相关条件下，研究两个和两个以上自变量对一个因变量的数量变化关系，则称为多元线性回归分析。如果自变量与因变量之间存在的是非线性关系，建立的模型则称为非线性回归模型。回归分析的主要任务就是根据样本数据建立能够近似反映真实总体回归模型的样本回归模型。,2023/6/25,版权所有 BY 统计学课程组,113,本章小结,4非线性回归分析必须解决两个主要问题：一是如何确定非线性回归函数的具体形式；二是如何估计函数中的参数。非线性回归分析中最常用的参数估计方法仍然是最小二乘估计法，但需要根据函数的不同类型进行适当变换，先将非线性函数转换为线性函数，再利用最小二乘法估计参数。非线性函数的主要形式抛物线函数、双曲线函数、幂函数、指数曲线、对数函数、S形曲线、多项式。,2023/6/25,版权所有 BY 统计学课程组,114,本章小结,5本章的重点在于理解相关与回归分析的基本含义、最小二乘法的基本思想、样本决定系数的意义、以及t检验和F检验的基本方法。难点在于理解总体回归模型与样本回归模型的关系、最小二乘估计量的性质、以及非线性回归模型的估计。,