地学数理方法-第三章-方差分析.ppt

3 方差分析,问题的提出引例1 为研究光照条件对某种有机物降解速度的影响，在人工控制的六种不同光强条件下，测定了这6种有机物24小时内的降解速度，结果以损失百分比表示：,问：光照条件是否影响该有机物的降解速度？不同的光照条件之间是否有显著性差别？,单因素方差分析,3 方差分析,问题的提出引例2 为进行京津风沙源治理工程环境效益的货币化评价，通过大样本小区问卷调查的方法研究不同年龄和收入水平人群对环境税的支付意愿。数据EXCEL表示：,问：同一年龄段不同收入水平的人群对环境税的支付意愿是否有显著性差别？不同收入水平的人群对环境税额的支付意愿是否有显著差别？不同年龄段和收入水平的人群对环境税的支付意愿是否有显著差别？,双因素方差分析,3 方差分析,英国统计学家于1923年提出方差分析方法(analysis of variance)。这种方法是将多个处理的观测值作为一个整体看待，把观测值总离差的平方和及自由度分解为相应于不同变异来源的平方和及自由度，进而获得不同变异来源总体方差估计值；通过计算这些总体方差的估计值的适当比值，就能检验各样本所属的总体均值是否相等。考察一种因素对实验结果有无显著影响时采用的分析方法。,方差分析的前提条件采样的随机性 数据的独立性 分布的正态性 方差的同质性,3 方差分析,3 方差分析,主要内容3.1 基本概念与原理3.2 单因素方差分析3.3 两因素方差分析3.4 多因素方差分析,3.1 基本概念,基本概念（一）因素（factor)从对试验产生影响的众多原因中挑选出来的，可通过选取不同的条件以供考察的原因。如引例1中的光照条件；引例2中的年龄和收入水平。水平（level)因素在试验中所取的不同条件或状态。若某因素记为A，则因素A的 个不同水平分别记为。如引例1中的六种光强条件；引例2中的三个年龄段和3种收入水平。,3.1 基本概念与原理,基本概念（二）主效应（main effect)某因素单独对试验结果所产生的影响或作用，称该因素的主效应。如引例1中光照条件对有机物降解速度的影响；引例2中的年龄和收入水平两种分别对环境税额的支付意愿。交互效应（interaction)在多因素试验中，两个及两个以上的因素相互作用，联合对试验结果产生影响或作用，称为交互效应（作用）。如引例2中年龄收入对环境税额支付意愿的影响。,3.1 基本概念与原理,基本概念（三）条件误差（conditional error)由试验条件不同所造成的差异。方差分析中又称之为组间误差(Within groups)。试验误差（test error)试验中各种偶然（随机）原因对试验结果产生的影响。方差分析中又称之为组内误差(between groups)。误差效应（error effect)误差给试验结果带来的影响。,3.1 基本概念与原理,方差分析原理1.离差的构造数据源 以单因素等重复试验的数据为例，来说明各种离差的构造。下表中因素A有a个水平，每个水平有r个重复。,3.1 基本概念与原理,方差分析原理1.离差的构造离差,在方差分析中通常用离差平方和来构造离差。因为离差平方和具有方差的一些良好特征。,总离差,条件离差,试验误差,3.1 基本概念与原理,方差分析原理 1.离差的构造离差平方和总离差平方和因素A离差平方和（组间离差平方和）误差离差平方和（组内离差平方和）,在同样的波动程度下，测定数据越多，计算出的离差平方和就越大，。为此构造相对离差平方和。,3.1 基本概念与原理,方差分析原理 2.相对离差平方和 相对离差平方和离差平方和/平方和的自由,通常，随机变量的自由度是由数据个数n及数据所受的线性约束方程个数m所决定的。当n个随机变量 受到且仅受到下式m个独立方程的约束时，则这n个数据的平方和的自由度为n-m。,一组随机变量 的平均值为，则平方和 的自由度为,3.1 基本概念与原理,方差分析原理2.相对离差平方和总离差平方和的自由度因素A离差平方和的自由度误差e平方和的自由度,3.1 基本概念与原理,方差分析原理2.相对离差平方和总相对离差平方和因素A相对离差平方和误差e相对离差平方和,因素A均方差（方差）,误差均方差（方差）,3.1 基本概念与原理,方差分析原理3.均方差特性分析 设有a个独立子样 分别来自具有相同方差的独立总体，即 如果，检验原假设 成立，那么，这 个正态总体方差和均值都相等。因此，从这 个完全相同的正态总体中各抽取一个样本为 的子样，相当于从一个正态总体 中分别抽取了 个子样。,4.1 基本概念与原理,方差分析原理3.均方差特性分析,是总体方差的无偏估计,是总体方 差的无偏估计,4.1 基本概念与原理,方差分析原理4.构造统计量F 用它作为检验因素A是否作用显著的统计量。在原假设成立的前提下，比值F的分子和分母都是总体方差的无偏估计量，其值应当很接近于1。如果因素A的均方差 比误差均方差 大的很多，即F值比1大得多，则与原假设相矛盾，据此可以拒绝原假设，即认为因素A的不同条件形成均值不完全相等的a个正态总体。,4.1 基本概念与原理,方差分析原理与程序5.统计量的分布 由 分布定义可知，当 是来自总体 的一个子样时，有 那么如果原假设是正确的，根据 分布的性质，有,4.1 基本概念与原理,方差分析原理与程序5.统计量的分布 综上结论及F分布的定义可知:也即这表明统计量服从F分布。,4.1 基本概念与原理,方差分析原理与程序6.检验统计量 对于给定的检验显著性水平 的概率等于，即 当一次试验中出现 这一小概率事件时，有理由拒绝原假设，认为因素的效应显著，不同条件下的总体均值有明显的不同。否则接受原假设。,对显著水平，判断为不显著时，记为“”对显著水平，判断为显著时，记为“*”对显著水平，判断为显著时，记为“*”,4.1 基本概念与原理,方差分析的主要步骤提出原假设 和备择假设；计算各因素离差平方和，各平方和的自由度；计算各因素均方差；构造并计算统计量；查检验临界值。判断某因素作用是否显著，据此拒绝或接受原假设。,4.1 基本概念与原理,方差分析原理与程序方差分析表,单因素方差分析表 One-Way ANOVA,4.1 基本概念与原理,补充分析1.方差齐性检验（一致性检验）Origin软件通常用Levene Test和Brown-Forsythes Test 检验方差一致性。,4.1 基本概念与原理,补充分析1.方差齐性检验（一致性检验）Origin软件通常用Levene Test和Brown-Forsythes Test 检验方差一致性。,4.1 基本概念与原理,补充分析2.样本数据独立性检验（游程检验）游程检验是一个非参数检验方法，原假设为样本中的个体具有独立性。其检验基于样本显示的游程数。一个游程意味着一个连续的、具有相同取值的数据串。游程检验只适合于二分类类型数据，对非二分类数据需要进行数据变换。通常根据每个数据与中位数（均值或众数）的关系，将大于等于中位数和小于中位数的观测值分别用正号（个数n1)和负号（个数n2)表示，据此计算游程数r。然后通过比较实际游程数和游程检验临界值对应的两个检验临界值r1（r1a(n1,n2)和r2（r2a(n1,n2)。如果r=r2，则拒绝原假设。,4 方差分析,主要内容4.1 基本概念与原理4.2 单因素方差分析4.3 两因素方差分析4.4 多因素方差分析,概述 单因素方差是仅仅讨论一种试验条件对试验结果有无显著影响的分析。单因素方差分析对因素的水平数没有限制，可任意选择，但一般多见的是选3至6个水平。单因素方差分析对重复性有要求，重复次数一般应在3次以上。各水平下的重复次数则可以不同，但这时的计算要复杂一些，精度也相对低一些。原假设 备择假设 至少有两个不相等。,4.2 单因素方差分析,4.2 单因素方差分析,重复数相等的单因素方差分析 设因素A的 个水平为：，在每一水平下各做 次重复试验。,水平数：重复数：试验数据总数：,4.2 单因素方差分析,重复数不等的单因素方差分析 设因素A的 个水平为：，在各水平下分别做 次试验（不完全相等）。,水平数：重复数：试验数据总数：,单因素方差分析的数学模型（1）数据的结构（等重复数为例）：假设因素 的第 水平 下的理论平均值为，为所有 的平均值，即，因素 的 水平 的效应为：其中则 即数据总平均+水平效应+误差其中,4.2 单因素方差分析,单因素方差分析的数学模型（1）数据的结构（等重复数为例）：由，可得,4.2 单因素方差分析,单因素方差分析的数学模型（1）数据的结构（等重复数为例）：因此，单因素方差分析的数学模型建立在：,4.2 单因素方差分析,相互独立,单因素方差分析的数学模型（2）平方和的结构及无偏估计（等重复数为例）：,4.2 单因素方差分析,平方和的结构,单因素方差分析的数学模型（2）平方和的结构及无偏估计（等重复数为例）：,4.2 单因素方差分析,均方差的无偏估计,单因素方差分析的数学模型（3）假设检验（等重复数为例）：,4.2 单因素方差分析,4.2 单因素方差分析,重复数相等的单因素方差分析例4-1 研究了光照条件对某种有机物降解速度的影响，在人工控制的六种不同光强条件下，测定了这6种有机物24小时内的降解速度，结果以损失百分比表示：,SPSS和Origin软件分析,4.2 单因素方差分析,重复数不等的单因素方差分析例4-2 研究了光照条件对某种有机物降解速度的影响，在人工控制的六种不同光强条件下，测定了这6种有机物24小时内的降解速度，结果以损失百分比表示：,SPSS和Origin软件分析,4.2 单因素方差分析,SPSS软件分析首先，建立数据文件（按照不同的水平将数据进行分组）其次，进行数据分析（Analyze-Compare Means-One-Way ANOVA）(ANOVA=analysis of variance)仅使用系统默认选项进行分析 结果输出,离差平方和,自由度,均方差,统计量F值,显著性概率,组间,组内,4.2 单因素方差分析,Origin软件分析首先，建立数据文件其次，进行数据分析（Statistics-ANOVA-One-Way ANOVA）(ANOVA=ANalysis Of VAriance)仅使用系统默认选项进行分析 结果输出,组间,误差,自由度,均方差,离差平方和,统计量F值,显著性概率,4.2 单因素方差分析,多重比较（multiple comparisons）单因素方差分析能够判断各水平之间是否有显著性差异。如果有显著性影响，可以进一步确定不同水平的影响程度如何，以及哪个水平的作用明显不同于其他水平，或哪个水平的作用不显著。本课程仅介绍常见的等方差假设下的多重比较方法。LSD法（Least Significant difference 最小显著差法）Bonferroni 法Tukey法Scheffe法,LSD（Least significant difference）法 该方法用t检验完成各组间的配对比较。该方法检验敏感性较高，各水平间的均值只要有一定程度的微小差异即可被检验出来。T统计量服从t分布：其中MSE为观测量的组内（误差）方差。该方法没有对犯第I类错误加以有效控制。,4.2 单因素方差分析,Bonferroni法 该方法也是用t检验完成各组间的配对比较。但是，在每一次两两水平组的检验中，它将显著性水平a除以两两组检验的总次数（a/N)，使得显著性水平缩小到原有的1/N，从而在总体上控制了犯第I类错误的概率。,4.2 单因素方差分析,Tukey法 该方法采用学生化极差法，检验统计量为q统计量，服从q分布：其中其中MSE为观测量的组内方差，r为各水平下观测的个数。该方法适用于各水平下观测值的个数相等的情况。另外，该方法对犯第I类错误给予了较有效的处理。在相同的显著性水平下，q分布的临界值远大于t分布的临界值，因此使得拒绝原假设的可能性降低。,4.2 单因素方差分析,Scheffe法 该方法采用的检验统计量为S统计量，服从F分布：其中其中MSE为观测量的组内方差，r为各水平下观测的个数。与Turkey法相比，该方法不十分灵敏。,4.2 单因素方差分析,4.2 单因素方差分析,SPSS软件分析 在Post Hoc中实现软件中给出了十几种多重比较方法，并给出了方差相等和方法不等两种类型。以矩阵的形式输出结果，在确定的显著性水平下，对那些组均值有显著差异的分组用*标记。,4.2 单因素方差分析,Origin软件分析 直接在ANOVA界面左下角选择实现软件中给出了三种比较方法,4.3 双因素方差分析,单变量双因素方差分析遵从单因素方差分析的前提假定（采样的随机性、数据的独立性、分布的正态性、方差的一致性）。可以同时研究两个影响因素，包括两个影响因素的独立作用以及他们的交互作用。双因素方差分析的数据来源于二维试验设计，在试验或观测中每个因子取若干水平。,双因素方差分析的数学模型,4.3 双因素方差分析,无重复观测数的双因素方差分析例4-3 为研究3种不同作物对污泥中镉吸收能力的差别，选择了4个地块进行栽培试验。将每一个地块划分成三个小区，三种作物随机地分种在每个地块的三个小区上。在所有地块上施用同等数量的污泥，作物收获后分别测定了其中镉的积累量（ug/kg)：,4.3 双因素方差分析,无重复观测数的双因素方差分析双因素试验要比单因素试验复杂得多，因为两个因素可能存在着交互作用。但双因素无重复试验，即便存在交互作用的影响，也不能够对其进行分析，因为每一种试验条件下只有一个试验结果。从而使得交互作用和试验误差混杂在一起，无法分解开来，交互作用只能与试验误差合在一起当做误差考虑。无重复观测数的双因素方差分析又称为随机区组设计双因素方差分析，得名于研究某种影响因素的小区作物栽培试验。,4.3 双因素方差分析,无重复观测数的双因素方差分析数学模型：分析程序：提出原假设和备择假设计算统计量判断列方差分析表,4.3 双因素方差分析,无重复观测数的双因素方差分析SPSS软件应用,4.3 双因素方差分析,无重复观测数的双因素方差分析SPSS软件应用,4.3 双因素方差分析,因为不存在交互作用，所以在Model模块中仅选择主效应模型。其它模块都采用系统默认的方式。,无重复观测数的双因素方差分析SPSS软件应用,4.3 双因素方差分析,无重复观测数的双因素方差分析SPSS相关模块设置Model Full Factorial为系统默认的模型选项。包括所有因素变量的主效应和所有因素的各种搭配下的交互效应。Custom允许建立用户定义的方差分析模型。在Factors和Covariates框中所列变量为在主对话框里定义过的因素变量（F标记）、协变量（C标记）、随机变量（R标记）。选择平方和分解方法。Type III是应用最多的方法，适用于平衡或非平衡设计，且没有缺失数据的资料；Type I和Type II适用于平衡设计，尤其是嵌套设计资料；Type VI适用于有缺失资料的数据。,4.3 双因素方差分析,无重复观测数的双因素方差分析SPSS相关模块设置Contrasts 该对话框用于对因素变量水平之间差异进行比较。如需要改变Factors栏中某变量水平的对照方式，选中该变量，然后单击Change Contrast。None：不作比较对照比较。Deviation：偏差比较法。比较预测变量和因素变量的每一水平与其他水平的效应。可选择Last和First作为忽略的水平。Simple：简单比较法。除去作为参考的水平外，预测变量和因素变量的每一水平都与参考水平进行比较，可选择Last和First作为参考水平。Difference：差异比较法。预测变量和因素变量的每一水平除第一水平外，与其前面的各水平的平均效应进行比较。Helmert：预测变量和因素变量的每一水平除最后一个水平外，都与其后面的各水平的平均效应进行比较。Repeated：重复比较法。预测变量和因素变 量的每一水平，除第一水平外都与其前面相邻 水平的平均效应进行比较。Polynomial：多项式比较法。比较线性、二次、三次等效应，常用于估计多项式趋势。,4.3 双因素方差分析,无重复观测数的双因素方差分析SPSS相关模块设置Plot 轮廓图用于进行模型中边界均值的比较，本课程不予介绍。Post 多重比较对话框同单因素方差分析。Save 用于确定需要保存的预测值、残差以及相关测度值等。Options用于指定效应模型里统计量值。,4.3 双因素方差分析,无重复观测数的双因素方差分析Origin注意数据导入方式 注意不要选择交互作用（interaction),4.3 双因素方差分析,4.3 双因素方差分析,等重复观测数的双因素方差分析例4-3为比较3种松树在4个不同地区的生长情况有无差别，在每个地区对每种松树随机地选取5株，测量它们的胸径，得到的数据如下所示：,如何分析？,4.3 双因素方差分析,等重复观测数的双因素方差分析等重复观测数的双因素方差分析不仅分析两个因素的独立作用，同时分析它们之间的交互作用。两个因素的独立作用通常称之为主效应，交互作用通常称之为交互效应。检验步骤类似与单因素方差分析。,等重复观测数的双因素方差分析数学模型：分析程序（同无重复双因素方差分析）：提出原假设和备择假设计算统计量判断列方差分析表,4.3 双因素方差分析,4.3 双因素方差分析,等重复观测数的双因素方差分析SPSS软件应用,4.3 双因素方差分析,等重复观测数的双因素方差分析SPSS软件应用,4.3 双因素方差分析,考虑交互作用，在Model中可选择系统默认的Full factorial。其他选项同无重复观测数方差分析部分的解释。,等重复观测数的双因素方差分析Origin软件应用注意数据导入方式 注意要选择交互作用（interaction),4.3 双因素方差分析,除双因素方差分析外，其他单变量多因素方差分析（Univariate）用于分析一个因变量受多个因素变量（自变量）及其交互作用的影响；多因变量方差分析（Multivariate)，用于分析多个因变量受一个或多个因素变量的影响。Univariate和Multivariate方差分析过程类似于双因素方差分析，本课程不再详细介绍其数学模型，仅通过例题进行简要分析。,方差分析补充说明多因素方差分析,方差分析补充说明多因素方差分析,前面介绍的方差分析方法属纯方差分析。为了排除非处理因素的干扰和影响，设计控制试验使得处理因素以外的其他条件基本一致，从而使得试验误差的估计降到最低限度，准确地获得处理因素的试验效应。但在某些实际问题中，有些因素在目前还不能控制或难以控制，如果直接进行方差分析，会因为混杂因素的影响而无法得出正确结论。协方差分析(Analysis of Covariance)是把线性回归与方差分析结合起来，用于检验两个或多个修正均数间有无差别的方法，其目的是把与结果变量（因变量）Y呈直线关系的自变量X（协变量）化成相等后，检验两个或多个修正均数间有无差别。协方差分析的前提假定：各组资料（样本）均来自正态总体，各观察变量相互独立；各总体存在回归关系且各总体直线回归系数相等，且都不为0；各样本方差齐性。,方差分析补充说明协方差分析,方差分析补充说明协方差分析,例4-6 研究镉作业工人暴露于烟尘的年数与肺活量的关系，按暴露年数将工人分为两组，甲组暴露大于或等于10年,乙组暴露小于10年，两组年龄未经控制，问该两组暴露于镉作业的工人肺活量是否相同？数据见EXCEL,方差分析补充说明数据转换,在地理学中有时会遇到一些样本，其所来自的总体不符合方差分析的前提条件，需要对数据进行适当的处理即数据转换（transformation of data)。常用的转换方法有：平方根转换 服从泊松分布的离散型数据，其样本平均数与其方差有一定的比例关系，可采用平方根转换（square root transformation)。式中c为常数，通常取值为0.5或1。对数转换 如果已知数据标准差（或极差）与平均数大体成比例，可采用对数转换（logarithmic transformation)。式中c为常数，通常取值为1。,反正弦转换 如果已知数据是比例数或百分率，其分布趋向于二项分布，可采用对数转换（arcsine transformation)。式中p为正整数，取最大值的整数位数，如293.8取p3。除以10p是为了将数据变成百分比数据，开方是为了避免数据过小。,方差分析补充说明数据转换,K个独立样本的检验 多个独立样本的检验过程需要使用经过排序的数据资料。检验过程使用的样本必须是相互独立的随机样本。在SPSS软件中，提供了三种检验方法：KruskalWallis H检验法。它是Mann-Whitney U检验的推广，是类似于单因素方差分析的一种检验法。要求总体是连续型随机变量。Median检验法。这是使用最普遍的一种非参数方法，用于检验多个总体的中位数是否相同。它关于总体的基本假定比前者更宽松。Jonckheere-Terpstra检验法。,方差分析补充说明多总体均值的非参数检验,方差分析补充说明多总体均值的非参数检验,K个相关样本的检验 多个相关样本的检验过程使用的数据必须是可排序的数值型变量。该检验方法实质上是方差分析中所讨论的无重复无交互作用的双因素试验的方差分析。在SPSS软件中，提供了三种检验方法：Friedman检验法。该方法是对每个变量的观测值赋予1k个秩，基于这些秩确定检验的Frieman统计量。Kendalls W检验法。Kendalls W检验统计量是对Friedman统计量的正态化，取值范围为0-1。Cochrans Q检验法。这是一种检验二元变量总体均值是否相等的非参数检验方法。,方差分析补充说明多总体均值的非参数检验,方差分析补充说明多总体均值的非参数检验,