实验设计与数据分析.ppt

《实验设计与数据分析.ppt》由会员分享，可在线阅读，更多相关《实验设计与数据分析.ppt（80页珍藏版）》请在三一办公上搜索。

1、试验设计与数据分析,shanxi university,2008年2月修订 版本4.0,结束,HOW WE TEACH IS ALSO WHAT WE TEACH,HOW WE LEARN IS ALSO WHAT WE LEARN.我们教育的方式本身也是我们教育的内容；我们学习的方式本身也是我们学习的内容。,目 录,第一章 绪论第二章 常用统计分布第三章 参数估计第四章 假设检验第五章 方差分析第六章 回归分析,第七章 试验设计第八章 非参数统计分析第九章 主成分分析和因子分析第十章 科技绘图第十一章 常用统计软件,多个样本均数间的两两比较?,用方差分析的方法为什么不能用t检验或检验？,AN

2、OVA,ANALYSIS OF VARIANCE,第五章 方差分析,5.1 方差分析的引入,假设检验讨论了检验两个总体均值是否相等的问题，但对于多个总体的均值比较，如果仍用假设检验，就会变得非常复杂。,总体,如果收集了若干个（比如说 k 个）样本，欲知道它们各自所来自的总体的平均数是否都相等，需要使用方差分析方法。在这里，被测验的假设是 HO：12 k vs HA：并非所有 i都相等,方差分析(ANOVA：analysis of variance)能够解决多个均值是否相等的检验问题。,方差分析要检验各个水平的均值是否相等，采用的方法是比较各水平的方差。,方差分析实际上是用来辨别各水平间的差别是

3、否超出了水平内正常误差的程度,5.2 怎样得到F统计量,水平间(也称组间)方差和水平内(也称组内)方差之比是一个统计量。实践证明这个统计量遵从一个特定的分布，数理统计上把这个分布称为F分布。即,注意：组间方差(SSB)+组内方差(SSw)=总方差(SST),其中，g-1,n-g分别是F统计量分子分母的自由度,F分布的特征,从F分布的式子看出，F分布的形状由分母和分子两个变量的自由度确定，因此F分布有两个参数。F分布的曲线为偏态形式，它的尾端以横轴为渐近线趋于无穷。,自由度(25,25),自由度(5,5),自由度(30,100),方差分析的前提,不同组样本的方差应相等或至少很接近,水平1,水平2

4、,水平1组内方差远远超过两水平组间方差，我无法分离这两种差别！,方差分析的应用条件,各样本是相互独立的随机样本各样本来自正态分布或其他连续型分布各样本方差相等，即方差齐。,多个均值比较时，当零假设为真时，的组间估计和组内估计应该很接近，即其比值应接近于1。而当零假设不成立时，的组间估计将偏大，从而两者的比值会大于1，因此我们构造形如,深入理解F统计量(1),的检验统计量，在一定的置信水平下，将这个值和某个临界值作比较，就可以得出接受还是拒绝零假设的结论。,深入理解F统计量(2),F统计量实际上是用来比较组间差异与组内差异的大小，造成这种差别既有抽样的随机性，也可能包含系统因素的影响。组间差异是

5、用各组均值减去总均值的离差的平方再乘以各组观察值的个数，最后加总组内差异则是各组内部观察值的离散程度,深入理解F统计量(3),深入理解F统计量(4),上述组间差异与组内差异必须消除自由度不同的影响对SSW，其自由度为n-g，因为对每一种水平，该水平下的自由度为观察值个数-1，共有g个水平，因此拥有自由度个数为对SSB，其自由度为g-1，g为水平的个数。,5.3 检验方差假设,一般检验步骤,对于k个总体均值是否相等的检验：,检验统计量为：,给定显著性水平的拒绝域：,其中，g-1,n-g分别是F统计量分子分母的自由度,如果F值显著或极显著，否定了无效假设HO，表明各总体平均数间存在显著或极显著差异

6、，但并不意味着每两个平均数间的差异都显著或极显著，也不能具体说明哪些平均数间有显著或极显著差异，哪些差异不显著。,下一张,主 页,退 出,上一张,多重比较,因而，有必要进行两两平均数间的比较，以具体判断两两处理平均数间的差异显著性。统计上把多个平均数两两间的相互比较称为多重比较(multiple comparisons)。多重比较的方法甚多，常用的有最小显著差数法(LSD法)和 最小显著极差法(LSR法)。,多重比较结果的表示法 各平均数经多重比较后，应以简明的形式将结果表示出来，常用的表示方法有以下两种。1、三角形法 此法是将多重比较结果直接标记在平均数多重比较表上。p值大于0.05者不显著

7、,在差数的右上方标记“ns”，或不标记符号；介于0.05与0.01之间者显著，在差数的右上方标记“*”；小于0.01者极显著，在差数的右上方标记“*”。2、标记字母法 此法是先将各处理平均数由大到小自上而下排列；然后在最大平均数后标记字母a，并 将 该 平 均数与 以 下 各 平 均 数依次相比，凡 差 异 不 显著标 记 同 一 字 母，直到某一个与其差异显著的平均数标记字母b；,下一张,主 页,退 出,上一张,再以标有字母b的平均数为标准，与上方比它大的各个平均数比较，凡差异不显著一律再加标b，直至显著为止；再以标记有字母 b的最大平均数为标准，与下面各未标记字母的平均数相比，凡差异不显著

8、，继续标记字母b，直至某一个与其差异显著的平均数标记c；如此重复下去，直至最小一个平均数被标记、比较完毕为止。这样，各平均数间凡有一个相同字母的即为差异不显著，凡无相同字母的即为差异显著。,在利用字母标记法表示多重比较结果时，常在三角形法的基础上进行。此法的优点是占篇幅小，在科技文献中常见。应当注意，无论采用哪种方法表示多重比较结果，都应注明采用的是哪一种多重比较法。同时注明显著性水平。,5.4 单因素方差分析,将一份金属钨试样分发给7个实验室，各室用相同的重 量法测定其中的镍，各室都独立地进行6次分析，得镍 含量(%)数据见下表：实验室 1 2 3 4 5 6 711.0651.0731.0

9、801.0971.0531.0841.05221.0811.0811.0901.1091.0551.0441.06131.0811.0771.0701.0731.0501.0841.07341.0641.0501.0801.0891.0591.0761.03651.1071.0771.0901.0971.0531.0931.04861.0771.0771.1001.0971.0611.0731.040 问各实验室的分析结果有无显著差异？,例5-1,用Minitab作单因素方差分析,在方差分析之前，我们可利用Minitab对数据作方差一致性检验,方差分析时,Minitab能够读取的数据格式与上表

10、给出的格式不同，我们必须把数据转化为Minitab能够理解的形式,数据,StatANOVATest for Equal Variance,菜单,方差一致性检验,适用于正态分布的数据,适用于非正态分布的数据,方差一致性检验(续),我们一起来实践,用SPSS作单因素方差分析,在SPSS中，单因素方差分析由One-Way ANOVA过程实现，用于进行两组及多组样本均数的比较，如果做了相应选择，还可进行随后的两两比较，甚至于在各组间精确设定哪几组和哪几组进行比较。,【Dependent List框】选入需要分析的变量，可选入多个结果变量（应变量）。【Factor框】选入需要比较的分组因素，只能选入一个

11、。,SPSS界面说明,本部分内容主要参考张文彤主编,【Contrast钮】弹出Contrast对话框，用于对精细趋势检验和精确两两比较的选项进行定义，由于该对话框太专业，也较少用，这里只做简单介绍。Polynomial复选框 定义是否在方差分析中进行趋势检验。Degree下拉列表 和Polynomial复选框配合使用，可选则从线性趋势一直到最高五次方曲线来进行检验。Coefficients框 定义精确两两比较的选项。这里按照分组变量升序给每组一个系数值，注意最终所有系数值相加应为0。如果不为0仍可检验，只不过结果是错的。比如说在下面的例7.2中要对第一、三组进行单独比较，则在这里给三组分配系数

12、为1、0、-1，就会在结果中给出相应的检验内容。,【Post Hoc钮】弹出Post Hoc Multiple Comparisons对话框，用于选择进行各组间两两比较的方法，有：Equar Variances Assumed复选框组 一组当各组方差齐时可用的两两比较方法，共有14中种这里不一一列出了，其中最常用的为LSD和S-N-K法。Equar Variances Not Assumed复选框组 一组当各组方差不齐时可用的两两比较方法，共有4种，其中以Dunnettss C法较常用。Significance Level框 定义两两比较时的显著性水平，默认为0.05。,【Options钮】弹

13、出Options对话框，用于定义相关的选项，有：Statistics复选框组 选择一些附加的统计分析项目，有统计描述（Descriptive）和方差齐性检验（Homogeneity-of-variance）。Means plot复选框 用各组均数做图，以直观的了解它们的差异。Missing Values单选框组 定义分析中对缺失值的处理方法，可以是具体分析用到的变量有缺失值才去除该记录（Excludes cases analysis by analysis），或只要相关变量有缺失值，则在所有分析中均将该记录去除(Excludes cases listwise)。默认为前者，以充分利用数据。,我

14、们一起来实践,5.5 多因素方差分析,方差分析也可以同时分析两个或两个以上的因素，这就是多因素方差分析。有的实际问题需要我们同时考虑两个因素对实验结果的影响。同时对这两个因素进行分析，就属于双因素方差分析，通过分析，我们可以知道究竟哪一个因素在起作用，或者两个因素的影响都不显著。,例5-2：双因素方差分析,特殊环境如水下、高温环境中，建筑材料对水泥的硬化时间有严格的要求。现欲比较几种配方的水泥在不同温度下的硬化时间，其他条件相同，试验结果如下表：,方差一致性检验,用Minitab作双因素方差分析,输入数据,运行StatANOVA Two-way,结果 因素-方案 水平-温度,出现Two-way

15、 Analysis of Variance对话框后：,点选C2到Row factor框中,点选C3到Column factor框中,选择Fit additive model,点选C1到Response框中,红色方框部分为方差分析表,Minitab输出结果,结果的进一步解释,我们将Minitab输出的方差分析表转换为下表。其中F临界值为手工加入。,结果的进一步解释,C2是配方变量，F=2.87Fcr=3.86，P=0.0960.05,所以不能拒绝零假设，即认为不同配方的反应时间大体一致，不存在显著差异。,C3是温度变量，F=15.73Fcr=3.86，P=0.0010.05,所以拒绝零假设，即认

16、为不同温度的反应时间不一致，存在显著差异。,多变量图分析,还是以水泥硬化试验为例,多变量图：StatQuality ToolsMulti-Vari Chart,多变量图输出,将反应温度各个取值对应的硬化时间连接起来,连线上四个点分别代表在该反应温度上对应配方编号的反应时间,用SPSS作双因素方差分析,我们一起来实践,例5-3：多因素方差分析,过氧乙酸是广泛应用的消毒剂，但其有效成份极不稳定，以致影响其消毒效果。现欲通过试验找出有关因素对其稳定性的影响，选出各因素的一个最佳组合，组成保持过氧乙酸稳定性的最优条件。已知的可能影响因素及水平有：,本例题来自张文彤主编,同时稳定剂与水浴温度、稳定剂与加

17、盖与否间可能存在交互作用，现已根据L8正交设计表进行了试验，每种组合重复两次，测得数据如下表，请根据实验数据找出最佳条件。,多因素方差分析的SPSS或MINITAB实现,我们一起来实践,5.6 多元方差分析,所谓的多元方差分析，就是说存在着不止一个应变量，而是两个或两个以上的应变量共同反映了自变量的影响程度。比如要研究某些因素对儿童生长的影响程度，则身高、体重等都可以作为生长程度的测量因子，即都应作为应变量。,本部分内容主要参考张文彤主编,用SPSS作多元方差分析,为了方便起见，我们这里直接利用SPSS自带的数据集plastic.sav，假设tear_res、gloss和opacity都是反映

18、橡胶质量的指标，现在要研究extrusn和additive对橡胶的质量影响如何，则应采用多元方差分析。,选择Analyze=General Linear Model=Multivariate，则弹出Multivariate对话框;请注意，除了没有random effect外，它的所有元素都是和univariate对话框相同的，里面的内容也相同，因此我们这里就不再重复了。,按照我们的分析要求，对话框操作步骤如下：Analyze=General Lineal model=Multivariate Dependent Variable框：选入tear_res、gloss和opacity Fixed

19、Factors框：选入extrusn和additive 单击OK 此处两个自变量均是二分类变量，故无需选择两两比较方法。,按上面的选择，分析结果如下：General Linear Model这是引入模型的自变量的取值情况列表。,上表是针对模型中的自变量间及其交互作用所做的检验，采用的是四种多元检验方法。一般他们的结果都是相同的，如果不同，一般以Hotellings Trace方法的结果为准。可见在所用的模型中，extrusn和additive对结果变量是有统计学意义的，但交互作用无统计学意义。,上表实际上是四个一元方差分析表的合并，即分别考虑四个应变量时的方差分析结果。上面的多元方差分析已经得

20、知两自变量对应变量有影响，从现在的分析表就可以更清楚的知道是对那些自变量影响较大。对照可知，extrusn和additive对tear resistance和gloss都有较大影响，而他们的交互作用对gloss有影响，他们（及交互作用）对Opacity都没有影响。,我们一起来实践,5.7 进一步理解方差分析表,如果FF0.05，(P0.05),则判断差异不显著，说明组间均方中的差异仅仅是试验误差而已，各组之间没有实质性的差异存在；如果FF0.05，(P0.05),则判断差异显著，说明组间均方中不但含有试验误差，而且确实含有各组间的、由于观察值处于不同的组所引起的差异；如果FF0.01，(P0.

21、01),则判断差异极显著，说明组间具有极显著的差异。,通用单因素方差分析 表,表中：水平影响=因素水平对变差的影响；误差=组内噪声对变差的影响；总和=总的变差；SSB=可被分解至因素水平的平方和，又称独立变差；SSW=可被分解至非受控变差来源的平方和，又称背景变差；SST=总平方和，可被分解至因素水平和背景变差；k=组数；n=组内样本容量；k1=组间自由度；k(n1)=组内自由度；nk1=总自由度，等于组间自由度和组内自由度之和；SSB/dfB=因素水平的均方和；SSW/dfW=误差的均方和；MSB/MSW=F=均方和的比，又叫F值；F=查自由度为k1，k(n1)，置信度为1对应的F分布表的所

22、得值，又称临界值。,双因素无交互作用方差分析表,表中：SSA=Q1=A因素的平方和；SSB=Q2=B因素的平方和；SSe=Q3=误差的平方和；SST=Q=总平方和；r=A因素水平数；s=B因素水平数；S12=A因素的均方和；S22=B因素的均方和；S32=误差的均方和；FA=A因素的F 计算值；FB=B因素的F 计算值；F临界=查自由度为r1,（r1）（s1）及s1，（r1）（s1）置信度为1对应就的F分布表所得值，又称F临界值。,双因素有交互作用方差分析表,表中：SSA=Q1=A因素的平方和；SSB=Q2=B因素的平方和；SSAB=Q3=A、B因交互作用的平方和；SSe=Q4=误差平方和；S

23、ST=Q=总平方和；r=A因素的水平数；s=B因素的水平数；L=同一水平组合的观测次数；S12=A因素的均方和；S22=B因素的均方和；S32=A、B因素交互作用的均方和；S42=误差的均方和；FA=A因素的F计算值；FB=B因素的F计算值；FAB=AB因素交互作用的F计算值；F临界=查自由度为r1，rs（L1）；s1，rs(L1)和(r1)(s1)，rs(L1),置信度为1对应的F分布表所得值，又称F临界值。,小结:进行方差分析的步骤,是否来自独立的随机样本？是否连续型数据？各组是否等方差？进行等方差检验是单因素、双因素还是多因素？如果不是单因素，各因素是否存在交互作用？如果存在交互作用，是

24、否进行了一次以上的平行实验？进行方差分析，观察MS、F值、P值、置信区间、残差分布，得出结论必要时，进行各水平间的两两比较(SPSS)必要时，绘制主因素影响图及多变量图(MINTAB),5.8 协方差分析简介,协方差是啥东东？,无论是单因素方差分析还是多因素方差分析，它们都有一些人为可以控制的受控因素。在实际问题中，有些随机因素是很难人为控制的，但它们又会对结果产生显著的影响。如果忽略这些因素的影响，则有可能得到不正确的结论。,例如，研究某种药物对病症的治疗效果，如果仅仅分析药物本身的作用，而不考虑不同的身体条件（如体质的不同等），那么很可能得不到结论或者得到的结论会不正确。再如，研究三种不同

25、的教学方法的教学效果的好坏。检查教学效果是通过学生考试成绩来反映的，而学生现在考试成绩是受到他们自身基础知识的影响，在考虑的时候必须排除这种影响。,为了更加准确地研究控制因素不同水平对结果的影响，应该尽量排除其它因素对分析结果的影响。例如上面的例子中，应该尽可能地排除患者的体质、病情本身的严重性等因素的影响。利用协方差分析就可以完成这样的功能。协方差将那些很难控制的随机变量作为协变量，在分析中将其排除，然后再分析控制变量对观察变量的影响，从而实现对控制变量效果的准确的评价。,定义：协方差分析是将那些很难控制的因素作为协变量。在排除协变量影响的条件下,分析控制变量对观察变量的影响,从而更加准确地

26、对控制变量进行评价。,如何排除协变量的影响呢？,协方差分析是把方差分析与回归分析结合起来的一种统计分析方法。它用于比较一个变量Y 在一个或几个因素不同水平上的差异，但Y 在受这些因素影响的同时，还受到另一个变量X 的影响，而且X 变量的取值难以人为控制，不能作为方差分析中的一个因素处理。此时如果X 与Y 之间可以建立回归关系，则可用协方差分析的方法排除X 对Y 的影响，然后用方差分析的方法对各因素水平的影响作出统计推断。在协方差分析中，我们称Y 为因变量，X为协变量。,协方差分析的适用条件,各样本是相互独立的随机样本各样本来自正态分布或其他连续型分布各样本方差相等，即方差齐。各协变量与因变量的回归系数相等。,本章主要内容回顾,5.1 方差分析的引入 5.2 怎样得到F统计量 5.3 检验方差假设 5.4 单因素方差分析(one-way ANOVA)5.5 多因素方差分析(two-way ANOVA;GLM)5.6 多元方差分析(GLM-Multivariate)5.7 进一步理解方差分析表 5.8 协方差分析简介,