精益六西格玛统计工具介绍假设检验ppt课件.ppt

《精益六西格玛统计工具介绍假设检验ppt课件.ppt》由会员分享，可在线阅读，更多相关《精益六西格玛统计工具介绍假设检验ppt课件.ppt（143页珍藏版）》请在三一办公上搜索。

1、六西格玛统计工具介绍（二）,2014年2月,精益六西格玛理论体系全景图,客户,流程描述,控制计划,测量系统控制,过程能力分析,多变量分析,实验设计,VoC分析,失效模式分析,流程图（I/O）,因果矩阵,统计过程控制,定性分析,定量分析,头脑风暴+KJ失效树鱼骨图Why-Why分析PFMEA对标分析访谈现场调研流程观察,回归分析,软件使用,项目管理,精益六西格玛意识,统计基础,精益工具,基本图表,精益六西格玛持续改进体系,精益六西格玛推行综合管理,课程大纲,假设检验概述相关与回归,统计基础-数据类型,计数型数据（离散型数据，属性型数据）：通常表示事物的分类不良品数量/不良率缺陷品数量/缺陷率机器

2、 A, 机器 B, 机器 C白班/中班/夜班计量型数据 （连续型数据）：通常是通过测量仪器测量得到的数据压力时间长度重量,目录,假设检验相关基础概念总体参数及样本统计量推定置信区间假设检验介绍目的与意义假设检验概念介绍假设检验原理假设检验步骤假设检验常见路径双样本T 与配对T的区别 讨论及问答,假设检验相关基础概念,总体参数与样本统计量,s,= 样本标准差,X,= 样本平均值,参数 估计 统计量,= 总体平均值,= 总体标准差,抽样(Sampling),A,A,B,D,D,D,C,C,C,C,B,标本,估计的概念,点估计：通过抽样用一个具体的值估计总体的参数举例：通过抽样调查中秋月饼的保质期是

3、3个月点估计的种类：平均的估计、标准差、方差的估计、比率的估计等区间估计：通过抽样用一个具体的值估计总体的参数举例：通过抽样调查中秋的月饼的保质期是1-6个月,置信区间,置信区间的概念（Confidence Interval）误差是，相同样本量的样本重复抽样测量样本中存在实际总体参数的可能性的区间，即100（1- ）%置信水平（Confidence Level）是指区间估计时，能够包含总体参数的能力水平，即1- 。,置信区间,90%的置信区间举例如下图如下图总体平均为，连续抽取10个样本，其中有一个样本不包含总体平均95%置信区间的解释：大约100个置信区间中有95个会包含总体参数, 或者我们

4、有95%的把握确定总体参数在置信区间内通常我们计算95%的置信区间,置信区间,置信区间的计算通用公式：置信区间C.I.=统计量K*S（标准偏差）统计量=平均值、方差、Cp等K=统计分布常数正态分布的置信区间公式（ 知道的时候）：样本的置信区间公式（不知道，只能计算S）：样本的平均遵循t分布,置信区间,Minitab中置信区间的计算,这些都可以计算出置信区间,假设检验,假设检验的目的假设检验是对差异较小的情形进行差异性比较，从而通过数据作出客观的判断。是为了解决选择的困难性假设检验的意义用统计的方法，通过数据进行客观的判断把我决策的风险，提高决策水准假设检验是我们政府部门最需要的工具之一。,假设

5、检验,假设检验的概念对观测的样本资料分析后对总体差异的估计是作出选择与否判断的统计性方法假设检验术语假设设定：对要进行判断的情况进行假设设定H0 -Null Hypothesis：说明没有变化或者差异的设定Ha- Alternative Hypothesis：说明有变化或者差异的设定假设设定练习：为了确认小学生男女身高是否有差异为了确认小学生男生比女生高为了确认小学生身高和性别是否有相关性,假设检验,假设检验的种类单边检验 One-sided hypothesis双边检验 Two-sided hypothesis,假设检验的两种错误第1种 错误 (TypeError， -风险)不顾Null H

6、ypothesis 真实. Null Hypothesis放弃的错误 把良品判断为不良的时候（误判） 既, 可以说生产者危险1- 就是置信区间 第2种 错误 ( TypeError， -风险) : 不顾Null Hypothesis 假的. Null Hypothesis接受的错误 不良品当成良品的时候( 漏失 ) 即, 可以说顾客危险1- 是检定力，即检出能力,假设检验的两种错误说明,假设检验的两种错误举例,陪审团的判决,他无罪,事实,实际清白,他有罪,实际有罪,正确,正确,清白的人进监狱,罪犯逍遥法外,I类错误 （-风险）,II 类错误 （-风险）,假设检验,假设检验原理假设检验其实是个比

7、较的过程两种假设的比较，是A还是B？我们总是用H0 来说话我们的初衷多数时候是想看区别和差异，所以我们总是想放弃H0 放弃H0 的决策不会总是正确的 ，任何决定都会有风险但风险的高低及严重度，会影响我们决策于是我们很急切的指导，我们做出放弃H0 的决策的风险有多大？于是我们通过抽样数据进行运算，算出放弃H0 的决策的风险的大小就是我们长见的 P值（P-value）,假设检验,假设检验原理(续)知道了做出放弃H0 的决策的风险的大小，那么风险小于多少时我们才敢于做出放弃H0 的决策呢？于是我们需要提前设定一个风险判断标准 而根据我们承受力的大小及后果的严重度，这个标准各有不同，0.01 、0.0

8、5、0.1 等但我们通常设定 为0.05这也就是我们通常拿P值和0.05 进行大小比较的原因。如果P0.05 接受H0; P0.05 放弃H0 (P Low H0 Go) 理解练习为什么正态检验，等方差检验P要大于0.05？,假设检验,假设检验原理(续) （Significance Level）置信水平：风险判断标准P-value 做出放弃H0 的决策犯错误的最大风险值, 值,Ho 选择域,Ho弃却域,Ho选择域,Ho弃却域,值,P值 放弃H0认为有差异或影响,P值 接受H0不能做决策 ，不能说有差异,TP,T ,TP,T ,假设检验,假设检验步骤,假设 设定,检定统计量选择,留意水准 决定,

9、-value 计算(弃却域 , 检定统计量 计算),判定（统计结论）p-value 时 Ho弃却,实际结论,遵循假设检验路径图,Stat -Tables - Chi-square Test,Stat -Basic Stats -2 proportion,Stat -Basic Stats -1 proportion,Ho: m1 = m2H1: m1 m2Stat - Basic Stats - 2-Sample t “assume equal variances” “假定等方差选择按钮”选择,Ho: M1 = M (中值)H1: M1 M (中值)Stat - Nonparametric -

10、 1 Sample-Sign 或者Stat - Nonparametric - 1 Sample-Wilcoxon,数据形态检验,假设检定,One-wayANOVA,计数型数据,Chi-square检定,Ho: m1 = m2 = m3 = .H1:至少一个是不一样Stat - Anova- One-way,Ho: 跟随正态分布, H1: 不是正态分布Stat - Basic Stat - Normality Test,置信水平 = 0.05 时候:P-值 0.05 时 Ho 接受P-值 0.05 时 Ho 放弃,正态数据,标准偏差的置信区间,一个总体,两个以上的总体,2 Sample t(方

11、差相等),2 Sample t(方差不相等),1 Sample t 或者1 Sample Z,Ho: m1 = m (平均值)H1: m1 m (平均值)Stat - Basic Stats - 1 Sample-t (s不知道时候) 1Sample Z (s知道时候),1 Sample-Sign 或者 1 Sample-Wilcoxon,Mann-Whitney Test,两个以上的总体,两个母集团,1-Proportion,2-Proportion,一个总体,两个总体,两个以上的总体,非正态数据,等 方差,Yes,No,Kruskal-Wallis Test,一个总体,一个总体,两个以上的

12、总体,Ho: M1 = M2H1: M1 M2Stat - Nonparametric - Mann-Whitney,Ho: M1 = M2 = M3 = .H1: 至少一个是不一样Stat - Nonparametric - Kruskal-Wallis,Ho: m1 = m2H1: m1 m2Stat - Basic Stats - 2-Sample t “assume equal variances”“假定等方差选择按钮” 不选择,Test for Equal Variances(Levenes Test),Test for Equal Variances(F Test or Bartl

13、etts Test),Ho: s1 = s2 = s3 = .H1: 至少有一个不一样Stat - Anova - Test for Equal Variances两个总体比较的时候 用F-test,Ho: s1 = s (标准差)H1: s1 s (标准差)标准差的置信区间使用Minitab 路径 Stat -Basic Statistics - Display Descriptive Stats,计量型数据,数据稳定性研究（控制图）,配对T（Paired T）,Ho: D =0 (差值)H1: D 0 (差值)要对差值进行正态性检验Minitab 路径 Stat -Basic Statis

14、tics Paired t test （配对T）,假设检验-常用路径图,假设检验 - 单样本T检验,“单样本t检验”解决什么问题？,典型的问题为: “我们抽取了新坐席员Bob的30通电话录音数据，想知道坐席员A的话后整理时长的平均值是否刚好等于考核要求的25秒？”当然问题也可以是“Bob的平均整理时长大于25秒吗？”或者“Bob的平均整理时长刚好小于25秒吗？”,建立零假设和备选假设：平均整理时间等于目标值平均整理时间不等于目标值决定显著性水平： = 0.05（5%）随机抽取30通电话的整理时间数据作为样本选取适合方法计算P值（参考下页详细步骤）依据P值结果做出结论,按照以下步骤完成,如果P值

15、大于或等于0.05，不能推翻零假设 H0如果P值小于a，推翻零假设 H0,选取适合方法计算P值详细过程,使用控制图检验样本数据稳定性,样本量不足，n25,样本量足够多，n25,不是正态分布,是正态分布,单样本T检验,单样本T检验,单样本T检验,先把数据转换为正态后再使用单样本T检验,检验数据正态性,数据不稳定应先解决稳定性问题,NO,YES,算出P值,样本数据n个,打开文件1- Making Comparison.JMP,分析路线图 单样本T,步骤1: 检验稳定性,步骤1: 检验稳定性,是否有任何明显的变化趋势或模式，足以证明数据并非来自单一的总体/流程?,步骤2: 检验正态性,1,2,3,4

16、,步骤2: 检验正态性,P 值0.05，数据是正态,步骤 3: 检验均值,Ho: 均值(Bob) = 25Ha: 均值 (Bob) = 25,无法推翻零假设,结论的陈述,由于p值大于临界置信水平（本例中P=0.34680.05），或者说，由于均值的置信区间包含了目标值，我们可以作出下述结论：我们没有足够的证据拒绝零假设。是否可以说零假设是正确的（Bob的均值=25秒）？ 不！但是，我们通常在假定零假设是正确的情况下执行操作。,延伸,如果问题是: “Bob的平均整理时长大于25秒吗？”或者“Bob的平均整理时长刚好小于25秒吗？”如何构造零假设和备选假设？你的结论是什么？如何利用刚才的结果？,假

17、设检验 - 双样本t检验,“双样本t检验”解决什么问题？,典型的问题为: “我们各抽取了坐席员Bob和Jane的30通电话样本，想知道坐席员A和B的平均话后整理时长是否相等？”当然问题也可以是“Bob的平均整理时长大于Jane的平均整理时长吗？”或者“Bob的平均整理时长小于Jane的平均整理时长吗？”,建立零假设和备选假设： Bob的平均值等于Jane的平均值 Bob的平均值不等于Jane的平均值决定显著性水平： = 0.05（5%）随机抽取Bob和Jane各30通电话的整理时间数据作为样本选取适合方法计算P值（参考下页详细步骤）依据P值结果做出结论,按照以下步骤完成,如果P值大于或等于0.

18、05，不能推翻零假设 H0如果P值小于a，推翻零假设 H0,选取适合方法计算P值详细过程,使用控制图检验样本数据稳定性,样本量不足，n25,不是正态分布,是正态分布,数据变换为正态或非参数检验,双样本T检验,检验数据正态性检验方差是否相等,数据不稳定应先解决稳定性问题,NO,YES,算出P值,样本数据n个,等方差,不等方差,等方差,不等方差,双样本T检验,双样本T检验*,双样本T检验*,双样本T检验,双样本T检验*,数据变换为正态或非参数检验,方差相等双样本T的公式,方差不等双样本T的公式,样本量足够多，n25,样本量,在获取数据并试图得出一些陈述之前, 我们需要确定进行这种检验数要多少数据.

19、记住, 我们有一些基于估计值的抽样“经验方法 Rules of Thumb并不要求Bob和Jane的两组样本量一定是相同的注意: 我们将在以后的模块中讲解样本量的计算,工具或统计 最小样本量 平均值5 - 10 标准偏差 25 - 30 有缺陷的比例 (P) 100 并且 nP = 5 直方图 或帕累托图 50 散点图 25 控制图 20,不同工具的样本量,通常:连续数据: 30属性数据 100,步骤1: 检验稳定性,步骤1: 检验稳定性,步骤2: 检验正态性,步骤2: 检验正态性,步骤2: 检验正态性,数据是否为正态分布 ?小 P-Value (.05), 数据为非正态分布注意样本大小的问題

20、,处理数据,JMP喜欢数据按栏输入我们希望下列表格结构:测量的数据至于单独的一栏“标识符”在一栏在我们的范例中, 我们希望有下列栏:坐席员 Operator (用Bob 和 Jane 作为值)话后整理时长 Time (用所用 Bob 和 Jane的通话时间值)我们显然希望这些数据按照测量值和答复电话的人之间适当的关系安排.JMP 能帮助我们完成这项任务,堆叠数据为下一步进行数据格式转换,数据变换,步骤3: 等方差检验,步骤3: 等方差检验,P-值!,Equal Variance Not equal variance,方差不等时的解决方法,步骤4：均值检验,Ho: Mean(Bob) = Mea

21、n(Jane)Ha: Mean(Bob) = Mean(Jane),步骤4：均值检验,结论的陈述,由于P值小于临界置信水平（本例中P=0.01570.05，我们可以作出下述结论：我们有足够的证据拒绝零假设,如果问题是: “Bob的平均整理时长大于Jane的平均整理时长吗？”或者“Bob的平均整理时长小于Jane的平均整理时长吗？”,假设检验 多样本比较,假设检验用于比较2个或更多数据样本的均值ANOVA检验陈述的原假设（null hypothesis）是所有样本的均值都相同Ho: a = b = c = d = e ANOVA检验陈述的备择假设（alternate hypothesis） 是至

22、少有一个均值是不同的Ha: 至少一对 是不同的,方差分析 ANOVA,“方差分析（ANOVA）”解决什么问题？,典型的问题为: “我们各抽取了坐席员Bob，Jane和Walt的各30通电话样本，想知道坐席员的平均话后整理时长是否相等？”,建立零假设和备选假设： Ho: Bob = Jane = san 三个坐席员的平均值彼此相等 Ha: 至少一对 是不同的 至少一个坐席员得平均值和其他人不同决定显著性水平： = 0.05（5%）随机抽取Bob和Jane各30通电话的整理时间数据作为样本选取适合方法计算P值（参考下页详细步骤）依据P值结果做出结论,按照以下步骤完成,如果P值大于或等于0.05，不

23、能推翻零假设 H0如果P值小于a，推翻零假设 H0,选取适合方法计算P值详细过程,使用控制图检验样本数据稳定性,样本量不足，n25,不是正态分布,是正态分布,数据变换为正态或非参数检验,方差分析ANOVA,检验数据正态性检验方差是否相等,数据不稳定应先解决稳定性问题,NO,YES,算出P值,样本数据n个,等方差,不等方差,等方差,不等方差,方差分析ANOVA,Welch方差分析,Welch方差分析,方差分析ANOVA,Welch方差分析,数据变换为正态或非参数检验,样本量足够多，n25,步骤1 & 2 不再重复,步骤1：稳定性检验分别使用控制图检验三名坐席员样本数据的稳定性步骤2：正态性检验分

24、别使用分布图检验三名坐席员样本数据的正态性,堆叠数据,步骤3: 等方差检验,Ho: s(Bob) = s(Jane) = s(Walt)Ha: 至少一对S不相等,步骤3: 等方差检验,P-值!,步骤4：均值检验,Ho: Mean(Bob) = Mean(Jane) = Mean(Jane)Ha: 至少有一对均值不相等,步骤4：均值检验,步骤4：均值检验,从左侧圆环可以观察到相互之间是否相等,ANOVA: 我们了解到什么?,有一个操作员与其它操作员之间存在差异同样我们可以从菱形图看到, Walt 用的时间比其它两位操作员用的长一些现在我们需要问 “为什么?”致使长于整体周期的根源是CWalt么?

25、你将如何找到答案?,假设检验 - 非正态（非参数检验）,Mann-Whitney 检验,查看工作表 2- Non-Normal Shipping 中的数据我们希望了解在周末和工作天期间发货的时间是否有差异,遵循分析路径图研究稳定性研究形状研究散布（离散程度）,研究稳定性,我们得到什么结论?,研究正态性,我们得到什么结论?,我们得到什么结论?,注意你一定要堆栈数据.,研究等方差性,-值! P值不低, 所以我们说, 没有差异.,Wilcoxon/Kruskal Wallis检验,-值! P值不低, 所以我们说, 没有差异.,中位数检验,总结,全面的数据分析包括查看稳定性，形状，散布（离散程度），居

26、中（中心趋势）和相关性T-检验 (单样本, 双样本) 检查居中, ANOVA (2个或2个以上样本) 检查居中等方差检验检查离散程度检验关系是下一步如要检查的卡方检验,比例数据检验,单比例检验,例：缺陷品率 3 单比例检验.jmp以前，合同审批发现的不合格率为12%对过程进行了变更。从新过程抽样300个产品，其中45个存在缺陷是不合格品请问：过程是否得到了改善,单比例检验步骤,1.) 建立备选假设和零假设,新过程产生12%或更多的的缺陷率,新过程的缺陷率少于12%,单比例检验步骤,2.) 决定显著性水平a = 0.053.) 随机抽取数据抽样数量为300发现有45个产品为缺陷品。,b.) 决定

27、显著性水平：a = 0.05c.) 随机抽取数据：抽样数量为300，发现有45个为缺陷品。d.) 计算P值：分析 分布 检验概率,单比例检验步骤,e.) 比较P值和显著性水平：P-value =0.9507 a = 0.05 0.951 0.05,f.) 结论：所以我们不能否定零假设,流程没有得到改善！,单比例检验步骤,卡方分析,检验相互关系：卡方检验,当y和 x都是属性数据，要检验相互关系时使用我们假设变量是独立的。Ho: 数据是独立的 (不相关)Ha: 数据不独立 (相关)如果p值 0.05, 拒绝 Ho,还需要满足以下假定：数据是随机抽取的对于正交表中每个数据，期望的频次至少5（不要求每

28、个观察的频次都必须至少为5）,这些假定不要求抽样母体必须是哪种具体分布。,卡方检验解决的典型实际问题,一代理公司从美国四年制大学随机选择了2500个在校大学生发出调查表。他们想知道各学院（大学内的学院）录取学生时是否独立于性别。随后的表格是1820位的汇总情况。,性别是否与学院有关？H0 : 学院与性别无关H1 : 学院与性别有关,举例,方法:使用列联表，假设所有数据都相互独立检验标准存在与卡方统计中,这里：Oi = 每个结果的观察频率； Ei = 当原假设为真时我们期望获得的频率。,卡方统计,实际的数据 4 卡方分析.jmp,期望频率的计算,计算出每个单元的期望频率，既假定零假设成立的条件下

29、，这个单元格应当出现的频率,对于每一个单元，期望频率值 =,期望频率的计算,计算卡方值,重点,大的卡方值值代表着实际频率和期望频率之间的差异很大，这就意味着零假设游客能不正确,卡方计算,O：实际观察到的频率E：期望的频率,查卡方表， = 0.05, DF=2.,所以，我们否定零假设。,因为,比较计算的卡方和临界值,这种查表的方法并不方便，更常使用的方法利用软件直接计算 卡方值对应的P值（概率值）,JMP 软件计算P值用JMP建立列联表和P数值分析 以X拟合Y,P值,因为P值=0.000，小于 = 0.05，我们将否定零假设，既学院招生与性别之间并不是独立的，观察马赛克图可以看到教育学院女生比例

30、较高,结论,JMP输出,JMP输出,进一步扩展使用“对应分析”可以看到，图中相距比较近说明而这之间具有紧密关系，例如教育学院和女生而这相距很近，而工程学院和男生距离很近。说明教育女生比例高，工程男生比例高,卡方检验注释,卡方检验是我们本周将学到的“较易分析”工具的一种，但它并不如其他假设检验那样“富有洞察力”属性数据的结果对于卡方检验，为了满足假设，期望频率必须至少为5如果该值小于5 , 将告警数据必须确保随机性注意其他隐藏的因子 （Xs）,范例: 贷款审批通过率,JMP 工作表结构,我们的信用审批部处理小宗商业贷款申请。许多申请得到批准，但有一些被拒绝。部门经理猜想拒绝率可能与该申请是哪天被

31、处理的有关。她的猜想正确吗？,打开文件 5- Loan Approval.JMP,范例: 贷款审批通过率,P值0.05，表明贷款审批时间和通过与否存在显著相关性，本例中周五贷款通过率明显低于其他时间,范例: 贷款审批通过率,对应分析图中周五和拒绝距离比较近,星期五是否不寻常？,第一次卡方检验趋向于显示星期五与其他工作日不同。我们将通过把星期一到星期四相加编为一组，按照通过/不通过计算数目，并与星期五的数据相比较。,JMP 工作表结构,星期五是否不寻常？,P值0.05，表明周五贷款通过率确实和其它天存在显著差别,其他几天呢?,最后，我们不再分析星期五的数据，只分析星期一到星期四。我们试图发现剩下

32、的几天之间是否有相互关系。,JMP 数据表结构,其他几天呢?,还有哪些情况我能使用卡方检验?,行政流程充满属性数据例如：职能： (Y) 和 (X)人力资源: 病假天数和员工或部门财会: 错误的费用报告数和员工或部门销售: 失去的销售额和帐户或区域或国家后勤: 迟到的交货次数和配送中心或国家呼叫中心: 错过的客户电话数和公司人员或班次安装: 反复服务电话数和区域技术（field tech）采购: 订单的交货天数和供应商库存: 零件数和配送中心,如果你的数据成比例或百分比，将其转换为次数#,实际意义,明确问题“我关心吗？”P值可能显示统计上的意义样本容量越大，p值越小对非常大的样本容量而言，即使很

33、小的差异或相互关系通常都比较显著在实际上这些细小的差异可能并不显著通过关注组间差异评估实际的显著性差异是否大到有所影响？如果是，那么在实际中这些差异就是显著的。既统计显著又实际显著的因子可以用于操作流程,相关性分析与简单线性回归,相关性,从这张图我们可以看出什么？这些变量是否相关？,相关性：它对我们意味着什么？,当我们提到相关性时，我们怎么想？广告投入是否与销售量有关？资本的利用与定价是否有关？你认为奥运会溜冰项目两个裁判员之间有多大的相关性？为什么当我携带雨伞时，天色看起来都不会下雨呢？,相关性与回归分析,当y和x都是连续数据，检验相互关系时使用假设变量不相关。 Ho: 数据独立 （不相关）

34、Ha: 数据不独立 （相关）如果p值 0.05, 拒绝 Ho,X 数据,单一 X,多元 Xs,Y 数据,单一 Y,多元 Ys,多变量分析（注：此表和多变量图表不同）,X数据,离散,连续,Y 数据,离散,连续,卡方检验,逻辑 回归,ANOVA均值/中位数检验,回归分析,X 数据,离散,连续,Y 数据,离散,连续,多元回归,中位数检验,何时使用相关性和回归分析,相关,定义：决定两个来自不同变量源的响应（或输出）之间线性关系的方法。也代表两个变量间的线性关联程度。由一个相关系数（R）来衡量两个变量间的联系强度，在这里-1 R 1 。按照惯例， R 表示 真实的 系数， R 表示我们的最佳估算。,R值

35、取值范围从-1.0到 +1.0，即 -1 R 1 ，R值越接近+1或-1说明线性相关性越强R 0 意味着一个正线性相关，即是 Y 随着 X 的增加而增加。R=-1意味着一个完全负线性关系R=1 意味着一个完全正线性关系R=0 意味着无线性关系。,相关系数：R,散点图-图形展示关系,R 应该多大：如果你真想知道的话 ,依样本大小，若所得的相关系数比表中的值大，则可视为 “重要” 或统计显著,相关系数,总的原则： 相关系数（r） .80 或者 -.80 是强相关与其他的统计检验一样，相关性分析的有效性和洞察力与样本数量有关研究中包括越多的样本，可以界定的弱相关性在统计上就越显著P值用于确定统计的显

36、著性,范例: JMP 相关性,打开项目文件 6- Correlation Example.JMP,JMP 范例 相关性,Y和X有多大相关性?Y2和X2有多大相关性?,JMP 范例 输出,Y和X显示了较高的、正的依赖关系，在10个样本情况下这在统计上是显著的P值小于0.05相关性系数为0.88,JMP 范例 输出,Y2和X2显示之间没有太强的相关性，10个样本情况下这在统计上是不显著的P值大于0.05我们需要更多的样本来估计相互关系！,R = 0 意味着无线性关系。R = 0 并不意味着无关系，可能属于曲线或其他相关性,R = 0,相关分析的常见错误,收集数据范围过窄外推法因果归属掩饰真正的相关

37、或创造虚假的相关过多的集中在相关系数上,收集的数据覆盖范围过窄,X 的范围越宽就会产生更佳的估算回归线。,在窄范围内收集数据,较宽范围的数据可提供一个较佳估算,错误 1：数据覆盖范围过窄,数据范围内的关系在其他区域内不一定适用。,在数据范围以外对相关性进行外推,错误 2：外推法,相关并不意味着因果，仅仅是两个变量间存在的关系。,错误 3：因果归属,数据实际上是来自不同的数据来源。,掩饰真实的相关或创造虚假的相关,+ Machine A 机器A Machine B 机器B,错误 4：曲解数据,过多的集中于相关系数,上图有相关系数 R 0.7,错误 5：过多的集中于R,回归,我们经常希望用一条直线

38、来描述相关性这条直线的方程是什么？这条直线可以在多大程度上恰当描述相互关系？,回归分析,定义： 回归是确定一个响应变量（或输出）与一个或多个因变量（或输入）之间的统计关系的方法。 回归分析 用于研究和模拟变量间的关系的统计技术简单线性回归 一个连续的 Y 和 一个连续的 X之间的关系多元线性回归 一个连续的 Y 和 多于一个连续的 X之间的关系,Y = (X1, X2, . . .Xn),其中:,X1 到 Xn是因变量,Y是响应变量,回归与相关,回归分析回归分析建立关于因变量与响应变量之间关系的估计方程式(公式)。,相关分析量化两个变量之间的线性关系的程度, 即等式的适合性如何?,vs,一般线

39、性回归 (SLR) 数学模型,其中 :,Y = a + bX,是预测（独立）变量,是响应（非独立）变量,是Y-轴上的截取值,是斜率,一般线性回归,残差 (或误差) 由 ei = Yi - (a + bXi) 表示最适合的直线即是残差平方和最小的那条线。,本方法假设 X 无误差, ei 是最小值,最小平方的方法,R2 = 1表示回归等式与抽样数据完全吻合,测定系数，R2是由回归线代表y中变异数量,R2=,SSR,SST,SSR = Si (Yi - Y)2SSE = Si (Yi - Y)2SST = Si (Yi - Y)2SST=SSR+SSE,测定系数- R2定义,回归分析 图形法,打开文

40、件 7- Ads and sales.JMP,回归 拟合直线图,从上图我们可以看到当投入在广告上的费用增加时，销售量也增加这是直接（正）相关（r =+ .877）的范例我们还能看到线性的等式和R平方值,R平方：越大越好，说明回归方程有效性有多大，最大值为1调整R平方：与“R平方”值越接近越好均方根误差：越小越好，表明方程预测的误差大小,回归分析 - JMP输出,说明回归方程的截距和销售额对广告投入都是有显著作用的,回归分析 - R2,计算 - R2决策系数R2是什么？在前面的范例中，R2 的值为76.8%，这表明：Y中76.8%的变异可以用这个模型表达Y中23.2%的变异由其他X变量、测量变异

41、和噪声等组成。,回归分析 - R2,在只有一个输入变量的线性回归中，用r2 表示输出变异性能被输入解释的比例。在多元线性回归中，衡量方法是相似的,但被称为 “决定系数” R2。 R2 是指输出的变异性可以被所有输入变量一起解释的比例，而不是可以被其中单个输入变量解释的比例。,R280%,相关可能显著 50R280%,需要判断 R250%，相关可能不显著,解释时，请使用可靠的判断,回归分析 - R2,R2 是由回归模型解释可变性的比例评估拟合性的有用方法 （越大越好）R2 的值大，并不 保证良好的拟合性！R2 的值小，并不表示变量不重要！用R2 进行实际的判断是根据对流程和产品的分析，决定模型是

42、否描述了足够的变异,回归分析的缺陷,回归模型可用于内推法，但不能用于在数据范围外的外推法注意一些“X”值的影响注意异常值和坏值，但不要过快地把这些值从分析中去掉注意“胡乱”的相互关系或者错误的结论为了估计响应“Y”，需要知道预测变量“X”,异常值的影响,如果异常值是一个坏值，那么模型评估是错误的，而且误差被放大。然而，如果异常值是真实过程的一个值，它不应该被去掉。它是关于过程的数据的有用的一部分。参考你的日志和回归分析笔记以理解这一点分别评价有这一点和没有这一点的模型以判定其影响。,X= 预测器,Y = 响应,“X” 值的影响,在这个范例中：有影响的点是由于预测器X的值异常大评估数据，有和没有

43、右边远处的那一点,没有这个有影响的点，这条线会呈什么样？,“X” 值的影响,如果在分析中，R2 的值或者拟合斜率有较大的变化，该点的影响就太大。,范例：拟合直线图比较,有着相似的斜率，截距和R2的不同模型,着眼于图，确认搞清统计信息的意义!,关于一座城市的数据显示当鹳的种群密度增加时，城市的人口也增加。鹳是否影响人口？,“胡乱”的相互关系或错误的结论,回归分析的最终检验,打开工作表 8- Mystery Data计算相关系数两个变量是否相关？评审拟合直线图你的结论是什么？对最拟合的线判断回归方程式和相关的R2 的值,提示,属性数据能在一些适当的案例中用此工具顺利执行R2 的值不必“完美无缺”_,总结,当X和Y是离散数据时，运用检验相互关系的卡方检验，是理想的相互关系检验。当X和Y都是连续变量时，使用相关和回归分析。回归分析可作为预测性的工具。当使用回归分析时，小心早期的带们所遇到的普遍的缺陷,