多元统计分析简介讲解学习ppt课件.ppt

《多元统计分析简介讲解学习ppt课件.ppt》由会员分享，可在线阅读，更多相关《多元统计分析简介讲解学习ppt课件.ppt（64页珍藏版）》请在三一办公上搜索。

1、多元统计分析简介,1.聚类分析2.判别分析3.主成分分析4.典型相关分析,聚类分析又称群分析，它是研究分类问题的一种多元统计方法。所谓类，通俗地说，就是指相似元素的集合。那么要将相似元素聚为一类，通常选取元素的许多共同指标，然后通过分析元素的指标值来分辨元素间的差距，从而达到分类的目的。,聚类分析可以分为：Q型（样品分类）分类、R型（指标分类）分类。这里介绍的是Q型（样品分类）分类。,1. 聚类分析,3) 研究样品之间的关系。通常有两种方法：,相似系数。性质相近的相似系数的绝对值越接近于1，彼此不相关的相似系数的绝对值越接近于0。,常用相似系数有：夹角余弦；相关系数；指数相似系数；非参数方法灯

2、,计算距离。将样品看作P维空间的一点，通过计算不同样品的距离，距离越接近的点归为一类，距离远的点归为不同类。,常用距离有：明科夫斯基距离；欧氏距离；绝对值距离；切比雪夫距离；兰氏距离；马氏距离。,4)计算距离矩阵或相似性系数矩阵D。,1. 聚类分析,聚类分析的一般步骤(Q-型分类),1. 聚类分析,进行聚类分析时，由于对类与类之间的距离的定义和理解不同，并类的过程中又会产生不同的聚类方法。常用的系统聚类方法有8种： 最短距离法； 最长距离法； 中间距离法；重心法； 类平均法；可变类平均法； 可变法；离差平方和法。,1. 聚类分析,判别分析方法最初应用于考古学, 例如要根据挖掘出来的人头盖骨的各

3、种指标来判别其性别年龄等. 近年来, 在生物学分类, 医疗诊断, 地质找矿, 石油钻探, 天气预报等许多领域, 判别分析方法已经成为一种有效的统计推断方法。 判别分析是一种在一些已知研究对象用某种方法已经分成若干类的情况下，确定新的样品的观测数据属于哪一类的统计分析方法。,2 判别分析,常用的方法有：距离判别法、Fisher判别法、贝叶斯判别法、逐步判别法。,为了能识别待判断的对象x = (x1, x2, xm)T是属于已知类A1, A2, Ar中的哪一类？ 事先必须要有一个一般规则, 一旦知道了x的值, 便能根据这个规则立即作出判断, 称这样的一个规则为判别规则(用于衡量待判对象与各已知类别

4、接近程度的方法准则)。 判别规则往往通过的某个函数来表达, 我们把它称为判别函数, 记作W(i; x).,2 判别分析,Bayes判别法的基本思想：总是假设对所研究的对象已有一定的认识，计算新给样品属于各总体的条件概率 比较这个概率的大小，然后将新样品判归为来自概率最大的总体。,Bayes判别法,2 判别分析,设有总体 ， 具有概率密度函数 。并且根据以往的统计分析，知道 出现的概率为 。即当样本 发生时，求他属于某类的概率。由贝叶斯公式计算后验概率，有：,判别规则,则 判给 。,2 判别分析,Bayes判别法的一般步骤 ：,2.计算类内协方差矩阵S及其逆矩阵S-1 ；,3.计算Bayes判别

5、函数中，各个变量的系数及常数项并 写出判别函数；,4.计算类内协方差矩阵W及总各协方差矩阵T作多个变 量的全体判别效果的检验；,5.各个变量的判别能力的检验；,6.判别新样本应属于的类别。,2 判别分析,在判别问题中，当判别变量个数较多时，如果不加选择地一概采用来建立判别函数，不仅计算量大，还由于变量之间的相关性，可能使求解逆矩阵的计算精度下降，建立的判别函数不稳定。因此适当地筛选变量的问题就成为一个很重要的事情。凡具有筛选变量能力的判别分析方法就统称为逐步判别法。,逐步判别法,2 判别分析,逐步判别法其基本思路类似于逐步回归分析，按照变量是否重要逐步引入变量，每引入一个“最重要”的变量进入判

6、别式，同时要考虑较早引入的变量是否由于其后的新变量的引入使之丧失了重要性变得不再显著了（例如其作用被后引入地某几个变量的组合所代替），应及时从判别式中把它剔除，直到判别式中没有不重要的变量需要剔除，剩下来的变量也没有重要的变量可引入判别式时，逐步筛选结束。也就是说每步引入或剔除变量，都作相应的统计检验，使最后的判别函数仅保留“重要”的变量。,2 判别分析,1.计算各总体中各变量的均值和总均值以及似然统计量，规定引入变量和剔除变量的临界值F进、F出。2.逐步计算，计算全部变量的判别能力，在已入选变量中考虑剔除可能存在的最不显著变量。在未选入变量中选出最大判别能力的变量，对变量作F检验通过检验则接

7、受，否则剔除变量。直到能剔除又不能增加新变量，逐步计算结束。3.建立判别式，使用第2步中选入的变量，用Bayes判别法建立判别式。4.对待判样本进行判别分类。,逐步判别法的步骤：,2 判别分析,假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。,3 主成分分析,每个人都会遇到有很多变量的数据。 比如全国或各个地

8、区的带有许多经济和社会变量的数据；各个学校的研究、教学等各种变量的数据等等。 这些数据的共同特点是变量很多，在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。 在引进主成分分析之前，先看下面的例子。,3 主成分分析,100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。,3 主成分分析,目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、排序、判别和分类等问题。,3 主成分分析,选择越少的

9、主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约80%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。,3 主成分分析,主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的统计分析方法。,一般来说，我们希望这些主成分能够反映原始变量的绝大部分信息(它们通常表示为原始变量的某种线性组合)，并具有最大的方差。,3 主成分分析,现实生活中两组变量间的相关关系的问题很多，例如家庭的特征（如户主的年龄、家庭的年收入、户主的受教育程度等）与消费模式（如每年去餐馆

10、就餐的频率、每年外出看电影的频率等）等等。为此，1936年由Hulling提出了典型相关分析，揭示了两组多元随机变量之间的关系。,4 典型相关分析,典型相关分析基本思想,通常情况下，为了研究两组变量 的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样又烦琐又不能抓住问题的本质。如果分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。,4 典型相关分析,首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，,然后再在每组变量中再找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性，即u2

11、和v2与u1和v1相互独立，但u2和v2相关，,如此下去，直至两组变量的相关性被提取完为止。,4 典型相关分析,对应一些例子,例：从21个工厂中抽出同类产品，每个产品测两个指标，欲将各厂的质量情况进行分类。,工厂指标观测值,1. 聚类分析,data ex;input x1 x2 factory$; cards;/*数据省略*/;proc cluster data=ex method=ward ccc pseudo outtree=tree;id factory;run;proc tree data=tree horizontal; id factory; run;,1. 聚类分析,ccc表示要

12、计算半偏R2，R2和ccc立方聚类标准统计量，这三个统计量和下面的伪F和伪t2统计量，主要用于检验聚类的效果。当把数据从G+1类合并为G类时，半偏R2统计量说明了本次合并信息的损失程度，统计量大表明损失程度大。 R2统计量反映类内离差平方和的大小，统计量大表明类内离差平方和小。 ccc统计量的值大说明聚类的效果好。,Pseudo说明要计算伪F和伪t2统计量。一般认为，伪F统计量出现峰值时的所对应的分类是较佳的分类选择。当把数据从G+1类合并为G类时，伪t2统计量的值大，说明不应该合并这两类。,1. 聚类分析,1. 聚类分析,Cluster History表示聚类的具体过程，NCL表示当前系统存

13、在类的总个数，Clusters Joined表示当前加入的编号，例如NCL等于20时，是类1，2聚为一类，FREQ表示新类的元素个数。SPRSQ表示类与类间规格化最短距离，RSQ表示R2统计量，ERSQ表示半偏R2统计量，CCC统计量值。PSF为伪F统计量，PST2为伪t2统计量。Tie表示“节”，是指当前类间最小距离不止一个的时候，此时可以任意选择一对最短距离进行聚类，在计算其他类与新类的距离。从CCC统计量的结果可以看出，最大值对应的类数为4。从四类合并为三类时，伪t2统计量显著的增加，伪F统计量下降显著，综合各方面的结果，因此分4类最为合适。,1. 聚类分析,动态聚类图,1. 聚类分析,

14、综合以上分析，可以得到结果，将工厂分为4类，分别为 第1类：f1,f2,f3,f4,f5,f6；第2类：f7,f8,f9,f10第3类：f11,f12,f13,f14,f15；第4类：f16,f17,f18,f19,f20,f21。,1. 聚类分析,Bayes判别法的一般步骤 ：,2.计算类内协方差矩阵S及其逆矩阵S-1 ；,3.计算Bayes判别函数中，各个变量的系数及常数项并 写出判别函数；,4.计算类内协方差矩阵W及总各协方差矩阵T作多个变 量的全体判别效果的检验；,5.各个变量的判别能力的检验；,6.判别新样本应属于的类别。,2. 判别分析,例题：人文发展指数是联合国开发计划署于199

15、0年5月发表的一份中公布的数据如下，试通过已知的样品建立判别函数,误判率是多少?并判断待判的归类.,2. 判别分析,类别 国家 寿命(X1) 成人识字率%(X2) 调整后GDP(X3)1 美国 76 99 5374 1 日本 79.5 99 53591 瑞士 78 99 5372 1 阿根廷 72.1 95.9 5242 1 阿联酋 73.8 77.7 5370 保加利亚 71.2 93 4250 2 古巴 75.3 94.9 34122 巴拉圭 70 91.2 33902 格鲁吉亚 72.8 99 2300 南非 62.9 80.6 3799待判样品： 中国 68.5 79.3 1950 罗

16、马尼亚 69.9 96.9 2840 希腊 77.6 93.8 5233 哥伦比亚 69.3 90.3 5159,2. 判别分析,data ex;input g x1-x3 ;cards;1 76 99 5374 1 79.5 99 5359 1 78 99 5372 1 72.1 95.9 5242 1 73.8 77.7 53702 71.2 93 4250 2 75.3 94.9 3412 2 70 91.2 3390 2 72.8 99 2300 2 62.9 80.6 3799;data ex1; input x1-x3 ;cards;68.5 79.3 1950 69.9 96.9

17、 2840 77.6 93.8 5233 69.3 90.3 5159;proc discrim data=ex testdata=ex1anova manova simple list testout=ex2;class g; proc print data=ex2;run;,2. 判别分析,Proc Discrim后的常用选择项有：（1）Data=数据集名，指定输入数据集名，若缺省则指定最新建立的数据集。（2）Testdata=数据集名，指定待作出判别的数据集名，其中的变量名须上Data数据集中的变量名一致。（3）Testout=数据集名，指定输出数据集，输出Testdata数据集中所有观

18、测值以及每个观测值的后验概率和判别后的类别。（4）List，指定打印每个观测值的回代结果。（5）Anova，指定输出各类均值检验的一元统计量。（6）Manova，指定输出各类均值检验的多元统计量。（7）Simple，指定打印总体和组内的简单统计量。,2. 判别分析,因此Bayes判别函数为y1=-323.21568+5.79107x1+0.26498x2+0.03407x3y2=-236.03823+5.14034x1+0.25167x2+0.02533x3,2. 判别分析,从上面运行结果得知，两类的误判率均为0,因而得知中国与罗马尼亚归入第二类，希腊与哥伦比亚归入第一类。,2. 判别分析,1

19、.计算各总体中各变量的均值和总均值以及似然统计量，规定引入变量和剔除变量的临界值F进、F出。2.逐步计算，计算全部变量的判别能力，在已入选变量中考虑剔除可能存在的最不显著变量。在未选入变量中选出最大判别能力的变量，对变量作F检验通过检验则接受，否则剔除变量。直到能剔除又不能增加新变量，逐步计算结束。3.建立判别式，使用第2步中选入的变量，用Bayes判别法建立判别式。4.对待判样本进行判别分类。,逐步判别法的步骤：,2. 判别分析,data ex；input g x1-x3 ;cards;/*数据省略*/;data ex1;input x1-x3 ;cards;/*数据省略*/;,2. 逐步判

20、别分析,roc stepdisc data=ex method=stepwise sle=0.3 sls=0.3;/*选择用逐步判别法，选择后验概率大于0.3，不注明时系统默认为0.15*/class g; var x1-x3;run;proc discrim data=ex testdata=ex1 /*待判别集合*/anova manova simple list testout=ex2;class g; var x1 x3; /*选用x1和x3作为判别指标*/proc print data=ex2;run;,2. 逐步判别分析,结果显示：通过逐步判别分析选入两个变量X1、X3作为判别分析

21、的指标，接下来再以变量X1,X3为参考变量作Bayes判别。,1.逐步回归选取变量：,2. 逐步判别分析,2. 得到判别函数：,2. 逐步判别分析,3. 误判概率：,两类的误判率均为0，说明判别能力很强，于是可以利用已经得到的判别函数去判别新样本。,2. 逐步判别分析,4. 待判样本分类结果：,结果表明，中国与罗马尼亚归入第二类，希腊与哥伦比亚归入第一类。,2. 逐步判别分析,由以上两个例子可知，逐步判别法所得到的结果可看出来，尽管这里没有利用变量X2(成人识字率)，但是最终的判别结果与利用全部变量所得得判别结果完全一致，这说明了三个变量在判别式中所起到的作用不同。由此可见，在解决现实问题中应

22、结合两种方法使得更加科学的使用已知数据得到更加合理的结论。,2. 逐步判别分析,1.对原始数据矩阵进行标准化处理(相当于对原始变量进行坐标平移与尺度伸缩),主成分的求解步骤:,假设对p个变量进行n次观测得到的观测数据可用下面的矩阵表示,将其进行标准化处理,3. 主成分分析,iii）特征分解得 (相当于将原来的坐标轴进行旋转得到新的坐标轴U),ii）求协方差矩阵Z,得Z的p个非负特征值 ，这p个特征值就是主成分的方差。,3. 主成分分析,iv) 确定主成分个数,(根据累积贡献率),当 大于某个阈值时，可认为主成分数目为m。,Z阵的每一行相当于原数据矩阵的所有行(即原始变量构成的向量)在主成分坐标

23、轴(载荷轴)上的投影，这些新的投影构成的向量就是主成分得分向量。,v) 写出主成分表达式,3.主成分分析,Vi)构造评价函数,将每个样本的主成分带入评价函数，得到每个样本的综合得分，依据一定的准则可对样本进行排序。,3. 主成分分析,例 以下是收集整理了的1990-2002年13年间影响中国蔬菜产量的若干因素数据，请你对这些影响因素作主成分分析，并分析结果。,3. 主成分分析,data ex;input x1-x13;cards;/*数据省略*/;proc princomp out=prin; var x1-x13;run;proc print data=prin;var prin1-prin

24、13;run;,3. 主成分分析,程序中对应运行结果为：,从程序结果可以看出，第一、第二、第三主成分累计解释方差的比率已经超过了94%，所以只需要求1、2、2所对应的正交化特征向量i(i=1，2，3),3. 主成分分析,3. 主成分分析,1=(0.31，0.29，0.22，0.30，0.09，0.31，0.30，0.30，0.30，0.31，0.31，0.31，0.13)，2=（0.03，0.23，0.51，0.11，0.77，0.01，0.09，0.13，0.19，0.07，0.04，0.03，0.09），3=（0.03，0.03，0.24，0.08，0.01，0.03，0.02，0.06，

25、0.04，0.03，0.08，0.05，0.96）,可知,其中,3. 主成分分析,第一主成分与蔬菜种植面积、每公顷物质费用、蔬菜零售物价指数、市场化程度、城市化水平1、城市化水平2、交通、城镇居民可支配收入、农村居民纯收入、农民文化素质等密切相关，表示的是市场经济综合因素，着重反映的是市场经济的成熟程度与国家现代化水平； 第二主成分与每公顷劳动投入、成本纯收益率等密切相关，表示的是劳动者动力因素； 第三主成分与气候条件密切相关，显然表示的是气候因素。,3. 主成分分析,主成分得分,3. 主成分分析,例 蔬菜产出水平主要体现在蔬菜总产量(Y1)、人均蔬菜占有量(Y2)、蔬菜总产增长速度(Y3)三

26、个方面，并称作因变量组（简称“产出组”）。问题：因变量组与自变量X1(市场经济综合因素)、X2(劳动力动力因素) 、X3(气候因素)(简称“影响组”)的关系如何？,data ex;input y1-y3 x1-x3 ;cards;/*数据省略*/proc cancorr data=ex all;var y1-y3; with x1-x3;run;,4. 典型相关分析,程序运行结果如下：,4. 典型相关分析,结果表明：前两个典型相关系数较高，表明相应典型变量之间密切相关。,整理得到蔬菜产出水平与影响因素的三个自变量的典型相关系数及特征值,4. 典型相关分析,结果表明：只有前两对典型变量通过了统计

27、量检验，表明相应典型变量之间相关关系显著，能够用三个自变量影响变量来解释产出变量。,4. 典型相关分析,典型相关模型结果如下：,4. 典型相关分析,结果分析：自变量X1即市场经济综合因素对中国蔬菜产出水平起根本性作用。市场经济综合因素与蔬菜总产出的关系体现在第一对典型变量v1和w1中，v1是中国蔬菜产出水平各指标的线性组合，其中，蔬菜总产出（Y1）的载荷为6.164，是各产出水平指标中最大的。w1是影响因素指标的线性组合，其中市场经济综合因素(X1)的载荷为0.9953，远远超过w1内其它指标的数值。考虑到第一对典型相关变量的相关系数几乎接近于1，可以认为，市场经济综合因素对蔬菜总产出水平起根本性作用。自变量X2即劳动力动力因素是决定人均蔬菜占有量的关键因素。,4. 典型相关分析,第二对典型变量中人均蔬菜占有量(Y2)在典型变量v2中的载荷为15.075，是各产出水平指标中最大的，而自变量X2则在典型变量w2中载荷最大，为0.9591。这一对典型相关变量的相关系数非常之高，表明自变量X2对劳动力动力因素起关键作用. 在第二对典型变量中，Y1与劳动力动力因素关系也非常密切。因为在第二对典型变量中，Y1在v2中的载荷14.7443，与Y2差距并不明显。由此可以分析的处，用Y1作为产出水平的代表，X1、X2、X3作为影响变量建立因果拟合模型效果是最好的。,4. 典型相关分析,