统计学典型相关分析课件.ppt

《统计学典型相关分析课件.ppt》由会员分享，可在线阅读，更多相关《统计学典型相关分析课件.ppt（57页珍藏版）》请在三一办公上搜索。

1、统计学,从数据到结论,第十三章 典型相关分析,13.1两组变量的相关问题,我们知道如何衡量两个变量之间是否相关的问题；这是一个简单的公式就可以解决的问题(Pearson相关系数、Kendalls t、Spearman 秩相关系数)。公式如果我们有两组变量，如何能够表明它们之间的关系呢？,寻找代表,如直接对这六个变量的相关进行两两分析，很难得到关于这两组变量之间关系的一个清楚的印象。希望能够把多个变量与多个变量之间的相关化为两个变量之间的相关。现在的问题是为每一组变量选取一个综合变量作为代表；而一组变量最简单的综合形式就是该组变量的线性组合。,13.2 典型相关分析,由于一组变量可以有无数种线性

2、组合（线性组合由相应的系数确定），因此必须找到既有意义又可以确定的线性组合。典型相关分析(canonical correlation analysis)就是要找到这两组变量线性组合的系数使得这两个由线性组合生成的变量（和其他线性组合相比）之间的相关系数最大。,典型变量,假定两组变量为X1,X2,Xp和Y1,Y2,Yq，那么，问题就在于要寻找系数a1,a2,ap和b1,b2,bq，和使得新的综合变量（亦称为典型变量(canonical variable)）,之间的相关关系最大。这种相关关系是用典型相关系数（canonical correlation coefficient）来衡量的。,典型相关系

3、数,这里所涉及的主要的数学工具还是矩阵的特征值和特征向量问题。而所得的特征值与V和W的典型相关系数有直接联系。由于特征值问题的特点，实际上找到的是多组典型变量(V1,W1),(V2,W2),，其中V1和W1最相关，而V2和W2次之等等，,典型相关系数,而且V1,V2,V3,之间及而且W1,W2,W3,之间互不相关。这样又出现了选择多少组典型变量(V,W)的问题了。实际上，只要选择特征值累积总贡献占主要部分的那些即可。软件还会输出一些检验结果；于是只要选择显著的那些(V,W)。对实际问题，还要看选取的(V,W)是否有意义，是否能够说明问题才行。至于得到(V,W)的计算，则很简单，下面就tv.tx

4、t数据进行分析。数学原理？,计算结果,第一个表为判断这两组变量相关性的若干检验，包括Pillai迹检验，Hotelling-Lawley迹检验，Wilks l检验和Roy的最大根检验；它们都是有两个自由度的F检验。该表给出了每个检验的F值，两个自由度和p值（均为0.000）。,计算结果,下面一个表给出了特征根(Eigenvalue)，特征根所占的百分比(Pct)和累积百分比(Cum.Pct)和典型相关系数(Canon Cor)及其平方(Sq.Cor)。看来，头两对典型变量(V,W)的累积特征根已经占了总量的99.427%。它们的典型相关系数也都在0.95之上。,计算结果,对于众多的计算机输出挑

5、出一些来介绍。下面表格给出的是第一组变量相应于上面三个特征根的三个典型变量V1、V2和V3的系数，即典型系数(canonical coefficient)。注意，SPSS把第一组变量称为因变量(dependent variables)，而把第二组称为协变量(covariates)；显然，这两组变量是完全对称的。这种命名仅仅是为了叙述方便。这些系数以两种方式给出；一种是没有标准化的原始变量的线性组合的典型系数(raw canonical coefficient)，一种是标准化之后的典型系数(standardized canonical coefficient)。标准化的典型系数直观上对典型变量的

6、构成给人以更加清楚的印象。,可以看出，头一个典型变量V1相应于前面第一个（也是最重要的）特征值，主要代表高学历变量hed；而相应于前面第二个（次要的）特征值的第二个典型变量V2主要代表低学历变量led和部分的网民变量net，但高学历变量在这里起负面作用。,计算结果,类似地，也可以得到被称为协变量(covariate)的标准化的第二组变量的相应于头三个特征值得三个典型变量W1、W2和W2的系数：。,例子结论,从这两个表中可以看出，V1主要和变量hed相关，而V2主要和led及net相关；W1主要和变量arti及man相关，而W2主要和com相关；这和它们的典型系数是一致的。由于V1和W1最相关，

7、这说明V1所代表的高学历观众和W1所主要代表的艺术家(arti)及各部门经理(man)观点相关；而由于V2和W2也相关，这说明V2所代表的低学历(led)及以年轻人为主的网民(net)观众和W2所主要代表的看重经济效益的发行人(com)观点相关，但远远不如V1和W1的相关那么显著（根据特征值的贡献率）。,SPSS的实现,对例tv.sav，首先打开例14.1的SPSS数据tv.sav，通过FileNewSyntax打开一个空白文件（默认文件名为Syntax1.sps），再在其中键入下面命令行：MANOVA led hed net WITH arti com man/DISCRIM ALL ALP

8、HA(1)/PRINT=SIG(EIGEN DIM).再点击一个向右的三角形图标(运行目前程序，Run current)，就可以得到所需结果了。还可以把Syntax1.sps另以其他名字（比如tv.sps）存入一个文件夹。下次使用时就可以通过FileOpenSyntax来打开这个文件了。,SPSS的实现,注意1：典型相关分析是本书内容中唯一不能用SPSS的点击鼠标的“傻瓜”方式，而必须用写入程序行来运行的模型。读者不必要再去研究语法的细节，只要能够举一反三，套用这个例子的程序即可。当然，如果读者愿意学习SPSS的语法，则在处理数据时，肯定会更方便。,SPSS的实现,注意2：一些SPSS的输出很

9、长，这时输出窗口截去了一些内容没有显示（这有些随意性）。这时输出窗口(SPSS Viewer)中结果的左下角有一个红色的三角型。如果想要看全部内容，可以先点击鼠标左键，选中输出结果，然后从点右键得到的菜单中选择Export，就可以把全部结果（包括截去的部分）存入一个htm形式的文件了供研究和打印之用。,附录,两个变量时,用线性相关系数研究两个变量之间的线性相关性:,返回,典型相关分析,目的:研究多个变量之间的相关性方法:利用主成分思想,可以把多个变量与多个变量之间的相关化为两个变量之间的相关.即找一组系数(向量)l和m,使新变量U=lX(1)和V=mX(2)有最大可能的相关关系.,数学:设两组

10、随机变量,而,的协方差阵S0,均值向量m=0,S的剖分为:,对于前面的新变量U=lX(1)和V=mX(2)Var(U)=Var(lX(1)=lS11lVar(V)=Var(mX(2)=mS22mCov(U,V)=lS12m,rUV=lS12m/(lS11l)(mS22m)我们试图在约束条件Var(U)=1,Var(V)=1下寻求l和m使rUV=Cov(U,V)=lS12m达到最大.,这是Lagrange乘数法求下面f的极大值,经过求偏导数和解方程,得到l=n=lS12m=Cov(U,V),及,因此l2既是A又是B的特征值,而相应的特征向量为l,m,可得到p1对线性组合Ui=l(i)X(1),V

11、i=m(i)X(2),称每一对变量为典型变量.其极大值称为第一典型相关系数.一般只取前几个影响大的典型变量和典型相关系数来分析.,A和B的特征根有如下性质:(1)A和B有相同的非零特征根,(2)其数目为p1.A和B的特征根非负.(3)A和B的特征根均在0和1之间.我们表示这些称为典型相关系数的非零特征值和相应的特征向量为,典型变量的性质:(1)X(1)和X(2)中的一切典型变量都不相关.(2)X(1)和X(2)的同一对典型变量Ui和Vi之间的相关系数为li,不同对的Ui和Vj(ij)之间不相关.样本情况,只要把S用样本协差阵或样本相关阵R代替.下面回到我们的例子。,典型相关系数的显著性检验:首

12、先看X(1)和X(2)是否相关,如不相关,就不必讨论.如果,这是为检验第1个典型相关系数的显著性检验统计量为,其中 为 的特征根.,如果H0为检验第r(rk)个典型相关系数的显著性,检验统计量为,当然在实际例子中一般并不知道S。因此在只有样本数据的情况下,只要把S用样本协差阵或样本相关阵代替就行了。但是这时的特征根可能不在0和1的范围，因此会出现软件输出中的特征根（比如大于1）不等于相关系数的平方的情况，这时，各种软件会给出调整后的相关系数。,典型相关和回归分析的关系把X(1)和X(2)换成回归中的X和Y,这就是因变量和自变量之间的相关问题.而Y在X上的投影,就是回归了.,统计学,从数据到结论

13、,第十四章 对应分析,行和列变量的相关问题,在因子分析中，或者只对变量（列中的变量）进行分析，或者只对样品（观测值或行中的变量）进行分析；而且利用载荷图来描述各个变量之间的接近程度。典型相关分析也只研究列中两组变量之间的关系。,行和列变量的相关问题,然而，在很多情况下，所关心的不仅仅是行或列本身变量之间的关系，而是行变量和列变量的相互关系；这就是因子分析等方法所没有说明的了。先看一个例子。,例子（数据ChMath.txt),为了考察汉字具有的抽象图形符号的特性能否会促进儿童空间和抽象思维能力。该数据以列联表形式展示在表中：在研究读写汉字能力与数学的关系的研究时，人们取得了232个美国亚裔学生的

14、数学成绩和汉字读写能力的数据。,例子（数据ChMath.txt),该数据关于汉字读写能力的变量有三个水平：“纯汉字”意味着可以完全自由使用纯汉字读写，“半汉字”意味着读写中只有部分汉字（比如日文），而“纯英文”意味着只能够读写英文而不会汉字。而数学成绩有4个水平（A、B、C、D）。,人们可以对这个列联表进行前面所说的c2检验来考察行变量和列变量是否独立。结果在下面表中（通过AnalyzeDescriptive StatisticsCrosstabs）,所有的检验都很显著，看来两个变量的确不独立。,对应分析,但是如何用象因子分析的载荷图那样的直观方法来展示这两个变量各个水平之间的关系呢？这就是对

15、应分析（correspondence analysis）方法。对应分析方法被普遍认为是探索性数据分析的内容，因此，读者只要能够会用数据画出描述性的点图，并能够理解图中包含的信息即可。,对应分析,处理列联表的问题仅仅是对应分析的一个特例。一般地，对应分析常规地处理连续变量的数据矩阵；这些数据具有如在主成分分析、因子分析、聚类分析等时所处理的数据形式。,对应分析,在对应分析中，根据各行变量的因子载荷和各列变量的因子载荷之间的关系，行因子载荷和列因子载荷之间可以两两配对。如果对每组变量选择前两列因子载荷，则两组变量就可画出两因子载荷的散点图。由于这两个图所表示的载荷可以配对，于是就可以把这两个因子载

16、荷的两个散点图画到同一张图中，并以此来直观地显示各行变量和各列变量之间的关系。,对应分析,由于列联表数据形式和一般的连续变量的数据形式类似，所以也可以用对应分析的数学方法来研究行变量各个水平和列变量各个水平之间的关系；虽然对不同数据类型所产生结果的解释有所不同，数学的原理是一样的。下面通过对ChMath.txt数据的计算和结果分析来介绍对应分析。,首先看对应分析结果的一个主要SPSS展示，然后再解释该图的来源和解释。,运用纯汉字的点和最好的数学成绩A最接近，而不会汉字只会英文的点与最差的数学成绩F（或者D，虽然在纵坐标稍有差距）最接近，而用部分汉字的和数学成绩B接近。,对应分析的数学原理是什么

17、？,结果解释,根据SPSS对数据ChMath.sav的计算，得到一些表格。其中第一个就是下面的各维的汇总表。这里所涉及的是行与列因子载荷之间的关系；选择行和列变量的显著的因子载荷的标准是一样的。选择多少就涉及几维。为了画出散点图，就至少要选择两维了。,表中的术语,Inertia惯量,为每一维到其重心的加权距离的平方。它度量行列关系的强度。Singular Value奇异值（是惯量的平方根），反映了是行与列各水平在二维图中分量的相关程度，是对行与列进行因子分析产生的新的综合变量的典型相关系数。Chi Square就是关于列联表行列独立性c2检验的c2统计量的值，和前面表中的相同。其后面的Sig为

18、在行列独立的零假设下的p-值，注释表明自由度为(4-1)(3-1)=6，Sig.值很小说明列联表的行与列之间有较强的相关性。Proportion of Inertia惯量比例，是各维度（公因子）分别解释总惯量的比例及累计百分比，类似于因子分析中公因子解释能力的说明。,解释,从该表可以看出，由于第一维的惯量比例占了总比例的93.9%，因此，其他维的重要性可以忽略（虽然画图时需要两维，但主要看第一维横坐标）。在SPSS的输出中还有另外两个表分别给出了画图中两套散点图所需要的两套坐标。,解释,该表给出了图中三个汉字使用点的坐标：纯汉字(-.897,-.240)，半汉字(.102,.491)，纯英文(

19、.970,-.338)，以及四个数学成绩点的坐标：数学A(-.693,-.345)，数学B(-.340,.438)，数学C(.928,.203)，数学C(1.140,-.479)。两表中的概念不必记；其中Mass为行与列的边缘概率；Score in Dimension是各维度的分值(二维图中的坐标)；Inertia:就是前面所提到的惯量，为每一行/列到其重心的加权距离的平方。,SPSS的实现,打开ChMath.sav数据，其形式和本章开始的列联表有些不同。其中ch列代表汉字使用的三个水平；而math列代表数学成绩的四个水平；第一列count实际上是ch和math两个变量各个水平组合的出现数目，

20、也就是列联表中间的数目。由于count把很大的本应有232行的原始数据简化成只有12行的汇总数据，在进行计算之前必须进行加权。也就是点击图标中的小天平，再按照count加权即可。,SPSS的实现,加权之后，选择AnalyzeData ReductionCorrespondence Analysis，然后把“汉字使用”选入Row（行），再点击Define Range来定义其范围为1(Minimum value)到3(Maximum value)，之后点击Update。类似地，点击Continue之后，把“数学成绩”选入Column(列)，并以同样方式定义其范围为1到4。由于其他选项可以用默认值，

21、就可以直接点击OK来运行了。这样就得到上述表格和点图。,附录对应分析的数学,因子分析对变量和对样品要分别对待.对应分析把变量和样本同时反映到相同坐标轴(因子轴)的一张图形上.数学上,令A=aij为np矩阵,x=xi 为n-(列)向量,y=yj 为p-(列)向量.那么(r,x,y)称为对应分析问题C0(A)的解,如果,行记分(row score)xi和列记分yj的加权均值成比例,而列记分yj和行记分xi的加权均值成比例.数值r为行列记分的相关(在典型相关的意义上).,记R=diag(ai.),C=diag(a.i),R1/2=diag(a.i1/2),则上面式子为rx=R-1Ay;ry=C-1Ax或rR1/2x=(R-1/2AC-1/2)C1/2y;rC1/2y=(C-1/2A R-1/2)R1/2x=(R-1/2 A C-1/2)R1/2xX为一个解的条件是下面特征值问题有解(最大特征值为1是平凡解,两组非零特征值相同!),令,前面的特征值问题可以写成,两个特征值问题有同样的非零特征值.如U是ZZ的特征向量,则ZU是ZZ的特征向量.,ZZ的特征根为l1l2lp;ZZ相应的特征向量为u1,u2,up.ZZ相应的特征向量为v1,v2,vn.对最大的m个特征值得因子载荷阵,可以对变量和样品作两两因子载荷图.返回,