多元统计分析.ppt
典型相关分析,第七讲,典型相关分析,典型相关分析(Canonical correlation),典型相关分析（Canonical correlation）是研究两组变量之间相关关系的一种多元统计方法，它能够揭示出两组变量之间的内在联系。这一方法是由Hotelling（霍特林，1935）首先提出来的。,两组变量的相关问题,我们知道如何衡量两个变量之间是否相关的问题；这是一个简单的公式就可以解决的问题（Pearson相关系数、Kendalls t、Spearman 秩相关系数)。如果我们有两组变量，如何表明它们之间的关系呢？,典型相关分析(Canonical correlation),在实际问题中，经常遇到要研究一部分变量与另一部分变量之间的相互关系。例如：在工厂，考察原料的主要指标 与产品的主要指标；在经济学中，研究商品的价格与销售之间的关系；在教育学中，考察研究生入学考试成绩与本科阶段一些主要课程成绩的相关性，等等。,典型相关分析(Canonical correlation),典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。,（一）典型相关分析的基本思想,典型相关分析的基本思想和主成分分析非常相似。首先在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此下去，直到两组变量之间的相关性被提取完毕为止。被选出的线性组合配对称为典型变量（canonical variable），它们的相关系数称为典型相关系数（canonical coefficient）。典型系数度量了这两组变量之间联系的强度。,例.1,例如：业内人士和观众对于一些电视节目的观点有什么样的关系呢？数据是不同的人群对30个电视节目所作的平均评分。观众评分来自低学历(led)、高学历(hed)和网络(net)调查三种，它们形成第一组变量；而业内人士分评分来自包括演员和导演在内的艺术家(arti)、发行(com)与业内各部门主管(man)三种，形成第二组变量。人们对这样两组变量之间的关系感到兴趣。,第一组变量:观众,第二组变量:业内人士,低学历,高学历,网络,主管,发行人,艺术家,典型相关,如何进行典型相关,如果直接对这六个变量的相关进行两两分析，很难得到关于这两组变量之间关系的一个清楚的印象。希望能够把多个变量与多个变量之间的相关化为两个变量之间的相关。现在的问题是为每一组变量选取一个综合变量作为代表；而一组变量最简单的综合形式就是该组变量的线性组合。,如何进行典型相关,由于一组变量可以有无数种线性组合（线性组合由相应的系数确定），因此必须找到既有意义又可以确定的线性组合。典型相关分析(canonical correlation analysis)就是要找到这两组变量线性组合的系数，使得这两个由线性组合生成的变量（和其他线性组合相比）之间的相关系数最大。,XV1V2|Vd,YW1W2|Wd,x1,x2,xi,y1,y2,yj,cr1,cr2,crd,d=min(i,j),(V=a0+a1x1+aixi),(W=b0+b1y1+bjyj),（二）典型相关分析的原理及方法,（二）典型相关分析的原理及方法,建立第一对典型变量(函数)的原则,尽量使所建的两个典型变量之间的相关系数最大化，就是在两个变量组各自的总变化中先寻求他们之间最大的一部分共变关系，并用一对典型变量所描述。因而，第一维度上的典型相关系数也随之求的。,建立第二对典型变量(函数)的原则,继续在两组变量剩余的变化中寻找第二个最大的共变部分，形成第二对典型变量，并解出第二维度上的典型相关系数。依此类推，直至所有变化部分被剥离完毕。,典型相关系数,这里所涉及的主要的数学工具还是矩阵的特征值和特征向量问题。而所得的特征值与V和W的典型相关系数有直接联系。由于特征值问题的特点，实际上找到的是多组典型变量(V1,W1),(V2,W2),，其中V1和W1最相关，而V2和W2次之等等，而且V1,V2,V3,之间及W1,W2,W3,之间互不相关。这样又出现了选择多少组典型变量(V,W)的问题了。实际上，只要选择特征值累积总贡献占主要部分的那些即可。,注意,严格地说，一个典型相关系数描述的只是一对典型变量之间的相关，而不是两个变量组之间的相关。而各对典型变量之间构成的多维典型相关才共同揭示了两个观测变量组之间的相关形式。,典型相关模型的基本假设和数据要求,要求两组变量之间为线性关系，即每对典型变量之间为线性关系；每个典型变量与本组所有观测变量的关系也是线性关系。如果不是线性关系，可先线性化：如经济水平和收入水平与其他一些社会发展水之间并不是线性关系，可先取对数。即log经济水平，log收入水平。,典型相关模型的基本假设和数据要求,所有观测变量为定量数据。同时也可将定性数据按照一定形式设为虚拟变量后，再放入典型相关模型中进行分析。检验假设：,典型相关分析说明,下面就例1数据进行典型相关分析的说明,头两对典型变量(V,W)的累积特征根已经占了总量的99.427%。它们的典型相关系数也都在0.95之上。,典型相关系数的平方,与简单相关系数一样，典型相关系数的实际意义并不十分明确。所以，由经验的研究人员往往更愿意采用典型相关系数的平方（相当于回归分析中的确定系数）。由于相关涉及的两个典型变量都是标准化的，所以双方的方差都等于1。典型相关系数的平方的实际意义是一对典型变量之间的共享方差在两个典型变量各自方差中的比例。,典型相关系数的检验,整体检验：,典型相关系数的检验,维度递减检验：仍然是一种多元检验，但可以提供每对典型变量的典型相关是否显著的信息。,典型系数,下面表格给出的是第一组变量相应于上面三个特征根的三个典型变量V1、V2和V3的系数，即典型系数(canonical coefficient)。这些系数以两种方式给出；一种是没有标准化的原始变量的线性组合的典型系数(raw canonical coefficient)，一种是标准化之后的典型系数(standardized canonical coefficient)。标准化的典型系数直观上对典型变量的构成给人以更加清楚的印象。,典型系数,可以看出，头一个典型变量V1相应于前面第一个（也是最重要的）特征值，主要代表高学历变量hed；而相应于前面第二个（次要的）特征值的第二个典型变量V2主要代表低学历变量led和部分的网民变量net，但高学历变量在这里起负面作用。,典型系数,类似地，也可以得到被称为协变量(covariate)的标准化的第二组变量的相应于头三个特征值得三个典型变量W1、W2和W2的系数：,典型负载（相关）系数,也称为因变量或协变量与典型变量之间的两两相关系数。,例子结论,从这两个表中可以看出，V1主要和变量hed相关，而V2主要和led及net相关；W1主要和变量arti及man相关，而W2主要和com相关；这和它们的典型系数是一致的。由于V1和W1最相关，这说明V1所代表的高学历观众和W1所主要代表的艺术家(arti)及各部门经理(man)观点相关；而由于V2和W2也相关，这说明V2所代表的低学历(led)及以年轻人为主的网民(net)观众和W2所主要代表的看重经济效益的发行人(com)观点相关，但远远不如V1和W1的相关那么显著（根据特征值的贡献率）。,相关分析的冗余分析,主要说明典型变量对各组观测变量总方差的代表比例和解释比例。,相关分析的冗余分析,其中：DE因变量组 CO协变量组,相关分析的冗余分析,解释比例=代表比例典型相关系数的平方对于因变量则有：Var CO=Var DESq.Cor 41.078=41.4550.991所以典型相关系数高时，并不说明典型变量对观测组变量的解释程度高，代表程度高。,相关分析的冗余分析,通过不同观察变量组的代表比例和解释比例相乘，可以得到因变量组总方差与协变量组总方差的共享比例。即：因变量组的Var DE协变量组的Var DE或：因变量组的Var CO协变量组的Var CO 两个变量组的共享方差,相关分析的冗余分析,第一典型相关的共享方差为：0.410780.72349=0.29720=29.720%第二典型相关的共享方差为：0.433530.24575=0.10354=10.654%第三典型相关的共享方差为：0.043840.03076=0.00135=0.135%,例12.2（科技经费投入.sav),我国科技市场产出情况与R&D经费支出变量的典型相关分析“科学技术是第一生产力”，近几年来，我国在科研方面的投入不断增加，国家的研究与试验发展（R&D）经费内部支出到2001年已达到8956.6亿元。那么，科技市场的产出情况是否与经费投入密切相关？各种类型的经费投入对科技市场的发展具体有怎样的影响？通过对R&D各种项目的支出变量与科技市场在某些方面的产出变量做典型相关分析，找出两者之间的联系。,数据说明,R&D经费投入变量包括三个：基础研究的R&D经费支出、应用研究的R&D经费支出和试验发展的R&D经费支出（协变量）。科技市场产出变量也选择了三个，分别为：新产品产值、专利授予量和科技市场成交额（因变量）。资料来源于2002年统计年鉴。,使用SPSS进行典型相关分析,使用MANOVA进行典型相关分析。程序命令如下（syntax-manova12.2）：MANOVA xch zhl chj WITH jch yy shy/DISCRIM ALL ALPHA(1)/PRINT=SIG(EIGEN DIM).,主要结果的解释,Multivariate Tests of Significance(S=3,M=-1/2,N=8 1/2),主要结果的解释,Eigenvalues and Canonical Correlations,维度递减检验,Standardized canonical coefficients for DEPENDENT variables,可以得到典型变量V 1、V 2和V 3对于标准化的变量xch，zhl，chj的表示式。由前所示，前两对典型变量的累积百分比已达到98.868%,所以我们主要看V 1和V 2的表达式：V 1=0.003xch+0.593zhl+0.566chj V 2=0.261xch0.834zhl-0.948chj,Correlations between DEPENDENT and canonical variables,从典型变量与科技投入变量组的相关系数也能看出，V 1主要代表专利授予量和科技市场成交量指标。,Standardized canonical coefficients for COVARIATES variables,典型变量W 1、W 2和W 3对科技投入组各变量的关系式见结果（5）。W 1 0.370jch-0.350yy+1.006shy W 2 0.334jch-1.092yy+1.034shy,Correlations between COVARIATES and canonical variables,从W 1、W 2和各投入变量的相关系数看，这两个典型变量都与“试验发展”变量关系紧密。,典型相关分析的结果显示，我国科技市场的产出情况与R&D经费支出具有显著的相关关系，尤其是试验发展方面的R&D投入，对科技市场成交额和专利授予量方面的贡献比较大。,相关分析的冗余分析,相关分析的冗余分析,因变量组与协变量组的共享方差：在第一典型相关上：0.469870.66734=0.31356=31.356%在第二典型相关上：0.198320.31949=0.06336=6.336%,
