《典型相关分析》PPT课件.ppt

典型相关分析,研究多个变量与多个变量之间的相关性,Canonical Correlation,2,要 点,典型相关分析的数学表达方式，约束条件；典型相关系数的数学含义；典型变量的数学含义；典型相关系数的显著性检验；冗余分析；典型相关的应用,3,第一节 典型相关分析的基本思想,当研究两个变量x与y之间的相关关系时，相关系数是最常用的度量。,如何研究两组变量之间的相关关系呢？,如何进一步确定两组变量在整体上的相关程度呢？,通常情况下，为了研究两组变量的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样既烦琐又不能抓住问题的本质。如果能够采用类似于主成分的思想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。,典型相关分析（Canonical Correlation）是研究两组变量之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。,5,6,基本概念,Analyze the relationships between two sets of variables Canonical correlation(rc):Correlation between two composition of variables,X1,X2,X3,X4,X5,Y1,Y2,Y3,Y4,Y5,rc,Rxx,Ryy,Ryx,Rxy,7,1936年霍特林（Hotelling）最早就“大学表现”和“入学前成绩”的关系、政府政策变量与经济目标变量的关系等问题进行了研究，提出了典型相关分析技术。之后，Cooley和Hohnes(1971)，Tatsuoka(1971)及Mardia，Kent和Bibby(1979)等人对典型相关分析的应用进行了讨论，Kshirsagar(1972)则从理论上给出了最好的分析。,在解决实际问题中，这种方法有广泛的应用。如居民生活环境与健康状况的关系；考察一些与财政政策有关的指标：财政支出总额增长率、财政赤字增长率、税率降低，与经济发展的一系列指标如GDP增长率、就业增长率、物价上涨率等，来研究扩张性财政政策实施后对宏观经济发展的影响。这些多变量间的相关性如何分析？,9,典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。目前，典型相关分析已被应用于心理学、市场营销等领域。如用于研究个人性格与职业兴趣的关系，市场促销活动与消费者响应之间的关系等问题的分析研究。,10,利用主成分分析的思想，可以把多个变量与多个变量之间的相关转化为两个变量之间的相关。,主成分,综合变量,找出系数 和 使得新变量,和,之间有最大可能的相关系数。,（典型相关系数）,即使,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：,分析两组变量之间的关系。,12,变量间的相关系数矩阵,y2,y3,y1,x2,x1,典型相关分析的思想：,首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，,15,然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。,u2和v2与u1和v1相互独立，但u2和v2相关。如此继续下去，直至进行到r步，两组变量的相关性被提取完为止。rmin(p,q)，可以得到r组变量。,二、典型相关的数学描述,考虑两组变量的向量,其协方差阵为,（一）想法,其中11是第一组变量的协方差矩阵；22是第二组变量的协方差矩阵；是X和Y的协方差矩阵。,如果我们记两组变量的第一对线性组合为：,其中：,所以，典型相关分析就是求a1和b1，使uv达到最大。,（二）典型相关系数和典型变量的求法,在约束条件:,下，求a1和b1，使uv达到最大。令,19,根据数学分析中条件极值的求法，引入Lagrange乘数，求极值问题，则可以转化为求,的极大值，其中和是 Lagrange乘数。,将上面的3式分别左乘 和,将 左乘（3）的第二式，得,并将第一式代入，得,的特征根是，相应的特征向量为,将 左乘（3）的第一式，并将第二式代入，得,的特征根是，相应的特征向量为,结论：既是M1又是M2的特征根，和 是相应于M1和M2的特征向量。,至此，典型相关分析转化为求M1和M2特征根和特征向量的问题。,第一对典型变量提取了原始变量X与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他们的典型相关系数。,在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为：,在约束条件：,求使 达到最大的 和。,25,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：,分析两组变量之间的关系。,变量间的相关系数矩阵,三、典型变量的性质,1、同一组变量的典型变量之间互不相关,X组的典型变量之间是相互独立的：,Y组的典型变量之间是相互独立的：,因为特征向量之间是正交的。故,2、不同组变量的典型变量之间的相关性,不同组内一对典型变量之间的相关系数为：,同对相关系数为，不同对则为零。,3、原始变量与典型变量之间的相关系数（典型载荷分析）,原始变量相关系数矩阵,X典型变量系数矩阵,y典型变量系数矩阵,34,36,37,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：,分析两组变量之间的关系。,38,变量间的相关系数矩阵,典型载荷分析,Cross loadings,43,两个反映消费的指标与第一对典型变量中u1的相关系数分别为0.9866和0.8872，可以看出u1可以作为消费特性的指标，第一对典型变量中v1与Y2之间的相关系数为0.9822，可见典型变量v1主要代表了了家庭收入，u1和 v1的相关系数为0.6879，这就说明家庭的消费与家庭的收入之间其关系是很密切的；,第二对典型变量中u2与x2的相关系数为0.4614，可以看出u2可以作为文化消费特性的指标，第二对典型变量中v2与Y1和Y3之间的分别相关系数为0.8464和0.3013，可见典型变量v2主要代表了家庭成员的年龄特征和教育程度，u2和 v2的相关系数为0.1869，说明文化消费与年龄和受教育程度之间的相关性。,45,4、各组原始变量被典型变量所解释的方差（典型冗余分析）,X组原始变量被ui解释的方差比例,X组原始变量被vi解释的方差比例,y组原始变量被ui解释的方差比例,y组原始变量被vi解释的方差比例,48,五、样本典型相关系数,在实际应用中，总体的协方差矩阵常常是未知的，类似于其他的统计分析方法，需要从总体中抽出一个样本，根据样本对总体的协方差或相关系数矩阵进行估计，然后利用估计得到的协方差或相关系数矩阵进行分析。,49,1、假设有X组和Y组变量，样本容量为n。假设(X1,Y1),(X2,Y2),(Xn,Yn)，观测值矩阵为：,50,2、计算特征根和特征向量 求M1和 M2的特征根，对应的特征向量。则特征向量构成典型变量的系数，特征根为典型变量相关系数的平方。,51,职业满意度典型相关分析,某调查公司从一个大型零售公司随机调查了784人，测量了5个职业特性指标和7个职业满意度变量。讨论两组指标之间是否相联系。X组：Y组：X1用户反馈 Y1主管满意度X2任务重要性 Y2事业前景满意度X3任务多样性 Y3财政满意度X4任务特殊性 Y4工作强度满意度X5自主权 Y5公司地位满意度 Y6工作满意度 Y7总体满意度,52,53,Canonical Correlation Analysis,54,X组的典型变量,55,Y组的典型变量,56,原始变量与本组典型变量之间的相关系数,57,原始变量与对应组典型变量之间的相关系数,58,可以看出，所有五个表示职业特性的变量与u1有大致相同的相关系数，u1视为形容职业特性的指标。第一对典型变量的第二个变量v1与Y1，Y2，Y5，Y6 有较大的相关系数，说明v1主要代表了主管满意度、事业前景满意度、公司地位满意度和工种满意度。而u1和v1之间的相关系数0.5537。,59,Canonical Redundancy Analysis Raw Variance of the VAR Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.5818 0.5818 0.1784 0.1784 2 0.1080 0.6898 0.0060 0.1844 3 0.0960 0.7858 0.0014 0.1858 4 0.1223 0.9081 0.0006 0.1864 5 0.0919 1.0000 0.0003 0.1867 Raw Variance of the WITH Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.3721 0.3721 0.1141 0.1141 2 0.1222 0.4943 0.0068 0.1209 3 0.0740 0.5683 0.0011 0.1220 4 0.1289 0.6972 0.0007 0.1226 5 0.1058 0.8030 0.0003 0.1230,60,u1和v1解释的本组原始变量的比率：X组的原始变量被u1到u5解释了100%Y组的原始变量被v1到v5解释了80.3%X组的原始变量被u1到u4解释了90.81%Y组的原始变量被v1到v4解释了69.72%,六、典型相关系数的显著性检验,在进行典型相关分析时，对于两随机向量(X,Y)，我们可以提取min(p,q)对典型变量，问题是进行典型相关分析的目的就是要减少分析变量，简化两组变量间关系分析，提取min(p,q)对变量是否必要？我们如何确定保留多少对典型变量？,例10.1 康复俱乐部对20名中年人测量了三个生理指标：体重(x1),腰围(x2)，脉搏(x3)；三个训练指标：引体向上次数(y1)，起坐次数(y2)，跳跃次数(y3)。分析生理指标与训练指标的相关性。,表 康复俱乐部数据,从相关矩阵出发计算典型相关,为消除量纲影响，对数据先做标准化变换，然后再做典型相关分析。显然，经标准化变换之后的协差阵就是相关系数矩阵，因而，也即通常应从相关矩阵出发进行典型相关分析。,对于例10.1从相关系数矩阵出发进行典型相关分析。,80,Path diagram for canonical analysis,Proportion of variance extractedby X pv=(-.742+.792)/2=.58=58%by Y pv=(-.442+.882)/2=.48=48%,Proportion of variance extractedby X pv=(-.682+.622)/2=.42=42%by Y pv=(-.902+.482)/2=.52=52%,58%+42%=100%,81,Proc cancorr data=SAS数据集 out=SAS数据集 outstat=SAS数据集 all;,with 变量名;,Var 变量名;,Run;,SAS 程序,用来列出被分析的两组变量中的第二组变量,用来列出被分析的两组变量中的第一组变量,OUT=包含原始数据和典型变量得分的数据集OUTSTAT=包含分析中用到的各种统计量,produce simple statistics,input variable correlations,and canonical redundancy analysis,