典型相关分析和协整.ppt

典型相关分析,2023/10/9,2,要 点,典型相关分析的数学表达方式，假定条件；典型相关系数的数学含义；典型变量系数的数学含义；简单相关，复相关和典型相关的意义；典型相关的应用,一、什么是典型相关分析及基本思想,通常情况下，为了研究两组变量 的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样又烦琐又不能抓住问题的本质。如果能够采用类似于主成分的思想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。,在解决实际问题中，这种方法有广泛的应用。如，在工厂里常常要研究产品的q个质量指标 和P个原材料的指标 之间的相关关系；也可以是采用典型相关分析来解决的问题。如果能够采用类似于主成分的思想，分别找出两组变量的线性组合既可以使变量个数简化，又可以达到分析相关性的目的。,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：,分析两组变量之间的关系。,变量间的相关系数矩阵,y2,y3,y1,x2,x1,典型相关分析的思想：,首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，,2023/10/9,9,然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。,u2和v2与u1和v1相互独立，但u2和v2相关。如此继续下去，直至进行到r步，两组变量的相关性被提取完为止。rmin(p,q)，可以得到r组变量。,二、典型相关的数学描述,考虑两组变量的向量,其协方差阵为,（一）想法,其中11是第一组变量的协方差矩阵；22是第二组变量的协方差矩阵；是X和Y的其协方差矩阵。,如果我们记两组变量的第一对线性组合为：,其中：,所以，典型相关分析就是求1和b1，使uv达到最大。,（二）典型相关系数和典型变量的求法,在约束条件:,下，求a1和b1，使uv达到最大。令,2023/10/9,13,利用柯西不等式有（参看式）,2023/10/9,14,记m为12的秩，则,记为,相应的特征向量为,其余的零特征根对应的向量为,2023/10/9,15,由特征向量可以构成一个正交矩阵T，有,2023/10/9,16,若取,则,2023/10/9,17,相应的特征向量为,a1和b1分别构成了第一组变量和第二组变量的第一对典型变量的系数。,2023/10/9,18,第一对典型相关变量提取了原始变量x组和y组之间相关的主要部分，那么这部分的信息不够，则还可以在剩余相关中提取第二对典型变量：,在以下的约束条件下：,2023/10/9,19,求,令,则，约束条件等价于,2023/10/9,20,2023/10/9,21,当取,这时uk和vk达到最大值k,称它为第k个典型相关系数，称ak和 bk为第k对典型变量系数。,2023/10/9,22,相应的特征向量为,ak和bk分别构成了第一组变量和第二组变量的第k对典型变量的系数。,2023/10/9,23,注,有相同的特征根，而可以验证：,根据线性代数的思想，下列矩阵,2023/10/9,24,方法二 根据数学分析中条件极值的求法，引入Lagrange乘数，求极值问题，则可以转化为求,的极大值，其中和是 Lagrange乘数。,将上面的3式分别左乘 和,将 左乘（3）的第二式，得,并将第一式代入，得,的特征根是，相应的特征向量为,将 左乘（3）的第一式，并将第二式代入，得,的特征根是，相应的特征向量为,结论：既是M1又是M2的特征根，和 是相应于M1和M2的特征向量。,至此，典型相关分析转化为求M1和M2特征根和特征向量的问题。,第一对典型变量提取了原始变量X与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他们的典型相关系数。,在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为：,在约束条件：,求使 达到最大的 和。,2023/10/9,30,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：,分析两组变量之间的关系。,2023/10/9,31,变量间的相关系数矩阵,三、典型变量的性质,1、同一组的典型变量之间互不相关,X组的典型变量之间是相互独立的：,Y组的典型变量之间是相互独立的：,因为特征向量之间是正交的。故,2、不同组的典型变量之间相关性,不同组内一对典型变量之间的相关系数为：,2023/10/9,36,同对则协方差为i，不同对则为零。,3、原始变量与典型变量之间的相关系数,原始变量相关系数矩阵,X典型变量系数矩阵,y典型变量系数矩阵,2023/10/9,40,2023/10/9,42,2023/10/9,43,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：,分析两组变量之间的关系。,2023/10/9,44,变量间的相关系数矩阵,2023/10/9,45,data xiaofei(type=corr);input _name_$x1 x2 y1-y3;_type_=corr;cards;x1 1 0.08 0.26 0.67 0.34x2 0.08 1 0.33 0.59 0.34y1 0.26 0.33 1 0.37 0.21y2 0.67 0.59 0.37 1 0.35y3 0.34 0.34 0.21 0.35 1;proc print data=xiaofei;run;proc cancorr data=xiaofei wprefix=w vprefix=v;with y1-y3;var x1-x2;run;,2023/10/9,50,两个反映消费的指标与第一对典型变量中u1的相关系数分别为0.9866和0.8872，可以看出u1可以作为消费特性的指标，第一对典型变量中v1与Y2之间的相关系数为0.9822，可见典型变量v1主要代表了了家庭收入，u1和 v1的相关系数为0.6879，这就说明家庭的消费与一个家庭的收入之间其关系是很密切的；,第二对典型变量中u2与x2的相关系数为0.4614，可以看出u2可以作为文化消费特性的指标，第二对典型变量中v2与Y1和Y3之间的分别相关系数为0.8464和0.3013，可见典型变量v2主要代表了家庭成员的年龄特征和教育程度，u2和 v2的相关系数为0.1869，说明文化消费与年龄和受教育程度之间的有关。,2023/10/9,52,4、各组原始变量被典型变量所解释的方差,X组原始变量被ui解释的方差比例,X组原始变量被vi解释的方差比例,y组原始变量被ui解释的方差比例,y组原始变量被vi解释的方差比例,2023/10/9,55,5、简单相关、复相关和典型相关之间的关系,若p1且q1，则x和y的典型相关就是简单相关；若p1或q1，则x和y的典型相关就是复相关；,2023/10/9,56,五、样本典型相关系数,在实际应用中，总体的协方差矩阵常常是未知的，类似于其他的统计分析方法，需要从总体中抽出一个样本，根据样本对总体的协方差或相关系数矩阵进行估计，然后利用估计得到的协方差或相关系数矩阵进行分析。由于估计中抽样误差的存在，所以估计以后还需要进行有关的假设检验。,2023/10/9,57,1、假设有X组和Y组变量，样本容量为n。假设(X1,Y1),(X2,Y2),(Xn,Yn)，观测值矩阵为：,2023/10/9,58,2023/10/9,59,2、计算特征根和特征向量 求M1和 M2的特征根，对应的特征向量。则特征向量构成典型变量的系数，特征根为典型变量相关系数的平方。,2023/10/9,60,六、典型相关系数的检验,典型相关分析是否恰当，应该取决于两组原变量之间是否相关，如果两组变量之间毫无相关性而言，则不应该作典型相关分析。用样本来估计总体的典型相关系数是否有误，需要进行检验。,（一）整体检验,检验的统计量：,2023/10/9,61,所以，两边同时求行列式，有,事实上,2023/10/9,62,2023/10/9,63,由于 所以若M的特征根为，则(l-M)的特征根为(1-)。根据矩阵行列式与特征根的关系，可得：,相关系数越大，则,2023/10/9,64,在原假设为真的情况下，检验的统计量,近似服从自由度为pq的2分布。在给定的显著性水平下，如果22(pq)，则拒绝原假设，认为至少第一对典型变量之间的相关性显著。,2023/10/9,65,依此类推，再检验下一对典型变量之间的相关性。直至相关性不显著为止。对两组变量x和y进行典型相关分析，采用的也是一种降维技术。我们希望使用尽可能少的典型变量对数，为此需要对一些较小的典型相关系数是否为零进行假设检验。H0经检验被拒绝，则应进一步检验假设。,2023/10/9,66,若原假设H0被接受，则认为只有第二对典型变量是有用的；若原假设H0被拒绝，则认为第二对典型变量也是有用的，并进一步检验假设。,（二）部分总体典型相关系数为零的检验,2023/10/9,67,如此进行下去.直至对某个k,2023/10/9,68,检验的统计量,近似服从自由度为(p-k)(q-k)的2分布。在给定的显著性水平下，如果22(p-k)(q-k)，则拒绝原假设，认为至少第k+1对典型变量之间的相关性显著。,2023/10/9,69,可见，前面两对典型变量的相关性是很强的。,2023/10/9,70,职业满意度典型相关分析,某调查公司从一个大型零售公司随机调查了784人，测量了5个职业特性指标和7个职业满意变量。讨论 两组指标之间是否相联系。X组：Y组：X1用户反馈 Y1主管满意度X2任务重要性 Y2事业前景满意度X3任务多样性 Y3财政满意度X4任务特殊性 Y4工作强度满意度X5自主权 Y5公司地位满意度 Y6工作满意度 Y7总体满意度,2023/10/9,71,2023/10/9,72,Canonical Correlation Analysis,2023/10/9,73,当前和后面的典型相关系数均为零的检验,2023/10/9,74,X组的典型变量,2023/10/9,75,Y组的典型变量,2023/10/9,76,原始变量与本组典型变量之间的相关系数,2023/10/9,77,原始变量与对应组典型变量之间的相关系数,2023/10/9,78,可以看出，所有五个表示职业特性的变量与u1有大致相同的相关系数，u1视为形容职业特性的指标。第一对典型变量的第二个成员v1与Y1，Y2，Y5，Y6有较大的相关系数，说明v1主要代表了主管满意度，事业前景满意度，公司地位满意度和工种满意度。而u1和v1之间的相关系数0.5537。,2023/10/9,79,Canonical Redundancy Analysis Raw Variance of the VAR Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.5818 0.5818 0.1784 0.1784 2 0.1080 0.6898 0.0060 0.1844 3 0.0960 0.7858 0.0014 0.1858 4 0.1223 0.9081 0.0006 0.1864 5 0.0919 1.0000 0.0003 0.1867 Raw Variance of the WITH Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.3721 0.3721 0.1141 0.1141 2 0.1222 0.4943 0.0068 0.1209 3 0.0740 0.5683 0.0011 0.1220 4 0.1289 0.6972 0.0007 0.1226 5 0.1058 0.8030 0.0003 0.1230,2023/10/9,80,u1和v1解释的本组原始变量的比率：X组的原始变量被u1到u5解释了100%Y组的原始变量被v1到v5解释了80.3%X组的原始变量被u1到u4解释了90.81%Y组的原始变量被v1到v4解释了69.72%,房地产指标典型相关分析报告 在对房地产指标的典型相关分析中建立了如下的指标体系：X1：开发公司个数（个）X2：年平均职工人数（人）X3：自开始建设至本年底累计完成投资X4：本年完成投资 X5：施工房屋面积（万平方米）Y1：经营总收入 Y2：土地转让收入Y3：商品房屋销售收入 Y4：房屋出租收入Y5：经营税金及附加 Y6：营业利润Y7：竣工房屋面积（万平方米）Y8：竣工房屋价值（万元）其中，X1-X5是反映房地产投入的变量，Y1-Y8是反映房地产产出的变量。数据来源于1999中国统计年鉴，选取了全国30个省市自治区的相应指标值（西藏和新疆两自治区因数据不全而删除,第一对典型变量中，U1主要受自开始建设至本年底累计完成投资影响，V1主要受经营总收入和商品房屋销售收入影响；第二对典型变量中，U2主要受自开始建设至本年底累计完成投资、本年完成投资和施工房屋面积影响，V2主要受经营税金及附加、竣工房屋面积和竣工房屋价值影响：第三对典型变量中，U3受各个指标影响都较大，V4主要受房屋出租收入、经营税金及附加和竣工房屋面积的影响；第四对典型变量中，U4主要受本年完成投资的影响，V4主要受经营总收入和工房屋价值的影响。第五对典型变量中，U5主要受开发公司个数影响，V4主要受经营总收入、商品房屋销售收入、房屋出租收入和经营税金及附加影响。但注意到，第一对典型变量的方差贡献率已达92.20%,故保留第一对典型变量用作分析，从而达到降维的目的。总的来说，房地产的投入变量主要受自开始建设至本年底累计完成投资影响，产出变量集中在经营总收入和商品房屋销售收入上。累计完成投资额与经营总收入，特别是商品房屋销售收入高度相关。,典型相关分析的基本思想：首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有最大相关性。如此下去，直至两组变量的相关性被提取完为止。本例想利用我国1999年城镇居民的家庭收入来源和消费性支出的数据了解我国居民消费构成及主要影响因素分析所用的数据来自：中国统计年鉴2000。,我国居民消费构成及主要影响因素,收入指标：X1可支配收入 X2实际收入 X3国有单位职工收入 X4集体单位职工收入 X5其他经济类型职工收入，X6转移收入 支出指标：Y1消费性支出 Y2食品 Y3衣着 Y4交通和通讯 Y5医疗和保健 Y6娱乐、教育、文化服务 Y7居住,序号 典型相关系数 典型变量1 0.990174 U1=0.9989X1+-0.0595X2+0.0776X3+0.0489X4-0.0931X5+0.0074X6 V1,2 0.868704 U2=-4.8668X1+0.1264X2+1.9585X3+0.3299X4+1.4095X5+2.6453X6,V2+1.0443Y5+0.8610Y6+0.0586Y7,由累计贡献率得知,第一组和第二组变量的累计贡献率已达到了97.56%,而且,这两组的系数和方差与其他组相比要大得多.即只需要前两组变量就已经可以解释全部信息的97.56%.在第一对典型变量中，U1 主要受可支配收入的影响，V1 主要受消费性支出的影响；可见实际收入对消费支出的影响远小于可支配收入的影响。居民消费主要依据其可支配收入而定。第二对典型变量中，U2 主要受国有单位职工收入、其他经济类型职工收入和转移收入的影响，V2 主要受食品、衣着、医疗和保健的影响。,2023/10/9,88,在此，可见我国集体单位的职工收入还不能够与国有甚至是其他经济类型的单位这职工收入相比，这也从一个侧面放反映了集体单位规模等方面的现状。再有就是我国居民食品和衣着方面的支出仍占了总支出的大部分，反映了我国居民总体收入水平还不够高；其次，医疗保健支出的比例比较大是可喜的，说明我国居民已经可以把部分精力放在了自己身体的调养上来，全国居民的总体健康状况在上升之中。让我们担忧的是在教育方面的支出所占比例太小，不符合现今世界发展对教育程度的要求。科技是第一生产力，如何提高国民的科技文化知识水平是当今的一大重点。在当代激烈的竞争中，没有知识的支撑是不行的。,2023/10/9,89,协整关系(cointegration),典型相关分析的应用-约翰森协整关系检验,2023/10/9,90,协整关系宏观经济变量的大多数，单个来观察的话，随着时间的推移它们呈现一种醉步（非平稳）的走势。如果把几个经济变量的走势图形放在一起观察的话，会发现它们的运动具有某种相似性（例如，消费和收入，进口和出口等）。这种现象的产生，引起了人们的兴趣，这种经济变量运动的相似性构成了协整概念的基础，,2023/10/9,91,定义（协整）：设YtI(1)，xtI(1)。如果存在常数b，使得YtbXt为I(0)（平稳时间序列）时，称Yt和Xt之间存在协整关系。上面提到当Yt和Xt均为非平稳时间序列Yt和Xt作回归时，要注意假相关问题的出现，但是当Yt和Xt之间存在协整关系时，不会产生这样的问题。,一、两个变量间协整的检验,2023/10/9,92,由协整的定义可以知道，协整的检验与单位根的检验分不开。关于协整关系的检验，这里只简单介绍一下利用回归残差进行检验的Engle-Granger方法(Engle and Granger8)具体步骤如下：第一步：设Yt和Xt之间存在以下的关系Yt=m+bXtut,用OLS对式作回归得到残差et。第二步：对残差et运用DF的单位根检验方法来判断ut的平稳性，如果得出utI(0)的结论，则称Yt和Xt之间存在协整关系。,2023/10/9,93,二、多重协整,当研究的变量在3个或3个以上时，我们仍然关心他们是否具有协整关系，即他们中构成协整关系的变量有几组。,1、多重协整的基本理论,设Yt是一个m维的非平稳时间序列,2023/10/9,94,当Yt是一个m维的非平稳时间序列I(1)时，如果存在某个mr的矩阵mr，mr 为列满秩。,成为I（0）过程，则称Yt在mr上具有r个协整关系。,使得,2023/10/9,95,2023/10/9,96,通过适当的变换，等价的模型为,其中：,2023/10/9,97,例 一阶自回归的情形,我们以一个一阶自回归过程为例，来讨论关于 协整的问题。,2023/10/9,98,当0，即，则rank()=0,容易得到Yt所有分量均为I（1），且没有协整关系。,2023/10/9,99,当0，即，且rank()=m，对方程,可见Yt本生就是平稳序列。,因为其左边是平稳的序列，右边也应该是平稳序列，是满秩矩阵，故,2023/10/9,100,当0，即，rank()=rm，根据线性代数的结论，有mr阶矩阵和列满秩矩阵，使,有 包含r个协整关系。,该模型成为误差校正模型。协整关系，调整系数。,2023/10/9,101,总结起来有三种情形：1、系数矩阵的秩为r时，Yt的分量间存在有r个协整组合，有m-r个组合仍为I（1）。2、当系数矩阵的秩为m时，Yt为I（0）向量。平稳的向量。3、当系数矩阵的秩为0时，Yt为I（1）向量，且不存在任何协整关系。至此，我们已经发现，讨论多重协整关系的问题，归于讨论 的秩的问题。,2023/10/9,102,约翰森（Johansen）检验提供了确定协整变量个数的方法，其方法的理论基础是典型相关分析。,2、协整变量的个数,其中：,2023/10/9,103,的秩=rm是我们讨论的关键。如果是已知的，问题是非常容易解决的。遗憾的是是一个未知参数矩阵，如何寻找的估计矩阵成了问题的焦点。Johansen提出了最大似然协整检验的方法，检验的思想是，从误差校正模型,我们看到是上面回归方程的系数矩阵，这就启发我们进一步讨论yt与yt-1之间的关系，进而讨论的秩的问题。,2023/10/9,104,Johansen检验的步骤：,第一步，拟合模型,这里约束了=0。残差记为t，t含有yt-1的信息。,第二步，拟合模型,模型的残差项记为ut，ut含有yt信息。,，,2023/10/9,105,实质上，两个回归模型的残差项分别从yt和yt-1排除了yt-1,yt-p+1的影响，使我们的注意力集中到了yt和yt-1的关系上。接下来的问题是是否可以分别在ut（含有yt的信息）和t（含有yt-1的信息）中各自找出一个线性组合，构成一对变量，且该对线性组合具有最大的相关性，类推找出所有可能的，相关性次强的线性组合对。这些线性组合的对数，即为协整变量的个数。,2023/10/9,106,第三步：Johansen检验,这不是单独的一个检验，而是一系列的检验，检验从=0开始。,（1）提出假设,H1：有+1个协整关系，即在t和ut中有+1对型变量相关性显著,=1,2,m；,H0：至多存在个协整关系，即在t和ut中有对 典型变量相关性显著；,2023/10/9,107,（2）构造检验的统计量,令 S00是t的协方差矩阵 S11是ut的协方差矩阵 S10是ut和t的协方差矩阵,2023/10/9,108,假设r=0时，根据典型相关分析的理论，,的特征根12m0是ut和t中m对典型变量（线性组合）相关系数的平方。是ut和t的协方差矩阵，如果ut和t无相关关系，则S01=0。Johansen检验的思想就是检验ut和t是否存在相关的典型变量和有几对相关性较大的典型变量。,2023/10/9,109,2023/10/9,110,如果ut和t无相关关系，S01=0，则,无协整关系,否则当很小时，支持备择假设，至少有一个协整变量。,2023/10/9,111,检验的统计量,当H0：r=0的情形下，接受原假设，则没有协整关系，如果拒绝原假设，则要进行下一步检验，即检验r=1时的情形。,H1：有2个协整关系，即在ut和vt中有2对典型变量相关性显著；,H0：至多存在1个协整关系，即在ut和vt中有1对典型变量相关性显著；,2023/10/9,112,检验的统计量为：,当r=1的情形下，接受原假设，则仅有一个协整变量，如果拒绝原假设，则要进行下一步检验，即检验r=2时。与此类推，当r=k的情形下，接受原假设，则有k个协整变量，如果拒绝原假设，则要进行下一步检验，即检验r=k+1时情况。,2023/10/9,113,（3）Johansen检验的实施,2023/10/9,114,Johansen检验要求，协整方程有5种，上面的对话框左侧：序列y或协整方程种无确定趋势项或无截距项；序列y无截距项且协整方程只有截距项；序列y或协整方程中只有截距项；序列y无趋势项和在协整方程既有截距项也有趋势项；序列y有线性趋势且在协整方程既有截距项也有趋势项。,2023/10/9,115,2023/10/9,116,2023/10/9,117,data data101;input x1-x5;label x1=力学(闭)x2=物理(闭)x3=代数(开)x4=分析(开)x5=统计(开);n=_n_;cards;77 82 67 67 81 63 78 80 70 8175 73 71 66 81 55 72 63 70 6863 63 65 70 63 53 61 72 64 7351 67 65 65 68 59 70 68 62 5662 60 58 62 70 64 72 60 62 4552 64 60 63 54 55 67 59 62 4450 50 64 55 63 65 63 58 56 3731 55 60 57 73 60 64 56 54 4044 69 53 53 53 42 69 61 55 4562 46 61 57 45 31 49 62 63 6244 61 52 62 46 49 41 61 49 6412 58 61 63 67 49 53 49 62 4754 49 56 47 53 54 53 46 59 4444 56 55 61 36 18 44 50 57 8146 52 65 50 35 32 45 49 57 6430 69 50 52 45 46 49 53 59 3740 27 54 61 61 31 42 48 54 6836 59 51 45 51 56 40 56 54 3546 56 57 49 32 45 42 55 56 4042 60 54 49 33 40 63 53 54 2523 55 59 53 44 48 48 49 51 3741 63 49 46 34 46 52 53 41 40;proc print data=data101;run;proc cancorr data=data101 vprefix=open wprefix=close;var x1 x2;with x3 x4 x5;run;,2023/10/9,118,