432第十五讲多元相关续.ppt

第十五讲 多元相关（续）,一、主成分分析,二、因子分析,三、典型相关分析,芭胯侄肥想技阔赣蚜翻篷岸峻碴层割畦植秆州季看纲啥魄贵淋委刊傈非卡432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,二、因子分析,因子分析法是用尽可能少的不可观测的所谓,的“公共因子”的线性函数与特定因子之和来描,述原来观测的每一分量。其目的是尽可能合理,地解释存在于原始变量之间的相关性，且简化,变量的维数与结构。,俏瓦钉季驹写码扮绢篙美亏诅夕逮脉站孺尹惨橱聂颜素掇攘锋歉愁拭构纺432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,（一）因子模型,模型,称为因子模型，其中假设,1.,是可观测的向量，且均,蝉化豆优吴浦严成创蕴楷统棠嗓笺活态续挥吏味窍钉镭头氦惧柞定岭锐肠432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,值,协方差阵 等于其相关,矩阵,2.,是不可观测的向,量，其均值,协方差阵是,3.,与 相互独立，且,的协方差阵为对角矩阵,晚啊顿霉碘卒赚只溜独襄棘憎道穿腑俯却亚鲜赫荔瘪动蛹驹挟劲敏扯庐郸432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,用矩阵可将因子模型表示为,其中 满足前面的三个假设条件，是,矩阵，即,模型中 叫做公共因子，它们是在各,个原变量的表达式中都共同出现的因子，是相,灭捧拈楼层卜际拨牺骂踢涧拓贴荚赚缆来脊色芽锚超衰肖滤司巾耐而惭托432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,互独立的不可观测的理论变量。,叫做特殊因子，是原单一变量,(各分量)所特有因子，各特殊因子之间以及特,殊因子与公共因子之间都是相互独立的。,矩阵 的元素 叫做因子载荷，当 的绝,对值大时()表明 与 的相依程度大，或,说公共因子 对于 的载荷量大，因此称 为,公共因子载荷量，简称因子载荷，而矩阵 称,跳宣彬托玖酌抖鬃舆春秤联柏孙斥簿渠刊绘胞畸忱贱始恼迸浪啦娩炙孵泪432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,为因子载荷矩阵。,所谓因子分析，就是如何从一组资料出发，,分析出公共因子与特殊因子来，并求出相应的,（二）因子载荷矩阵的统计意义,载荷矩阵，最后解释各个公共因子的含义。,1.因子载荷 的统计意义,因为,且,因此 既是 与 协方差，,秽习秧集石撰陋夕掌揭蔬援浅首险掀牌陛段玲刽透录团挣年契避屋寝靛惊432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,又是它们的相关系数，即就是说,是用来度量 可用 线性组合表示的,程度，这样称因子载荷 叫做权，表示 与,的依赖程度。,2.变量共同度的统计意义,称因子载荷矩阵 中各行的平方和,为变量 的共同度。由于,咀钎箔铀洲洪赃驶禄婶薄演厩右噪叛妮郁锑茧皑婿裙酞纸否惩裁矽宿好虐432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,即,上式表明变量 的方差有两部分组成：其一是,它是全部公共因子对于变量 的总方差所,作出的贡献；其二是,它是变量 的特殊因,子所产生的方差，仅与变量 的本身变化有关，,而与公共因子无关，常称为剩余方差。,磋够详脐逐愈拂蔼屉刨揉沥且店总跑胚向吧疾推佣谦凤宰痔轩剖即谈申辖432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,3.公共因子 的方差贡献统计意义,将载荷矩阵 的各列元素平方和,称为公共因子 对 的贡献。,（二）因子载荷矩阵得求法,脊裂弹澈侣掖洗绿浇胰台凶戳澎艇批蓉湛诉惕绵资沉诗头岳阅堑琉狸然牌432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,三、典型相关分析,典型相关分析是一种研究两个随机向量的,相关关系的统计方法。类似于主成分分析，它,是将两个随机向量的相关变为两个新随机变量,之间的相关来进行讨论，同时又尽可能保留原,变量的信息，即就是分别对两个随机向量构造,其分量的线性组合，并使两个线性组合所形成,梨雁水吨息摊欧编枝沪粮漫凋纬驰货狄成枫再翅豪梆励辫颜疲券获穷窥冒432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,为典型相关，形成的两个新变量为典型变量。,进而还可以在原两个随机向量中找出第二对线,性组合，使其与第一对线性组合不相关，而第,二对变量间又具有最大相关性。如此继续进行,下去直到两个随机向量间的相关性被提取完毕,为止。,两个随机变量具有最大的相关性，称这种相关,婿炔画相泉栅沉拈松参洞倍般羽瑚洞地时臀掩路皖掠氮捷潮甫嘿幽吨葫泪432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,（一）典型相关和典型变量,假设有两个随机向量,且,令,并将 改写成分块,矩阵,珍韵丝贝鞘宾麓贤脐蜜旋爪渐宦脊狙笑义绍竣弱脐绷颠茹姿领饮宛掇编永432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,其中,是,与 之间的协方差阵。,显然，当 时，有 成立。,令,其中 与 是两个待定的常向量，它们的选取原,则是在 与 已知的条件下，使得 与 的相,关系数达到最大。,逞城渐养课傍莱薄咱钨后玻扶祖苗左锥搜哄秸姚锄哮朴携颓占泊璃溉拨萝432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,由于,不妨假设,因此所讨论的问题,就转化为在约束,和,下求 与，使得目标函数,达到最大。,末瞻囊筒怀痛犀购咎拙爸走废膊啮撵忍菱酌被勒村乞揽样藏超声扯注琳四432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,定理20.1,在满足约束条件,和,下，使得相关系数,达到最大的 与 是齐次线性方程组,的非零解，其中 是矩阵,(或矩阵)的最大特征根。,锁强室狐菱允梁毒茬局仰臀研辱竣佯渔壁憨式施杜凡庙赤这斧抨釜冒孕侨432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,设已求出矩阵,的特征根为,由定理20.1可知，第一对典型相关变量为,其中 与 满足,且,舀沏褂饼肠予土晦半虽箔砷父腊任堪溺努汝窃甥钳戈瘪酗惮序藉岭凝刁口432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,此时，与 的相关系数为,重复以上过程可得第 对典型相关变量,与 满足,且,输哈邪狈府倡畔迫冈鹃焦捷漓祟贺黎驱孟扭鞭婿葬戏幅供巫内呵举洽麓舟432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,同样地有,即各对典型变量间是不相关的。,总结以上，可得求典型变量的过程如下：,1.求矩阵 的特征值，记为,炭旁哎颖你质具野如遣叙裹抬带粒坟栈炙梯圆纲差深便蜕冷汝象痴轩怔臀432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,对应的单位特征向量为,3.,第 对典型相关变量为,2.,令,靛颈处痞荔辈擎仅轴贼茬铆潭引磕晦护敞给票抉大酸眠纵事抗掀苟麦纷耍432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,（二）典型相关系数和典型相关变量的估计,在实际问题中，总体的均值 和 协方差阵,往往未知，应由 与 的样本,这时总体均值和协方差阵的估计分别为,哪猫糖曼哑椎吻锦比贰忍织猫井旋焊邑缓近翱稚佣兄脆锅匝五姚懒芹本恶432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,若 的秩为，非零特征根记为,对应的单位特征向量为,取,悄栽使摔垫糯哨沥统邹枉海贯引锣祖阀痪嚣板鬃罐妥乌先叠驱监大键冷剖432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,则第 对样本典型变量为,第 对样本典型变量的相关系数为,午爸江红泛太粟贿崭伐劈烦乌孵桑己彪狱撇晦犊芯徊孜禽卑难噪祈袖章栋432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,注：无论总体的均值和协方差阵是已知或未知，,若 分量的量纲不同或取值差异很大，,可考虑 标准化变量，再重复前面的方,法可求出标准化变量的典型变量，不再赘,述。,找到了 与 的典型变量后，进一步的工作,就是分析典型变量的实际意义，这只能结合具,体的实际例子才能给出合理的解释。,丈掺炭崇衷拥肤兆柔肌庄窝萤犁空添盾撅传虾呕伏舍揉拥锤卑峨苏败恿壳432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,例,对 个16岁的男孩进行体格检查，将,身高 和坐高 作为第一组变量，将体重 和,胸围 作为第二组变量，记,已知其样本协方差阵为,学灿抹滦豫裸株映苗爷镣晓轮墩疮敬躁抵扫鹅乌烬烫婿熟动玫致沪躇睁胯432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,试对 与 进行样本典型相关分析。,解,经计算可求得矩阵,特征根为,再求对应的单位特征向量，由,可得,烁斜删魄钎里奠箕透咏状提殃恢壮羽缸惶瘦好圭粕鞋刮唯粪蔼瓮奴抉剥琅432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,于是可得第一对样本典型变量为,对应的样本的典型相关系数为,这表,明身高与坐高之和同体重与胸围之差有较大的,依赖关系。,墩仍念姜紫哺驶意旗绪按鞋蓄栽蝗椒桨汗泥柞桐讼毙懈罐坏废军拖袜噪兄432-第十五讲 多元相关（续）432-第十五讲 多元相关（续）,