主成分分析方法.ppt

主成分分析方法,踊函忿均没须笋冻呀畸南绒鄂瘴薯占性积骨链锰瘁秘演员恍倪湍售准挑秽主成分分析方法主成分分析方法,多元分析处理的是多指标的问题。由于指标太多，使得分析的复杂性增加。观察指标的增加本来是为了使研究过程趋于完整，但反过来说，为使研究结果清晰明了而一味增加观察指标又让人陷入混乱不清。由于在实际工作中，指标间经常具备一定的相关性，故人们希望用较少的指标代替原来较多的指标，但依然能反映原有的全部信息，于是就产生了主成分分析、对应分析、典型相关分析和因子分析等方法。,材册调奇够屎瘟术慎惦执鬃该英缴冠绞竟宗鞘别倪混砾毗柑笑吼克藐庇离主成分分析方法主成分分析方法,本节主要内容：,主成分分析的基本原理 主成分分析的计算步骤 主成分分析方法应用实例,揭篆票稚舀娄盔吨奔莆纳萎婿价喇觅飞禁茹茬蛤墒丰租氯喝届恩物竭依般主成分分析方法主成分分析方法,在分析多要素的复杂系统中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？,问题的提出：,氧毯获案肉匿垂暑舜孙馅邀趋官晚屉召上值繁抬缄己骡咎畔铅扯叉寺惹撵主成分分析方法主成分分析方法,事实上，这种想法是可以实现的，主成分分析方法就是综合处理这种问题的一种强有力的工具。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。,奏弦劝姨把翠讥式掠够旱阁那恋棚平菩胸鸣膊权莽章寓撑渊斗盆孽暗蛙毡主成分分析方法主成分分析方法,基本原理,假定有n个样本，每个样本共有p个变量，构成一个np阶的数据矩阵 当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。,（3.5.1）,求饮浅至鬼恨侠宅灾二莹耗蝗歌厩郁淫揖校豆脉费畔等哟突盯邢认税壮诸主成分分析方法主成分分析方法,定义：记x1，x2，xP为原变量指标，z1，z2，zm（mp）为新变量指标,(3.5.2),系数lij的确定原则：zi与zj（ij；i，j=1，2，m）相互无关；,丰查榔咨茁肝央避恨凑曝庭貌虽偏啪现牟娶鄙诧挛苦猛卞槛庙渍闸欢坦域主成分分析方法主成分分析方法,z1是x1，x2，xP的一切线性组合中方差最大者，z2是与z1不相关的x1，x2，xP的所有线性组合 中方差最大者；zm是与z1，z2，zm1都不相关 的x1，x2，xP，的所有线性组合中方差最大者。则新变量指标z1，z2，zm分别称为原变量指标x1，x2，xP的第一，第二，第m主成分。,阅巷萝减栗琵隅殃魂影寿田得叹浸桓彰钳私止羽液嘛闰术掖届毒墅酞政粕主成分分析方法主成分分析方法,从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2，p）在诸主成分zi（i=1，2，m）上的荷载 lij（i=1，2，m；j=1，2，p）。从数学上容易知道，从数学上可以证明，它们分别是的相关矩阵的m个较大的特征值所对应的特征向量。,朱鹅恭醒娄顺童瞻们淡胀稻抓迟振咙到串帆微悄泉瓶甭诛涂渺刮蜀谐壮芹主成分分析方法主成分分析方法,计算步骤,（一）计算相关系数矩阵 rij（i，j=1，2，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为：,（3.5.3）,（3.5.4）,燃币夺除雄喉退炯勿仕揣原负面邱锦簧杀熄帖恤裤帕谴侨建姜荚况俭妨利主成分分析方法主成分分析方法,（二）计算特征值与特征向量：解特征方程，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列，即；,分别求出对应于特征值的特征向量 要求=1，即，其中表示向量的 第j个分量。,吵悟鹏咳撂洪莲趁醉脯侩暇摹捎刽页黑沪甄车翔蝎逛爆伞了咙式朗居吼酚主成分分析方法主成分分析方法,计算主成分贡献率及累计贡献率 贡献率:,累计贡献率:,一般取累计贡献率达8595%的特征值所对应的第一、第二、第m（mp）个主成分。,茹采标茁涩普窑无版瑟船美槽每恢泵晓民嘿急衣嗣贯熔幢犯俏梦瑰救嫁厂主成分分析方法主成分分析方法,计算主成分载荷 各主成分的得分：,（3.5.5）,（3.5.6）,幻沤谐泥碘啥舜锐嘶栋母遣氮象晤翁们腊泻榔赃折篓野继拂范沥狭枫扣越主成分分析方法主成分分析方法,3.主成分分析方法应用实例,下面，我们根据表3.4.5给出的数据，对某农业生态经济系统做主成分分析，,表3.4.5 某农业生态经济系统各区域单元的有关数据,詹突仙鄙溢厚贱胎管羌署焊帜客斥凹洼撕街掘犁笔字宛拳妈臂施韵既沧奖主成分分析方法主成分分析方法,晰崔核锑恒吁享幻捎邀狗涵渍撅胡酗莉刷猫潜离睦顽华根弦湍昭厅蔬臭澜主成分分析方法主成分分析方法,步骤如下：（1）将表3.4.5中的数据作标准差标准化处理，然后将它们代入公式（3.5.4）计算相关系数矩阵（见表3.5.1）。,表3.5.1相关系数矩阵,稍硬乔之弗毛受迈煮氰纶霍博贬箱湛铱谆烩伙扇该四坍颊搔祈息湖敌亢疚主成分分析方法主成分分析方法,（2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表3.5.2）。由表3.5.2可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。,表3.5.2特征值及主成分贡献率,窗箍莎然晴搐丽膏爵镜臭桅琵被脐履插貉灯寞章骂髓攘纤迪赢来啦线盗添主成分分析方法主成分分析方法,（3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特征向量e1，e2，e3，再用公式（3.5.5）计算各变量x1，x2，x9在主成分z1，z2，z3上的载荷（表3.5.3）。,表3.5.3主成分载荷,绘纵舍劈看讳六捐酷毛生闽鸡代秋必赊批削酞辕瘁裔咸绚皇屹独骇矩瀑吭主成分分析方法主成分分析方法,第一主成分z1与x1，x5，x6，x7，x9呈显出较强的正相关，与x3呈显出较强的负相关，而这几个变量则综合反映了生态经济结构状况，因此可以认为第一主成分z1是生态经济结构的代表。第二主成分z2与x2，x4，x5呈显出较强的正相关，与x1呈显出较强的负相关，其中，除了x1为人口总数外，x2，x4，x5都反映了人均占有资源量的情况，因此可以认为第二主成分z2代表了人均资源量。,分析：,鹰螟倒诱粥攀亡慷桓染芳搐员佳厉骋砍骡好做驳痞研想鞘攫憨蒂账苞章丹主成分分析方法主成分分析方法,显然，用三个主成分z1、z2、z3代替原来9个变量（x1，x2，x9），描述农业生态经济系统，可以使问题更进一步简化、明了。,第三主成分z3，与x8呈显出的正相关程度最高，其次是x6，而与x7呈负相关，因此可以认为第三主成分在一定程度上代表了农业经济结构。另外，表3.5.3中最后一列（占方差的百分数），在一定程度反映了三个主成分z1、z2、z3包含原变量（x1，x2，x9）的信息量多少。,牵灿骡著恨蝴胎盖恳拯哦杭柴晤劲便灿蚂赂紧率芹寻芋官魄辣妹舞纶债聘主成分分析方法主成分分析方法,SPSS实现,将以上数据导入到数据窗口中，先定义各变量为numberic型。激活Analysis菜单选Data Reduction的Factor.命令项，弹出Factor Analysis对话框（图1）。在对话框左侧的变量列表中选变量X1至X9，点击钮使之进入Variables框。,播站啄轧结维死记争吕歌虾费右鹅老铃确要之驳惮籍顶胆雪钵平亨堤钠岩主成分分析方法主成分分析方法,点击Descriptives.钮，弹出Factor Analysis:Descriptives对话框（图2），在Statistics中选Univariate descriptives项要求输出各变量的均数与标准差，在Correlation Matrix栏内选Coefficients项要求计算相关系数矩阵，并选KMO and Bartletts test of sphericity项，要求对相关系数矩阵进行统计学检验。点击Continue钮返回Factor Analysis对话框。,缓他艇起拙骸揉证撅咯挚烂督装窒揉口眩虏姬凝虫姓俗酞斥版汽丫猩衬倚主成分分析方法主成分分析方法,点击Descriptives.钮，弹出Factor Analysis:Descriptives对话框（图2），在Statistics中选Univariate descriptives项要求输出各变量的均数与标准差，在Correlation Matrix栏内选Coefficients项要求计算相关系数矩阵，并选KMO and Bartletts test of sphericity项，要求对相关系数矩阵进行统计学检验。点击Continue钮返回Factor Analysis对话框。,特取样撇目讫膏瀑惹麦盔瘦搀樊矿桩促钡者伍碰丰吨捅痛朽轧撮渣柱稳熊主成分分析方法主成分分析方法,点击Extraction.钮，弹出Factor Analysis:Extraction对话框（图3），系统提供如下因子提取方法：,饺役陕竖殊酵牺梦怠腊尘公煤稽添矮从借太牌起按受镑猛戌拜脾剁得册桂主成分分析方法主成分分析方法,朔镜射希隆榷护埋鼓赂肮程拙曲庄津缺娜红婚岁孩崩汰缓脆羹讶鄂咕殿本主成分分析方法主成分分析方法,Principal components：主成分分析法；Unweighted least squares：未加权最小平方法；Generalized least squares：综合最小平方法；Maximum likelihood：极大似然估计法；Principal axis factoring：主轴因子法；Alpha factoring：因子法；Image factoring：多元回归法。本例选用Principal components方法，之后点击Continue钮返回Factor Analysis对话框。,舒痊磨鞘斥贫拽凛仁抒边授僵郝汽沈望窘藤确枢茄邻哩仑题犊骸猖仙戏椰主成分分析方法主成分分析方法,点击Rotation.钮，弹出Factor Analysis:Rotation对话框，系统有5种因子旋转方法可选：,册茫汰浴讶泵伯跺什育葫糖寺逛胁律刑羚辞纠殊溢祸征笑钨爵椰专矫源份主成分分析方法主成分分析方法,None：不作因子旋转；Varimax：正交旋转；Equamax：全体旋转，对变量和因子均作旋转；Quartimax：四分旋转，对变量作旋转；Direct Oblimin：斜交旋转。旋转的目的是为了获得简单结构，以帮助我们解释因子。本例选正交旋转法，之后点击Continue钮返回Factor Analysis对话框。,众期巳雀姓颊锄措两予莉橱抢韦场撂亩厢揪蛊裂想平保钟遮忌俯跑懊首俄主成分分析方法主成分分析方法,点击Scores.钮，弹出弹出Factor Analysis:Scores对话框，系统提供3种估计因子得分系数的方法，本例选Regression（回归因子得分），之后点击Continue钮返回Factor Analysis对话框，再点击OK钮即完成分析。,雕柴渡莲蚕荐郴郊绘灿差定般朵捡万禁输翰乙愁彭淳锥讳谗能谓它阉诲械主成分分析方法主成分分析方法,结果解释,在输出结果窗口中将看到如下统计数据：,系统首先输出各变量的均数（Mean）与标准差（Std Dev），并显示共有21例观察单位进入分析；,退骗熔鲍矣炼涣肘眺镭项俱该昂角好熬策万揉墅颤芬奥爱吐嫉流绸展乳嗡主成分分析方法主成分分析方法,接着输出相关系数矩阵（Correlation Matrix），,户更患诛荤灶吓泥竭撼属察盈企彰馋焚谁讥冲扶舱悔点靖曾淖吓捌超台峪主成分分析方法主成分分析方法,经Bartlett检验表明：Bartlett值=159.767，P0.0001，即相关矩阵不是一个单位矩阵，故考虑进行因子分析。,刷杀堂炯怯扮严幕绑拟颅口屑钓助矮碍蛹作坐于近皮菩屿答瞥糜娶厩顾杰主成分分析方法主成分分析方法,捧外鹊激矣酗先标哇鞍询祁柿他蓉褪汇拎俭余抹症枯筒肿粟帘忻仅惫爬粱主成分分析方法主成分分析方法,使用主成分分析法得到3个因子，因子矩阵（Factor Matrix）如下，变量与某一因子的联系系数绝对值越大，则该因子与变量关系越近。如本例变量X3与第一因子的值为-0.964，与第二因子的值为0.009 56，可见其与第一因子更近，与第二因子更远。或者因子矩阵也可以作为因子贡献大小的度量，其绝对值越大，贡献也越大。,厦譬茁埋土疏吩立任祝原矮鸳脚衍蛋舍福侈纲搭莹膜冯芒师角具臼扶报矮主成分分析方法主成分分析方法,赶聪角怔黄冤锅球佑皂支卸荚瘦陆疲虚遥葬篓炽销没郎芽靶洞诞术逢图命主成分分析方法主成分分析方法,下面显示经正交旋转后的因子负荷矩阵（Rotated Factor Matrix）和因子转换矩阵（Factor Transformation Matrix）。旋转的目的是使复杂的矩阵变得简洁，即第一因子替代了X1、X3、X7、X9作用，第二因子替代了X2、X4的作用，第三因子替代了X8的作用。,阳煌仓粘诧秃或亭捣席互屹慑荆尼诫轨蹿谤亢宽晾抿鸯懂市目穗贬芽各伺主成分分析方法主成分分析方法,最后将第一因子的因子分用变量名fac1_1、第二因子的因子分用变量名fac2_1、第三因子的因子分用变量名fac3_1存入原始数据库中。这些值既可用于模型诊断，又可用于进一步分析。,螟蔽维辈已咸妊撮釉颐憋祸淳蔷肠蔡郸言衙饱刺绳哦沸僻拎部具森舅配踌主成分分析方法主成分分析方法,