《主成分的性质》PPT课件.ppt

,小结 方差逐步减少的p个线性无关的主成分为:,写为矩阵形式：,3 主成分的性质,1.主成分向量的均值和协方差矩阵2.主成分的总方差 3.原始变量Xi与主成分Fk之间的相关系数4.原始变量被主成分的提取率 5.原始变量对主成分的影响,1.主成分向量的均值和协方差矩阵,协方差矩阵V(F)=其中=diag(1,2,p)，即V(Fi)=i,i=1,2,p，且F1,F2,Fp互不相关。,均值,2.主成分的总方差,由于所以 或,总方差中属于第i主成分Fi（或被Fi所解释）的比例为：称为主成分Fi的贡献率。第一主成分F1的贡献率最大，表明它解释原始变量 X1,X2,Xp的能力最强，而F2,F3,Fp的解释能力依次递减。主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。,前m个主成分的贡献率之和称为主成分F1,F2,Fm的累计贡献率，它表明F1,F2,Fm解释X1,X2,Xp的能力。通常取（相对于p）较小的m，使得累计贡献达到一个较高的百分比（如8090）。此时，F1,F2,Fm可用来代替X1,X2,Xp，从而达到降维的目的，同时信息的损失却不多。,我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，Fk（kp）代替原来的p个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。,8,3、原始变量与主成分之间的相关系数,9,可见，和 的相关的密切程度取决于对应线性组合系数的大小。,10,4、原始变量被主成分的提取率,前面我们讨论了主成分的贡献率和累计贡献率，他们度量了F1，F2，Fm分别从原始变量X1，X2，Xp中提取了多少信息。那么X1，X2，Xp各有多少信息分别F1，F2，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，Xp的关系时，可以讨论F1分别与X1，X2，Xp的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。,如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为：,是Fj 能说明的第i 原始变量的方差;,是Fj 提取的第i 原始变量信息的比重.,4、原始变量被主成分的提取率,例1 设 的协方差矩阵为:,解得特征根为:,第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。,5.原始变量对主成分的影响,Fk=t1kX1+t2kX2+tpkXp 称tik为第k主成分Fk在第i个原始变量Xi上的载荷，它度量了Xi对Fk的重要程度。在解释主成分时，我们需要考察载荷，同时也应考察一下相关系数。方差大的那些变量与具有大特征值的主成分有较密切的联系，而方差小的另一些变量与具有小特征值的主成分有较强的联系。通常我们取前几个主成分，因此所取主成分会过于照顾方差大的变量，而对方差小的变量却照顾得不够。,例2 设X=(X1,X2,X3)的协方差矩阵为经计算，的特征值及特征向量为1=109.793，2=6.469，3=0.738 相应的主成分分别为:F1=0.305X1+0.041X2+0.951X3F2=0.944X1+0.120X20.308X3F3=0.127X1+0.992X20.002X3,可见，方差大的原始变量X3在很大程度上控制了第一主成分F1，方差小的原始变量X2几乎完全控制了第三主成分F3，方差介于中间的X1则基本控制了第二主成分F2。F1的贡献率为这么高的贡献率首先归因于X3的方差比X1和X2的方差大得多，其次是X1,X2,X3相互之间存在着一定的相关性。F3的特征值相对很小，表明X1,X2,X3之间有这样一个线性依赖关系：0.127X1+0.992X20.002X3c其中c=0.1271+0.99220.0023为一常数。,4 主成分分析的步骤,在实际问题中，X的协方差通常是未知的，样品有,第一步：由X的协方差阵x，求出其特征根，即解方程，可得特征根。,一、基于协方差矩阵,第二步：求出分别所对应的特征向量U1，U2，Up，,第三步：计算累积贡献率，给出恰当的主成分个数。,第四步：计算所选出的k个主成分的得分。将原始数据的中心化值:代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。,一、基于协方差矩阵,二、基于相关系数矩阵 如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。,21,从R出发的主成分性质,(1)E(F*)=0，V(F*)=*，其中。(3)变量 与主成分 之间的相关系数即有,因此，在解释主成分 时，由相关矩阵R求得的载荷 和相关系数 所起的作用是完全相同的，只需选其一用来作主成分解释即可。(4)主成分 对变量 的贡献率(5)。,例3 在例2中，X的相关矩阵R的特征值及特征向量为相应的主成分分别为:,的贡献率为 和 累计贡献率为现比较本例中从R出发和例2中从 出发的主成分计算结果。从R出发的 的贡献率0.705明显小于从出发的F1的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显。可用标准化前的原变量表达如下：,可见，在原变量X1,X2,X3上的载荷相对大小与例2中Fi在X1,X2,X3上的载荷相对大小之间有着非常大的差异。这说明，标准化后的结论完全可能会发生很大的变化，因此标准化不是无关紧要的。,根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。1主成分分析能降低所研究的数据空间的维数。即用研究m维的F空间代替p维的X空间(mp)，而低维的F空间代替 高维的X空间所损失的信息很少。即：使只有一个主成分Fl(即 m1)时，这个Fl仍是使用全部X变量(p个)得到的。例如要计算Fl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。,6 主成分分析的应用,27,2有时可通过因子负荷aij的结构，弄清X变量间的某些关系。3.多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位。,28,4由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。5用主成分分析筛选回归变量。回归变量的选择有着重要的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。,29,例4 在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高（x1）、坐高（x2）、胸围（x3）、手臂长（x4）、肋围（x5）和腰围（x6）。所得样本相关矩阵列于表1。,表1 男子身材六项指标的样本相关矩阵,经计算，相关阵 的前三个特征值、相应的特征向量以及贡献率列于表2。,表2 的前三个特征值、特征向量以及贡献率,前三个主成分分别为从表2中可以看到，前两个主成分的累计贡献率已达78.2，前三个主成分的累计贡献率达85.9，因此可以考虑只取前面两个或三个主成分，它们能够很好地概括原始变量。第一主成分 对所有（标准化）原始变量都有近似相等的正载荷，故称第一主成分为（身材）大小成分。,第二主成分 在 上有中等程度的正载荷，而在 上有中等程度的负载荷，称第二主成分为形状成分（或胖瘦成分）。第三主成分 在 上有大的正载荷，在 上有大的负载荷，而在其余变量上的载荷都较小，可称第三主成分为臂长成分。由于第三主成分的贡献率不高（7.65）且实际意义也不太重要，因此我们一般可考虑取前两个主成分。由于 非常小，所以存在共线性关系：,例5 如下八项男子径赛运动记录：x1：100米（秒）x5：1500米（分）x2：200米（秒）x6：5000米（分）x3：400米（秒）x7：10000米（分）x4：800米（秒）x8：马拉松（分）,表3 八项男子径赛运动记录的样本相关矩阵,表4 的前三个特征值、特征向量以及贡献率,例6 对数据的相关矩阵进行主成分分析。经计算，x1,x2,x8的样本相关矩阵 列于表5。的前三个特征值、特征向量以及贡献率列于表6。,表5 消费性支出八个变量的样本相关矩阵,表6 的前三个特征值、特征向量以及贡献率,表7 按第一主成分排序的31个地区,表8 按第二主成分排序的31个地区,实例分析与计算机实现,一 主成分分析实例,二 利用SPSS进行主成分分析,一、主成分分析实例,表9是某市工业部门13个行业的8项重要经济指标的数据，这8项经济指标分别是：X1：年末固定资产净值，单位：万元；X2：职工人数据，单位：人；X3：工业总产值，单位：万元；X4：全员劳动生产率，单位：元/人年；X5：百元固定资产原值实现产值，单位：元；X6：资金利税率，单位：%；X7：标准燃料消费量，单位：吨；X8：能源利用效果，单位：万元/吨。,表9 某市工业部门13个行业8项指标,我们要考虑的是：如何从这些经济指标出发，对各工业部门进行综合评价与排序？我们先计算这些指标的主成分，然后通过主成分的大小进行排序。表10和表11分别是特征根（累计贡献率）和特征向量的信息。利用主成分得分进行综合评价时，从特征向量我们可以写出所有8个主成分的具体形式：,表6.10 特征根和累计贡献率,表6.11 特征向量,表6.12 各行业主成分得分及排序,我们以特征根为权，对8个主成分进行加权综合，得出各工业部门的综合得分，具体数据见表6.12。综合得分的计算公式是：根据上式可计算出各工业部门的综合得分，并可据此排序。从上表可以看出，机器行业在该地区的综合评价排在第一，原始数据也反映出机器行业存在明显的规模优势，另外从前两个主成分得分上看，该行业也排在第一位，同样存在效益优势；而排在最后三位的分别是皮革行业、电力行业和煤炭行业。,二、利用SPSS进行主成分分析,SPSS没有提供主成分分析的专用功能，只有因子分析的功能。但是因子分析和主成分分析有着密切的联系。因子分析的重要步骤因子的提取最常用的方法就是“主成分法”。利用因子分析的结果，可以很容易地实现主成分分析。具体来讲，就是利用因子载荷阵和相关系数矩阵的特征根来计算特征向量。即：其中，zij为第j个特征向量的第i个元素；aij为因子载荷阵第i行第j列的元素；j为第j个因子对应的特征根。然后再利用计算出的特征向量来计算主成分。以下是我国2005年第1、2季度分地区城镇居民家庭收支基本情况。通过这个例子，介绍如何利用SPSS软件实现主成分分析。,表6.13 分地区城镇居民家庭收支基本情况,表6.13 分地区城镇居民家庭收支基本情况,（一）利用SPSS进行因子分析将原始数据输入SPSS数据编辑窗口，将5个变量分别命名为X1X5。在SPSS窗口中选择AnalyzeData ReductionFactor菜单项，调出因子分析主界面，并将变量X1X5移入Variables框中，其他均保持系统默认选项，单击OK按钮，执行因子分析过程。得到如表14所示的特征根和方差贡献率表和表15所示的因子载荷阵。表14中Total列为各因子对应的特征根，本例中共提取两个公因子；%of Variance列为各因子的方差贡献率；Cumulative%列为各因子累积方差贡献率，由表中可以看出，前两个因子已经可以解释79.31%的方差。,图1 因子分析主界面,表14 特征根和方差贡献率表,（二）利用因子分析结果进行主成分分析1.将表15中因子载荷阵中的数据输入SPSS数据编辑窗口，分别命名为a1和a2。,表15 因子载荷阵,2.为了计算第一个特征向量，点击菜单项中的TransformCompute，调出Compute variable对话框，在对话框中输入等式：z1=a1/SQRT(2.576)点击OK按钮，即可在数据编辑窗口中得到以z1为变量名的第一特征向量。再次调出Compute variable对话框，在对话框中输入等式：z2=a2/SQRT(1.389)点击OK按钮，得到以z2为变量名第二特征向量。这样，我们得到了如表6.8所示的特征向量矩阵。,图2 Compute variable对话框,根据表16可以得到主成分的表达式：3.再次使用Compute命令，就可以计算得到两个主成分。,表16 特征向量矩阵,EXERCISES,8.1;8.2;8.3；8.19；8.21；,