《主成分分析 》PPT课件.ppt

《《主成分分析 》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《主成分分析 》PPT课件.ppt（58页珍藏版）》请在三一办公上搜索。

1、CH.10 主成分分析,主成分分析主成分回归立体数据表的主成分分析,一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。,1 基本思想,在进行主成分分析后，竟以97.4的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收

2、入变化率I以及时间t因素做相关分析，得到下表：,主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。,主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。,(1)基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数

3、矩阵的主成分分析。,在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。要讨论的问题是：,（2）选择几个主成分。主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。（3）如何解释主成分所包含的经济意义。,2 数学模型与几何解释,假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的

4、问题，而这些新的指标F1，F2，Fk(kp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。,这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。,满足如下的条件：,主成分之间相互独立，即无重叠的信息。即,主成分的方差依次递减，重要性依次递减，即,每个主成分的系数平方和为1。即,主成分分析的几何解释,平移、旋转坐标轴,主成分分析的几何解释,平移、旋转坐标轴,主成分分析的几何解释,平移、旋转坐标轴,主成分分析的几何解释,平移、旋转坐标轴,为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量

5、xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。,如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。,根据旋转变换的公式：,旋转变换的目的是为了使得n个样品点在Fl轴方向上的离 散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，

6、即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。,Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。,3 主成分的推导及性质,一、两个线性代数的结论,1、若A是p阶实对称阵，则一定可以找到正交阵U，使,其中 是A的特征根。,2、若上述矩阵的特征根所对应的单位特征向量为,则实对称阵 属于不同特征根所

7、对应的特征向量是正交的，即有,令,二、主成分的推导,（一）第一主成分,设X的协方差阵为,由于x为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得,其中1，2，p为x的特征根，不妨假设1 2 p。而U恰好是由特征根相对应的特征向量所组成的正交阵。,下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。,设有P维正交向量,当且仅当a1=u1时，即 时，有最大的方差1。因为Var(F1)=U1xU1=1。如果第一主成分的信息不够，则需要寻找第二主成分。,（二）第二主成分,在约束条件 下，寻找第二主成分,因为所以,则，对p维向量，有,所以如果取线性变换：,则 的

8、方差次大。,类推,写为矩阵形式：,4 主成分的性质,一、均值,二、方差为所有特征根之和,说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。协方差矩阵的对角线上的元素之和等于特征根之和。,三、精度分析,1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。,2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。,我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，Fk（kp）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个

9、数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。,四、原始变量与主成分之间的相关系数,可见，和 的相关的密切程度取决于对应线性组合系数的大小。,五、原始变量被主成分的提取率,前面我们讨论了主成分的贡献率和累计贡献率，他度量了F1，F2，Fm分别从原始变量X1，X2，XP中提取了多少信息。那么X1，X2，XP各有多少信息分别F1，F2，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，XP的关系时，可以讨论F1分别与X1，X2，XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系

10、数的平方。,如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为：,是Fj 能说明的第i 原始变量的方差,是Fj 提取的第i 原始变量信息的比重,例 设 的协方差矩阵为,解得特征根为，,，,第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。,定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。,(该题无公共因子）,六、载荷矩阵,5 主成分分析的步骤,在 实际问题中，X的协方差通常是未知的，样品

11、有 的,第一步：由X的协方差阵x，求出其特征根，即解方程，可得特征根。,一、基于协方差矩阵,第二步：求出分别所对应的特征向量U1，U2，Up，,第三步：计算累积贡献率，给出恰当的主成分个数。,第四步：计算所选出的k个主成分的得分。将原始数据的中心化值:代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。,二、基于相关系数矩阵 如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。,例子（中学生身体四项指标的主成分分析）,在某中学随机抽取某年级30名学生，测量起身高（X1），体重（X2），胸围（X3）和坐高（X4），数据

12、如下表。试对这30名中学生身体四项指标数据做主成分分析。,对数据的相关阵作主成分分析，有,pr.stud summary(pr.stud,loadings=TRUE)Importance of components:Comp.1 Comp.2 Comp.3 Comp.4Standard deviation 1.8817805 0.55980636 0.28179594 0.25711844Proportion of Variance 0.8852745 0.07834579 0.01985224 0.01652747Cumulative Proportion 0.8852745 0.96362

13、029 0.98347253 1.00000000Loadings:Comp.1 Comp.2 Comp.3 Comp.4X1-0.497 0.543-0.450 0.506X2-0.515-0.210-0.462-0.691X3-0.481-0.725 0.175 0.461X4-0.507 0.368 0.744-0.232 其中Standard deviation为主成分的标准差，即方差的开方，也就是相应的特征值的开方。Proportion of Variane表示方差的贡献率，而Cumulative Proportion表示方差的累计贡献率。Loadings=FALSE或缺省就不列出l

14、oadings。,分析：从主成分分析结果可看出前两个主成分的累计贡献率高达96%,选择两个主成分。第一个主成分对应系数的符号都相同，其值在0.5左右，反映了中学生身材的魁梧程度，身材高大的学生，他的四个部分的尺寸都比较大，因此第一主成分的值就较小。而身材矮小的同学他的四部分都比较小，第一主成分的值较大。第一主成分为大小因子。第二主成分是高度和围度之差，比较大表明该学生细高，比较小为“矮胖”，称第二因子为形体因子。看一下各样本的主成份值,画第一个主成分的散点图，可看出10,11，15，29值较大,说明学生比较瘦小,而3,5,25值较小,说明学生比较高大.predict(pr.stud)-scor

15、eplot(1:30,score,1)plot(1:30,score,2),从这个图很容易看出,那些学生属于高大魁梧型,比如25号学生,3,5号学生,那些学生属于高瘦型比如23,19,4.等等.,根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。1主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(mp)，而低维的Y空间代替 高维的x空间所损失的信息很少。即：使只有一个主成分Yl(即 m1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。在所选的前m个主成分中，如果

16、某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。,6 主成分分析主要有以下几方面的应用,2有时可通过因子负荷aij的结构，弄清X变量间的某些关系。3.多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位。,4由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。5用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。,