《主成分分析杨》PPT课件.ppt
主成分分析,Principal Component Analysis,什么是主成分分析,主成分分析是一种把多个指标综合为少数几个指标的统计方法。,主成分分析的功能,简化数据，或者叫降维。揭示变量之间的关系。进行统计解释。,主成分分析的应用例子,一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。,主成分分析的应用例子,在进行主成分分析后，竟以97.4的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率 以及时间t因素做相关分析，得到下表：,1 总体主成分,假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，Xp，它们组成一个随机向量，记为：,向量的协方差矩阵,一般向量的协方差矩阵,设 是一个随机向量，若 和 的协方差 存在，则 的协方差矩阵为：,总体主成分的定义,考虑这P个随机变量的特殊的线性组合：,总体主成分的定义,令,总体主成分的定义,将这个线性组合表示为：且 为协方差矩阵 的第 个特征根 对应的单位正交特征向量，称 为 的第 个（总体）主成分。,总体主成分的定义,所谓单位正交特征向量是指,总体主成分的性质,（1）主成分之间不相关。可计算（2）达到最大的单位向量。且可计算,总体主成分的性质,（3）主成分组成的随机向量记为：则其中 即A为特征向量组成的矩阵且为正交阵：还有，的协方差阵为对角矩阵：,总体主成分的性质,（）系统总方差不变，即这样，存在m(mp)使即原始变量提供的总信息（总方差）可用前m个主成分所提供的信息来近似。,主成分的贡献率,在误差容许的范围内，可挑选合适的m(mp)，用个m主成分代替p个原始变量，就会达到降维的目的。我们称 为主成分 的贡献率。称 为主成分 的累积贡献率。注：通常取使累积贡献率达到75%以上的m个主成分就可以了。,总体主成分的性质,主成分与原始变量的相关系数：称 为因子载荷量，全部因子载荷量组成一个方阵叫因子载荷矩阵。,总体主成分的性质,（5）因子载荷矩阵各行之平方和：（6）因子载荷矩阵各列之加权平方和：,另一种贡献率,前m个主成分对某原始变量 的贡献率：注：两种贡献率不同。,主成分的两个例子,例1 设随机向量的协方差矩阵为：试求主成分。,主成分的两个例子,例2 设随机向量的协方差矩阵为：试求主成分及贡献率。,2 标准化变量的主成分,原始变量的计量单位改变之后，可能导致主成分发生变化，因此有必要标准化：将 标准化为计算公式为,标准化变量的主成分,标准化的随机向量的协方差矩阵与原始随即向量的相关矩阵相等：所以，可由相关阵出发求出 的主成分。,标准化变量主成分的性质,（1）系统的总信息量为：（2）相关系数为：标准化后的因子载荷矩阵为:,标准化后的因子载荷矩阵,标准化变量主成分的例子,例3 设 的协方差矩阵 和相关矩阵 分别为：对比其主成分。,3 样本主成分,在实际问题中,总体随机变量的协方差矩阵和相关矩阵都是未知的,需要抽样估计,这样就得到了样本主成分。假设对的第一次观测得到第二次观测得到一般地，第t次观测得到各次观测值也叫样品。,样本数据矩阵,共有个数据，用一个样本数据矩阵表示：,样本主成分,由此可以计算样本均值，样本协方差矩阵，样本相关矩阵等。可以利用样本相关矩阵求得标准化变量的样本主成分，作为主体主成分的一个估计。假定已经得到了样本主成分：注：这里假设变量和观测数据已标准化。,样本主成分得分矩阵,将每一次观测数据代入上式右端，得到个数据：可组成样本主成分得分矩阵：,各次观测值样本主成分得分,还可由主成分与原始变量的关系得到：详细写出来：,各次观测值的样本主成分得分,将样本数据矩阵的各行分别代入上式，得各次观测值（也叫样品）的样本主成分得分，如为第一次观测值的的分值，等等。注：贡献率与累计贡献率的概念类似。,主成分的应用,将指标变量分类；对样品排序和分类；3 做主成分回归；4 在DEA中减少指标个数；5进行系统综合评价。,1 对指标变量分类,若 和 的相关系数，则可以把这两个变量分为一类。其中 是第k个主成分在变量 上的因子载荷量。,2 对样品分类,样品是P维空间的点，的距离近似为零，则可分为一类。,做主成分回归,用主成分代替原始变量，以消除多重共线性。,4 在DEA中减少指标个数,用主成分代替输入输出指标以提高DMU的相对效率的可区分度。,5 系统综合评价方法,加权法。利用公式下述公式计算：其中 为累计贡献率。当第一主成分的各系数符号相同时，利用 计算。与专家评估相结合，把专家收集的信息拿来对主成分评估法进行修正。,
