数学建模因子分析.ppt
《数学建模因子分析.ppt》由会员分享,可在线阅读,更多相关《数学建模因子分析.ppt(68页珍藏版)》请在三一办公上搜索。
1、第十四讲 因子分析,第一部分 主成分分析第二部分 因子分析,第一部分 主成分分析1、主成分分析的基本原理2、主成分分析的数学模型3、主成分分析的步骤,主成分分析的基本原理,主成分的概念由Karl Pearson在1901年提出的。他是考察多个变量间相关性一种多元统计方法 研究如何通过少数几个主成分(principal component)来解释多个变量间的内部结构。即从原始变量中导出少数几个主分量,使它们尽可能多地保留原始变量的信息,且彼此间互不相关。主成分分析的目的:数据的压缩;数据的解释常被用来寻找判断事物或现象的综合指标,并对综合指标所包含的信息进行适当的解释,什么是主成分分析?(pri
2、ncipal component analysis),对这两个相关变量所携带的信息(在统计上信息往往是指数据的变异)进行浓缩处理假定只有两个变量x1和x2,从散点图可见两个变量存在相关关系,这意味着两个变量提供的信息有重叠,主成分分析的基本思想(以两个变量为例),如果把两个变量用一个变量来表示,同时这一个新的变量又尽可能包含原来的两个变量的信息,这就是降维的过程,椭圆中有一个长轴和一个短轴,称为主轴。在长轴方向,数据的变化明显较大,而短轴方向变化则较小 如果沿着长轴方向设定一个新的坐标系,则新产生的两个变量和原始变量间存在一定的数学换算关系,同时这两个新变量之间彼此不相关,而且长轴变量携带了大
3、部分的数据变化信息,,主成分分析的基本思想(以两个变量为例),短轴变量只携带了一小部分变化的信息(变异)此时,只需要用长轴方向的变量就可以代表原来两个变量的信息。这样也就把原来的两个变量降维成了一个变量。长短轴相差越大,降维也就越合理,多维变量的情形类似,只不过是一个高维椭球,无法直观地观察每个变量都有一个坐标轴,所以有几个变量就有几主轴。首先把椭球的各个主轴都找出来,再用代表大多数数据信息的最长的几个轴作为新变量,这样,降维过程也就完成了,主成分分析的基本思想(以两个变量为例),找出的这些新变量是原来变量的线性组合,叫做主成分,主成分分析的数学模型,数学上的处理是将原始的p个变量作线性组合,
4、作为新的变量设p个原始变量为,新的变量(即主成分)为,主成分和原始变量之间的关系表示为,主成分分析的数学模型,主成分分析的数学模型,aij为第i个主成分yi和原来的第j个变量xj之间的线性相关系数,称为载荷(loading)。比如,a11表示第1主成分和原来的第1个变量之间的相关系数,a21表示第2主成分和原来的第1个变量之间的相关系数,选择几个主成分?选择标准是什么?被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分在统计上,主成分所代表的原始变量的信息用其方差来表示。因此,所选择的第一个主成分是所有主成分中的方差最大者,即Var(yi)最大如果第一个主成分不足以代表原来的个变量,
5、在考虑选择第二个主成分,依次类推这些主成分互不相关,且方差递减,主成分的选择,究竟选择几个主成分才合适呢?一般要求所选主成分的方差总和占全部方差的80%以上就可以了。当然,这只是一个大体标准,具体选择几个要看实际情况如果原来的变量之间的相关程度高,降维的效果就会好一些,所选的主成分就会少一些,如果原来的变量之间本身就不怎么相关,降维的效果自然就不好不相关的变量就只能自己代表自己了,主成分的选择,主成分分析的步骤,对原来的p个指标进行标准化,以消除变量在水平和量纲上的影响根据标准化后的数据矩阵求出相关系数矩阵求出协方差矩阵的特征根和特征向量确定主成分,并对各主成分所包含的信息给予适当的解释,主成
6、分分析的步骤,【例】根据我国31个省市自治区2006年的6项主要经济指标数据,进行主成分分析,找出主成分并进行适当的解释,主成分分析(实例分析),用SPSS进行主成分分析,第1步 选择【Analyze】下拉菜单,并选择【Data Reduction-Factor】,进入主对话框第2步 在主对话框中将所有原始变量选入【Variables】第3步 点击【Descriptives】,在【correlation Matrix】下选择【Coefficirnts】,点击【Continue】回到主对话框第4步 点击【Extraction】,在【Display】下选择【Scree Plot】,点击【Conti
7、nue】回到主对话框第5步 点击【Rotation】,在【Display】下选择【Loading Plot】,点击【Continue】回到主对话框 点击【OK】,单变量描述统计分析。输出单变量的基本统计量,包括每个变量的均值、标准差及其有效例数,初始解。默认选项。输出因子分析的初始解,显示初始公共因子方差、特征值及其解释变量的百分比。,1、相关系数矩阵;2、显著性水平;3、相关系数矩阵的行列值;4、相关系数矩阵的逆矩阵;5、再生相关系数矩阵。输出因子分析的估计量相关系数矩阵,并显示参差值,即原始相关系数矩阵与再生相关系数矩阵之间的差值;6、反映射相关系数矩阵。包括负片相关系数矩阵。反映射相关系
8、数矩阵的对角线可以显示变量的抽样适度测试值,KMO和球形Bartlett检验。,分析矩阵选项:1、相关系数矩阵。用于指定利用分析变量相关矩阵为提取因子的依据,当参与分析的变量测度单位不同时,选择该选项,分析矩阵选项:2、协方差矩阵。指定利用分析变量的协方差矩阵为提取因子的依据。,选择和因子提取方法有关的输出选项:1、非旋转因子解。要求显示未经旋转的因子载荷、公共因子方差和特征值;,选择和因子提取方法有关的输出选项:2、碎石图。每个因子的方差图,该图利用特征值为两个坐标轴。碎石图可以决定保留因子的数量,提取因子的准则:1、特征值:该选项指定因子的特征值;2、指定提取公因子的数目。,收敛的最大迭代
9、次数,因子旋转方式:1、不进行旋转;2、方差最大正交旋转法;3、直接斜交旋转方法;4、四分位最大正交旋转法;5、等量正交旋转法;6、斜交旋转法,输出与因子旋转相关的信息:1、旋转解;2、因子载荷散点图。,SPSS的输出结果,各变量之间的相关系数矩阵,变量之间的存在较强的相关关系,适合作主成分分析,SPSS的输出结果(选择主成分),表3 各主成分所解释的原始变量的方差,该表是选则主成分的主要依据,“Initial Eigenvalues”(初始特征根)实际上就是本例中的6个主轴的长度特征根反映了主成分对原始变量的影响程度,表示引入该主成分后可以解释原始变量的信息特征根又叫方差,某个特征根占总特征
10、根的比例称为主成分方差贡献率设特征根为,则第i个主成分的方差贡献率为比如,第一个主成分的特征根为3.963,占总特征根的的比例(方差贡献率)为66.052%,这表示第一个主成分解释了原始6个变量66.052%的信息,可见第一个主成分对原来的6个变量解释的已经很充分了,根据什么选择主成分?,根据主成分贡献率一般来说,主成分的累计方差贡献率达到80%以上的前几个主成分,都可以选作最后的主成分比如表3中前两个主成分的累计方差贡献率为95.57%根据特特征根的大小一般情况下,当特征根小于1时,就不再选作主成分了,因为该主成分的解释力度还不如直接用原始变量解的释力度大比如表3中除前两个外,其他主成分的特
11、征根都小于1。所以SPSS只选择了两个主成分就本例而言,两个主成分就足以说明各地区的经济发展状况了,根据什么选择主成分?,SPSS还提供了一个更为直观的图形工具来帮助选择主成分,即碎石图(Scree Plot)从碎石图可以看到6个主轴长度变化的趋势实践中,通常结合具体情况,选择碎石图中变化趋势出现拐点的前几个主成分作为原先变量的代表,该例中选择前两个主成分即可,根据什么选择主成分?(Scree Plot),拐点,怎样解释主成分?,主成分的因子载荷矩阵,表1中的每一列表示一个主成分作为原来变量线性组合的系数,也就是主成分分析模型中的系数aij比如,第一主成分所在列的系数0.670表示第1个主成分
12、和原来的第一个变量(人均GDP)之间的线性相关系数。这个系数越大,说明主成分对该变量的代表性就越大,根据主成分分析模型和因子载荷,可以得到两个主成分与原来6个变量之间的线性组合表达式如下,怎样解释主成分?(主成分与原始变量的关系),注意:表达式中的不是原始变量,而是标准化变量,载荷图(Loading Plot)直观显示主成分对原始6变量的解释情况图中横轴表示第一个主成分与原始变量间的相关系数;纵轴表示第二个主成分与原始变量之间的相关系数每一个变量对应的主成分载荷就对应坐标系中的一个点,比如,人均GDP变量对应的点是(0.670,0.725)第一个主成分很充分地解释了原始的6个变量(与每个原始变
13、量都有较强的正相关关系),第二个主成分则较好地解释了居民消费水平、人均GDP和年末总人口这3个变量(与它们的相关关系较高),而与其他变量的关系则较弱(相关系数的点靠近坐标轴),怎样解释主成分?(Loading Plot),相关系数的点越远离坐标轴,主成分对原始变量的代表性就越大。这3个点远离主成分2的坐标,第二部分 因子分析因子分析的意义和数学模型因子分析的步骤因子分析的应用,因子分析的意义和数学模型,由Charles Spearman于1904年首次提出的与主成分分析类似,它们都是要找出少数几个新的变量来代替原始变量不同之处:主成分分析中的主成分个数与原始变量个数是一样的,即有几个变量就有几
14、个主成分,只不过最后我们确定了少数几个主成分而已。而因子分析则需要事先确定要找几个成分,也称为因子(factor),然后将原始变量综合为少数的几个因子,以再现原始变量与因子之间的关系,一般来说,因子的个数会远远少于原始变量的个数,什么是因子分析?(factor analysis),因子分析可以看作是主成分分析的推广和扩展,但它对问题的研究更深入、更细致一些。实际上,主成分分析可以看作是因子分析的一个特例简言之,因子分析是通过对变量之间关系的研究,找出能综合原始变量的少数几个因子,使得少数因子能够反映原始变量的绝大部分信息,然后根据相关性的大小将原始变量分组,使得组内的变量之间相关性较高,而不同
15、组的变量之间相关性较低。因此,因子分析属于多元统计中处理降维的一种统计方法,其目的就是要减少变量的个数,用少数因子代表多个原始变量,什么是因子分析?(factor analysis),因变量和因子个数的不一致,使得不仅在数学模型上,而且在实际求解过程中,因子分析和主成分分析都有着一定的区别,计算上因子分析更为复杂因子分析可能存在的一个优点是:在对主成分和原始变量之间的关系进行描述时,如果主成分的直观意义比较模糊不易解释,主成分分析没有更好的改进方法;因子分析则额外提供了“因子旋转(factor rotation)”这样一个步骤,可以使分析结果尽可能达到易于解释且更为合理的目的,因子分析的数学模



- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数学 建模 因子分析

链接地址:https://www.31ppt.com/p-5985130.html