06因子分析,DOC.docx

因子分析专题§8.1引言因子分析是主成分分析的推广，它也是一种把多个变量化为少数几个综合变量的多元分析方法，其目的是用有限个不可观测的隐变量来解稗原始变量之间的相关关系。例8.1.11.inden对二次大战以来奥林匹克十项全能比赛的得分做了分析研究，他收集了160组数据，这十个全能项目依次为：100米幽、跳远、铅球、跳而、400米跑、110米跨栏、铁饼、撑竿跳高i、标枪、1500米造。但是总的来说基本上可归结为他们的短跑速度、爆发性臂力、爆发性能力和耐力这四个方面，每一个方面都称为一个因子。用芭,8,分别表示十个项目的得分，它们可以表示为含有上述四个因子的线性模型：X,=冉+a,fl+%人+,j+%hi=1,2,JO其中九人Ja表示4个因子，称为公因子，为称为第i个变量在第j个因子上的载荷。,是总平均，C,是第i项得分不能被四个公因子解释的部分，称之为特殊因子。这个模型形式上与线性回归模型几乎样，但是它们有着本J贞的区别：回归模型中自变量是可以被观测得到的，而上述因了模型中的/,4J,./,是不可观测的隘变量，这使得该模型理解起来较为困难：再者,两个模型的参数意义也很不相同。例8.1.2为了评价高中学生将来进大学时的学习能力，抽了200名高中生进行问卷调查，共50个问题“所有这些问题可简单地归结为阅读理解、数学水平和艺术修养这三个方面。这也是一个因子分析模型，每一方面就是一个因子。例8.1.3公司老板对48名申请工作的人进行面试，并给出申请人在15个方面所得的分数，这15个方面是：（1）中请信的形式：（2）外貌：（3）专业能力："）讨人喜欢的能力：（5）自信心:<6）洞察力：（7）诚实：（8）推销能力：（9）经脸：<10）驾驶汽车本领：（11）抱负：（12）理解能力；（13）潜力：（14）对工作要求强烈程度（15）适应性。这些问题可以归结为如下的几个方面:申谙者外露的能力，讨人喜欢的程度，申请者的经验，专业能力。每一方面都是因子模型中的一个因子。§8.2因子模型一、数学模型设维可观测的M机向垃=（内,4,的均值为=3协方差矩阵为=（ll）,因子分析的一般模里为M=M+%/+。”人+GX1=2+«2IZ+atif2+a2mfm+2,oox,=,+4/+叫J?+a/+。其中f,ro为公因子，与,白，与为特殊因子，它们都是不可观测的随机变量。公因子工，2，Je出现在每一个原始变量阳C=12卬)的表达式中，可理解为原始变址共同具有的公共因素：每个公因子/,(/=12，。至少对两个原始变量有作用，否则它将归入特殊因子。每个特殊因子%N=12,0仪仅出现在与之相应的第i个原始变量X,的表示式中，它只对这个原始变量有作用。(8.2.1)式可用矩阵表示为X=+Af+<8,2.2)式中/=(，/>，>'(，P)为公因子向垃，£=(邑,6J为特殊因子向最，A=(%):px，“称为因子载荷矩阵，并假设A的秩为，通常假定W)=Om.,E(G=OMV(J)=4/-凤/)1/-EU)H=E0=J<8.2.3),)=-E(c)-E()=E,=D=diag(,j,.)CoVef=E-E(-E(f)JI=E(f,)=Qmxp同理易知co，(£J)=E-E()Yf-f()=Ew)=O,注意两个协方差矩阵阶数不一样。由上述假定可以看出，公因子彼此不相关且具有单位方差，特殊因子彼此不相关且和公因子也不相关。因子分析与主成分分析是多元分析中两种重要的降维方法，但两者有很大的不同。主成分分析不能作为个模型来描述，它只能作为般的变量变换，主成分是可观测的原始变51的线性组合:而因子分析需要构造一个因子模型，公因子一般不能表示为原始变量的线性组合.二、因子模型的性质1 .X的协方差矩阵的分解由(8.2.2)式知即Z=A4'+O<8.2.4)这就是的一个分解:如果K为标准化了的随机向量，则E就是相关矩阵K=（八）什，即有R=AA,+D<8.2.5)2 .模型不受单位的影响将戈的单位作变化，就是作一变换=x,这里A=市的(缶,不,)，与>0,(/-1,2,/?)»于是/=Ar=A(+/V'+£)=+£,令,=，A=A,f=f1£=£,则有=+A'+e(仍然为因子分析模型)这个模型能满足完全类似于(823)式的假定，即其中即O'=diaR(<T.<T；,.<,),l'=<y*z2.(=l,2,p)3.因子教荷是不唯一的设了为任意",xn正交矩阵，令f=47,f=T'f,则模型(8.2.2)式能表示为因为所以仍满足条件(8.2.3)式。从(8.2.4)式可以看出，Z也可分解为=A*A*+D(8.2.7)因此，因子载荷矩阵A不是唯一的，在实际应用中常常利用这点，通过因子的变换，使得新的闪子有更好的实际意义。三、因子就荷矩阵的统计意义1. A的元素询一一原始变任巧与公因子人之间的协方差函数(8.2.1)式可以表示为=X<+<1,Ji+ai2f,-¥-+anfm+i,(i=l,2,p)(8.2.8)故CoVaJj)=COV3,+.Z+%A+邑/)=COVmlIAJ)+C0V(6,f1)=aiCov(,J/)+COV/)(8.2.9)=A即心是工与之间的协方差函数。若X为标准化J'的随机向fit,HPV(X1)=I,则莺与/,之间的相关系数CoV区/)河%，/，=)=cov(怎/)="<)V(xi)V(.)"此时g表示阳与6的相关系数。2. A的行元素平方和汇=Sq-原始变量.3对公因子依赖的程度>-对(8.2.8)式两边取方差(i=l,2j,p)O令K="：+欣+嫉=Z。3=12.P)，于是=h：+,(»=l,2,p)()反映了公因子对x,的影响，可以看成是公因子对x,的方差贡献，称为共性方差：而而是特殊因了?对X,的方差贡献，称为个性方差当X为标准化了的随机向量时，n=1.此时有+=l,(=1,2,-,p)O3. A的列元素平方和4=£4,一一公因子，对X的贡献r三l由()式得iV(X,)=£V(M+alJ+l22+aaJn+£J=SV(M)+£»(J)+£丫(力)+*Y*m)+tV(J)I-I1-1I-Ir-1=«dV(1)+£«5V(2)+.+a-uV(fm)+;i-l)=f;：*(£)+(£a-V(,)+力亡V()+如：/-I)I-I)kI=I)i-l=g"()+gW5)+g1-)+d=gj2+g2gj+k其中g；=2X，"=12，从()式可见，A的第/列元素的平方和是H/,)的系数，舅的值越大，反映r/,对X的影响越大，焉是衡量公因子/,重要性的一个尺度，可视为公因子人对*的贡献。§8.3参数估计设片,x2,K,是一是P维样本,则和Z可分别估计为7=)£i和s=J7S-b(z-b'仁/i-l-r为了建立因子模型，首先要估计因子栽荷矩阵A=("J：x，”和个性方差矩阵O=dhg(b);,.b；)。常用的参数估计方法有如下三种：主成分法，主因子法和极大似然法。一、主成分法设样本协方差矩阵S的特征值依次为42冬之NO,相应的正交单位特征向量为r1.r2,.r选取相对较小的主成分个数，”，并使得累计贡献率达到一个较高的百分比，则S可作如下的近似分解rtt9fS=ltlfl+2t2t2+w+m.mwI+乙乙,。J二E二xEE%：I，.)21222rt'12.rt1J贯点£:而二回«点£:41易知，万：=SU-ZG；，/=1.2,?o证明如下。因为sN筋'+/5,即又因为(A.4AA'+A?A；,即对比等式两边，即得伉2=5-£用，i=12,外证明完毕.这里的A和。就是因子模型的一个解。因子载荷矩阵A的第j列与S的第j个主成分的系数向量仅相差一个倍数口(y=l,2,-.w).因此这个解就称为主成分解若p个原始变量的单位不同，则我们首先对原始变量作标准化变换，此时的样本协方差矩阵即为原始变量的样本相关矩阵*，用A代替<8.3.1)式中的S,可类似地求得生成分的解。二、主因子法主因子法是因子分析中一种最简单、最有效的方法，它已经得到了最普遍的应用.我们这垠假定原始变量X已作了标准化变换，如果随机向量K满足因子模型则仃，R=AA,+D,其中R为X的相关矩阵，令*=C-D=/VV<8.3.2)RcR；、即*=Re心、RmRgIF则称*为X的约相关矩阵。易见，R'中的时角元素是始，而不是1,非对角元素和R中是完全一样的，并且*是一个非负定矩阵.我们首先在相关矩阵R及个性方差矩阵d由(er；,区,。力已知的条件下,求出因子载荷矩阵A。由上一节因子模型的性质3知，A的解是不唯一的，可以有许多。主因子法就是要求得到的解能使第一个公因子工硝的贡献屋=%；达到最大，第二个公因子人对X的贡献K=EX次-I之，第用个公因子。对X的贡献“=£壮最小.由TM次(*)=m4(/W)=山A（八）=，所以*有阳个正特征值，依次记为iZ.<>(),相应的正交单位特征向相为故*的谱分解为R'm+;÷-+，面;、<8.3.3)=(v¾.½.-;'i=AA,其中，A=麻：K4,沅力<8.3.4)它就是我们所要求的主因子解.A中的第/列元素的平方和为际力标M；，即4=g；=£a；（8.3.5）在实际应用中，相关矩阵/?和个性方差矩阵。一般都是未知的，它们可通过一组样本司,修，,4来进行估计为了符号上的方便，我们将H（或Q的估计值仍记为R（或配）。估计个性方差k等价于估计共性方差吃这是因为由后+#=1,"=,2,p）式如;=1-/.（I=1.2,）而（或肥）的较好估计一般很难直接得到，通常是先给出它的一个初始估计万：（或后），待载荷矩阵A估计好之后再作出<7；（或发）的最终估计。个性方差（或共性方差犬）的常用初始估计方法有如下几种:<1）后取为原始变量X,与其它原始变量玉.4,ETET的复相关系数的平方，则<7；=1-;o取仇?T,其中是KT的对角元素.（3）取A;=ImXwl,则;=1-/；/.（4）取后=1,则短=0,得到的4是一个主成分解。（因为此时。=0,K=R）因子的个数M应选取为多少呢？一般可采用主成分分析中确定主成分个数的原则，即寻求一个较小的自然数，”，使得达到一个较高的百分比（比如至少达到85%）。需要指出的是，R'的部分特征值可能是负的。最后，取*的前，”的正特征值Z2外之之二。及其相应的正交单位特征向量J：,可以得到近似分解式其中的最终估计为&=-h-=-a-,(=l.2,-.p)<8.3.7)我们称这样求得的A和力=,而虱君,兔,3»为因子模型的主因了解。如果我们希望求得近似程度更好的解，则可以采用迭代主因子法，即利用(8.3.7)式中的仇2再作为个性方差的初始估计，重复上述步骤，直至解稳定为止。三、极大似然法设公因子Mn(Oj),特殊因子£n,(o,。)，且相互独立，则原始向量x="+Af+c。样本i.q.1.的似然函数为容易知道，似然函数是,工的函数。由于=A4'+O,故似然函数可确切地表示为AD).记(MAO)的极大似然估计为5*.0),即有可以证明，=x,而人和6满足以下方程组ib'A=A(lm+A,D'A)D=diag(-,)其中*=，W(X-x)(,.-i)',由于A的解是不唯一性条件：A'。TA是对角矩阵(8.3.8)式中的A和6般可用迭代方法解得。共性方差的极大似然估计为：=£4：，i=,2,f/-i第j个因子f/对息样本方差的贡献为g.仁I<8.3.8)的，为了得到唯解，可附加计算上方便的唯<8.3.9)其中h为第，个变量的方差。极大似然法在正态性假定能较好地被满足或占在大样本的情况下，能给出比主因了法更好的估计，并且有令人满意的渐进性质。极大似然法的计算属大约是主因子法的100倍，这是由于极大似然估计需要用迭代方法计算并且要试着提取不同个数的因子。实际应用中，在使用极大似然法之前,一般先使用主因子法进行分析，以便给出因子个数的初步估计。§ 8 4因子旋转因子模型的参数估计完成之后，还必须对模型中的公因子进行合理的解糅。进行这种解择通常需要一定的专业知识和经验，要对每个公因子给出具有实际意义的一种名称，它可用来反映在预测每个可观测的原始变量时这个公因子的重要性，也就是相应于这个因子的我荷。因子的解释带有定的主观性，我们常常通过旋转公因子的方法来减少这种主观性。公因子是否易于解择，很大程度上取决于因子栽荷矩阵人的元素结构。假设A是从相关矩阵K出发求得的，则E>j=42,故有同I,即A的所有元素均在-1和1之间。如果栽荷矩阵A的所有元素都接近于0或±1，则模型的公因子就容易解释。这时可将原始变S1.r-J.r,分成，个部分，第一部分对应第一个公因子£,第二部分对应第二个公因子入，第，部分对应第，个公因子（。反之，如果载荷矩阵八的多数元素居中，不大不小，则对模型的公因子将难以作出解释,此时必须进行因子旋转,使得旋转之后的我荷矩阵在每列上元素的绝对值尽量拉开大小距离.也就是尽可能地使其中的一些元素接近于0,另一些元素接近±.因子旋转方法有正交旋转和斜交旋转两类，本书中我们只讨论正交旋转。对公因子作正交旋转就是对载荷矩阵A作正交变换，右乘正交矩阵兀使仃能有更鲜明实际意义。旋转房的公lN向量为/'=77,它的各分量."J；,也是互不相关的公因子。正交矩阵丁的不同选取法构成了正交旋转的各种不同方法，在这些方法中使用最普遍的是最大方差旋转法（Varimax）,木节仅介绍这种正交旋转法。令4=at=（4）,=7l%，=1.sd3则父的第j列元素平方的相对方差可定义为取是为了消除W符号不同的影响,除以始是为了消除各个原始变域对公共因子依赖程度不同的影响。冬注:4的第i行平方和h;2等于人的第i行平方和h-.因为两个矩阵相等，对应的对角线元素当然相等，即可'=忧。备注完毕。所谓最大方差旋转法就是选择正交矩阵/，使得矩阵*所有m个列元素平方的相对方差之和V=V1+-V,1（8.4.2）达到最大。当m=2时，设已求出的因子载荷矩阵为现选取正交变换矩阵T进行因子旋转，丁可以表示为这里.。是坐标平面上因子轴按逆时针方向旋转的角度，只要求出。，也就求出了丁。再由（8.4.1）式和（8.4.2）式即可求得4各列元素平方的相对方差之和V。显然，V是旋转角度。的函数，按照最大方差旋转法的原则，应求出0,使V达到最大。由微积分中求极值的方法，将丫对。求导，并令其为零，可以推得。满足P其中A=£“；，B=,C=（w；-F；）,D2u,v.（»1Mli*而当所2时，我们可以逐次对每两个公因了进行上述的旋转。对公因了J和人进行旋转，就是对A的第/和上两列进行正交变换，使这两列元素平方的相对方差之和达到最大，而其余各列不变,其正交变换矩阵为其中8是因了轴fl和的旋转角度,矩阵中其余位置上的元素全为Oo/»个公因子的两两配对旋转共需进行C=*T）次,称其为完成了第一轮旋转，并记第一轮旋转后的因子载荷矩阵为A'"。然后再至新开始，进行笫二轮的C：次配对旋转，新的因子载荷矩阵记为A。如此维续旋转下去,记第S轮旋转后的因子载荷矩阵为川”，得到的一系列因子载荷矩阵为,h,4，A,记V为N”各列元素平方的相对方差之和，则必然有这是一个有界的单调上升数列，因此一定会收敛到某一极限。在实际应用中，当V"）的值变化不大时，即可停止旋转。§ 8.5 子得分一、因子得分的概念我们再回过来看一下因子模型x="+A+e,设芭,占，为一组样本。在前面的讨论中，我们根据这组样本估计出了公因子个数阳、因子载荷矩阵A和个性方差矩阵。,并试图对公因子进行合理的解释,即给出具有实际意义的名称,如果对这些公因了难以作出解择，则可以通过因子旋转的方法使得旋转后的公因子有着更鲜明的实际意义。实际上，还有一个问题是令我们非常感兴趣的，就是给出每一个个体X；对，”个公因子的得分。必须指出的是，因子得分的计算并不是通常意义下的参数估计,而是对不可观测的随机变量作出估计.因子模型的式子意味若这些公因子一般不是可观测原始变量X“4,0的线性组合，而是非线性组合。这些公因子的得分是无法直接计算得到的，但它们可用各种不同的方法来进行估计。为了数学上处理的方便，人们般还是将公因子得分的估计值表达为原始变量x-q的线性函数。以下我们介绍两种常用的因子得分估计方法。二、巴特票特(Bartlett)因子得分因子模型(8.2.1)式可以写为X冉=%J+12i+-+1,X+G.一心=%/+/?+%/+/“一、.O.O.I)=3+3?+1+其中V3)=b3i=2我们可以采用与求解线性I可归模型相同的方法来求得因子得分1,.,。由于P个个性方差不全相等，因此应采用加权的最小二乘法，也就是寻求£,2,的一组取值JiJ使得加权的“残差”平方和Sh-M)-(即1+?八+"Je)T(852)>=1。；达到最小，这样求得的解片.,就称为巴特莱特因子得分。(8.5.1)式用矩阵来表示就是X-fi=Af+(8.5.3)<8.5.2)式可用矩阵表示为(-Af)'D'(x-Af)(8.5.4)其中用微枳分学求极侑的方法可以解得巴特莱特因子得分为f=(A>'A)-'A,D'(x-)<8,5.5)在实际应用中，用估计值，、A和力分别代替上述公式中的、A和。，并将每个样品的数据戈,代入，便可得到相应的因子得分若将丁和£不相关的假定加强为相互独立，则在/1值已知的条件下,由(8.5.5)式和(8.5.3)式可得因子得分，的条件数学期望EuI/)=EA'D'A'A'D-'(x-)fE'D'Ai'D-,(f-)f=(A,D'Ay'A,D'Af=/<8.5.6)因此，从条件意义上来说巴特莱特因子得分，是无偏的。我们再来计算反映，估计精度的平均预报误差砧，-/Xj-/),由(8.5.5)式和(8.5.3)式得故f(-)(-),l=(AT)TA)-KDTE(坪WA(A=(A'D'AY'A,D'DDlA(A,D,A)'=(AAA尸(8.5.7)三、汤姆森(TholDPSOn)因子得分在因子模型(8.2.2)式中，假设服从W+p)元正态分布，由条件(8.2.3)式得盼KM卜由(3.2.6)式知，在K给定的条件下，/的条件数学期望再由<8.2.4)知，=AAt+D,因此()式也可表示为E(fx)=A,(AA,+D)-'(x-)O或者/=(/+,D-,4)-'A,D'(x-)(8.5.12)易知，()式和()式相等。证明如下。证明：欲证明()式和()式相等,只需证明A'(vr+0T=(/+47X7)1A7>,即A,(AA,+Dy'(AA'+D)=(/+A'D'A)''A'D-'(AA'+D)即A7=(+A,O'A)',a,D'AA'+A,D1D)即Ar=(/+A'D'AY'a,D'AA'+A'仅供个人学习参考即A'=(l+A,D'A)-'a'D,A+小即4,=(+A'DlA)'l+A,D1a'即A'=A'证明完毕.称，为汤姆森因了得分。在实际应用中，用估计值7、4和方分别代替上述公式中的、A和。，并将每个样品的数据M代入，便可得到相应的因子得分f.由。式和(8.5.3)式得所以，汤姆森因子得分是有偏的。因为所以的平均预报误差fi(7-x-),=e(+A'D'A)'A'D'e-(l+A'DlAy'f(/+A'D'y'A,D'-(l+ArD1A)'/=(/+A'D'Ay'A,D'E(e')D'A(l-i-A'D'A)'+(/+A)D'AYiEW)(，+A'D'Ay'O=(/+A,DlAy'A,DlA(l+A,D'Ay'+(/+,D',/(/+A,D'AY'=(/+A'D'y''D'A+"D'Ay'=(t+A'D'Ay'备注I备注完毕.比较()式与(8.5.7)两式，由于(4。IA)T-(/+A7)AS是正定矩阵,因此汤姆森因子得分比巴特莱特因子得分有更小的平均预报误差。