主成分分析和典型相关分析课件.ppt

《主成分分析和典型相关分析课件.ppt》由会员分享，可在线阅读，更多相关《主成分分析和典型相关分析课件.ppt（126页珍藏版）》请在三一办公上搜索。

1、,引言变量太多会增加计算的复杂性变量太多给分析问题和解释问题带来困难变量提供的信息在一定程度上会有所重叠用为数较少的互不相关的新变量来反映原变量所提供的绝大部分信息,降维的思想来处理高维数据。第1页/共126页,4.1主成分分析日主要目的:对原变量加以“改造”,在不致损失原变量太多信息的条件下尽可能地降低变量的维数,即用较少的“新变量”代替原来的各变量。第2页/共126页,主成分分析即构造原变量的一系列线性组合,使其方差(或观测值的样本方差)达到最大=X,COS 6+X, sin 8Y=-X sin 0+X cos 0到4.1第3页/共126页,4.12总体主成分设x1x2为某实际问题所涉及的

2、个随机变量。记X=(X其协方差矩阵为Cov(X)=2=(O Pxp =E(X-E(X)(X-E(X)它是一个阶非负定矩阵。设1=01l2L,为企,P)常数向量,考虑如下线性组合Y=GX=LX,+L2X,+L +LnX,y2=2X=l2X1+2X2+L+l2,X,IX=L,+L, X,+L +lmX第4页/共126页,总体主成分易知有W(1)=Wmr(k)=11=1,2L,PCov(Y, Y, )=Cov(LX, X)=42,j=1, 2, L, p我们希望用代替原来P个变量X,X2L,X。,这就要求X尽可能地反映原来P个变量的信息。这里用方差来度量。即要求Wr(H1)=12达到最大对任意常数k

3、,若取k1,J Vur(x)=kvar(T X)=kL 2/第5页/共126页,总体主成分因此,必须对加以限制,否则w无界。最方便的限制是要求4具有单位长度,即我们在约束条件=1之下,求1使W(达到最大,由此4所确定的随机变量=4X称为X,X2L,Xn的第一主成分。第6页/共126页,总体主成分如果第一主成分H还不足以反映原变量的信息,进一步求2。为了使Y和Y2反映原变量的信息不相重叠,要求二者不相关,在约束条件Cow(H,y)=l12=0求2使w(2)达到最大。第二主成分:Y2=l2X依次类推第7页/共126页,总体主成分一般地,在约束条件=1及Cov(F,)=l1lk=0(k=1,2,-1

4、)下,求l使war()达到最大,由此l所确定的Y=l X称为x1,X2X,的第个主成分。第8页/共126页,总体主成分的求法设是X=(x,X2L,X)的协方差矩阵,的特征值及相应的正交单位化特征向量分别为42122n20及2x,则X的第i个主成分为Y=ei x=ex,+e2x2+L +ei x12,L,P其中e=(ene2L,n)。易见Var(r)=e/ te=ee=n, i=1, 2, L, P,co,x)=2=e=0.ik事实上,令P=(4,2L,),则P为正交矩阵PP=A=Dg(41,2L,2)第9页/共126页,总体主成分的求法设x=x为的第主成分,其中以,=(,32L,n)=PlVar(Y)=2=zP XPz=Az+A, 12+L +2, zi4x=P4=,并且当x=(10L,0)时,等号成立。这时L=Pa=e,第10页/共126页,