多元统计分析复习内容提要.ppt

期末复习提要,第二章,特征值与特征向量,矩阵的特征值与特征向量,二次型,xAx(A是对称矩阵),非负定矩阵半正定矩阵,xAx 0(A是对称矩阵，x是非零向量),对称矩阵的谱分解定理,设A是kk对称矩阵，l1,e1,l2,e2,lk,ek 为A的特征值和标准化特征向量，则A可表示为,定理：A是正定矩阵 A的特征值均 0,定理：A是非负定矩阵 A的特征值均 0,定理：,利用矩阵的谱分解定理可以证明：,定理：A是对称矩阵 APLP,(其中P为正交矩阵,L为对角矩阵),随机向量和矩阵,E(X+Y)=E(X)+E(Y)E(AXB)=AE(X)B,随机向量的期望(均值向量),随机向量,随机向量的协方差矩阵,相关矩阵与协方差矩阵,其中V1/2 称为标准离差矩阵,随机变量的线性组合的均值向量和协方差矩阵,cX=c1x1+c2x2+cpxp,对线性组合,第三章,样本点与样本均值点,样本均值向量,np,p1,n1,样本协方差矩阵,样本协方差矩阵与样本相关系数矩阵,样本标准离差矩阵,结论3.1,结论3.1,总方差,样本总方差s11+s22+spp,样本总方差 tr(S),广义样本方差|S|,广义方差,标准化广义样本方差,标准化广义样本方差|R|,广义方差的与标准化广义方差,|S|=s11s22sspp|R|,变量的线性组合及其样本值,第四章,多元正态密度函数,其中：X随机向量 pX的分量个数 m 随机向量X的均值向量 S 随机向量X的协方差矩阵,相关性与独立性,若X1和X2服从正态分布，则,多元正态分布的性质,这里,结论4.2,结论4.2推论,多元正态分布的性质,结论 4.3,其中,多元正态分布的性质,结论 4.3,其中,Cov(X1,X2)=0,X1与X2独立,多元正态分布的性质,结论 4.5(子向量的独立性),(a),多元正态分布的性质,结论 4.7,结论：,独立,和 S 的分布,独立,则,定义：,服从自由度为m的Wishart分布。,Wishart分布及其性质,独立,统计量,记为,结论,样本均值向量和协方差矩阵的大样本特性,其中,结论(中心极限定理),独立,第五章,正态总体均值向量的检验假设 H0:m=m0；H1:mm0,1.当S已知时，检验统计量为,若，接受H0；若，拒绝H0。,推断规则,2.当S未知时，S的无偏估计为,当H0成立时，,相应检验统计量为,T2分布与F分布,结论,当S未知时，多元均值向量假设检验问题,当H0成立时，,若,推断,若,接受H0，拒绝H0。,检验统计量,T2的联合置信区间,总体均值向量的大样本推断,注意：1.这里对样本所在的总体没有特别的规定。2.这里所采用的临界值不是T2(a)。,第七章,经典线性回归模型,i样本标号i=1,2,nn总体容量b0截距bj偏回归系数，j=1,2,rei随机误差,符号说明,假设,经典线性回归模型矩阵形式,最小二乘估计,结论7.1 设Z有满秩r+1n，则多元回归方程,y=Z b+e,中b的最小二乘估计为,回归方程的拟合优度检验,若 FFa(p,n-r-1),则拒绝假设 H0;若 FFa(p,n-r-1),则接受假设 H0.其中a为显著水平p为解释变量个数n为样本容量,H0:b1=b2=br=0,回归系数的显著性分析,1.回归方程的显著性检验,回归系数的显著性分析,1.回归方程的显著性检验,回归系数的显著性分析,1.回归方程的显著性检验,2.回归系数的显著性检验,若|t|ta/2(n-r-1),则拒绝假设 H0;若|t|ta/2(n-r-1),则接受假设 H0.其中a为显著水平r为解释变量个数n为样本容量,H0:bi=0,i=1,2,.,r,回归系数的显著性分析,回归模型常遇到的问题异方差序列相关共线性异常样本,异方差问题,序列相关问题,序列相关又称为自相关。如果有关回归模型的随机误差项有,则称其随机误差项存在序列相关现象。,多重共线性问题,设计矩阵,若有不全为0的ci,使得,则称解释变量之间存在共线性关系。,第八章,主成份分析是研究在损失最少信息的原则下,通过原来变量的少数几个线性组(主分量)合来分析或解释问题。,主成份分析的目：1.简化数据，减少变量个数消除变量间相关关系的影响2.揭示变量间的关系。,主成分分析,定理8.1,S 特征值及其相应的特征向量,则第i主成份为,且有,随机向量X(X1,X2,Xp)协方差矩阵S=cov(X),主成分分析,决定主成分个数的原则,参考特征值碎石图,按占总方差的比率,按占特征值的取值,决定主成分个数,按占总方差的比率,按占特征值的取值,主成分分析,决定主成分个数,当主分量有标准化变量导出时,主成分分析,按占总方差的比率,决定主成分个数,参考特征值碎石图,主成分分析,第九章,概论,因子分析是研究相关矩阵的内部依赖关系，将多个变量综合为少数几个因子，以再现原始变量与因子之间的关系。,正交因子模型,正交因子模型,L称为载荷矩阵,矩阵形式,正交因子分析模型,满足假设,E(F)=0,Cov(F)=IE(e)=0,Cov(e)=y(对角矩阵)Cov(F,e)=0。,正交因子模型的协方差结构,共同度和特殊度,hi2-m个公共因子对变量变量Xi方差的贡献称第 i 共同度,yi-特殊因子的方差称为特殊方差或特殊度,因子旋转的目的是简化因子结构，使因子的含义便于解释。,因子旋转的方向是使因子载荷按列向0和1两极转化，达到结构简化的目的。,因子旋转,第十一章,例(春旱预测)某气象预报站收集了近年气象资料如下表,有春旱,无春旱,其中 x1 和 x2 是两个气象综合因子,假设G1和G2均服从正态分布且具有相同方差,(1)用Bayes判别法建判别函数.(2)如果今年测得的 分别为22.7和-2.1,问明年是否会发 生春旱?,例(春旱预测),1.计算各组先验概率,例(春旱预测),2.计算各组均值向量和协方差矩阵,例(春旱预测),3.计算共同协方差矩阵及其逆矩阵,例(春旱预测),4.建立判别函数，计算阈值,例(春旱预测),问题：如果今年测得的 分别为22.7和-2.1,问明年是否会 发生春旱?因为W(22.7,-2.1)=-1.034 0.288,判别规则x G1(有春旱)如果 W(x)0.288x G2(无春旱)如果 W(x)0.288,判别结论:明年不会发生春旱,5.判别,第十二章,聚类分析是在不知道类型的个数(即对于各种类型的结构未作任何假设)的情况下，对于原始数据进行分类的一种分析方法。聚类的根据是相似性或距离(相异性)。,重要例题,例1,对变量随机向量(x1,x2,x3)作了4次测量,得到观测数据矩阵如下,1.计算均值向量2.偏差向量3.计算协方差矩阵4.计算相关系数矩阵,解,1.计算均值向量,解,2.偏差向量,解,3.计算协方差矩阵,解,3.计算协方差矩阵,解,3.计算协方差矩阵,解,4.计算相关系数矩阵,例2,对变量随机向量(x1,x2,x3)作了4次测量,得到观测数据矩阵如下,1.计算均值向量2.计算协方差矩阵3.计算相关系数矩阵4.计算广义方差，标准化广义方差和总方差,运用矩阵表示法计算,解,1.计算均值向量,解,2.计算样本协方差矩阵,样本离差矩阵,中心化数据矩阵,其中,解,2.计算协方差矩阵,解,2.计算协方差矩阵,解,2.计算协方差矩阵,解,2.计算协方差矩阵,解,3.计算相关系数矩阵,解,3.计算相关系数矩阵,解,4.计算广义方差，标准化广义方差和总方差,广义方差,标准化广义方差,总方差,例3,对变量随机向量(X1,X2,X3)作了4次测量,得到观测数据矩阵如下,1.bX的均值向量2.bX协方差矩阵3.bX与cX的协方差矩阵,考虑线性组合bX=2X1+2X2-X3 和 cX=X1-X2+3X3根据例2的结果计算,解,多元正态分布的性质,例 4.6(对正态变量，零协方差与独立性等价),设,其中,由结论4.5(b)知X1和X2与X3独立。,多元正态分布的性质,例,所以与独立.,多元正态分布的性质,例,若与Y独立,则,例 5.1(T2 的计算),例 5.1(T2 的计算),令,例 5.2(当S未知时，检验多元均值向量),对20名健康女性的汗液进行分析，测出汗液的三个指标：X1排汗量，X2钠含量，X3钾含量。数据如下表,需检验假设H0：m=4,50,10，H1：m 4,50,10，显著水平为a=0.10。,例 5.2 解：,显著水平a=0.10，,检验统计量,检验临界值,假设,例 5.2(续),例 5.2(续),因为T29.748.18，所以在10显著水平下拒绝假设H0。,=9.74,例5.4 求联合置信T2区间,由例5.3计算结果有，,例5.4 求联合置信T2区间,根据公式(5-24)在置信水平0.95%下，相应T2区间为,代入数值有,