1.3 多维数据的数字特征及相关分析.ppt

2023/5/27,1,复习 1.2 数据的分布,2023/5/27,2,1.3 多维数据的数字特征及相关分析,基本内容,二维总体数字特征 观测数据协方差Pearson相关系数 Spearman相关系数 SAS系统 corr过程,p维总体数字特征 相关系数矩阵随机向量的性质多维正态分布,观测数据协方差 Pearson相关矩阵 Spearman相关矩阵proc corr过程,1.3.1 二维数据的数字特征及相关系数,1.3.3 多维数据的数字特征及相关矩阵,1.3.2 多维总体的数字特征、相关矩阵及多维正态分布,2023/5/27,3,一.二维数据的数字特征及相关系数,总体(X,Y)T分布函数F(x,y),方差 Var(X),Var(Y),协方差Cov(X,Y),相关系数,1.3.1 二维数据的数字特征,称不相关,2023/5/27,4,当X与Y相互独立时，,二维数字特征的性质,（1）,（2）,（3）,2023/5/27,5,二观测数据的协方差、Pearson相关系数,总体(X,Y)T，观测数据,1观测数据的协方差,观测矩阵,样本方差、协方差,均值,，,2023/5/27,6,由Schwarz不等式知,注意:,散点图见书图1.11,协方差矩阵,为对称非负定,2观测数据的Pearson相关系数,Pearson相关系数,(Schwaraz不等式),2023/5/27,7,可证,当(X,Y)T 为二维正态,3二维随机变量相关性检验,n充分大时,观测数据,假设检验,统计量,如|t|过大,拒绝假设,认为X与Y相关.拒绝域,检验p值,给定，当，拒绝H0.认为X与Y相关,Pearson相关系数反映两变量线性关联性的强弱.否则,认为不相关.,2023/5/27,8,1秩统计量,三Spearman相关系数,总体X，观测值,定义：秩统计量,观测值-0.8，-3.1，1.1，-5.2 4.2次序统计量-5.2，-3.1，-0.8，1.1，4.2,如-0.8，-3.1，-0.8秩统计量 2,1,3 或 3,1,2记为 2.5 1，2.5,秩统计量 3，2，4，1，5,次序统计量,注意：为保证秩统计量唯一性，规定：相同观测值，秩统计量取应排序的平均值。,2023/5/27,9,分量X,Y的一元样本数据,当X,Y相关性较强,则两组秩统计量相关性也较强,2Spearman相关系数,总体(X,Y)T，观测数据,秩统计量分别是,定义:Spearman相关系数,其中,计算得,2023/5/27,10,基于Spearman相关系数的假设检验,统计量,给定，当，拒绝H0.否则,接受H0认为不相关.,检验P值,四SAS系统 proc corr过程,2023/5/27,11,例1.9,20个随机选取的黄麻个体植株,记录青植株重量Y与干植株重量X.设(X,Y)T服从正态分布,数据:,（1）求二维观测数据均值向量 和协方差矩阵；（2）计算Pearson相关系数并检验假设；,解:,（3）计算Spearman相关系数并检验上述假设.,x 68 63 70 6 65 9 10 12 20 30 33 27 21 5 14 27 17 53 62 65y 971 892 1125 82 931 112 163 321 315 375 462 352 305 84 229 332 185 703 872 740,data examp1_9;input x y;cards;68 971 63 892 70 1125 6 82 65 931 9 112 10 162 12 321 20 315 30 375 33 462 27 352 21 305 5 84 14 229 27 332 17 185 53 703 62 872 65 740;run;proc corr data=examp1_9 pearson spearman cov;/*方差描述性过程,输出Pearson Spearman相关矩阵，协方差阵*/run;,2023/5/27,12,例1.9结果输出 CORR 过程 2 变量：x y 协方差矩阵S，自由度n-1=19 x y x 570.4500 7845.0789 y 7845.0789 112404.2632 简单统计量 变量 N 均值 标准偏差 中位数 最小值 最大值 x 20 33.85000 23.88410 27.00000 5.00000 70.00000 y 20 477.50000 335.26745 342.00000 82.00000 1125,Spearman 相关系数,N=20 当 H0:Rho=0 时，Prob|r|x y x 1.00000=0.97366.0001 y 0.97366 1.00000.0001,Pearson 相关系数,N=20 当 H0:Rho=0 时，Prob|r|x y x 1.00000=0.97971 相关性显著 p.0001 y 0.97971 1.0001,Spearman 相关系数,N=20 当 H0:Rho=0 时，Prob|r|x y x 1.00000=0.97366 相关性显著 p.0001 y 0.97366 1.00000.0001,2023/5/27,13,结果分析：,（1）利用proc corr过程，得,（2）数据的Pearson相关系数,（3）数据的Spearman相关系数,检验p值均,X与Y的相关性高度显著.,2023/5/27,14,1.3.2 多维总体的数字特征、相关矩阵及多维正态分布,一.p维总体的数字特征、相关系数矩阵,分布函数,p维总体,连续总体概率密度,均值向量,总体协方差矩阵,2023/5/27,15,注意:1.为 的相关系数 2.总是非负定的。,总体相关矩阵,记,则,2023/5/27,16,二随机向量的性质,（1）A 常量矩阵，常向量,则,（2）B 常量矩阵,2023/5/27,17,三多维正态分布,1二维正态分布及性质,其中,2023/5/27,18,2.p维正态分布,服从p维正态分布，密度,协方差阵,均值向量,2023/5/27,19,(1)线性组合为正态分布,(2)分量为正态分布,(3)分量独立 不相关,多维正态分布性质,为 最大似然估计,独立,2023/5/27,20,一样本观测数据的协方差、相关矩阵,p维总体：,数据的协方差、方差,均值向量,协方差矩阵,样本观测数据矩阵,1.3.3多维数据的数字特征及相关矩阵,2023/5/27,21,相关系数,Pearson相关系数矩阵,为对角阵,且,注意：1.2.R与S相似,且非负定.,Spearman相关系数矩阵,其中 为X的 列数据的Spearman相关系数,2023/5/27,22,注意：1.Spearman相关矩阵适用于研究具一般分布的p维总体，且对 异常值具有耐抗性;2.原数据的相关系数矩阵即为标准化数据协方差阵.,对j个变量(j列)数据标准化,得标准化数据矩阵,其中:,从而,3.n充分大时，有,标准化处理后的n个样品,2023/5/27,23,例1.10 测20名中年人3个生理指标:体重(X1)、腰围(X2)、脉搏(X3)；3个训练指标：引体向上次数(X4)、仰卧起坐次数(X5)、跳跃次数(X6).观测数据见书表1.2:解:程序：,二SAS系统 proc corr过程,data exam1_10;input x1-x6;cards;191 36 50 5 162 60189 37 52 2 110 60193 38 58 12 101 101162 35 62 12 105 37189 35 46 13 155 58182 36 56 4 101 42211 38 56 8 101 38167 34 60 6 125 40176 31 74 15 200 40154 33 56 17 251 250169 34 50 17 120 38,166 33 52 13 210 115154 34 64 14 215 105247 46 50 1 50 50193 36 46 6 70 31202 37 62 12 210 120176 37 54 4 60 25157 32 52 11 230 80156 33 54 15 225 73138 33 68 2 110 43;proc corr data=exam1_10 cov pearson spearman;/*调用Corr过程,输出协方差,Pearson,Spearman相关系数矩阵*/var x1-x6;run;,2023/5/27,24,(1)计算观测数据均值向量、协方差阵、Pearson相关阵：,CORR 过程 6 变量：x1 x2 x3 x4 x5 x6 简单统计量 变量 N 均值 标准偏差 中位数 最小值 最大值 x1 20 178.60000 24.69051 176.00000 138.00000 247.00000 x2 20 35.40000 3.20197 35.00000 31.00000 46.00000 x3 20 56.10000 7.21037 55.00000 46.00000 74.00000 x4 20 9.45000 5.28628 11.50000 1.00000 17.00000 x5 20 145.55000 62.56658 122.50000 50.00000 251.00000 x6 20 70.30000 51.27747 54.00000 25.00000 250.00000,通过proc corr过程求得观测值的均值向量,2023/5/27,25,协方差矩阵,自由度=19=样本个数-1 x1 x2 x3 x4 x5 x6x1 609.62105 68.80000-65.11578-50.86316-761.71578-286.50526x2 68.800000 10.252632-8.147368-9.347368-129.336842-31.442105x3-65.115789-8.147368 51.989474 5.742105 101.521053 12.915789x4-50.863158-9.347368 5.742105 27.944737 230.107895 134.384211x5-761.715789-129.33684 101.521053 230.107895 3914.57632 2146.98421x6-286.505263-31.442105 12.915789 134.38421 2146.98421 2629.37895,2023/5/27,26,Pearson相关系数矩阵 Pearson 相关系数,N=20 当 H0:Rho=0 时，Prob|r|x1 x2 x3 x4 x5 x6 x1 1.00000=0.87024-0.36576-0.38969-0.49308-0.22630 相关性好 p12.0001 0.1128 0.0894 0.0272 0.3374 x2 0.87024 1.00000-0.35289-0.55223-0.64560-0.19150.0001 0.1270 0.0116 0.0021 0.4186 x3-0.36576-0.35289 1.00000 0.15065 0.22504 0.03493 0.1128 0.1270 0.5261 0.3401 0.8838 x4-0.38969-0.55223 0.15065 1.00000 0.69573 0.49576 0.0894 0.0116 0.5261 0.0007 0.0262 x5-0.49308-0.64560 0.22504 0.69573 1.00000 0.66921 0.0272 0.0021 0.3401 0.0007 0.0013 x6-0.22630-0.19150 0.03493 0.49576 0.66921 1.00000 0.3374 0.4186 0.8838 0.0262 0.0013,2023/5/27,27,Spearman相关矩阵 Spearman 相关系数,N=20 当 H0:Rho=0 时，Prob|r|x1 x2 x3 x4 x5 x6 x1 1.00000 0.81423-0.37070-0.38020-0.57774-0.19902.0001 0.1076 0.0982 0.0076 0.4002 x2 0.81423 1.00000-0.23770-0.54190-0.72473-0.19940.0001 0.3129 0.0136 0.0003 0.3993 x3-0.37070-0.23770 1.00000 0.13662 0.17924 0.09841 0.1076 0.3129 0.5657 0.4496 0.6798 x4-0.38020-0.54190 0.13662 1.00000 0.65620 0.32263 0.0982 0.0136 0.5657 0.0017 0.1653 x5-0.57774-0.72473 0.17924 0.65620 1.00000 0.69521 0.0076 0.0003 0.4496 0.0017 0.0007 x6-0.19902-0.19940 0.09841 0.32263 0.69521 1.00000 0.4002 0.3993 0.6798 0.1653 0.0007,（2）求得中位数向量、Spearman相关矩阵,-中位数向量,2023/5/27,28,由Pearson相关系数矩阵输出结果，取显著水平，则,（3）分析各指标间的相关性,的检验值均满足p0.1，接受原假设，认为各相应随机变量对相关性很小，可认为为0.类似的,Pearsman相关系数矩阵类似的下列检验值p0.1,2023/5/27,29,第一章总结,作业1.5 1.6,