多元统计分析第二章 多元正态分布.docx

第2章多元正态分布多元正态分析是一元正态分布向多元的自然推广。多元正态分布是多元分析的基础，多元分 析的许多理论都是建立在多元正态总体基础上的。虽然实际的数据不一定恰好是多元正态 的，但是正态分布常常是真实的总体分布的一种有效的近似。所以研究多元正态分布在理论 上或实际上都有重大意义。限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard（2003），朱道元（1999）等。现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的 近似的抽样分布。2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。类似地，所有元素都是随机变量的矩阵称为随机矩阵。设X = （x., x）是p X1随机向量，其概率分布函数定义为：F（X ,.,x ）= P（X < x ,., X < x ，X ,.,X 为任意实数1p11p p1p多元分布函数F（X,.,X ）有如下性质：0 < F （x ,.,x ）< 1 ；F（X, . ., X,）是每个变量Xj, i = 1,2,p的非降右连续函数;F（8,., 8）=1 ；（1）（2）（3）（4）F (一8, X ,., X )= F (x , 一8 ., X )=二F(X ,.,一8)= 0。2p1p1多元分布和一元分布一样也分为离散型和连续型。连续型随机向量x =（x1,.,X）的分布函数可以表示为：(2.1)FG，,x ）= f X1 f xp f （t）dt dt，（x ,.,x ）e Rp1 p一8一81?1?1 p称f （x1，-, xp ）是X =（X 1?., xj的多元联合概率密度，简称多元概率密度或多元密度。多元概率密度f (y,七)有以下性质：f ：,Xp )非负；卜.jf (x，,x )dxdx =1；ss1P 1 PJ ) dpF (x，,x )'，pdx .dx1(1)(2)(3)2.1.2边缘分布、条件分布和独立性边缘分布(不妨设设X =(X 1,. , X)是p维连续型随机向量，由其q个分量组成的向量X(1)X(1) = (X,.,X)的分布称为的边缘分布，其边缘概率密度为：(2.2)f(x ,.,x )= js .js f (x，,x )dx dxX (1)1 q s s 1pq+lp条件分布设X =(X 1,., X)是p维连续型随机向量，X(1)= (X 1,., X),X =(X ，X ), f (x ,., x )> 0,在给定X 的条件下,X的条件概率密(2)q+1pX(2 q+1p(2)(1)度函数为:f q,.,xxq+1) f §,.,xp).'pfX G+i.ix)(2.3)独立性设(X1,., Xn)是连续型随机向量，则X1,., Xn相互独立当且仅当f (x ,., x )= f (x)f (x )对任意 x ,., x 成立。1nX 1Xn n1n例2.1设随机向量X = (XX2,X3)'的概率密度函数为exp 2x - x x >, x , x , x > 0I 122 3 I 1230, 其他试证X, X 2,X3相互独立。证明：f (x )=jsjs f (x ,x ,x )dx dxs sX11 s s 12323= fcofcoexp|-2x0 0-x -x dxdx122 3=2e-2勺,x > Qi同理f (X ) =e, x >0-X2 22f (x ) = eixi, x > 0X3 323由于f (% , X , X ) = f (x )f (x )f (% )123 X| 1 X, 2 X3 3所以X ,x ,x相互独立。 1232.1.3随机向量的变换设随机向量X = (X,X )'的概率密度函数为),函数组 1p1PP =(p (xi = 1,2,-, p，其逆变换存在，即 X =W (K,.,K ), j = l,2，p 存iiipj j 1 p(2.4)(2.5)在。则y =（¥,y y的概率密度为： 1 p g（y ）=y（|/ （,.,）|j|1p11pp 1pd（X ）其中f ）1 p2.1.4数字特征数学期望随机矩阵X = G ）的数学期望定义为'J nxmE（X ）. .E（X ）'（）以）.是（疽”）FX ）=212/nE(X ). .E(X )nlnm /随机向量X = （X,Xp）,也可看作随机矩阵，它是只有-列的随机矩阵，其数学期望为： E（X）=（E（X E（X ）1p随机矩阵x）的数学期望有如下的性质: nxm(1) E(CX ) = CE(X),其中 C 为常数;（2）设 A,B,C 是常数矩阵，则E（AX8 + C）= AE（X）8 + C ；(3)设X都是同阶的随机矩阵，贝iJE（X HX ）=E（X ）E（X ）01n1n1n例 2.2 设X N(|Li,b2)G = l,2, ,则 E(x)=:=:、E(X )J、 n z协方差矩阵设随机向量X =（x,X ）', Y = （Y,K）',则X与丫的协方差定义为:1P1 q顷(X,Y)=EX-E(x)y E(Y)J =(Cov(x ,y).Cov(x)111 q Cov(x ,y).Cov(x ,y )vp 1p q J(2.6)简称为X与丫的协差阵特别地,(X ) = Cov(X, X )=(Cov(X ,X ).Cov(x ,X )111 pCov(X ,X ).C“(X ,X )p 1p p Jij也称为随机向量X的协方差矩阵（简称为协差阵）或方差，其中b =Cov（x ,X ）Ui j协方差矩阵的性质:（1）随机向量X的协方差矩阵£是非负定对称矩阵。（2）设A是常数矩阵，力是常数向量，则Var（AX +b）= AVar（X）Af 0(3)设 A,B 为常数矩阵，则 Cov(AX,BY) = ACov(X, Y)Br 0相关矩阵设X = （X|,.,Xp），和Y = （Y叮分别为维和0维随机向量，则X与5相关矩阵（简称为相关阵）定义为:P(x,Y)=(p(x ,Y).p(x111 q(2.7)其中p =p(xij若P（X,K）=O,表示X与丫不相关。2.1.5特征函数随机向量X的特征函数定义为：(2.8)<p （t）= E。沪x ）其中r是与X有相同维数的实向量。随机矩阵X =（x ）的特征函数定义为:"pxn（P（）=E(nexp i工乙k a=l P=1t Xap ap(2.9)其中7是与X有相同阶数的实矩阵。N,b2）的密度函数2.2多元正态分布的定义及其性质多元正态分布是一元正态分布向PZ2维的推广。一元正态分布是:exp/",-00 < X < 00(2.10)_元X2、,-00 < X < 00exp(2.H)1rf(x) = exp v'2k"设X,Xp是独立同N（0,l）分布,则X = （XX ）'的联合概率密度为:f X2 i i=l其中一oo < x < oo,i = 1,2，,P , x'x = (x ):、i1 p' py称x服从尸元标准正态分布，记为XN（0,I ）,其中I是P阶单位矩阵。pP定理2.2.1：若(X ,X ? XN Q( ?),则它的任意线性组合Y = AX + r仍服从多元正 qxl qxppx1 qx态分布，且 EY = r ,var(Y) = E(Y - EY)Y - EY)'= AA，从而 Y N。,AA')。易见AA'是一个非负定矩阵，记为E。因此多元正态随机向量Y的分布用N(r ,Z)表示，其中E> 0。当区| = 0时，Y就是退化的多元正态分布，不存在概率密度。当习。0时，E有逆。此时，Y有概率密度函数，其密度函数为：f(y) = G兀)一;|E|-2exp - - (y - r) S-1 (y - R), k 2)(2.12)上式就是常见的多元正态概率密度，记为YNqS, Z)o EY = r，var(Y) =£。例2.3设随机向量YNq(0,Iq)，则Y的特征函数为:中(t) = E (eit'y )= E j exp iHe"'k j=1)j=1=He - 212 = e- 211j=i=He例2.4设随机向量X服从Np(r ,S)，则X的特征函数*(t) =J1exp it R- t£t。k2)证明：由定理2.2.1矢口，存在随机向量YN(0,1 )，使得X = r+ BY，其中BB = £。 中(t) = E (eitx )= E eit，(r+ by) = exp it'r E Ci(b t)y )于是=exp SSexp |-2(船)(Bt)1. -t '以2)J=exp it R-例 2.5 设 X N2。, £)，其中(R1加2)由于 £|=b 2b 2(1 -P 2 )，当 |p|< 1 时(X )IX1 J2(b11' 21*2 Ib )22b2"2|习。0。此时有1221X的概率密度为:f(X) exp12'：'120时，上式简化为:1IF"exp121时，I I 0,此时】不存在X11X22x22212个退化的二元正态分布，概率密度不存在，X 与X 2以概率1线性相关。定理2.2.2设X是P维随机向量，则X的充分必要条件为其任一线性函数aX *X a2X2RP服从N,a a分布。（证明参见余锦华等（2005）特别地，若X N P，取AI,0，则AXX0（1）,即X的任一子向量服从正态分布，所以X的任一边缘分布都是正态的。定理2.2.3:，常数矩阵Aq pa ,a111P，则Y AX服从a , ,aq1qP,A A分布。进一步有,YAXb服从NqA b,A A，其中b Rq。（证明参见余锦华等(2005)推论：若y，将y分块为:y(1)y(2),与相应分块:（1）11(2)2112，则 y,.、(i)22(i),iii1,2。定理 2.2.4： 若 y =II £ 21£ )£122211，则y（1），%）相互独立的充分必要条件是：£12 = 0。（证明参见王学民（2004）这个定理告诉我们，要证明联合正态分布的分量是否独立时，只要证明他们的斜方差阵是 否为0。例如：由于 E(AX - E(AX)Bx - E(BX)' = AE(X - EX)X - EX )' B' = A var(X)B'如果A var（X）B' = 0，根据定理2.2.4，就可以判定AX与BX是独立的。例2.6设X1，Xn是来自正态总体NG，°2）的样本，证明：x =1 £ni =1=X，X )"与 S = £ G - X)X - X)= XX - nXX' = & )° 1ij Px PPPx 1ii =1相互独立。证明：记X=(X，,X1)'，于是有 EX =日，var( X ) = ° 21。x = Lr x，其中 1 = (, ,1)' nX - 1X =I-11' Xi n 1iXn - X1cov X，X - 1X)= covP 1'X，I I-11' IXf 1”=上 1'var(X) I-11' = 1 ° 21' I-11' n从而X与X - 1X相互独立，因此X与X - 1X的函数1G - 1x）G - 1X ）=1 £（X.-X） 相互独立，即X与5相互独立。 nn 'i=1例2.7设X =（X1，X2，X3）服从N。，£）分布，其中£ =立« 1，X2）和X3是否独立?解：因为X1与X2的协方差° 12 = 1，故他们不是独立的.又，将x和E划分为:0、0。问X与X_是否独2匕1由于XIX )10 )1和X的协方差矩阵£ =XV .)312V 0)。因此322,E1M 12I 21由定理224,（X1，X2 ）和 X3相互独立。这意味着X与乂独立，与X也独立。定理 2.2.5：设 X =（X 1，X J'服从 N11、21£ 2：的分布，且|、|>0。则给定X时,X的条件分布是正态的，且 2E（X 2 |X ）2X=£22一£21气1£ 12。（证明参见王学民（2004）该定理说明X2的协方差与条件变量X1的值无关。2.3多元正态分布的参数估计参数估计是指已知总体分布类型，通过样本对其中的未知参数或数字特征作相应的估 计。设多元正态总体XNp（r ,Z），X,Xn是从总体中抽取的一个简单随机样本，从 而X,X n相互独立，且均服从正态分布N。，Z）。IXX.X )11121P记X=(X ,.x )'-,X =X21X22.X2 P1n:nxpV Xin1X.X) nPn2称之为观测数据阵，这是一个随机矩阵。其联合概率密度是:f(x)=H/(X )=n(两)-2|Z|-；exp-1 (x i11 I 2 i11 £ (x |J»1 (x 2一如一1 (xir)i=1=G兀)p区)ni=12 exp I 2 i'i=12.3.1多元正态总体样本的数字特征(2.13)样本均值向量:x = -£Xj = k，,Qpx1 '其中x 二1 £ X., j = 1,2,.,P i=1i=1(2)样本离差矩阵:S = £ X X)X X) =XX nXX' = S ) 称为样本离差矩阵II. PxPi =1其中 S. = £ X X X. X )(i,j = 1,2,.,P)a=1(3)样本协方差矩阵：称R = 二 S作为样本协方差矩阵，简称为样本协差阵。n 1(4)样本相关矩阵:f1 % 其中P. = P jiS, (i, j = 1,2,.,p )P 1 PP =212 P定理2.3.1：设又和S分别是总体XN", £)的样本均值向量和样本离差矩阵，则:(1)(2) S =£ 1 Zg ，其中彳,Zn1独立同Np(0,£)分布; i=1(3)又和S相互独立。例2.8为了弄清楚橡胶的性能，今抽了 10个样品，每个测了三项指标：硬度、变形及弹性，其数据如下：No硬度变形弹性No硬度变形弹性1654527.66674631.32704530.77684737.03704831.88724333.64694632.69664733.15665031.010684834.2试求样本均值向量、样本协方差阵和相关阵。SAS的CORR过程可用于求样本均值向量、样本协方差矩阵R和样本相关矩阵。CORR过程主要有两个语句：PROC CORR语句和VAR语句。PROC CORR语句用以调用CORR过程VAR语句，它以关键词proc corr开头，后跟data= 数据集名，用以说明加工的数据集。加选项COV后可以求样本协差阵。VAR语句以关键词var开头后跟随机向量的分量名。编制SAS程序如下：data w；input x1 x2 x3;cards;65 45 27.670 45 30.770 48 31.869 46 32.666 50 3167 46 31.368 47 3772 43 33.666 47 33.168 48 34.2;proc corr data=w cov;run;屏幕输出3张表：Correlation Analysis3 'VAR' Variables:X1X2X3CovarianceMatrixDF = 9X1X2X3X14.766666667-1.9444444441.934444444X2-1.9444444443.8333333330.616666667X31.9344444440.6166666676.189888889上表可见(4.7666667 -1.9444444 1.934444、R = -1.9444443.8333333 0.6166667"1.9344440.61666676.1898889 )Correlation AnalysisSimple StatisticsVariableNMeanStd DevSumMinimumMaximumX11068.10002.1833681.000065.000072.0000X21046.50001.9579465.000043.000050.0000X31032.29002.4879322.900027.600037.0000(68.1、所以X = 46.532.29)Correlation AnalysisPearson Correlation Coefficients / Prob > |R| under Ho: Rho=0 / N = 10X1X2X3X11.00000-0.454880.356130.00.18650.3125X2-0.454881.000000.126600.18650.00.7275X30.356130.126601.000000.31250.72750.0(1-0.45488 0.35613)上表可见P =-0.4548810.12660。0.356130.126601)3.3.2 R, E的估计(1)矩法估计用样本均值向量X和-S分别作为总体均值R和总体协方差E的估计量，称为参数 nC, £)的矩法估计。口 =又，£ =1 s =1 £(x - X)G - X )n n ''i=1（2）极大似然估计设X,X是从多元正态总体X吒（M,Z）中抽取的一个简单随机样本，日,£未知。R , £的极大似然估计为:口 = X ，£ = 1 s = 1 £(X - X)Xi - X)(证明参见王学民(2004)i=1定理2.3.2：（极大似然估计量具有不变性）：设G是0的极大似然估计量，考虑函数h（0），一，、一，八、例2.9设多元正态总体XN。,E）则h（9 ）的极大似然估计为h（9）。X,X是一个简单随机样本，n > P,£> 0。1X（1）1（2） / p-q1 c将样本均值向量X和s作相应的分块:nX（1）11Z、211（2） / p-qU s 111 s21s12s /22p-q则有:(1)七）的MLE为X气.的MLE为-s ；(2)X /X的相关系数P的MLE为:1) X 2)bP= 12X 1)X 2) b 1b 22参数估计的方法多种多样评价估计量优劣的准则也是多种多样。从不同的角度，有无偏性、有效性、相合性等。无偏性设e（X ,X，,X）是未知参数0的一个估计量，如果对V0 6。，都有E0 =0，则 12n称0是未知参数°的无偏估计。下面考察Np。，Z）中。，Z）的极大似然估计量的无偏性由于E|1 = EX =1 £ EX 二日，故X是旦的无偏估计。i =1又E i = E f1S ) = 1E £(X - X )(X - X JI n ) n i i1- i=1£(X -Q(X - J-n(X -Q(X -JLi ""i f 一=_ Y var X n1. 11i=1=一 n var X故，1S不是£的无偏估计。但一 1 s = 1 £ G - X）X - XJ 是£的无偏估计。nn 1n 1，i =1（2）有效性设0（X ,X，,X ）和0（X ,X，,X ）是未知参数0的两个无偏估计，如果 112n 212nvar®） < var（0 ）对V0 e 0成立，则称估计量0比0有效。1212如果0的某个无偏估计0对。的任一无偏估计。都有、var(0) < var(0 )对 V0 e 0 成立则称0是0的有效估计。有效估计又称最优无偏估计。可以证明，对于多元正态总体，X和1S分别是旦和£的有效估计。n（3）相合性如果未知参数0的估计量e（X ,X，,X）随着样本容量n的不断增大，无限地逼近真 12n值0，则称0是0的相合估计。=1 可以证明，无论总体是否为多元正态，X和一S分别是旦和£的相合估计。n2.4抽样分布一、非中心>2分布、非中心f分布和非中心F分布定义2.4.1：设xn N（H,Z）,E >0,令= X'£-1X ,则称冷的分布为具有自由度为、 P非中心参数为8的非中心X2分布，记为咒2口、2侦,8）,其中8=口1：-甲。X定义2.4.2：设X H 2V（6 ,1）与丫口>2（）相互独立，令T =,则称T的分布为具有自 由度为、非中心参数为&的非中心$分布，记为口1（,8）。定义243：设X /2（m,5）与厂彳2（）相互独立，令F ,则称g的分布为具有Y.;n自由度为秫/、非中心参数为&的非中心F分布，记为尸口"（秫,8）。二、Wishart 分布1. Wishart分布的定义Wishart分布是Wishart于1928年首先推导出来的，它在多元统计分析中占有非常重要的位置。定义 244：设 X,.,X 相互独立，X N（0,£）,（1 = 1,2,） 1ni P记X=（X,.,X ）, W = £x x' = xx,则称随机阵W服从自由度为的Wishart1 nxP''i=l分布，记为。,£）。 p其概率密度为：r 11）A 2 exp - , A > 0f（A,£）=<半，（2.14）a=o 20 ,其它其中A = C ） 为对称阵，是随机矩阵W的观测值矩阵。 U PxP2. Wishart分布的性质：性质1：设总体XN贝0样本离差阵S服从自由度为1的恢祯以分布，即Ps = EG x）（ X）w G-i,z）iiPi=l性质2 (可加性)：设W W n, ,W W n,，且W ,W 相互独立，则1 P 12 P 212W W W n n ,。 12 P 12性质3：设W Wp n,，对任意m P阶常数矩阵C ,有：CW C W n,C C 。 特别地，aW Wp n,a a 0,为常数。三、Hotelling2分布1.Hotelling2分布的定义定义2.4.5设X Np 0,，随机阵W Wp n, 0,n P，且X与W相互独立， 则称统计量T2 nX W 1X服从自由度为n的Hotelling2分布，记为 T2 T2 P,n。一般地，若X Np ,，则称统计量T2 nX W 1X的分布为非中心Hotelling2分 布，记为T2 T2 P,n,。2. Hotelling2分布的性质性质1：设X，,X (n)是总体n p0,n P的随机样本，则统计量T2 n(n 1) X)S 1(X) T 2 p,n性质2： 丁2与分布的关系：设T 2T2 (p,n)，则n P 1T2npF (p,n p 1)。特别，设 X, ,Xnii(Np ,0,n p，贝"T 2 n (n 1)X S 1X T 2 p,n 1,Jnn p T 2 n p _nX S 1XF p,n p,，其中 n 1。(证明参见余锦华等p n 1 p(2005)例2.10设X, ,Xn是总体Np ,的样本， 0,n P。则T2 nn 1 X S 1 X T2 P,n 1 o证明：因为又NP所以打(X -R)Np(0, £)。而S =Y (X -刀)£ - X)Wp (n 1, £)，且X和S相互独立，从而 i=1T 2 = n(n 1* r) S -1X -r)=(n 1( n (X 一 r)S-i n (X 一 r) T2 (P, n -1)四、Wilks分布1. Wilks分布的定义则称广义方定义 2.4.6：设 A W (m, £), A W (n, £), £> 0, m > p，且 A 与 A 独立，差之比a = "tIA1 + A21 p2 p12的分布为Wilks分布，记为A A(p,m,n)。当 p = 1 时，A &(m2, n 2)。2. Wilks分布的性质性质 1：当 n = 1,m > p 时，A(p,m,1)=11，1 + T2 (p, m)n1 A( p, m,1)T 2( p, m) = m -A( p, m,1)m - p +1m - p +11 A d T 2 = F (p, m p +1)。 mpp A性质2：当p = 1时，有m 1 A(1,m, n) d =F(n, m)。n A (1,m, n)习题二I、设三个随机变量X,*Z的联合密度函数为:.（_kxyz, 0<x<2,0 < y,z <1;一0,其他（1）试求常数* ；（2）x,y,z是否相互独立； 试求在给定x = l,y = 0.5的条件下，Z的条件分布。2、设随机向量X=（X,X ,X ）'的协方差矩阵为:123'4 -2 -4、£=-2 93L 3 16/令Y =X -2X +3X ,y =2X +3X +X ,Y =X +X ,试求 丫 二 (丫,丫，丫)'的协方11232123323123差矩阵。3、设XN （孔£）,其中32 11)= (1-2,1) £= 13 - 1 ,Il T J0.51 -0.5、00,fl)B = o试求Y AX + B的分布。'3 2 1、4、设X N (p,£),其中pi = (1,2,3),£=2 2 1 0 (1)试求X +3X 2X 的分31231 1 1J布;试找一个二维向量2 （件）'，使气与气(X-a相互独立。5、设X,.,X是来自总体N （孔£）的随机样本，若P = 已知，试求参数£的最大似 Inp0然估计。6、设X 是来自总体N 3,£)的随机样本，C 2OJ = 1,2,.,N C =1 ,令Inpiii=lZ=1（1）Z是R的无偏估计;(2)Z N p （r , CC£）,其中 C =（2，., Cj；(3)当C = ! 1时，Z的协方差阵在非负定的意义下达到极小。7、设X., X是来自总体N5 （r ,£）的一个随机样本，试说明下列统计量的分布:（X 一旦j £t （X 一旦）的分布；（2）寸（X r）的分布。