多元统计分析：第二章多元正态分布及ppt课件.ppt

1,应用多元统计分析,第二章 多元正态分布及 参数的估计,2,在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.,第二章 多元正态分布及参数的估计,3,第二章 多元正态分布及参数的估计目 录,2.1 随机向量2.2 多元正态分布的定义与基本性质2.3 条件分布和独立性2.4 多元正态分布的参数估计,4,本课程所讨论的是多变量总体.把p个随机变量放在一起得 X=(X1,X2,Xp)为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个np矩阵,称为样本资料阵.,第二章 多元正态分布及参数的估计 2.1 随 机 向 量,5,第二章 多元正态分布及参数的估计2.1 随 机 向 量 ,其中 X(i)( i=1,n)是来自p维总体的一个样品.,=(X1,X2,Xp),def,6,在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X的均值向量,X的协差阵和相关阵,X与Y的协差阵)要求大家自已复习. 三 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=AE(X) E(AXB)=AE(X)B,第二章 多元正态分布及参数的估计 2.1 随 机 向 量 ,7,D(AX)=AD(X)A COV(AX,BY)=ACOV(X,Y)B (2) 若X,Y相互独立,则COV(X,Y)=O;反之不成立. 若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,Xp)的协差阵D(X)=是对称非负定阵. 即 = , 0 (为任给的p维常量).,第二章 多元正态分布及参数的估计 2.1 随 机 向 量 ,8,第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质,(4) =L2 ,其中L为非负定阵. 由于0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵,使,9,第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质, 当矩阵0(正定)时，矩阵L也称为的平方根矩阵，记为1/2.,当矩阵0(正定)时,必有pp非退化矩阵A使得 =AA,10,第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质,若0(非负定),必有pq矩阵A1使得 =A1A1,这里记=(1 | 2) , 1为pq列正交阵(p q).并设：,11,在一元统计中，若UN(0,1),则U的任意线性变换X=U+N(,2)。利用这一性质，可以从标准正态分布来定义一般正态分布： 若UN(0,1),则称X =U+的分布为一般正态分布,记为X N(, 2 )。 此定义中，不必要求0,当退化为0时仍有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义,12,定义2.2.1 设U=(U1,Uq)为随机向量, U1,Uq相互独立且同N(0，1)分布；设为p维常数向量，A为pq常数矩阵，则称X=AU + 的分布为p维正态分布，或称X为p 维正态随机向量,记为X Np(, AA)。 简单地说，称q个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布。,第二章 多元正态分布及参数的估计2.2 多元正态分布的第一种定义,13,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1,在一元统计中,若XN(,2),则X的特征函数为 (t)=E(eitX)=expit-t 22 /2,14,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1,15,性质1 设U= (U1,Uq)为随机向量, U1, ,Uq 相互独立且同 N(0,1)分布；令X=+AU,则X的特征函数为,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1,这里t=(t1,tp), 故X(t)为p元函数.,当 XN(0,1)时,(t)=exp-t 2 /2.,16,性质1的证明 ： 根据随机向量特征函数的定义和性质，经计算即可得出X的特征函数为 X(t)= E(eitX)= E(eit (AU+) ),第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1,令tA=s=(s1,sq),17,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1,(因U1 , Uq相互独立,乘积的期望等于期望的乘积),18,定义2.2.2 若p维随机向量X的特征函数为:,第二章 多元正态分布及参数的估计2.2 多元正态分布的第二种定义,一元正态: (p=1),则称X服从 p 维正态分布,记为 X Np(,) .,记=AA，则有以下定义。,19,性质2 设XNp(,), B为sp常数阵，d为s1常向量，令Z=BX+d,则 ZNs(B+d , BB ). 该性质指出正态随机向量的任意线性组合仍为正态分布.,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质2,20,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质2,证明 因 0, 可分解为=AA ,其中A为pq 矩阵.已知XNp(,),由定义2.2.1可知 X = AU+ (d表示两边的随机向量服从相同的分布.)其中U=(U1,Uq),且U1,Uq 相互独立同 N(0，1)分布。,d,21,Z=BX+d = B(AU+)+d,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质2,d,= (BA)U+(B+d)由定义2.2.1可知 Z Ns(B+d, (BA)(BA)，即 Z Ns(B+d, BB).(这里=AA). ,22,推论 设X= Np(,),将,剖分为,第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论,则 X(1) Nr(1),11), X(2) Np-r(2),22).,X(1) rX(2) p-r,23,证明：,由性质2可得：,类似地,第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论,24,此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元正态分布. 如例2.1.1,证明了X1,X2均为一元正态分布,但由(X1,X2) 联合密度函数的形式易见它不是二元正态.,第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论,25,第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论,例2.1.1 (X1,X2)的联合密度函数为,我们从后面将给出的正态随机向量的联合密度函数的形式可知, (X1,X2)不是二元正态随机向量.但通过计算边缘分布可得出: X1N(0,1) , X2N(0,1)这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元正态分布.,26,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子,例如:设三维随机向量X=(X1,X2,X3),且,则有(1) X1 N(2,1),27,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子,由性质2知,Y为3维正态随机向量,且,(2),28,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子,29,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子,(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX故有:,所以 Z N(4,29).,30,性质3 若XNp(,),E(X)=,D(X)=. 证明 因0,可分解为：=AA， 则由定义2.2.1可知 X = AU+ (A为pq实矩阵)其中U=(U1,Uq),且U1,Uq相互独立同N(0，1)分布,故有 E(U )=0, D(U )=Iq .,d,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质3,31,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质3,利用均值向量和协差阵的有关性质可得：,此性质给出多元正态分布中参数和的明确统计意义.是随机向量X的均值向量，是随机向量X的协差阵。,如简单例子中,由性质2知Z服从正态分布,利用性质3,32,性质4 设X=(X1,Xp)为p维随机向量，则X服从p维正态分布 对任一p维实向量a,=aX是一维正态随机变量. 必要性的证明由性质2即得（只须取B=a,d=0即可）. 充分性的证明： 首先说明随机向量X的均值和协方差阵存在: 因对任给p维实向量 tR p, = tX一元正态分布，可知的各阶矩存在，,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质4,33,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质4,如取t = ei =(0,1,0), Xi = eiX,且 E(Xi) (i=1,2,p) 存在. E(Xi2) (i=1,2,p) 也存在.再比如取 t =(0,1,0,1,.,0), = t X= Xi +Xj ,且 E( )=E(Xi +Xj ) (i,j=1,2,p) 存在. E( 2) =E(Xi +Xj )2= E(Xi2)+ 2E(XiXj )+ E(Xj2) 也存在, 即E(XiXj ) (i,j=1,2,p)存在. 故E(Xi),Cov(Xi,Xj)=E(XiXj )-E(Xj) E(Xi) (i,j=1,p)存在.,34,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质4,记 E(X)=,D(X)=., 计算的特征函数: 对任意给定的tRp,因随机变量=t X服从N(t,t t).，故知的特征函数为 ()=E(ei) =expi(t) -2(t t)/2, 计算随机向量X的特征函数: 在的特征函数中，取=1，即得,35,第二章 多元正态分布及参数的估计2.2 多元正态分布的第三种定义,(1)=E(ei)=E(e it X)=X(t) = expit - t t / 2由定义2.2.2可知，XNp(,).,定义2.2.3 若p维随机向量X的任意线性组合均服从一元正态分布，则称X为p维正态随机向量.,36,第二章 多元正态分布及参数的估计2.2 一元正态分布的密度函数,在概率论中大家都知道一元正态随机变量的密度函数是,这个式子可改写为:,37,作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数.,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5,性质5 设XNp(,),且0 (正定),则X的联合密度函数为,38,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5,证明 因0,rk()=p,由线性代数的知识知存在非奇异方阵A,使得 =AA，且 X = AU+ 其中U=(U1,Up),且U1,Up相互独立同N(0，1)分布。,d, U的联合密度函数(p元函数）为,39,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5, 利用U的联合密度函数及随机向量的变换求X=AU+的密度函数。 对任给Borel可测集B，求p元函数fX(x)使得,其中 D=u | u=A-1(x-), xB,40,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5,根据附录8 (P397)公式(8.4),即有,以下来求Jacobi行列式J(ux).,41,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5, 积分变换的Jacobi行列式J(ux)可利用线性变换x=Au+及J(xu)来计算： ,因,向量微商的公式见附录8 (8.1),42,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5,关于积分变换的Jacobi行列式J(ux)的有关内容请参阅附录部分。,故,43,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5, 写出X=AU+的密度函数：,( 这里=AA, ),44,其中是p维实向量,是p阶正定阵,则称X=(X1,X2Xp )服从(非退化的)p元正态分布.也称X为p维正态随机向量,简记为 XNp(,).,第二章 多元正态分布及参数的估计2.2 多元正态分布的第四种定义,定义2.2.4 p 维随机向量X=(X1,X2Xp) 的联合密度函数为,45,第二章 多元正态分布及参数的估计2.2 多元正态分布的多种定义及关系,以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求是正定阵,它给出的是非退化的正态分布的定义。 另三种定义中把阵推广到非负定的情形,这三种定义是等价的。,46,例2.2.1(二元正态分布),第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1,(即10,20,|1)(1)试写出X的联合密度函数和边密度 函数；(2)试说明的统计意义.,47,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1,解:（1）因,注意改p26,48,二元正态随机向量X的联合密度函数为,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1,49,另由性质2的推论，即得,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1,(2)因Cov(X1 ,X2)=12 =12 ,而X1与X2的相关系数为,故二元正态分布的参数就是两个分量的相关系数.,50,显然 当=0时，f(x1, x2)=f1(x1)f2(x2)，即X1与X2相互独立. 当|=1时，|=0 (退化,即的列向量或行向量线性相关)，则存在非零向量t =(t1, t2) ,使得t =0, 从而t t =0，故而随机变量=t (X-)的方差为 Vart (X-)= t t =0,这表示 Pt (X-)=0=1.,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1,51,即 t1(X1-1)+t2(X2-2)=0以概率1成立； 反之，若X1与X2以概率1存在线性相关关系，则|=1. 当0时,我们称X1与X2存在正相关; 当0时,我们称X1与X2存在负相关.,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1,52,例2.2.2 二元正态密度函数的图形及等高线的图形,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2,为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等高线(面).显然当 p=2 时,它是一族中心在(1,2 )的椭园.,53,一般的p维正态密度等高面为,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2,取1 =0,2 =0,以下绘制三组参数下二元正态密度函数及密度等高线图形：,（1）当 时,（2）当 时,（3）当 时,54,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2,55,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2,56,第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2,57,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性,以下是关于独立性的一条重要结论：,设XNp(,) (p2),将X,剖分为,58,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性,定理2.3.1 设p维随机向量XNp(,)，,则 X(1)与X(2)相互独立 12Or(p-r) (即X(1)与X(2)不相关),证明:必要性显然成立.,59,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性,(充分性)：设120 ，则X的联合密度函数为,所以X(1)与X(2)相互独立.,60,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性,推论1 设ri1(i=1,k),且r1 + r2 + rk=p，,则X(1),X(k)相互独立ij0(一切ij),推论2 设XNp(，)，若为对角形矩阵，则X1,Xp 相互独立.,61,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性例子,例如:设三维随机向量X=(X1,X2,X3),且,则有(1),(2),62,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性的例子,(3) X1与X3 , X2与X3 ,也相互独立;,(4),(5) 令,63,第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性例子,(6) Y的密度函数为,X3的密度函数为,故二维随机向量Z的联合密度函数为,64,第二章 多元正态分布及参数的估计2.4 多元正态分布的参数估计,考虑p维正态总体XNp(,), 设X(i)=(Xi1, Xip )(i1,n)为p维总体X的简单随机样本，资料阵,是一个随机矩阵.,65,第二章 多元正态分布及参数的估计2.4 - 多元正态样本的数字特征,(1) 样本均值向量X,66,第二章 多元正态分布及参数的估计2.4 - 多元正态样本的数字特征,中心化数据阵:,67,第二章 多元正态分布及参数的估计2.4 - 多元正态样本的数字特征,(2) 样本离差阵A (交叉乘积阵),其中,68,第二章 多元正态分布及参数的估计2.4 - 多元正态样本的数字特征,或者把A表为:,69,第二章 多元正态分布及参数的估计2.4 - 多元正态样本的数字特征,或者把A表为:,70,第二章 多元正态分布及参数的估计2.4 - 多元正态样本的数字特征,(3) 样本协方差S:,(4) 样本相关阵R:,71,第二章 多元正态分布及参数的估计2.4 - 多元正态样本数字特征的例子,例:设从某书店随机抽取4张收据了解图书的销售情况.每张收据记录售书数量X2及总金额X1,具体数值如下:,试计算样本均值,样本离差阵,样本协差阵和相关阵. 解:,72,第二章 多元正态分布及参数的估计2.4 - 多元正态样本数字特征的例子,样本离差阵A的计算公式为:,中心化数据阵,73,第二章 多元正态分布及参数的估计2.4 - 多元正态样本数字特征的例子,74,第二章 多元正态分布及参数的估计2.4 - 多元正态样本数字特征的例子,75,第二章 多元正态分布及参数的估计2.4 - ，的最大似然估计,设X(i)(i1,n) 为p维正态总体N(,) 的随机样本， 以下用最大似然法来求参数,的最大似然估计.,76,定理2.5.1 设X(i)(i1,n) 是多元正态总体Np(,)的随机样本，np，则,的最大似然估计为,第二章 多元正态分布及参数的估计2.4 - ，的最大似然估计,77,第二章 多元正态分布及参数的估计2.4 -最大似估计量的性质,参数的最大似然估计有很多优良性标准,如无偏性，有效性,相合性等.和 的最大似然估计是否具有这些好的性质呢?这是我们现在要讨论的问题.,78,第二章 多元正态分布及参数的估计2.4 -最大似估计量的性质,定理2.5.2 设X和A分别为p元正态总体Np(, )的样本均值向量和样本离差阵,则,(S=A/(n-1）或S*=A/n),79,第二章 多元正态分布及参数的估计2.4 -最大似估计量的性质,性质1：无偏性,因为,故X（样本均值）是的无偏估计.,因,80,故的最大似然估计量 不是无偏估计. 而样本协差阵S是的无偏估计:,第二章 多元正态分布及参数的估计2.4 -最大似估计量的性质,性质2：有效性 可以证明X,S是,的“最小方差”无偏估计量,即X,S是, 的有效估计量(见参考文献2).,81,第二章 多元正态分布及参数的估计2.4 -最大似估计量的性质,性质3：相合性(一致性),利用强大数律还可以证明：,n,n,82,第二章 多元正态分布及参数的估计2.4-最大似估计量的性质,性质4：其它 还可以证明最大似估计量是,的充分统计量; X是的极小极大估计(最大风险达最小);且估计量具有渐近正态性.,83,第二章 多元正态分布及参数的估计2.4 -参数函数的最大似然估计,为了从参数,的最大似然估计来导出参数函数 g(,)的最大似然估计,下面我们来介绍一条有用的结论.,定理2.5.2 设参数向量的函数为 g()=,是的最大似然估计.则有,是=g()的最大似然估计.,