第二章 多元正态分布的参数估计要点课件.ppt

《第二章 多元正态分布的参数估计要点课件.ppt》由会员分享，可在线阅读，更多相关《第二章 多元正态分布的参数估计要点课件.ppt（68页珍藏版）》请在三一办公上搜索。

1、第二章 多元正态分布,2.1 多元正态分布的定义2.2 多元正态分布的性质2.3 复相关系数和偏相关系数2.4 极大似然估计及估计量的性质2.5 和(n 1) S的抽样分布,2.1 多元正态分布的定义,一元正态分布N(,2)的概率密度函数为：若随机向量 的概率密度函数为则称X服从p元正态分布，记作XNp (, )，其中，参数和分别为X的均值和协差阵。,例1（二元正态分布 ）,设XN2(, )，这里易见，是X1和 X2的相关系数。当|1时，可得X的概率密度函数为：,二元正态分布的密度曲面图,下图是当 时二元正态分布的钟形密度曲面图。,二元正态分布等高线,等高（椭圆）线：上述等高线上的密度值,二元

2、正态分布的密度等高线族（由10000个二维随机数生成）,|越大，长轴越长 ，短轴越短，即椭圆越扁平；|越小，长轴越短 ，短轴越长，即椭圆越圆；|=1时椭圆退化为一条线段；|=0时即为圆。,2.2 多元正态分布的性质,（1）多元正态分布的特征函数是：（2）设X是一个p维随机向量，则X服从多元正态分布，当且仅当它的任何线性函数 均服从一元正态分布。性质（2）常可用来证明随机向量服从多元正态分布。（3）设XN p (, )，Y=CX+b其中C为rp 常数矩阵，则该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。,（4）设XNp (, )，则X的任何子向量也服从（多元）正态分布，其均值为

3、的相应子向量，协方差矩阵为的相应子矩阵。该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。,2.2 多元正态分布的性质,正态变量的线性组合未必就是正态变量。证明: 反证法。若命题 “一元正态变量X1,X2, ,Xn的一切线性组合一定是一元正态变量” 成立，则由性质（2）知，X1,X2, ,Xn的联合分布必为多元正态分布，于是命题“一元正态变量的联合分布必为多元正态分布”成立，从而矛盾。,2.2 多元正态分布的性质,则（i） ； （ii） ； （iii） 。,例3 设XN4(, )，这里,2.2 多

4、元正态分布的性质,（5）设X1,X2, ,Xn相互独立，且XiN p (i, i) ，i=1,2,n，则对任意n个常数，有此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。（6）设XN p (, )，对X, , (0)作如下的剖分：,则子向量X1和X2相互独立，当且仅当12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设XN p (, ), 0，则例4 设XN3(,)，其中则X2和X3不独立，X1和(X2,X3)独立。,（8）设XN p (, ), 0，作如下剖分则给定X2时X1的条件分布为 ，其中12和112分别是条件数学期望和

5、条件协方差矩阵，112通常称为偏协方差矩阵。,这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例5 设XN3(, )，其中试求给定X1+2X3时 的条件分布。,2.3 复相关系数和偏相关系数,一、复相关系数二、偏相关系数,一、复相关系数,相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量X1与一组随机变量X2, ,Xp之间线性关系的强弱。将X, (0)剖分如下：,X1和X2的线性函数 间的最大相关系数称为 X1和X2间的复(或多重)相关系数(multiple correlation coefficient)，记作12,p,

6、它度量了一个变量X1与一组变量X2, ,Xp间的相关程度。可推导出例4 随机变量X1,Xp的任一线性函数F=l1X1+ lp Xp与X1,Xp的复相关系数为1。证明:,二、偏相关系数,将X, (0)剖分如下：称 为给定X2时X1的偏协方差矩阵。记 ，称 为偏协方差，它是剔除了 的（线性）影响之后，Xi和Xj之间的协方差。,给定X2时Xi 和Xj的偏相关系数（partial correlation coefficient）定义为:其中 。ijk+1,p度量了剔除Xk+1, ,Xp的（线性）影响之后，Xi和Xj间相关关系的强弱。 对于多元正态变量X，由于112也是条件协方差矩阵，故此时偏相关系数与

7、条件相关系数是同一个值，从而ijk+1,p同时也度量了在Xk+1, ,Xp值给定的条件下Xi和Xj间相关关系的强弱。,2.4 极大似然估计及估计量的性质,一、样本X1,X2, ,Xn的联合概率密度二、 和的极大似然估计 三、相关系数的极大似然估计 四、估计量的性质,设XNp(, ) , 0，X1,X2, ,Xn是从总体X中抽取的一个简单随机样本（今后简称为样本），即满足：X1,X2, ,Xn独立，且与总体分布相同。令称之为（样本）数据矩阵或观测值矩阵。,一、样本x1,x2, ,xn的联合概率密度,极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度 f (x1,x2,xn)的任意

8、正常数倍，我们不妨取成相等，记为L(, )。可具体表达为：,二、和的极大似然估计,一元正态情形：多元正态情形：其中 称为样本均值向量（简称为样本均值）， 称为样本离差矩阵。,三、相关系数的极大似然估计,1.简单相关系数2.复相关系数3.偏相关系数,1.简单相关系数,相关系数ij的极大似然估计为:其中 。称S为样本协方差矩阵、rij为样本相关系数、 为样本相关矩阵。,2.复相关系数,将X, (0),S剖分如下：则复相关系数12,p的极大似然估计为r12,p,称之为样本复相关系数。其中,3.偏相关系数,将X, (0),S剖分如下：则偏相关系数ijk+1,p的极大似然估计为rijk+1,p ，称之为

9、样本偏相关系数，其中,3.5 和(n 1)S2的抽样分布,一、 的抽样分布二、 (n 1)S的抽样分布,一、 的抽样分布,1.正态总体 设XNp (, ), 0 ，X1,X2, ,Xn是从总体X中抽取的一个样本，则2.非正态总体（中心极限定理） 设X1,X2, ,Xn是来自总体X的一个样本，和存在，当n很大且n相对于p也很大时，上式近似地成立。,二、均值向量与协差阵的最大似然估计,三、估计量的性质,1.无偏性2.有效性3.一致性4.充分性,充分统计量,1 充分性的概念,例1 为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取10件进行观测，发现除第三、六件产品不合格外，其余8件

10、产品都是合格品。这样的观测结果包含了两种信息：,(1) 10件产品有8件是合格品；,(2) 2 件不合格品分别是第三和第六件。,第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行n 次观测，得到 x1, x2, xn，每个xj 取值非0即1，合格为1，不合格为0。令 T = x1+xn ，T为观测到的合格品数。在这种场合仅仅记录使用T 不会丢失任何与合格品率 有关的信息，统计上将这种“样本加工不损失信息”称为“充分性”。,样本 x=(x1,x2,xn) 有一个样本分布F (x)，这个分布包含了样本中一切有关的信息。,统计量T =T (x1,x2,xn) 也有一个抽样分布

11、FT(t) ，这个分布包含了统计量T中一切有关的信息. 当我们期望用统计量T 代替原始样本且不损失任何有关 的信息时，也就是期望抽样分布 FT(t) 像 F(x) 一样概括了有关 的一切信息. 这即是说在统计量 T 取值为 t 的情况下样本 x 的条件分布F(x|T=t) 已不含 的信息，这正是统计量具有充分性的含义。,定义 (充分统计量) 设 x1, x2, , xn 是来自某个总体的样本，总体分布函数为F ( x ; )，统计 量 T = T(x1, x2, , xn) 称为 的充分统计量，如果在给定T 的取值后，x1, x2, xn 的条件分布与 无关.,例2 设总体为二点分布 为样本,

12、令 则T是 的充分统计量;若则S不是 的充分统计量.,下面我们给出几个例子, 根据定义来验证一个统计量是不是充分的.,在一般场合直接由定义出发验证一个统计量是充分统计量比较困难. 奈曼(Neyman)给出了一个简单的判别方法-因子分解定理.,充分性原则： 在充分统计量存在的场合，任何统计推断都 可以基于充分统计量进行，这可以简化统计推断的程序,称该原则为充分性原则.,四、Wishart分布,通过上面的理论分析知道，多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本协差阵。利用SPSS软件可以迅速地计算出多元分布的样本均值向量、样本离差阵和样本协差阵。下面通过一个实例来说明多元正

13、态分布参数估计的SPSS实现过程。 从沪深两市上市公司中随机抽取300家公司，取其三个反映收益情况的三个财务指标：每股收益率（eps）、净资产收益率（roe）和总资产收益率（roa）。现要求对这三个指标的均值和协差阵进行估计。,均值向量的估计,在SPSS中计算样本均值向量的步骤如下：1. 选择菜单项AnalyzeDescriptive StatisticsDescriptives，打开Descriptives对话框，如图2.1。将待估计的三个变量移入右边的Variables列表框中。,图2.1 Descriptives对话框,2. 单击Options按钮，打开Options子对话框，如图2.2

14、所示。在对话框中选择Mean复选框，即计算样本均值向量。单击Continue按钮返回主对话框。,图2.2 Options子对话框,3. 单击OK按钮，执行操作。则在结果输出窗口中给出样本均值向量，如表2.2。即样本均值向量为（0.175，0.044，0.026）。,表2.2 样本均值向量,协差阵的估计,在SPSS中计算样本协差阵的步骤如下：1. 选择菜单项AnalyzeCorrelateBivariate，打开Bivariate Correlations对话框，如图2.3。将三个变量移入右边的Variables列表框中。,图2.3 Bivariate Correlations对话框,2. 单击

15、Options按钮，打开Options子对话框，如图2.4。选择Cross-product deviations and covariances复选框，即计算样本离差阵和样本协差阵。单击Continue按钮，返回主对话框。,图2.4 Options子对话框,3. 单击OK按钮，执行操作。则在结果输出窗口中给出相关分析表。表中Pearson Correlation给出皮尔逊相关系数矩阵，Sum of Squares and Cross-products给出样本离差阵，Covariance给出样本协差阵。值得注意的是，这里给出的样本协差阵是S/(n-1) ，而不是S/n 。,表2.3 样本相关系数矩阵、离差阵与协差阵,Exercises,4.1; 4.3; 4.8；4.13 ； 4.14 ；4.15； 4.19；4.35；4.41,