矩阵与多元正态分布.ppt
多元统计分析的理论基础,一、矩阵二、多元正态分布,一、矩阵基础知识,矩阵形式和定义矩阵运算矩阵行列式逆矩阵特征值和特征向量,一、矩阵形式及定义,如果矩阵的行数等于列数即n=p，则该矩阵为方阵。如果矩阵仅有1列，则该矩阵为列向量.如果矩阵仅有1列，则该矩阵为行向量。,Np阶矩阵：,转置矩阵（Transpose of a Matrix）：将矩阵的行和列交换。X、A、B的转置矩阵：例：给定一个矩阵A，矩阵A的转置矩阵是？,其他特殊矩阵形式和定义：,零矩阵:矩阵中所有元素为零。对角矩阵：除开主对角线上的元素外，其他元素皆为零的方阵。,对称矩阵矩阵的转置和它本身相等的方阵。或主对角线外的元素关于主对角线对称。单位矩阵：主对角线上元素皆为1的对角矩阵。,逆矩阵：对于一个方阵A，若有方阵 B 使得 AB=BA=I。则方阵 B 则为方阵 A的逆矩阵（或称方阵A 则为方阵 B的逆矩阵）。矩阵的迹：方阵主对角线上元素之和。（注意：仅适用于方阵）例：给定一个矩阵A，求矩阵A的迹？tr(A)=a+b,二、矩阵运算,1、矩阵加法和减法 例：续例1：欲求每人、每科两次考试的总分数，即把两个矩阵的对应元素相加。,只有当两个矩阵同行数、同列数时，才能相加减。,2、矩阵乘法（1）数乘运算：续例1：求每人每科两次考试的平均成绩,（2）矩阵与矩阵相乘:,两个矩阵相乘，第一个矩阵的列数必须等于第二个矩阵的行数,（3）矩阵乘法的代数式 AB 不等于 BA.AB=0 并不意味着 A=0 or B=0若 A=0 or B=0 则 AB=0.,三、矩阵行列式和逆矩阵,矩阵行列式:矩阵 的行列式 为。其中，为除开第1行第j列元素后余下的矩阵行列式。,只有方阵才有行列式,例:例：,逆矩阵：对于一个方阵A，若有方阵 B 使得 AB=BA=I。则方阵 B 则为方阵 A的逆矩阵（或称方阵A 则为方阵 B的逆矩阵）,如果方阵的行列式等于0，则该方阵无逆矩阵如果方阵的行列式等于0，则称该方阵为奇异矩阵；否则，为非奇异矩阵如果A的逆矩阵等于其转置矩阵，则称矩阵A正交,二阶逆矩阵运算：例：,三、特征值与特征向量,若A 为 n n 阶方阵，I 为 n n 阶单位阵。若算式 成立，则将 称为方阵 A的特征值。方程 称为特征方程。如果 C 为非零向量，有AC=或 则 C 称为方阵A的特征值对应的特征向量,注意：方阵A的特征值之和等于方阵A的迹,只有方阵才有特征值,例：,先用7代替特征方程左端行列式中的,例：求出以下方阵的特征值和特征根,二、多元正态分布,（一）多元分布的基本概念1、随机向量：设x1、x2、xp为p个随机变量，由它们组成的向量X=(x1、x2、xp)称为随机向量。2、分布函数与密度函数:,多元分布函数及密度函数（见定义1.2；1.3）,例：口袋中有2白球3黑球,有放回取两次，每次任取一球.设X为第一次得白球数,Y为第二次得白球数。求(X,Y)的联合分布和边际分布。,3、多元变量的独立性多元变量的联合分布等于各自分布的乘积，称p个随机向量X1、X2Xp相互独立。由X1、X2Xp相互独立可以推出Xi、Xj独立(i,j不相等）。Xi、Xj独立(i,j不相等），不能推出X1、X2Xp相互独立,4、随机变量的数字特征（1）随机向量的均值（2）随机向量X的自协方差阵（3）随机向量X和Y的协方差阵（4）随机向量的X的相关阵,例：益寿宁的降血脂效果求均值向量和协方差阵、相关系数矩阵,相关系数矩阵？,例：在一项实验中，测得大豆的周龄x(以周计)和平均高度y(厘米)的数据如下：求两变量的协方差阵和相关系数阵。,（二）多元正态分布1、定义（见书定义1.5）2、性质每一个变量均服从正态分布变量的线性组合服从正态分布m元正态分布中的任意k个变量服从k元正态分布m元正态分布的条件分布仍服从正态分布3、条件分布和独立性（见书P13）,（三）统计距离和马氏距离*1、欧氏距离（直线距离）定义缺陷标准化处理的必要,例：横轴 代表重量（单位：kg),纵轴 代表长度（单位：cm)。有四个点A,B,C,D,见图。,有两个正态总体 和，设有一个样本，其值在A处，点A距离哪个总体近些（样本来自哪个总体）？,欧氏距离主要有以下两个缺点：距离的值与各指标的量纲有关。各指标计量单位的选择有一定的人为性和随意性，任何一个变量计量单位的改变都会使此距离的数值改变，从而使该距离的数值依赖于各变量计量单位的选择。距离的定义没有考虑各个变量之间的相关性和重要性。他们把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合。,标准化的必要性：当观测变量的单位不同或测量值范围相差很大时，应先对各变量的数据作标准化处理，然后用标准化后的数据进行样本间的比较。标准化的优点：克服量纲的影响；考虑各个变量之间的相关性和重要性,标准化变换：,2、统计距离马氏距离定义优点马氏距离的四条公理,克服量纲的影响,克服指标间相关性的影响,缺点：协方差矩阵难以确定,有两个正态总体 和，设有一个样本，其值在A处，点A距离哪个总体近些（样本来自哪个总体）？,例:假设有一个二维正态总体，它的分布为,(四)均值向量和协方差阵的估计*（见课件3035页；书1516页）(五)常用分布及抽样分布（详见书：1722页）,1.5常用分布及抽样分布,多元统计研究的是多指标问题，为了了解总体的特征，通过对总体抽样得到代表总体的样本，但因为信息是分散在每个样本上的，就需要对样本进行加工，把样本的信息浓缩到不包含未知量的样本函数中，这个函数称为统计量，如样本均值向量、样本离差阵 等都是统计量。统计量的分布称为抽样分布。,在数理统计中常用的抽样分布有 分布、分布和 分布.在多元统计中,与之对应的分布分别为Wishart分布、分布和Wilks分布.,1.5 常用分布及抽样分布,1.5.2 分布与 分布,1.5.1 分布与Wishart分布,1.5.3 中心分布与Wilks分布,目录 上页 下页 返回 结束,1.5.1 分布与Wishart分布,在数理统计中，若，且相互独立，则 所遵从的分布为自由度为n的 分布（chi squared distribution），记为。,设 相互独立，且，记，则随机矩阵 所遵从的分布为自由度为n的p维非中心Wishart分布，记为。,从一元发展到多元,1.5.2 分布与 分布,在数理统计中，若，且X和Y相互独立，则 称 遵从自由度为n的t 分布，又称为学生分布（student distribution），记为。如果将T平方，即，则 即t(n)分布的平方遵从第一自由度为1第二自由度为n的中心F分布。F分布的定义可改写成。,设 W与X相互独立，则称随机变量 所遵从的分布为第一自由度为p第二自由度为n的中心T2分布，记。,1.5.3 中心 分布与Wilks分布,在一元统计学中，若，且X和Y相互独立，则 称 遵从第一自由度为m第二自由度为n的中心F分布，记为。,设 且W1与W2相互独立，则称随机变量 所遵从的分布为维数为p第一自由度为n1，第二自由度为n2的中心 分布，记为。,F分布本质上是从正态总体 随机抽取的两个样本方差之比。,由于分布在多元统计中的重要性,关于它的近似分布和精确分布不断有学者进行研究,当和中的一个比较小时,分布可化为F分布,表1-2列举了常见的情况.,表1-2,
