第62节多元线性回归分析.PPT

第6.2节多元线性回归分析,一、多元线性回归模型,二、参数的估计,三、参数估计量的分布与性质,四、回归系数与回归方程的显著性检验,五、最优回归方程的选择,六、稳健回归,一、多元线性回归的数学模型,为了表述方便，引入矩阵,这里In表示阶单位阵。对式(6.15)给出的多元线性回归模型，通常所考虑的问题是，对未知参数 和2进行估计，对的某种假设进行检验，对 Y进行预报等。在下述讨论中，一般总假定nm和矩阵的秩等于 m+1。,二、参数的估计,参数向量的最小二乘估计 的最小二乘估计满足下式,上式可以用矩阵表示为,将上式可以改写为,此式可以用矩阵表示为,其矩阵形式为：,例1(p201例6.5),某种水泥在凝固时放出的热量Y与水,泥中下列4种化学成份有关：,通过实验得到下列数据：,解,可以得到回归方程为,三、估计量的分布及性质,由上一小节内容可知:,性质1,性质2,证,由于,又考虑到,性质3,证,计算二者的协方差矩阵,性质4,证,这是因为,估计量的分布,定理6.2,证,推论1,四、回归系数及回归方程的显著性检验,1.回归系数的显著性检验,构造检验统计量,又因为,对于给定的显著性水平，拒绝域为：,2.回归方程的显著性检验,构造检验统计量,原假设成立时，可证明,对于给定的显著性水平，拒绝域为：,例2(续例1)(p207例6.6),解,由给定的数据可以计算得到,例3(续例1)(p207例6.7),解,由给定的数据可以计算得到,但从例6.2得知，总的线性回归又是显著的，产生这种现象的原因主要是由于回归变量之间具有较强的线性相关，这时不能简单地采用例6.5给出的线性回归方程，还需要进一步讨论。,五、最优回归方程的选择,选择最优回归方程的一般原则：,(1)寻求一线性回归方程使其包含所有对Y有显著,作用的回归变量,剔除不显著的回归变量.,(2)估计的标准误差达到最小者为优.即,以下介绍几种常用方法：,1、穷举法,对所有回归变量的所有可能组合，求出其关于Y的,线性回归方程，并从中选出最优者.,2、“只进不出”法,这一方法是根据经验，先选定一个回归变量，然后逐个引入其他回归变量，“只进不出”，但不一定是,最优方程.,3、“只出不进”法,先引入所有变量，然后逐个淘汰，“只出不进”，但也可能遗漏最优方程.,4、“有进有出”法-逐步回归法,对所有回归变量，按照其对Y影响程度的大小，即,统计量的数值的大小，从大到小逐次引入到线性回,归方程，每引入一个回归变量，均讨论回归系数进行,检验，剔除不显著回归变量，直到无法进入新变量为,止.这一方法可以找到最优解.,六、稳健估计,在最小二乘估计时，如果观测值有异常点，将会,影响估计结果，带来较大偏差.为了避免这种现象发,生，需要引入其他估计方法弥补此缺陷，这类方法称,为稳健估计.本章只介绍其中的一种M估计法,M估计法是最大似然型估计的简称.,以下简单给出M估计法的结果,（略）,或者,例4(p209例6.9),在把氨氧化成硝酸的生产中收集了,连续21组的数据，以探讨氨的损失率与生产工艺之间,关系，这里回归变量是：,解,用21组数据，用最小二乘法得到,计算各点残差，发现第21组数据残差较大，剔除其数,据，用剩余的20组数据，用最小二乘法得到,计算各点残差，发现第1,3,4组数据残差较大，剔除,其数据，用剩余的17组数据，用最小二乘法得到,用21组数据，用M估计法得到回归方程，其中函数,再 见,