最大似然估计及三大检验(Wald-LM-LR)资料.doc

《最大似然估计及三大检验(Wald-LM-LR)资料.doc》由会员分享，可在线阅读，更多相关《最大似然估计及三大检验(Wald-LM-LR)资料.doc（25页珍藏版）》请在三一办公上搜索。

1、第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM）一、极大似然估计法（）（一）极大似然原理假设对于给定样本,其联合概率分布存在，。将该联合概率密度函数视为未知参数的函数，则称为似然函数（Likelihood Function）。极大似然原理就是寻找未知参数的估计，使得似然函数达到最大，或者说寻找使得样本出现的概率最大。（二）条件似然函数VS无条件似然函数若与没有关系，则最大化无条件似然函数等价于分别最大化条件似然函数和边际似然函数，从而的最大似然估计就是最大化条件似然函数。 （三）线性回归模型最大似然估计， 对数似然函数：于是 得到 （三）得分（Scor

2、e）和信息矩阵（Information Matrix）称为得分；得分向量；（Gradient）海瑟矩阵（Hessian Matrix）:信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计） 在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候可能会遇到非样本信息对未知参数的约束限制（如生产函数中的规模报酬不变等）。在这种情况下，我们就可以采用拉格朗日估计法。 对于线性模型（1），若其参数具有某种线性等式约束： （6）其中是矩阵（，）。可视为除分量以外的矩阵。上式表明未知参数之间的某些线性关系的信息。 现在的问题是寻求满足上式又使达到最小的估计量。为此，构造拉格朗日函数。（是的

3、向量） （7）于是 （8） （9）由（8）可得 （10）（10）式的是的估计量。两边再左乘，并结合（9）式有所以，代入（10）式，我们便得到估计量： （11）这就是拉格朗日估计，或称为带约束的最小二乘估计。它既利用了样本信息，也利用了非样本信息。另外，也是带约束的极大似然估计量（证明从略）。四、广义最小二乘估计（）1、数理过程 在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。而利用时间序列数据进行分析

4、时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是扰动项的一阶自相关。（即） 当存在异方差或自相关的情况下，传统的OLS不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。具体地， （12）其中 时存在异方差， 时存在一阶自相关。需要说明的是，无论是异方差还是自相关，矩阵是正定矩阵。于是，存在非奇异矩阵，使得 或 在模型 两边同时左乘，得 或写成 （13）此时，即已无异方差和自相关。那么，对（13）式运用OLS可以得到 （14）这就是未知参数的广义最小二乘估计量GLS。它同样具有良好的统计性质。即它是无偏的、一致的、渐近正态的估计量。换句话说，估计量是广义模型中的

5、最小方差线性无偏估计。这就是所谓的定理，当时高斯马尔科夫定理为其特例。2、和广义差分法广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。当已知时，比如异方差时，各个已知，此时，矩阵 ，。这时由（13）式估计出来的，其实同加权最小二乘估计（）是相同的。换句话说，加权最小二乘实际上是广义最小二乘的特例。再比如随机扰动项有一阶自相关且已知，此时，可以算得那么（13）式中的 ， 此时估计（13）式得出的，其实就是所谓的广义差分法。也就是说广义差分法也是的特例。所以，是一个普遍适用的方法。3、未知时的当然，上述情形只是已知的情况。而在现实应用时，往往是未知的。于是我们面临一个问题如何确定？回答当

6、然是对中的未知量进行估计（比如自相关中的，异方差中的）。那么又该如何估计呢？在回答这个问题之前，我们先考察一下与最大似然估计的关系（可对照与的关系）一般来说，当或时，的对数似然函数为或者考虑到，而、，又有（经过适当的运算）最大化上式，对求导令其为0，可得到的极大似然估计量（它其实就是）。对或中的未知量求导令其为0，可得到中未知量（比如）的估计。这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方差存在时。为此，我们介绍另一种方法可行广义最小二乘法FGLS4、可行广义最小二乘法（FGLS）异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的,随解释变量的变化而变化。以下三种

7、假设情况基本上涵盖了文献中讨论过的大多数情形。（i）（ii）（iii） （或）我们称这些方程为扰动项方差的辅助方程。式中的是原模型中部分或全部的或的函数（比如等等）。可行广义最小二乘法的基本思想就是，先利用辅助函数求得参数估计值，然后得出估计值从而得到及最终的结果。的步骤如下：（1）Y对常数项和回归，求得的估计值；（2）计算残差（3）选择上述方程的适当形式（3i）对常数项及回归，求得的估计值。这是针对上述（i）的情况。式中的Z为原来的平方或交叉乘积。然后把这些的估计值代回（i）便得到的估计值。再使用GLS或WLS得出最终结果。需要指出的是，这种方式并不能保证所有的都为正，如果其中出现了0或负数

8、，那么我们就只能使用原来的代替了。（3ii）对应于上述方程（ii），让对常数项及回归，求得的OLS估计值，代入（ii）得到，然后使用GLS或WLS（此时选择权数为，如为负，那么权数为）。（3iii）对应于方程（iii），让对常数项及回归，求出的OLS估计值，再代回（iii）求得或。然后利用GLS或WLS得出结果。这里值得一提的是，此时的只会产生正值，不存在0或负的情况，这也是此种方法很有吸引力的地方。以上便是可行广义最小二乘法的一般步骤。由此得到的估计量是一致估计量。而且他们的方差和协方差也是一致的。同时渐近地（大样本场合）比OLS估计更有效。五、矩估计 及GMM简介事实上就参数估计方法来说，

9、矩估计是最简便直观的方法。即用样本矩作为总体矩的估计。矩估计广义矩估计综上所述，我们将传统的单一方程的估计方法总结如下： 回归的其他形式（标准化，与量纲回归，过原点回归等）；第三节线性回归模型的检验方法及拓展有个对检验的总体说明作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是有关理论有效性的验证。正态性JB检验、峰度、偏度检验一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是：（1）建立两个相对的假设（零假设和备择假设）（2）在零假

10、设条件下，寻求用于检验的统计量及其分布（3）得出拒绝或接受零假设的判别规则。另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误（拒真）和第二类错误（采伪）。而犯这两类错误的概率（分别记为和）是一种此消彼长的情况，于是如何控制这两个概率，使他们尽可能的小以满足要求，就成了寻找优良的检验方法的关键。下面先就假设检验的有关基本理论做一简要介绍。参数显著性检验的具体步骤是：已知总体的分布，其中是未知参数。总体真实分布完全由未知参数的取值所决定。对提出某种假设，从总体中抽取一个容量为n的样本，确定一个统计量及其分布，决定一个拒绝域W，使得，或者对样本观测数据X，。即是显著性水平，也是犯第一

11、类错误的概率。既然犯两类错误的概率不能同时被控制，所以通常的做法是限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在 的条件下，使得 ，达到最大。其中表示总体分布为时，事件的概率，为零假设集合（只含一个点时成为简单原假设，否则称为复杂原假设）。则表示备择假设集合，为了方便描述，我们定义 称为该检验的势函数。当时，是犯第一类错误的概率；而当时，是犯第二类错误的概率。 于是一个好的检验方程是： 为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数它是拒绝域的示性函数，仅取0、1两个值。反之如果一个函数中只取0或1，则可作为一个拒绝域。也就是说，W和之间建立了一种对立关系，给

12、出一个就等价于给出了一个检验法，（我们称为检验函数）。那么，对于检验法的势函数为 于是，一个好的检验法又可写为 我们称满足上式的检验法为最优势检验（如果是对于复杂原假设和备择假设，则称为一致最优势检验（）。 奈曼皮尔逊基本引理给出于是的充要条件。定理设是来自总体分布密度为的样本，为未知参数，对于简单假设检验问题，检验函数是显著性水平为的最优势检验MPT的充要条件是，存在常数，使得满足：这就是著名的奈曼皮尔逊基本引理，需要指出的是，上述定理中的检验函数通常也称为似然比检验函数，若记 称为似然比统计量。如果较大，意味着较大，所以在为真时观测到样本点x的可能性比为真时观察到样本点x的可能性小，因而应

13、拒绝原假设；反之，如果较小则应接受。此外，利用，上述定理中的可写为 这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定是似然比检验法。而大量的文献都已证明了传统假设检验中的检验，检验，检验，检验都是最优势检验。于是，我们可以放心地回到这部份的主题计量经济模型的检验方法。二、一般线性框架下的假设检验 多元回归模型的统计检验通常包括以下三种情况：（1）单个系数的显著性检验；（2）若干个回归系数的联合检验；（3）回归系数线性组合的检验。例如：考虑下面这些典型假设的例子。 、。即回归元对Y没有影响，这是最常见的参数显著性检验。 、 。是某一具体值。例如表示价格弹性，我们也许希望它是

14、-1。 、。这里的表示生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。 、或。即检验和的系数是否相同。 、。即检验全部回归元都对Y没有影响。 、。这里的含义是把向量分为两个子向量和，分别含有和个元素。检验就是检验某一些回归元（的一部分）对Y没有影响。诸如以上的情形都可归于一般的线性框架： （注意：这里）其中R是由已知常数构成的矩阵（），r是各元素为常数（一般是0或1）的矩阵。于是，对于上述情形，具体的我们有：（i）（ii）（iii）（iv）（v）（vi）所以，上述问题的统一假设是：为了检验这个假设，应先估计出，计算，若其值较“小”，（接近于0），则不应否定原假设；而如果其值较大，那么应对

15、提出怀疑。为此我们先考察的分布。 对于OLS的，我们知道。（注意：这里的是所有解释变量观测值组成的矩阵不含全是1的第一列）而 所以，于是，在成立的条件下，那么，由有关的数理统计知识可知： （1） 此外，我们还可以证明 （残差平方和的分布）。因此，由上述两式，得到在下的检验统计量： （2）（注意：）于是，检验的程序是，如果算出的F值大于某个事先选定的临界值，则拒绝。具体描述如下：、此时为。为。即主对角线上的第i个元素（注：（是一K阶对称方阵）。因此： 取平方根，这就是传统的关于回归参数显著性的t检验法。、类似，这里此时也可以计算，比如的95%置信区间，而不用检验关于的具体假设，这个置信区间是。、

16、给出了两个估计系数的和，而此时（注：，）。那么于是检验统计量为：或者，也可以计算的95%置信区间、类似，可推得此时的检验统计量为、此时 ，r=0，q=k，那么这就是我们熟悉的关于回归方程显著性的F检验。、这里对应于。把X分块为，可以证明（过程略）此时 （3）其中是Y对做线性回归的残差平方和。是对所有回归的。通过上述示例，我们看到一般线性框架下的假设检验，它涵盖了传统计量经济分析中的统计检验方法。有了它，我们可以方便地实现许多实证问题中线性意义下的统计检验。其重要性是显而易见的。三、一般线性假设检验的另一种形式 上面第情况出现的统计量就是这里所说的另一种形式。显然是的特殊情况，而事实上我们还将看

17、到其它的情况也可归于。另外，这里还有一个问题，即类似于第种情况的检验与上一章所讲的带约束的最小二乘估计的关系是什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？下面的具体分析就回答了这一问题。事实上，无论还是都可以认为用了两种不同回归的结果。第一种回归可看作有约束的回归，或者说中的约束条件实际上是估计方程施加的。即中有约束回归是将从回归式中省略掉，或等价地说，令为零；在中，有约束的回归只用了前面一部分变量（个）。而、两种情况的第二种回归是无约束回归，它们都用了所有的变量X。由于无约束模型的残差平方和是，有约束模型的残差平方和记为，

18、因此对某些的显著性检验也就是问，对应的加入模型后，残差平方和是否显著减少。具体到第种情形，考虑离差形式的回归方程对其施加约束，代入回归方程或由变量对的回归便可得到的受约束估计值，而这个回归的就是有约束的，即。实际上这就是我们前面讲到的带约束条件的最小二乘估计。一般地，在约束条件下，求使达到最小的，构造拉格朗日函数，运用前面所讲的方法可得到（过程略） （4）其中是无约束的估计量，而受约束回归的残差为 将其转置，再与其自身相乘，有 再把（4）式的代入并化简可得 （5）这与（2）式中除外的分子完全相同，也就得到了检验假设的统计量的另一种形式为 （6）这也恰好说明前面所述的6种检验的情形都可以用上述方

19、式进行，即拟合一个受约束的回归，用受约束模型的残差平方和与无约束模型的残差平方和之差的大小（或记为）来推断原假设是否成立。这也就是说一般的线性假设情形都是的特例，或者（6）式的F统计量是普遍适应于一般线性假设的一种重要检验方法。即其中和分别是受约束模型和无约束模型的残差平方和,是约束条件个数。同时，这也就回答了本段开始的问题，即，对于未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果应该是一致的。四、似然比检验（）如本节开头所述，在统计推断中，古典检验方法是建立在似然比的基础之上的。由此可见似然比检验的重要性（当然它的实用性也会在应用中显现出来）。一般而言，

20、似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数的最大值的比率。上一节我们得到了线性回归模型参数的极大似然估计量（上一节（4）式和（5）式）它们在无约束条件下，使似然函数最大化。把它们代入似然函数可得无约束的最大似然值（推导过程略） （7）（式中的常数与模型中的任何参数无关，是残差平方和）另一方面，如果在约束条件下使似然函数最大化，令和表示所导致的估计值，那么便是约束条件下的最大似然值，有约束的最大值当然不会超过无约束的最大值，但如果约束条件“有效”，有约束的最大值应当“逼近”无约束的最大值，这正是似然比检验的基本思路。似然比定义为显然，。如果原假设为真，我们会认为的值接近1。或者

21、说，如果太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当时，拒绝原假设。即（为显著性水平）。在某些情况下，拒绝域可以转化为含有我们熟知的统计量或统计量的形式。不过，普遍适用的是大样本检验。可以证明，对大样本来说，统计量（8）具体地，如果很大，则应拒绝原假设，或者说似然比检验的拒绝域为，其中为卡方分布的下侧分位数。前面已得到无约束的最大似然值，为了保证的计算，我们还需要得出约束条件下的最大似然值。为此，最大化（式中的是的拉格朗日乘数向量，就是无约束的对数似然函数），可得约束条件下的。由于参数的极大似然估计量与最小二乘估计量实际上是相同的，那么此处得到的就与上一小节所得到即（4）式相同。与

22、前面一样，此时的残差为，而的带约束的极大似然估计为，因此，（类似于（7）式） （9）（式中常数与（7）式相同）将（7）式和（9）式代入（8）式，就得到了似然比检验统计量的另一种形式， （10）由此可见，计算统计需要拟合无约束模型和有约束模型。而事实上，前面讲的各种检验（检验，检验，（6）式）都可以根据似然比原理推导出来。这就再次说明似然比检验是统计检验的理论基础。五、沃尔德检验（）在前面一般线性框架的假设检验的讨论中，由估计量服从正态分布推出了（1）式。这里如果我们考虑的渐近正态性，也能得到前面的（1）式，即（11）这里是中约束条件个数，用的一致估计量代替式中的，渐近分布成立，或者说大样本情形

23、的沃尔德统计量为（12）类似于前面的（6）式，上式的分子也可写为（），于是检验的统计量具有另一种形式， （13）与检验的情况一样，呈大样本卡方分布。如果的值大于卡方分布的上侧分位数，则拒绝原假设。而前面的（6）式也可归为检验类。检验的一般公式：六*、拉格朗日乘数检验（）上述的检验，检验都涉及到了对数似然函数。检验是由渐近服从均值为，方差协方差阵为的正态分布，而导出在下，。其中。从而得出统计量的分布。一般地，如果是的极大似然估计量，由其大样本性或渐近性知，其中称为信息矩阵，它的定义如下：在线性模型的极大似然估计中，易知即上述检验的。拉格朗日乘数检验同样依赖于对数似然函数及信息矩阵。记，称为在处的

24、得分。无约束估计量的得分，而受约束的估计量的得分在约束条件有效的情况下，应接近于0。可以证明，得分向量的均值为零，方差协方差矩阵为信息矩阵，于是服从分布，所以大样本时，在下，有 （14）此时，我们只需计算受约束的估计量的得分（注意：计算的是无约束的估计量）即由用和代替上式的和，以及，可得再通过适当的运算和变换可得(过程略) （15） 具体的检验可分两步完成。第一步，计算受约束的估计量，从而得到残差向量，第二步，让对所有的变量回归，这个回归的可决系数是，恩格尔(Engle 1982)证明了对于大样本来说， （16）当(卡方分布的上侧分位数)时，则拒绝原假设。检验方法实际上是从一个较简单的模型开始

25、，检验是否可以增加新变量，第一步就是对简单模型(变量较少)回归，得到残差。如果“真实”模型变量很多，则这些变量加入模型应对有影响。所以第二步对所有变量回归而得到的的大小就将直接决定是否应该增加新变量，即约束是否成立。如果很大()，则说明新增变量对有显著影响，即真实模型应含较多变量，或者说对参数的约束(比如某些为0)不成立。如果较小()，则说明新增变量对没有显著影响，真实模型就应是变量较少的简单模型，即约束条件成立。这也是通常所说的“从简单到一般”的模型设定方法。七、，的简单比较 三种检验方法都由极大似然估计而来。都用到了对数似然函数，检验只适用于线性约束的检验；检验和检验既适用于线性约束也适用

26、于非线性约束的检验。检验需要计算带约束和无约束的对数似然函数值 ；检验只需要估计无约束的模型；而检验只需要估计约束模型(所以当施加约束条件后模型形式变得简单时检验更方便适用)。 下面简要推导一下这三个检验统计量之间的著名不等式，即 首先，（10）式可写为 将其按级数展开，便可得到。 其次证明（15）式可写为 (17) 事实上，对于回归模型的残差可表为其中是一对称等幂矩阵，它具有性质，。而对于满足约束条件的受约束估计量同样有，从而(因为)，于是有 即，这就得到了的另一种表达式，即（17）式。 再次，还可写为同样按级数展开，便可得到，即最终，我们有：由此不等式可知，当检验拒绝原假设时，其他检验也一

27、样。当检验没有拒绝原假设时，其他检验也不会拒绝原假设。尽管在小样本时三个值可能有所不同，但在大样本情形，这三个检验近似相等。就计算而言，检验最麻烦，其他两种还算简单。下面给出的是一元线性回归离差形式的三种检验的具体形式()(推导过程要用到对数似然函数，但并不复杂，这里从略)。上述三个式子对于大样本来说都服从自由度为1的卡方分布。就几何上而言，对于一元回归的原假设，检验是基于和之间的垂直距离()；检验是基于和之间的水平距离(，是信息矩阵，此处为)，检验则是基于对数似然函数在处的斜率(得分函数是对数似然的导数，为在处的得分)，而每一个检验都很好地度量了原假设与备样假设之间的“距离”。 现将三种检验方法的要点内容列表如下：方法适用范围计算方式以一元线性回归为例的计算及直观意义()只适用线性约束的检验计算带约束和无约束的对数似然值与之间的垂直距离线性约束和非线性约束检验只需估计无约束的模型(检验) 度量与之间的水平距离同上只需估计约束模型考察对数似然函数在处的斜率关系图.第四节 模型设定检验 ?RESET, BIC, AIC. , ,