极大似然估计及其性质.docx
极大似然估计及其性质极大似然估计及其性质 一、极大似然估计 设联合密度函数为 f(Y;q),则似然函数为 q'=(q1q2Lqk) 似然函数=L(q;Y)=f(Y;q) 为使关于q的似然函数最大化，求q的一个估计q，使获得的已观测到的样本值的概率自大化，即最大似然估计量。 定义对数似然函数为 l=lnL 则 ¶ll¶L= ¶qL¶q最大化l的q值也会最大化L，l对q的导数s(q;Y)称作得分，将得分定义为0，即可解出q，即 s(q;Y)=¶l=0 ¶q二、MLE的性质 1、一致性。 )=q Plim(q 2、渐进正态性。 N(q,I-1(q) q式中I(q)为信息矩阵 é¶lé¶2lù¶lö¢ùæöæ I(q)=Eêç÷ç÷ú=-Eêúêè¶qøè¶qøúë¶q¶q'ûëû¶l当q是一个k维向量时，表示k个偏导数组成的列向量，即 ¶qæ¶lö¶qç1÷ç¶l÷¶lç¶q÷2 =ç÷¶qMç÷ç¶l÷ç¶q÷køè而¶l的二阶导数为 ¶qæ¶2lç2¶q1ççL¶2l=ç¶q¶q'çç¶2lçç¶q¶qèk13、渐进有效性。 ¶2l¶q1¶q2L¶2l¶qk¶q2¶2löL÷¶q1¶qk÷÷÷ ÷¶2l÷÷L2¶qk÷øk*kd-q)¾¾n(q®N(0,s2) 4、不变性。 )是g(q)的MLE。 如果q是q的MLE，g(q)是q的连续函数，则g(q5、得分的均值为0，方差为I(q)。 三、线性模型的极大似然估计 设 Y=XB+UU的多元正态密度函数为 UN(0,s2) f(U)=Y关于X的多元条件密度为 1(2ps)2n2e-(12s2)(U'U)f(Y,X)=f(U)¶U ¶Y¶U是由U中元素关于Y中元素的偏导数组成的n´n矩阵转换成的行列式的绝¶Y对值，并且为恒等矩阵。则上述意义下的对数似然函数为 nn1l=ln(f(Y|X)=ln(U)=-ln2p-lns2-2U'U222snn1=-ln2p-lns2-2(Y-XB)'(Y-XB)222s求B,s2的偏导数 ¶l1=-2(-X'Y+X'XB)¶B2s¶ln1=-+(Y-XB)'(Y-XB)224¶s2s2s令其为零，可解出极大似然估计 =(X'X)-1X'YB)'(Y-XB) (Y-XB2s=n)=B，但s2不是s2的无偏估计，由于E(U'U)=E(åu2)=ns2，因此，求二阶导数为 ¶2lX'X¶2lX'X=-2,-E=¶B¶B's¶B¶B's2¶2lX'U¶2l=-4,-E=0,(E(X'U)=0) ¶B¶s2s¶B¶s2¶2lnU'U¶2ln=-,-E9=¶(s2)22s4s6¶(s2)22s4按照信息矩阵的定义，则 æBö¶2lI(q)=Iç2÷=-E2¶B¶sèsøæ¶2lç¶B¶B'=-Eçç¶2lç¶s2¶Bèæ1çs2(X'X)=çç0çè¶2löæX'X2÷ç-s2¶B¶s÷=-Eç2¶l÷ç-X'Uçès4¶(s2)2÷øö0÷÷n÷÷2s4øö÷s4÷ nU'U÷-÷2s4s6ø-X'U它的逆为 æs2(X'X)-1I-1(q)=çç0çè0ö÷4,(X'X)为满秩矩阵 2s÷÷nø、s2的结果代入似然函数l，可得似然函数的最大值为 将B-n-n,s2)=(2pe)2(s2)2L(B2pe-n2-n=(E'E)2 n=g(E'E)-n2其中，g为常数，它与模型中的任何参数都无关系。 四、三大检验 设一般线性假设为 H0:RB=r R为q´k阶矩阵，r为q´1维已知向量。 ,s2)，约束条件的似然函数最大值为设无约束条件的似然函数最大值为L(B%,s%2)，则似然比为 L(B%,s%2)L(B l=2L(B,s)如果l很小，则凭自觉拒绝原假设，在某些情况下，可以由l的某些特殊变换来对l的“很小”导出精确的有限样本检验量，普遍适用的大样本检验是 a2,s%,s2)-lnL(B%2)ù¾¾LR=-2lnl=2élnL(B®c(q) ëû通过拉格朗日函数求最大化 l*=l-m(RB-r) 可得约束的极大似然估计，令其残差为E*=Y-XB*，s2的约束条件的极大似然*2=估计为sE*'E*，则 n-n%,s%2)=g(E*'E*)2 L(B其中，g为常数，它与模型中的任何参数都无关系。由似然比 ,s%,s2)-lnL(B%2)ùLR=-2lnl=2élnL(Bëûnnéù=2êlng-ln(E'E)-lng+ln(E*'E*)ú22ëû=nln(E*'E*)-ln(E'E)(E*'E*)(E'E)E'E+E*'E*-E'E=nlnE'EE'E-E'E=nln(1+*)E'E1=nlnE*'E*-E'E1-E*'E*=nln 2、Wald检验。 a-r)¾¾在H0:RB=r成立下，有(RB®N(0,Rs2(X'X)-1R')，可得 a2-r)'éRs2(X'X)-1R'ù-1(RB-r)¾¾(RB®c(q) ëû2=q为R中约束条件的个数。用s2的一致估计量sE'E代替上式中的s2，则 n-r)'éRs2(X'X)-1R'ù-1(RB-r)W=(RBëû=3、LM检验。 记得分为 s(q)=¶lnL¶l= ¶q¶q-r)'éR(X'X)-1R'ù-1(RB-r)(RBëû2sn(E*'E*-E'E)E'Ea¾¾®c2(q) %)应趋近于L(q)。则此时，有s(q%)»0。可以证明，在H当约束条件有效时，L(q0成立的情况下， a%)I(q%)-1s(q%)¾¾LM=s'(q®c2(q) 其中 æ¶löæ1ç¶B÷çs2X'U%)=çs(q÷=çç¶l÷ç-n+U'Uç2÷çè¶søè2s22s4*2=用E*代替U，sö÷÷ ÷÷øE*'E*%满足RB%-r，则 代替s2，向量Bnæ1öX'E*÷ %)=çss(q%2ç÷ç0÷èø并且，信息矩阵的逆矩阵为 %2(X'X)-1æs%)=çI-1(qç0çè所以， 1LM=(2E*'X%s%2(X'X)-1æs0)çç0çè0ö÷4 %÷2s÷nøæ1%2(X'X)-1=ç2E*'Xs%ès=0öæ1öX'E÷ç%2*÷%2÷çs2s÷÷÷ç0ønøèæ1ööç2X'E*÷0÷s%ç÷øç0÷èø12-11%E'Xs(X'X)X'E*%2*%2ss%2(X'X)-1X'E*E*'Xs=%2s%2(X'X)-1X'E*nE*'Xs=E*'E*Engle证明了，在大样本下， aLR=nR2¾¾®c2(q) 其中，R2为E*对X的辅助函数的可决系数。
