回归系数的最小二乘法.docx

回归系数的最小二乘法回归系数的最小二乘法 现在我们用最小二乘法来估计模型中的未知参数b0和b1.假设有n组独立观测值：(x1,y1),(x2,y2),.,xn,yn),则由有 (yi=b0+b1xi+ei,i=1,2,.,n Eei=0,Dei=s2且e1,，e2,，.en,相互独立记Q=Q(b0，b1)=åe=å(yi-b0-b1xi)22ii=1i=1nn称Q(b0,b1)为偏离真实直线的偏差平方和。最小二乘法就是b0和b1的估计æö,Q,Q(b0,b1)为此，将上式分别对b0、b1求偏导数，使得b0b1çb0b1÷=minb0,b1øènì¶Qï¶b=-2å(yi-b0-b1xi)i=1ï0得í令上式b0,b1取代b0，b1,得 nï¶Q=-2(y-b-bx)åi01iïi=1î¶b1ìnïå(yi-b0-bixi)=0ïi=1于是有 ínïx(y-b-bx)=0åii01iïîi=1nìnïnb0+b1åxi=åyiïi=1i=1此方程组称为正规方程。 ínnn2ïb0åxi+b1åxi=åxiyiïi=1i=1îi=1-ìb=y-b1xïï0由正规方程解得íxy-xy ïb1=2ïx2-xî或b1=å(x-x)(y-y)iii=1nå(x-x)ii=1n21n1n1n21n2其中x=åxi,y=åyi,x=åxi,xy=åxiyi ni=1ni=1ni=1ni=1用这种方法求出的估计bi(i=0,1)称为bi的最小二乘估计，简称LS估计。回归方程为y=b0+b1x=y+b1(x-x) 显然，b1是拟合直线的斜率，b1是拟合直线在x=x0处的截距.n个点×××n)的几何重心(x,y)落在拟合直线上. (xi,yi)(i=1,2,为了便于计算，人们常用下列记号和等式的各种变形 2nnì n22ïLxx=å(xi-x)=å(xi-x)xi=åxi-nxi=1i=1i=1ïnnnnïïíLXY=å(xi-x)(yi-y)=å(xi-x)yi=å(yi-y)xi=åxiyi-nxy： i=1i=1i=1i=1ïnnnï222ïLyy=å(yi-y)=å(yi-y)yi=åyi-nyi=1i=1i=1ïî这时b1可简记为： b1=Lxy/Lx x æö(xi-x)yiç÷å2si=1ç÷注意：b1=,所以它是b1的无偏估计，同样，b0Nb122nnç÷(xi-x)çå(xi-x)÷åi=1èi=1øn也是b0的无偏估计。 对每组(xi,yi)，可求出拟合直yi以及残差yi-yi，易知 æ åçyi-yiö÷=0 èøi=1n这说明残差之和为零。 问题一中的： 求和模型： 我们运用SUM自动求和函数，可以求和的还有条件求和SUMIF函数，如果要计算A1:An的数值和可利用=SUM(A1：An)；如果是计算A1:An中大于m的数值求和可用=SUMIF(A1：An, ">m")。 平均值模型：