一元回归分析(第1讲).ppt

一元回归分析,上海*通信技术有限公司 Mr Jim()2012-12,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验/t检验/相关系数检验五、预测和控制六、SAS示例,回归分析的相关背景,1、回归分析的由来：英国统计学家高尔顿F.GALTON(1822-1911)和其学生皮尔逊K.Pearson(1856-1936)观察了1078对夫妇，以每对夫妇的平均身高为X，而取他们成年的儿子的身高为Y，得到如下经验方程：Y=33.73+0.516X2、自1969年设立诺贝尔经济学奖以来，已有42名学者获奖，而其中有2/3的人是统计学家、计量经济学家、数学家。由获奖者克莱因发起的国际连接系统使用了7447个方程和3368个外生变量。英国剑桥大学的多部门动态模型有2759个方程和7484个变量。,回归分析的相关背景,3、回归分析的几个发展方向：1）、统计学的重要方法与回归的关系密切 时间序列分析（BOX-JINKINS）、判别分析、主成分分析、因子分析、典型相关分析2）、回归分析自身的完善和发展 自变量选择、稳健回归、回归诊断、投影寻踪、非参数回归3）、新的研究方法为回归分析提供了方法论 非参数统计、自助法、刀切法、经验贝叶斯估计4）、各种有偏估计出现：岭估计、压缩估计、主成分估计、STEN估计、特征根估计、偏最小二乘估计。,术语,OLSE:ordinary least square estimation 普通最小二乘估计MLE:maximum likelihood estimation 极大似然估计,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验/t检验/相关系数检验五、预测和控制六、SAS示例,估计,估计的基本含义：使用已经收集的数据集，计算变量如何相关，接着使用相关系数以及X的信息来估计Y。,回归分析：通过数学模型，研究一现象（变量）对其他现象（变量）依赖关系的具体形态的方法论,注意：,回归分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。,回归分析,回归分析,回归分析的变量,因变量,自变量,因变量必须是间距测度等级以上的变量（连续变量）,自变量可以是间距测度等级以上的变量（连续变量）、也可以是名义测度等级的变量（分类变量）。,注意：回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）。,一元线性回归模型,回归模型建立的步骤,一般先做散点图，以便进行简单地观测若散点图的趋势大概呈线性关系，可以建立线性方程，若不呈线性分布，可建立其它方程模型（曲线估计）,！只有对有因果关系的变量，才更多地 做回归分析,一元线性回归分析模型,1、一元线性回归模型的数学形式：1）、理论模型：2）、样本回归模型 对于n组观测值 有：,3）、模型的矩阵表达：,一元线性回归模型,一元线性回归模型,只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示,式中：a和b为待定参数；为各组观测数据的下标；为随机变量。,一元线性回归模型参数的估计,最小二乘法的基本思想：让所寻找的样本回归函数（线）上的点尽可能地接近实际观测点，即样本回归线上的点与实际观测点的离差平方和最小。,回归分析的参数估计（OLSE）,Ordinary Least Square Estimation：对于已知n组观测值有：,回归分析的参数估计（OLSE）,回归分析的参数估计（OLSE）,由此得回归方程：,关于系数的几种表达方式,OLSE的性质,1、线性：2、无偏性3、参数的方差：4、协方差 上面的公式表明，参数的准确性除受总体的差异外，还受X值的范围影响，X取值范围越大，参数就越稳定,一元线性回归模型,一元线性回归模型的检验,线性回归模型的检验分二大类：,统计检验,计量经济检验,从统计学的角度检验所估计的样本回归函数的有效性,从基本假设是否成立这一角度检验最小二乘估计法的适用性及其改进,拟合优度检验,显著性检验,检验,对各回归系数的检验,对整个回归方程的检验,回归方程的检验,在得到回归方程后，必须运用统计检验方法分析该方程是否真正描述了Y与X之间的统计规律之后，才能进行分析预测等各种运用，检验的基本假设前提是：,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验/t检验/相关系数检验五、预测和控制六、SAS示例,一元线性回归模型,1.拟合优度检验是通过对Yt的样本点距其样本均值的离差平方和的分解来进行的。,对全部样本点来说，可以证明：,总离差平方和SST,回归平方和SSR,残差平方和SSE,来自样本回归线,来自残差,回归线上的点与样本均值离差的平方和,实际观测点与回归线上的点的离差的平方和,一元线性回归模型,决定系数(coefficient of determination),取值范围：0，1，越接近1，说明实际观测点离样本线越近，拟合优度越高。,r2高并不表示模型选择正确。,可决系数定义为：很显然，可决系数越大，方程的拟合度就越高。Adjusted R Square 为校正,未校正时,是拟合度的不理想指标,Adj R-Sq可以克服这一缺点。当模型中包括适当的变量集时，Adj R-sq趋向稳定于某一数值。对抽样数据更适用，而不适合总体数据。可决系数的特性：1、具有非负性2、取值范围为：0,13、可决系数是样本观测值的函数,决定系数的含义,回归方程的拟合优度检验,1、检验公式：2、基本意义：表现回归方程总平方和中能够为回归平方和解释部分的比重，该值越大则拟合优度越好。但是，当观测样本量很大时，高度显著的检验结果也不能肯定自变量与因变量之间的关系就是线性的，产生这种结果的原因有：X与Y存在的关系不是线性关系而是非线性的。X与Y的线性相关关系确立，但是误差项方差 太大，导致样本决定系数很小。,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验/t检验/相关系数检验五、预测和控制六、SAS示例,一元线性回归模型,统计量F,整个回归方程的显著性检验,其中，k表示模型中回归系数的个数，或称为解释变量的个数（包括常数项），n为样本容量。,F检验,1、回归方程平方和分解；见分解图由上图有：SST-Sum of squares for TotalSSE-Sum of squares for errorSSR-Sum of squares for Regression,Y,F检验,2、回归方程显著性检验1）、设置假设：2）、构造统计量：3）、检验标准：,F检验,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验五、t检验六、SAS示例,一元线性回归模型,统计量t,样本回归系数的显著性检验,如果某个自变量如果对 作用不显著,则它的系数 就应取值为0,因此检验每个自变量 是否显著,就要检验假设:,T检验,T检验主要用于检验回归系数有效性的统计检验方法1、设置假设：2、构造检验统计量：3、检验过程：在给定显著性水平，双侧检验临界值为，当，拒绝原假设，反之，接受原假设，即回归方程不成立。,T检验,4、P值检验法：P值又称P-Value,基本的检验关系是：P（）=P值其中t为检验统计量，服从t（n-2）的分布判别的标准是：用P值代替t 值的优越性1、直接对比P值与 的水平，不用查表2、用P值检验可比性较好。3、P值的意义明确，就是犯拒真错误的概率。,相关系数,相关系数 是反映两个变量之间存在某种依存关系的数值性指标。,相关系数的特点,相关系数的值域范围是（-1，1）相关系数的绝对值反映相关的强度相关总是反映每个案例至少有两个数据点（或变量）的状况相关系数反映两个变量共同变化的程度。,相关系数的检验-查找临界值表,计算,对给定的检验水平，查相关系数的临界值表 如果，则拒绝，即线性回归方程有效；否则，接受，即线性回归方程无效。0.3-0.5 低度相关0.6-0.8 显著相关0.8-1 高度相关,相关系数的显著性检验,1、相关系数的含义：2、相关系数的特征：相关系数仅能表现两个变量之间的线性关系，而不能反映非线性关系。就是说，即使r=0,也不能说两个变量无关。相关系数接近1的程度与观测数据的容量密切相关，当数据较少时，无法通过相关系数的大小判别两个变量的相关程度。,相关系数的显著性检验,3、相关关系的判断-相关系数检验表 当 大于检验表中的5%的值但小于1%值时，显示x与 y有显著的线性相关关系。当 大于检验表中1%的值，则显示两个变量之间有十分显著的线性相关关系。当 小于检验表中5%的值，则显示两个变量没有明显的线性关系。4、相关系数的符号：根据公式：,三种检验的关系,可以证明，就一元回归方程而言，回归系数检验、相关系数检验和F检验是完全等价的。基本关系是：,相关系数的几个数量关系,1、相关系数与可决系数的关系：在一元线性回归方程中，有：2、相关系数与回归系数的关系：,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验/t检验/相关系数检验五、预测和控制六、SAS示例,回归方程误差的估计,总体回归方程的误差与样本误差的关系为：回归均方误差与标准误差,回归系数的区间估计,在实际运用中，经常考虑回归系数的区间估计，由公式：1、区间估计的统计量：2、概率度公式：3、区间估计,回归的性质,回归方程预测与控制,1、单值预测：2、区间预测：1）、因变量新值的区间估计：2）、因变量新值的平均值的区间估计,培训大纲,一、基础知识二、一元线性回归模型三、拟合优度检验四、F检验五、t检验六、SAS示例,一元线性回归模型,例 一个10户居民的可支配收入(百元)与消费支出(百元)的统计资料按升序排列入下表（相关表）：消费支出 15 20 30 40 42 53 60 65 70 78 可支配收入 18 25 45 60 62 75 88 92 99 98,一元线性回归模型,在上述收入-消费例中，经济理论认为居民消费支出是可支配收入的函数，即可支配收入(X)的变化是消费支出(Y)变化的原因，因此，可得如下回归模型：Y=-0.208+0.718 X,从回归模型可知：居民每增加1元的可支配收入，将增加0.718元用于消费支出。因此，如果估计其中一位居民可支配收入提高到100元，则可预测其消费支出将上升到71.556元。,一元线性回归模型,拟合优度为：r2=1-100.58/413.1=0.9757,显著性检验：,在显著性水平=5%，自由度=10-2=8下，t 统计量的临界值=2.306判断：可支配收入前的参数2是显著不为零的，说明可支配收入可以作为消费支出的一个重要的解释变量。,F=320.81在5%显著性水平下，自由度为（1，8）的临界值为5.32。因此，可支配收入与消费支出的线性关系是显著的。,一元线性回归模型,SAS代码示例:data reg1;input y x;cards;15 18 20 25 30 45 40 60 42 62 53 75 60 88 65 92 70 99 78 98;proc means n cv max min range sum mean std css;proc corr data=reg1;proc reg data=reg1;model y=x;run;,一元线性回归模型,SAS代码示例:data reg1;input y x;cards;15 18 20 25 30 45 40 60 42 62 53 75 60 88 65 92 70 99 78 98;proc means n cv max min range sum mean std css;proc corr data=reg1;proc reg data=reg1;model y=x;run;,Anscombe data,Anscombe data,data reg2;input x1 y1 x2 y2 x3 y3;cards;4 4.26 4 3.1 8 6.585 5.68 5 4.74 8 5.766 7.24 6 6.13 8 7.717 4.82 7 7.26 8 8.848 6.95 8 8.14 8 8.479 8.81 9 8.77 8 7.0410 8.04 10 9.14 8 5.2511 8.33 11 9.26 8 5.5612 10.84 12 9.13 8 7.9113 7.58 13 8.74 8 6.8914 9.96 14 8.1 19 12.5;proc plot vpercent=40 hpercent=30;plot y1*x1/vref=0;plot y2*x2/vref=0;plot y3*x3/vref=0;run;,散点图示例:,Anscombe data,data reg2;input x1 y1 x2 y2 x3 y3;cards;4 4.26 4 3.1 8 6.585 5.68 5 4.74 8 5.766 7.24 6 6.13 8 7.717 4.82 7 7.26 8 8.848 6.95 8 8.14 8 8.479 8.81 9 8.77 8 7.0410 8.04 10 9.14 8 5.2511 8.33 11 9.26 8 5.5612 10.84 12 9.13 8 7.9113 7.58 13 8.74 8 6.8914 9.96 14 8.1 19 12.5;proc corr data=reg2;proc reg data=reg2;model y1=x1;proc reg data=reg2;model y2=x2;proc reg data=reg2;model y3=x3;run;,推荐书籍：,