简单线性回归模型.ppt

简单线性回归模型,第二章,学习要点,一、简单线性回归模型的设定 二、简单线性回归模型的基本假定 三、简单线性回归模型参数的估计方法 四、参数估计量的统计性质 五、拟合优度的度量 六、回归系数的区间估计和假设检验 七、回归模型预测 八、EViews应用,1.经济变量间的相互关系 确定性的函数关系：不确定性的统计关系相关关系(u为随机变量)没有关系,（一）回归与相关关系,一、一元线性回归模型,2.相关关系,相关关系的描述相关关系最直观的描述方式坐标图（散布图）,相关关系的类型 从涉及的变量数量看：简单相关、多重相关（复相关）从变量相关关系的表现形式看：线性相关散布图接近一条直线；非线性相关散布图接近一条曲线。从变量相关关系变化的方向看：正相关变量同方向变化，同增同减；负相关变量反方向变化，一增一减；不相关。,3.相关程度的度量简单相关系数,简单相关系数用来测度两个变量之间是否存在线性相关关系，其变化范围在-1，1 之间。越接近于-1，负相关程度越高；越接近1，正相关程度越高。除过简单相关系数，还有偏相关系数、复相关系数来测度变量间的相关关系，但是在含义上有差别。,和 都是相互对称的随机变量；线性相关系数只反映变量间的线性相关程度，不能说明 非线性相关关系；样本相关系数是总体相关系数的样本估计值，因抽样 波动，样本相关系数为随机变量，其统计显著性有待检验；相关系数只能反映线性相关程度，不能确定因果关系，不 能说明相关关系具体接近哪条直线.计量经济学关心：变量间的因果关系及隐藏在随机性后面的统计规律性，这有赖于回归分析方法.,使用相关系数时应注意,回归的古典意义：道尔顿遗传学的回归概念：父母身高与子女身高的关系。回归的现代意义：一个因变量对若干解释变量依存关系的研究。回归的目的（实质）：由固定的解释变量去估计因变量的平均值。,4.回归分析,（二）一元线性回归模型,一元线性总体回归模型:一元线性总体回归函数：（Population Regression Function,PRF),一元线性样本回归模型：一元线性样本回归函数：(Sample Regression Function,SRF),实际的经济研究中总体回归函数通常是未知的，只能根据经济理论和实践经验去设定。“计量”的目的就是寻求样本回归函数作为总体回归函数的估计。,1.一元线性回归模型设定,的条件分布 当解释变量 取某固定值时（条件），的值不确定，的不同取值形成一定的分布，即 的条件分布。的条件期望 对于 的每一个取值，对 所形成的分布确 定其期望或均值，称 为 的条件期望或条 件均值,注意几个概念,（1）条件均值表现形式 假如 的条件均值 是解 释变量 的线性函数，可表示为：（2）个别值表现形式 对于一定的，的各个别值 分布 在 的周围，若令各个 与条件 均值 的偏差为,显然 是随机变量,则有,2.总体回归函数的表现形式,3、样本回归函数（SRF）,样本回归线：对于 的一定值，取得 的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹称为样本回归线。样本回归函数：如果把应变量 的样本条件均值表示为解释变量 的某种函数，这个函数称为样本回归函数（SRF）。,代表未知的影响因素 无法取得已知影响因素的代表指标 众多细小影响因素的综合影响 模型的设定误差变量的观测误差 变量内在随机性,4.引入随机扰动项的原因,变量、参数均为“线性”参数“线性”，变量”非线性”变量“线性”，参数”非线性”计量经济学中:线性回归模型主要指就参数而言是“线性”,因为只要对参数而言是线性的,都可以用类似的方法估计其参数。,5.“线性”的理解：,（二）关于线性回归模型的基本假定,、u为随机扰动,呈正态分布,且u=0,平均数相等,拟合值与u不相关,1、X是固定变量(若X随机,须与u不相关),注意：残差项与随机扰动项不是同一个概念。,2、u不存在自相关,3、u为等方差,f(u),Y,X3,X2,X1,X,异方差,f(u),Y,X3,X2,X1,X,同方差,（三）一元线性回归模型参数最小二乘估计量（OLSE）的性质,一元线性回归模型,总体回归模型,样本回归模型,样本估计量的性质,1、估计量是线性的（Linear）;,2、估计量是无偏的（Unbias）估计量（Estimator）,3、方差最小性（Best）,4、b服从正态分布,点估计的方法有多种。但最小二乘法（高斯-马尔科夫定理）保证：由最小二乘法得到的估计量是线性无偏的估计量，而且是一个最好的估计量。即最小二乘估计量（OLSE）具有BLUE性质。BLUE：Best Linear Unbias Estimator,最小二乘估计量b的线性性,确定性部分,令,wi,w 的性质:,证明：,说明b1是1的无偏估计。,则,最小二乘估计量b的无偏估计量,（1）,（2）,（1）,最小二乘估计量b的方差,则：,（2）,则：,称为回归标准误差，为随机扰动项u的方差的无偏估计，即,b0和b1方差的表达式中都包含随机扰动项u的方差，由于u是一个不可观测的变量，故u的方差不能计算出来，其估计式为：,方差最小性（有效性，最佳性）的证明在K元回归模型分析中给出。,估计回归标准误差 的估计,有关思考,由最小二乘法所得直线能够对这些数据点之间的关系加以反映吗？对数据点之间的关系或趋势反映到了何种程度？在统计上如何验证所得一元回归模式的可靠程度。,1.平方和与自由度的分解,(1)总平方和(TSS)、回归平方和(ESS)、残差平方和(RSS)的定义(2)平方和的分解(3)自由度(df)的分解,（四）一元线性回归模型的统计检验,平方和分解图,总平方和、回归平方和、残差平方和的定义,TSS度量Y自身的变异程度，ESS度量对拟合值的变异程度，RSS度量实际值与拟合值之间的差异程度。,TSS=Total Sum of SquaresESS=Explained Sum of Squares RSS=Residual Sum of Squares,平方和的分解,平方和分解的意义,TSS=ESS+RSS被解释变量 Y 总的变动=解释变量 X 对 Y 引起的变动+除 X 以外的因素引起的变动如果 X 引起的变动在 Y 的总变动中占很大比例，那么 X 很好地解释了 Y；否则，X 不能很好地说明 Y。,自由度(df)的分解,总自由度:dfT=n-1回归自由度:dfE=1（解释变量的个数)残差自由度:dfR=n-2dfT=dfE+dfR,df:degree of freedom,2.拟合优度指标（或称判定系数、可决系数）,目的：企图构造一个不含单位，可以相互进行 比较，而且能直观判断拟合优劣。拟合优度的定义：意义：拟合优度越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。取值范围：0-1,运用可决系数时应注意,1.可决系数只是说明列入模型的所有解释变量对因变量的联合的影响程度，不说明模型中每个解释变量的影响程度（在多元中）.2.回归的主要目的如果是经济结构分析，不能只追求高的可决系数，而是要得到总体回归系数可信的估计，可决系数高并不表示每个回归系数都可信任.3.如果建模的目的只是为了预测因变量值，不是为了正确估计回归系数，一般可考虑有较高的可决系数.,3.对一元线性回归模型进行 t 检验,H0：=0 H1：0,提出假设：,构造 t 统计量:,确定显著性水平。一般取，查t分布表得临界值。,做出决策：将t统计量与临界值对比。,t 检验的作用：检验引入模型中的某一个X对Y 的影响是否显著。,t 统计量落在拒绝区,说明通过了t 检验.,如果通过了t 检验,则(-,-t)的面积(概率)与(-,-t)的面积(概率)之和小于5%(或1%).,接受区,拒绝区,拒绝区,4.对一元线性回归模型进行 F 检验,根据小概率原理判断，作出决策,原假设 H0：=0备择假设 H1：0,提出：,构造统计量：,确定显著性水平：一般取，查F分布表得临界值。,F 检验的作用：检验引入模型中的所有X联合起来对Y 的影响是否显著。,拟合优度R2与F统计量之间的联系,F显著=拟合优度高,一元线性回归中F、t 统计量之间的联系,故：一元线性回归模型中t 检验和F 检验是等效的。,（五）一元线性回归模型的应用预测,设未来时点为 f，给定 Xf，则得出Yf 的点估计：,进行区间估计:,其中：,思考：回归问题的处理思路,数据背后存在着某种规律性；关于数据生成过程的初步假定设定线性模型 数据生成过程=确定性部分+非确定性部分 样本一般说来总会反映一些总体的性质：确定性部分=X、Y之间的函数关系非确定性部分(扰动项)平方和最小 数学求极值利用样本数据寻求到确定性部分。,关于数据生成过程的假定,可依据对现实的抽象，假定数据背后有一个数据生成的过程,仅仅是一个初步假定（假定：数据生成过程=确定性部分+非确定性部分），要应用最小二乘法估计该模型,须作出进一步的假定（为什么？）。,二、二元线性回归模型,1、模型的数学形式 二元线性回归模型中多引入了一个解释变量，表达式为：,（一）二元线性回归模型设定,总体回归模型,样本回归模型,取定一个样本,样本容量为n,将n组数据分别代入总体回归模型,表达为矩阵形式:,记为:,2.有关解释变量 X 的基本假定,矩阵X 为满列秩，即R(X)=3；X1、X2之间不相关，即 Cov(X1,X2)=0；X1、X2 为固定变量;若X1、X2 为随机变量,X与残差项之间不相关，即 Cov(x,u)=0,一般地：有关随机扰动项ui的基本假设,随机扰动项ui是一个有关总体属性的随机变量，对ui的性质作出假设：假设1残差分布均值为零（Zero Mean Error Displacement）假设2随机扰动项方差相等（Constant Error Variance）假设3随机扰动项（误差）相互独立（Error Independent）假设4所有xi都是可观察的并且独立于ui,（二）最小二乘法（OLS）估计模型,就上式分别对b0、b1、b求偏导数，并令其为零：,！说明残差和为零；残差和解释变量之间不相关。,整理联立方程：,进一步可表达为：,最小二乘法应用的中间结果显示:,1、残差和=0 2、残差与解释变量不相关 3、残差与被解释变量拟合值不相关 4、被解释变量实际值与拟合值的均值相等即：,进一步：,写为：,得：,该b 值能够保证式:,(在,存在时),（三）b的统计特性,线性性、无偏性、最佳性、服从正态分布,b的估计方差:,替代,（四）模型检验,1.拟合优度检验,可决系数R2:取值范围在01之间,越大,模型拟合程度越高;表示两个X 联合起来对Y 的解释程度:是衡量模型拟合质量的重要指标;具有复相关的含义。,(2)单参数显著性检验t 检验,若,拒绝0接受H1，说明显著不为零，或引入模型中的对有解释能力,若,接受H0，说明与零无显著不同，或引入模型中的对没有解释能力,予以删除,(3)参数的总显著性检验F检验 该检验用于检验X1、X2联合起来对Y的影响是否显著。,H0:j=0（j=1，2）H1:参数中至少有一个不为零,提出假设,构造检验统计量F:,若,拒绝H0，接受H1。即X1、X2联合起来对Y的影响是显著的，变量应该被引进，该模型由此在统计上也是可靠的。,接受H0，即1、2同时为零，X1、X2不应被引入模型，模型应当重新设定。,判断:,1、是为了满足应用最小二乘法的需要；,反思：为什么对模型事先要作出基本假设？,3、是为了实现t 检验和F 检验（残差正态性假设）。,2、是为了避免数学处理上存在的问题（满列秩假定）,4、是为了估计（等方差的假定）,5、为了提高估计的精度（无自相关假定）,三、本章EViews 学习要点,1、安装EViews，进入主窗口。,2、创建工作文件:点击File/New/Workfile,选择适当的时间频率（年、季度、月、周、天、非日期数据）和确定起止日期或样本区间。,3、进入工作文件窗口：工作文件窗口是EViews的子窗口。它有标题栏、控制按钮和工具条。标题栏指明窗口的类型workfile、工作文件名。标题栏下是工作文件窗口的工具条，工具条上有一些按钮。Views（观察按钮）、Procs（过程按钮）、Save（保存工作文件）、Sample（设置观察值的样本区间）、Gener（利用已有的序列生成新的序列）、Fetch（从磁盘上读取数据）、Store（将数据存储到磁盘）、Delete（删除）对象。,工作文件一开始其中就包含了两个对象，一个是系数序列C（保存估计系数用），另一个是残差序列RESID（实际值与拟合值之差）。,4、数据输入和编辑：点击Objects New object 选Series 输入序列名称Ok,进入数据编辑窗口，点击Edit+/-打开数据编辑状态，（可以根据习惯点击Smpl+/-改变数据按行或列的显示形式）然后输入数据，方式同上。,5、观察数据特征：Group Members 可用于增加组中的序列；SpreadSheet以电子数据表的形式显示数据；Dated Data Table 将使时序数据以表的形式显示；Graph以各种图形的形式显示数据；Multi Graph 以图的形式显示数据；Descriptive Stats给出组中数据的描述统计量，如均值、方差、偏度、峰度、J-B统计量（用于正态性检验）等；Correlations 给出数组中序列的相关系数矩阵；Covariances给出数组中序列的协方差矩阵；,6、回归估计：在主菜单选Quick Estimate Equations，进入输入估计方程对话框,输入待估计方程，选择估计方法普通最小二乘法,7、单方程预测：在方程估计输出窗口，点击其工具栏中的Forecast打开对话框。,8、统计检验结果的判断。,