第7章系统预测3回归分析ppt课件.ppt

《第7章系统预测3回归分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第7章系统预测3回归分析ppt课件.ppt（110页珍藏版）》请在三一办公上搜索。

1、7.4 回归分析预测法,2,回归,3,回归的由来,由英国著名统计学家Francis Galton在19世纪末期研究孩子及其父母的身高时提出来的。Galton发现身材高的父母，他们的孩子身材也高。但这些孩子平均起来并不像他们的父母那样高。对于比较矮的父母情形也类似：他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高Galton把这种孩子的身高向平均值靠近的趋势称为一种回归效应，而他发展的研究两个数值变量的方法称为回归分析,4,多元回归在卫生检验中的应用,5,什么是回归分析？（regression）,1、从一组样本数据出发，确定变量之间的数学关系式。2、对这些关系式的可信程度进行各种

2、统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著。3、利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度。,6,变量间的关系函数关系相关关系相关关系的描述与度量散点图相关系数相关系数的显著性检验,7.4.1 变量间关系的描述与度量,7,变量间的关系,8,函数关系,1、是一一对应的确定关系2、设有两个变量x和y，变量y 随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量3、各观测点落在一条线上,9,函数关系的例子,某

3、种商品的销售额y与销售量x之间的关系可表示为 y=px(p 为单价)圆的面积S与半径R之间的关系可表示为S=R2企业的原材料消耗额y与产量x1、单位产量消耗x2、原材料价格x3之间的关系可表示为 y=x1x2x3,10,相关关系(correlation),1、变量间关系不能用函数关系精确表达2、一个变量的取值不能由另一个变量唯一确定3、当变量 x 取某个值时，变量 y 的取值可能有几个4、各观测点分布在直线周围,11,相关关系的描述与度量,相关分析变量之间是否存在关系？如果存在关系，它们之间是什么样的关系？变量之间的关系强度如何？样本所反映的变量之间的关系能否代表总体变量之间的关系？,12,散

4、点图(scatter diagram),13,散点图(例题分析),【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清不良贷款形成的原因，管理者希望利用银行业务的有关数据进行定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据,14,散点图(例题分析),15,散点图(不良贷款对其他变量的散点图),16,散点图(5个变量的散点图矩阵),不良贷款,贷款余额,累计应收贷款,贷款项目个数,固定资产投资

5、,17,相关系数,相关(correlation)系数：描述两个数值变量线性相关的方向和强度。,18,提问,相关系数与x、y的顺序相关，即x、y之间有主从关系没有？,19,正的r值显示变量之间有正相关，负的r值显示出负相关相关系数r的值永远在-1和+1之间|r|=1：完全线性相关0r1：正线性相关-1r0：负线性相关r=0：不存在线性相关关系，或不相关（没有关系）,相关系数的性质,20,r=0.4,r=0.8,r=-0.4,r=-0.8,相关系数的性质,r=0,21,相关系数的性质,r,22,相关系数只是两变量直线相关强度的度量；不能描述两变量间的曲线相关，不管这种相关关系有多强。,r=0!,相

6、关系数的性质,23,相关系数（例题分析）,累计应收贷款,贷款项目个数,累计应收贷款,贷款项目个数,24,|r|0.8时，可视为两个变量之间高度相关0.5|r|0.8时，可视为中度相关0.3|r|0.5时，视为低度相关|r|0.3时，说明两个变量之间的相关程度极弱，可视为不相关注意：上述解释必须建立在对相关系数的显著性进行检验的基础之上,相关系数的经验解释,25,相关系数的显著性检验：若r在显著性水平下超过依赖于自由度n-2的临界值r(n-2,)，则认为其在显著性水平下与0显著不同，检验通过，并称相关系数是显著的。,相关系数的显著性检验,相关系数表,备注：n为样本量,26,7.4 回归分析预测法

7、,不确定的相关关系,回归分析,确定的函数关系,回归分析是因果关系分析中的一种，是研究相关关系的一种数学手段。,27,7.4 回归分析预测法,回归分析主要内容：从数据出发，确定因变量和自变量之间的关系；对关系式中的参数进行估计，并进行统计检验；筛选自变量，即从大量自变量中找出影响显著的，剔除不显著的；用求得的回归模型进行预测；对预测结果进行分析、评价。,28,回归模型(regression model),1、回答“变量之间是什么样的关系？”2、方程中运用1 个数值型因变量(响应变量)被预测的变量1 个或多个数值型变量(解释变量)用于预测的变量3、主要用于预测和估计,29,1、定义 一元线性回归预

8、测是处理因变量y与自变量x 之间线性关系的回归预测法，其数学模型为：,其中a、b称为回归系数,首先根据x、y的现有统计数据，在直角坐标系中作散点图，观察y随x而变是否为近似的线性关系。若是，则求出式（7.4.1）中的a、b值，就可确定其数学模型，然后由x的未来变化去求相应的y 值。,7.4.2 一元线性回归分析预测,30,2、a、b的确定方法,（1）解联立方程组,将式（7.4.1）两边分别求和将式（7.4.1）两边分别乘 再求和,求解后得到,7.4.2 一元线性回归分析预测,31,7.4.2 一元线性回归分析预测,32,（2）直接用最小二乘法,使拟合的数值与实际值的总方差为最小，即拟合程度最好

9、，则得两者之差ei,根据极值原理，式（7.4.6）对a、b分别求偏导，并令其=0，得,7.4.2 一元线性回归分析预测,33,7.4.2 一元线性回归分析预测,34,7.4.2 一元线性回归分析预测,35,Sxx称之为xi的方差和（离差平方和）Sxy称之为xi与yi的协方差和（离差积之和）,7.4.2 一元线性回归分析预测,36,3、回归效果检验,y=a+bx一定程度上反映了y与x之间的统计线性相关关系，该关系是否密切，决定了所采用线性预测模型多大程度上可信。这可以通过y与x的相关系数rxy的大小来确定。,7.4.2 一元线性回归分析预测,37,3、回归效果检验,rxy的取值（P136图7-7

10、）：|rxy|=1，样本点完全落在回归线上，y与x有完全的线性关系；0rxy1，y与x有一定的正线性相关关系，即y随着x的增加而成比例倍数增加；-1rxy0，y与x有一定的负线性相关关系，即y随着x的增加而成比例倍数减少；rxy=0，y与x之间不存在线性相关关系。,7.4.2 一元线性回归分析预测,查相关系数表（教材P.384附表二），若|rxy|表中相应数字r临界值，表示x、y间存在线性相关，预测模型可用。,38,r临界值是对不同的样本容量n，在两种置信度95%、99%下的相关系数的临界值，即r临界值与样本容量n、以及所要求的置信度1-（给定的显著水平）有关。,7.4.2 一元线性回归分析预

11、测,39,4、简化算法,对具有类似等差时间序列关系的统计数据进行预测时，可以采用此法。,由计算a、b的式（7.4.2）、（7.4.3）,发现，若能使其中的xi=0，则计算a、b就会大大简化为,7.4.2 一元线性回归分析预测,40,如何使xi=0?,当xi为等差自然数列时，可引入“集中时间序列”即使等差序列呈对称形态。,在给xi编号时可以这样处理：,（1）若n为奇数，取xi的时间间隔为1，将x=0置于资料期的中央；（2）若n为偶数，取xi的时间间隔为2，将x=-1（+1）置于资料期中央的上（下）期。,例7.4.1 某服装厂最近5年的服装产量如下表所示，请预测该厂今明两年的产量。,年份 倒5年

12、倒4年 倒3年 前年 去年 今年 明年,产量（万元）300 350 380 430 500？,7.4.2 一元线性回归分析预测,41,解：以年份为自变量xi，产量为因变量yi，在直角坐标系中画散点图后发现y、x之间基本上呈线性关系，故可用一元线性回归方法进行预测。此处n=5为奇数，因此可列下表整理资料，并使xi=0,年份倒5年倒4年大前年前年去年 平均值,xi-2-10 1200,yi3003503804305001960392,xiyi-600-35004301000480,Xi24101410,Yi290000122500144400184900250000791800,7.4.2 一元线

13、性回归分析预测,42,查相关系数表，此处n=5，若取=0.01，置信度(1-)=99%查得,7.4.2 一元线性回归分析预测,43,由于rxyr临界值，所以x，y之间确实存在着线性相关，故预测模型 可以用于预测。,7.4.2 一元线性回归分析预测,44,7.4.2 一元线性回归分析预测,45,不良贷款对贷款余额的散点图,7.4.2 一元线性回归分析预测,相关系数：r=0.8436,显著性水平=0.01时，r(23,0.01)=0.505,46,7.4.2 一元线性回归分析预测,【例】求不良贷款对贷款余额的回归方程,回归方程为：y=-0.8295+0.037895 x回归系数=0.037895

14、表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元,47,不良贷款对贷款余额的回归方程的图示,7.4.2 一元线性回归分析预测,48,1、基本概念 社会经济S中，影响事物发展的往往是多个因素，一元回归只是一种抽象，是抓主要矛盾的结果。有时分不清主次，只有通过多因素的多元回归才能反映事物的本质。例如一个城市的公共交通营运总额y与该市的人口总数x1、国民生产总值x2、商品流通量（或人口流动数）x3等多因素有关，经过分析抓住主要矛盾后，可建立如下二元线性回归预测模型：,7.4.3 多元线性回归分析预测法,49,一般而言，设系统变量y与k个自变量x1,x2,，xk之间存在统计线性相关关系

15、，且给定n组样本数据点如下：(y1,x11,x21,xk1),(y2,x12,x22,xk2),(yn,x1n,x2n,xkn)则其满足：于是多元线性回归预测模型可以表示为：,多元线性回归与矩阵方法相结合，是社会经济系统预测与规划的一个重要手段。,7.4.3 多元线性回归分析预测法,50,2、多元线性回归模型的参数估计 设式（7.4.10）中，则其k+1个参数aj可利用最小二乘法进行估计，记,7.4.3 多元线性回归分析预测法,51,于是，式（7.4.10）可以表示为：,7.4.3 多元线性回归分析预测法,52,令误差平方和：由极小值条件 可得（见推导）：,记 系数矩阵（对称）适于计算机实现,

16、最小二乘法估计 是A的无偏估计。,7.4.3 多元线性回归分析预测法,53,手算时，极小值条件可以表示为：,7.4.3 多元线性回归分析预测法,54,整理可得：,解上面的方程组即可得到a0,a1,ak的估计值。,7.4.3 多元线性回归分析预测法,55,3、相关系数 记 RSS回归平方和 ESS剩余平方和 TSS总平方和,7.4.3 多元线性回归分析预测法,56,误差平方和的分解(三个平方和的意义),1、回归平方和(RSSsum of squares of regression)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化

17、，也称为可解释的平方和2、剩余（残差）平方和(ESSsum of squares of error)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和3、总平方和(TSStotal sum of squares)反映因变量的 n 个观察值与其均值的总误差,57,误差的分解(图示),x,58,误差平方和的分解(三个平方和的关系),TSS=RSS+ESS,59,3、相关系数（1）复相关系数 r：表示y与所有自变量x1,xk的整体线性 相关程度。,7.4.3 多元线性回归分析预测法,60,3、相关系数 对一元线性回归而言，相关系数含义如下(P136图7-7)：r=1：y

18、与x具有完全的正线性相关关系，所有样本点完全落在回归直线上。r=-1：y与x具有完全的负线性相关关系，所有样本点完全落在回归直线上。0r1：y与x具有一定的正线性相关关系。-1r0：y与x具有一定的负线性相关关系。r=0：y与x之间不存在线性相关关系。,7.4.3 多元线性回归分析预测法,61,3、相关系数（2）单相关系数ry,j：表示不计其余自变量的影响，y对xj进 行一元回归的相关系数。,7.4.3 多元线性回归分析预测法,62,3、相关系数（3）偏相关系数Ry,j：用于表示各自变量对因变量的影响程 度，计算时将把其它自变量作为常量处理。,其中，ESS表示y对除xj以外的其它自变量进行回归

19、的剩余平方和；ESS/ESS表示在其它自变量的基础上，再加上xj作为自变量进行回归时，能为因变量y额外提供信息的程度。,7.4.3 多元线性回归分析预测法,63,4、回归模型的统计检验（1）标准离差检验：用于检验回归模型的精度。（2）相关系数检验：用复相关系数检验整体线性相关关系是 否可信。r=1：完全线性相关（所有点均在拟合直线上）；r=0：不相关。如果r在某个显著性水平下超过了r临界值（附表二），则认为r在显著性水平下与0显著不同，检验通过。,反映估计值和样本值的平均误差，要求：,7.4.3 多元线性回归分析预测法,64,标准离差检验,估计标准误差(离差)，即因变量y的实际值与回归方程求出

20、的估计值 之间的标准误差估计标准误差越小，回归方程拟合程度越好,65,相关系数检验,多元线性回归中也有多重相关系数r2，它是在因变量的总变化中，由回归方程解释的变动(回归平方和)所占的比重r2越大，回归方各对样本数据点拟合的程度越强，所有自变量与因变量的关系越密切,66,4、回归模型的统计检验（3）回归方程的显著性检验（F检验）：在一定显著性水平 下，检验假设ai=0(i=1,k)是否成立。构造统计量F:,则当,时否定假设，认为在显著性水平下，回归模型有意义（查附表四）。,7.4.3 多元线性回归分析预测法,67,回归方程的显著性检验,回归方程的显著性检验，即检验整个回归方程的显著性，或者说评

21、价所有自变量与因变量的线性关系是否密切常采用F检验,68,4、回归模型的统计检验（4）回归系数的显著性检验（t 检验）：对每个自变量 xi与y 的相关关系进行显著性检验，检验假设ai=0是否成立。,则当对j=1,k都有：,时认为在显著性水平下，aj与0有显著差异，即xj对y 有显著影响（查附表三）。,7.4.3 多元线性回归分析预测法,69,回归系数显著性检验(t检验),在一元线性回归中，回归系数显著性检验(t检验)与回归方程的显著性检验(F检验)是等价的，但在多元线性回归中，这个等价不成立。t检验是分别检验回归模型中各个回归系数是否具有显著性，以便使模型中只保留那些对因变量有显著影响的因素。

22、检验时先计算统计量ti；然后根据给定的显著水平a,自由度n-k-1查t分布表，得临界值ta或ta/2,t t a或ta/2，则回归系数bi与0有显著关异，反之，则与0无显著差异,70,4、回归模型的统计检验（5）剩余项的独立性检验（DW 检验）：就拟合误差j的相 互独立性进行检验。,根据、n、k，查DW表（附表五）得du、dl值，然后根据书上139页检验规则表得出检验结论。,7.4.3 多元线性回归分析预测法,71,D.W检验,回归模型是根据动态数据建立的，则误差项也是一个时间序列若误差序列诸项之间相互独立，则误差序列各项之间没有相关关系若误差序列之间存在密切的相关关系，则建立的回归模型就不能

23、表述自变量与因变量之间的真实变动关系。D.W检验就是误差序列的自相关检验,72,4、回归模型的统计检验（6）预测区间确定 通过以上检验后回归模型可用。但由于模型是由数理统计方法得到，有一定误差，预测结果也有一定误差，即预测结果有一定的波动范围，即预测置信区间。在置信度为0.95时，预测结果的置信区间或波动范围为,其中，S为标准离差，为自变量某组取值为x10,x20,xk0时的预测值。则预测区间可以表示为。,7.4.3 多元线性回归分析预测法,73,步骤：给出待建的回归预测模型进行参数估计，即求a0,a1,ak，算法：对模型进行统计检验标准离差检验,归纳：多元线性回归分析预测法,74,步骤：对模

24、型进行统计检验相关系数检验取一定显著水平，查附表二，超临界值ra时通过检验。,归纳：多元线性回归分析预测法,75,步骤：对模型进行统计检验回归方程的显著性检验（F检验）取一定显著水平，查附表四，时通过检验。,归纳：多元线性回归分析预测法,76,步骤：对模型进行统计检验回归系数的显著性检验（t 检验）取一定显著水平，查附表三，对j=1,k都有 时通过检验。,归纳：多元线性回归分析预测法,77,步骤：对模型进行统计检验剩余项的独立性检验（DW 检验）,归纳：多元线性回归分析预测法,取一定显著水平，根据、n、k，查DW表（附表五）得du、dl值，然后根据书上139页检验规则表得出检验结论。,78,D

25、W检验规则表（P139）,79,步骤：对模型进行统计检验预测区间确定置信度为95%时,归纳：多元线性回归分析预测法,其中，S为标准离差，为自变量某组取值为x10,x20,xk0时的预测值。则预测区间可以表示为。,80,步骤：给出最后结论，包括：线性回归预测模型；上述检验获得的参数；预测结果的置信度为95%的预测区间。,归纳：多元线性回归分析预测法,例(P139)：某企业固定资产x1、职工人数x2和利润总额y的统计数据如下表，试建立以x1、x2为自变量的利润回归预测模型。,82,例7.4.3：某企业固定资产x1、职工人数x2和利润总额y的统计数据如下表，试建立以x1、x2为自变量的利润回归预测模

26、型。,83,例7.4.3：参数估计,模型：y=a0+a1x1+a2x2,84,模型：y=-106.7218+0.498921x1+1.34047x2,例7.4.3：建立模型,85,例7.4.3：统计检验,0.0160,0.666,S=4.3776,du=1.32,dl=0.879,y=-106.7218+0.498921x1+1.34047x2,查看矩阵C,86,例7.4.3：统计检验,y=-106.7218+0.498921x1+1.34047x2,预测区间估计取x10=350，x20=190又知S=4.3776，预测上下限分别为（95%置信度）：,87,例7.4.3：统计检验,结论预测模型

27、为：y=-106.7218+0.498921x1+1.34047x2S=4.3776,r=0.9897,F=167.17,DW=1.9636,当x10=350，x20=190时，95%的置信区间为,88,作业：某地区一次能源消耗、工业总产值、运输业产值如下表，试建立能耗与工业产值、运输业产值之间的二元线性回归预测模型（不要求统计检验）。,多元线性回归分析预测法,89,多重共线性：在统计总体中，某一个自变量与其它自变量的总体线性相关。许多经济变量在时间上相互依存，如随时间以大体相同的速度增长等；由于经济系统内在的技术经济联系，使自变量互为因果关系，存在统计相关性。,7.4.5 多重共线性及其处理

28、（自己了解）,90,后果：（1）逆阵不可求；（2）参数估计精度降低；（3）回归系数估计值可能会对某几组观察值特别敏感，这些观察值一旦变动，对参数估计值影响很大；（4）回归系数可能出现与实际（物理）意义不符；（5）可能将有用的变量排除掉。,7.4.5 多重共线性及其处理,91,2.判别方法（1）用xi和xj间的相关系数 rij=1：xi与xj完全相关；rij=0：xi与xj完全不相关，一般有0rij1.当（r为回归模型的复相关系数），多重共线性较严重，需调整。,7.4.5 多重共线性及其处理,92,2.判别方法（2）用复相关系数 分别构造出不含 xj 的k个回归方程，并计算出k个复相关系数rj2

29、，则该值越大，xj与其它自变量发生多重共线性越严重。,7.4.5 多重共线性及其处理,93,3.多重共线性的处理（1）剔除不必要的解释变量：回归系数最小的或t检验值最小的或系数符号与经济意义不符的；（2）改变自变量的定义形式：合并变量或用心变量替代存在多重共线性的变量，等；（3）增加观察值，避免或减少多重共线性；（4）寻找新的解释变量；（5）采用逐步回归估计参数，减少多重共线性。,7.4.5 多重共线性及其处理,94,Cobb-Douglas生产函数：,Y产出；A综合技术水平指数；L劳动力投入；K资本投入。,：劳力的产出弹性系数。,：资本的产出弹性系数。,7.4.6 非线性回归模型的线性化处理

30、 Cobb-Douglas生产函数,95,Cobb-Douglas生产函数,：“收益守恒型”，说明生产效益不再随生产 规模扩大而增加，充实提高生产的内涵才 是唯一途径；,：“收益递增型”，按现有技术水平，扩大生 产规模有利于增加产出；,：“收益递减型”，按现有技术水平，扩大生 产规模会得不偿失；,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas生产函数,96,Cobb-Douglas生产函数一般形式：,若A(t)在一定期内近似为常数A，则,令 y=lnY，x1=lnL(t)，x2=lnK(t)，即得线性回归模型。,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas

31、生产函数,97,若，则,令 y=lnq，x1=t，x2=lnk，即得线性回归模型。,令，则,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas生产函数,98,若，则,令 y=lnY(t)，x1=t，x2=lnL(t)，x3=lnK(t)，即得线性回归模型。,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas生产函数,99,两边对时间求导数，有,，于是,Cobb-Douglas生产函数模型的应用,，近似可得：,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas生产函数,100,Cobb-Douglas生产函数模型的应用,：综合技术进步对经济增长的贡献度；

32、,：劳动力增长对经济增长的贡献度；,：资本增长对经济增长的贡献度。,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas生产函数,101,例：下表是某工业部门1971年至1980年的总产值（亿元）、固定资产（亿元）及年末职工人数（万人），要求对该部门的经济增长因素做定量分析。,7.4.6 非线性回归模型的线性化处理 Cobb-Douglas生产函数,102,对形如 的非线性多项式预测模型，可以用变量代换的方法转换为线性。，则原模型变为,从而可以用求解线性回归模型的方式进行求解。,7.4.6 非线性回归模型的线性化处理 多项式的回归估计,103,例：下表给出了某种产品每件平均单价y与

33、批量x之间的关系的一组数据，试预测批量为100件时的产品单价。,7.4.6 非线性回归模型的线性化处理 多项式的回归估计,104,7.4.6 非线性回归模型的线性化处理 多项式的回归估计,105,时序分析与回归分析比较：对时序的统计数据，两法均可进行预测，但用回归法有一些缺点：后者对当前和历史数据是同等对待的，缺乏反映趋势的灵活性提问-出现新数据点时，回归方程是否可继续使用？,小结,106,回答,每当出现新数据点时，都要对回归方程进行重新估计，不能自行延续等。之所以存在此缺点，其主要原因是回归方程中的系数a、b是根据所有数据计算得来的，缺乏对新出现情况的适应能力。所以对时序统计资料进行预测，大

34、多不用回归法，而用时序法。即使要用回归法，也多采用简化算法，否则太麻烦。,107,时序分析与回归分析比较：时序法不考虑事物变化的原因，而是从其最终结果去研究和分析，并假设事物会遵循过去的规律，当前的趋势同样适应未来而事实上未来绝不是过去和现在的简单重复时序法用于短期预测较准，用于长期预测时，除非对象的发展非常稳定，否则效果较差，特别是遇到发展的转折点时，时序法无能为力。,小结,108,时序分析与回归分析比较：预测通常采用两种以上方法进行对比和验证：时序法研究变化趋势，回归法研究因素间因果关系。较长时间预测采用回归法较准，短期预测可使用时序法，后者所需数据资料较少。回归法所需数据较多，通常要求占有的数据时间应为预测时间的3倍以上。,小结,109,简述多元线性回归分析预测法的步骤，并说明各种检验的必要性。,思考题,110,P173 第14题，不需检验。,作业,