简单回归模型的基本假设.ppt

《简单回归模型的基本假设.ppt》由会员分享，可在线阅读，更多相关《简单回归模型的基本假设.ppt（98页珍藏版）》请在三一办公上搜索。

1、簡單迴歸模型的基本假設,用最小平方法(OLS-ordinary least square)找到一個迴歸式：,Y,xi,F(Y),Population regression line,我們假設在母體中，對於每一個xi值而言，其相對應的yi值遵循某種機率分配，且期望值為,與x相對應的一組y，其期望值剛好落在一條直線上,我們假設這些分配有相同的變異數2,Page 3,我們對於上面的迴歸模型有以下的假設（限制）：linearity依變項Yi與自變項之間的關係為線性：Normality:ei為常態分配(或依變數為一常態分配）eiN or YiNZero conditional mean:對於每個xi，E

2、(ei|Xi)=0 殘差項的平均數為零 Independence of ei and Xi:殘差值與Xi不相關Cov(ei,X)=0 or E(ei,X)=0,簡單迴歸模型的基本假設,Page 4,簡單迴歸模型的基本假設,Homoscedasticity:Var(ei)=2變異數齊一性每組的殘差項的變異數均相等。而每一組的變異數實際上是指X=xi條件下的Y之變異數，因此2也可以表為2Y|X綜合以上：eiN(0,2)YiN(b0+b1Xi,2)No serial correlation:ei彼此不相關 Cov(ei,ej)=0X為一固定變數或事前決定之變數，Y為一隨機變數,Page 5,簡單迴歸

3、模型的基本假設,linearity:假設依變項Yi與自變項之間的關係為線性：,我們假設隨機誤差項ei有下列的性質：Normality:ei為常態分配Zero conditional mean:對於每個xi，E(ei|xi)=0 Independence of ei and xi:殘差值與xi不相關Homoscedasticity:Var(ei)=2No serial correlation:ei彼此不相關,Page 6,Residuals Sum to Zero,兩邊除以n,Page 7,Y,X,F(Y),E(e|xi)=0,given X,the mean of the distributi

4、on of“other factors”is zero無論xi為什麼數值，ei的平均值皆為0,其他因素與X無關,Page 8,殘差值與xi不相關,0,Page 9,殘差值與xi不相關,Page 10,No serial correlation:ei彼此不相關,兩個殘差值不相關表示它們彼此之間為獨立(independent)，由於我們抽取的是隨機樣本，因此每一個觀察值之間彼此沒有關連。也就是說，某一戶人家的娛樂支出不會影響另一戶人家的育樂支出。,Page 11,Y,X,F(Y),Estimation of e2,前面我們假設Homoscedasticity:Var(ei)=2,每一個相對應於x值

5、的y不但為常態分配，且有相同的變異數2,2,2,(Xi,Yi)are independently and identically distributed,Y,xi,F(Y),Population regression line,我們假設在母體中，對於每一個xi值而言，其相對應的yi值遵循某種機率分配，且期望值為,Y,X,F(Y),Sample regression line,從樣本中可以推估出0,1的估計值，也可以建構出樣本迴歸線,由於母體參數0,1為未知數，因此母體迴歸線必須透過觀察到的樣本(xi,yi)來推估,由於觀察到樣本點(xi,yi)不會剛好落在母體迴歸線上，因此yi與E(yi|xi

6、)會有所差距。,Page 14,區分母體與樣本迴歸線,由於我們是從樣本中來估計迴歸線，用來估計迴歸線的截距b0及斜率b1 的估計式(estimator)為具有抽樣分配(sampling distribution)的隨機變數。,觀念,母體迴歸線,樣本迴歸線,Page 15,截距與斜率的抽樣分配,我們想進一步知道從樣本中估計的截距b0及斜率b1 是不是能夠正確的反映出母體的參數B0及B1。雖然每一次從樣本中估計出來的迴歸線都不同，但我們如果我們知道估計式的抽樣分配，則可以用統計檢定的方式來對我們的樣本參數進行統計的推估。因此我們第一步需要知道為截距b0及斜率b1 的抽樣分配為何？也就是說他們的期望

7、值及標準差為何？,觀念,Page 16,迴歸的統計檢定,統計檢定包含兩部分:(1)對截距與斜率的檢定(2)迴歸方程式的配適度,區分母體與樣本迴歸線,Page 18,區分母體與樣本迴歸線,因此每一個實際的觀察值可以表為母體迴歸線的函數或是樣本迴歸線的函數,我們經常用可觀察的殘差值ei(residual)來推估未知的i,Page 19,截距與斜率的抽樣分配,其中截距0及斜率1 為參數，xi為已知常數，且,觀念,由於yi為常態分配的線性組合(i為常態分配)，故yi亦為一常態分配,Page 20,斜率b1的抽樣分配,b1分配的型態為何？E(b1)=?Var(b1)=?,觀念,=0,由於xi為已知常數，

8、因此b1的分配為常態分配yi的線性組合，故b1為常態分配,Page 21,斜率b1的抽樣分配,E(b1)=?,觀念,Page 22,斜率b1的抽樣分配,觀念,樣本觀察值與平均數之差的總合為零,Page 23,斜率b1的抽樣分配,觀念,等於零,b1為1的不偏估計式unbiased estimator,Page 24,斜率b1的抽樣分配,觀念,常數,Page 25,斜率b1的抽樣分配,觀念,Page 26,斜率b1的抽樣分配,觀念,Page 27,斜率b1的抽樣分配,觀念,從以上的討論得知：,b0的抽樣分配證明略,未知數,Page 28,Estimation of e2,令真正的變異數(true

9、variance)可分別表為2b0及2b1。一般而言，2b0及2b1通常為未知數(因為2未知)，必須從樣本中估計求得，以符號S2b0及S2b1來表示估計的變異數。同理，我們以b0及b1來表示b0及b1的真正標準誤差，以Sb0及Sb1來表示估計的標準誤差(estimated standard error)。,觀念,Page 29,Estimation of e2,如何估計2?一個簡單的方法為利用Sum of Square Error(SSE)來估算,Page 30,Estimation of e2,但實際上，因為我們不知道真正的母體迴歸線，所以也就無法知道真正的殘差值ei（更正式的寫法為i)。因

10、此我們必須以估計的殘差值來取代,Page 31,Estimation of e2,在迴歸式中，SSE的自由度為樣本個數減去估計係數的數目,Se為迴歸線的估計標準差(estimated standard error of the regression)，代表每一個相對應於x值的Y，分佈於迴歸線上的變異狀況。Se愈小，表示Y的散佈愈集中,Page 32,Estimation of e2,在簡單迴歸中：,Page 33,Estimation of e2,=0,Page 34,Estimation of e2,Page 35,Estimation of e2,Page 36,公式整理,Page 37,

11、Estimation of e2,Page 38,Estimation of e2,Page 39,Estimating standard error of b0 and b1,觀念,截距b0及斜率b1的變異數的公式,Page 40,Estimating standard error of b0 and b1,觀念,由於2未知,Estimated standard error of b1,Estimated standard error of b0,Page 41,Hypothesis Testing in the Linear Regression Model,觀念,若以S2e來推估2，則,

12、知道b1的分配及標準誤差後，我們可以進行統計推論,Page 42,Hypothesis Testing in the Linear Regression Model,觀念,在迴歸的統計檢定中，我們想要知道自變數x是否對於解釋y有用，也就是說x與y之間是否具有線性關係？,一般而言，如果x與y之間存在一線性關係，則10,Page 43,Hypothesis Testing in the Linear Regression Model,觀念,我們要檢驗下列的虛擬假設：,One-side test 學歷與薪資的關係,One-side test 私校學費與註冊人數之關係,Two-side test 父母

13、的收入與兒女的在校成績,Page 44,Hypothesis Testing in the Linear Regression Model,觀念,我們也可以檢驗斜率等於某特定值*：,每增加一年的學歷薪水增加$2000,Page 45,Hypothesis Testing in the Linear Regression Model,觀念,斜率的單邊假設檢定：,Page 46,Hypothesis Testing in the Linear Regression Model,觀念,斜率的單邊假設檢定：,Page 47,Hypothesis Testing in the Linear Regres

14、sion Model,觀念,斜率的雙邊假設檢定：,Page 48,例題,上例收入與支出的關係，以=.01檢定H0:1=0 vs.1 0,Page 49,例題,上例收入與支出的關係，以=.05檢定H0:1=.90 vs.1.90,Page 50,截距的檢定例題,續上例，以=.05檢定H0:0=0 vs.0 0,Page 51,Confidence Intervals for the Regression Coefficients,t依循自由度為(n-2)的t分配:,Page 52,Confidence Intervals for the Regression Coefficients,上述公式指

15、出，如果我們重複抽樣來計算樣本迴歸線的斜率，則1的值有100(1-)%的機率會落於以下區間：,其中t值得自當自由度為=(n-2)時的t分配,上述的區間稱為1的100(1-)%信賴區間。,同理，我們可以找出截距的信賴區間：,Page 53,例題,求下列迴歸線斜率的90%信賴區間，(n=10):,Page 54,迴歸方程式的解釋力,當我們計算出迴歸線後，我們想進一步知道迴歸曲線與資料間的適合度(goodness of fit)。母體迴歸線告訴我們x與y有下列線性關係,上式告訴我們有兩個因素會影響Y值的變異：Y值會隨著xi值的改變而變：這一部份的變異為被迴歸線解釋的變異。Y值會隨著ei值而變：這一部

16、份為迴歸線無法解釋的變異。,Page 55,簡單迴歸模型,被解釋的變異,未被解釋的變異,總變異量,沒有解釋能力的回歸線,Page 56,變異數的分解,未被解釋的變異稱為殘差值residual，第i個觀察值的殘差值定義為:,Page 57,變異數的分解,Page 58,變異數的分解,總變異量Sum of Square Total,解釋變異量Regression Sum of Square,未解釋變異量Sum of Square Error,Page 59,變異數的分解,兩邊除SST,R2愈大，表示X對Y的解釋能力愈強,判定係數為可解釋變異量佔總變異量的比例，表示X對Y的變異之解釋能力。,Page

17、 60,變異數的分解,Page 61,變異數的分解,Page 62,變異數的分解,以樣本變異數來計算,Page 63,求R2?,Page 64,Page 65,F-檢定,F檢定統計量可檢定下列假設:H0:迴歸方程式無解釋能力(1=0)H1:迴歸方程式有解釋能力(1 0),Page 66,Page 67,r=0.994 r2=0.989,Page 68,r=0.921 r2=0.849,Page 69,Page 136,Page 70,r2,Variance of value y=5.30091Variance of predicted y=5.24135,Page 71,Page 72,例題,

18、求迴歸線yi=b0+b1xi+ei 的斜率與截距並計算R2及兩個係數的估計標準誤差。,Page 73,例題,畫出迴歸線：,Page 74,例題,Page 75,例題,Page 76,例題,1987年USA Today報導一研究發現懷孕時吸煙的母親，其兒女在三歲時的IQ比不吸煙的母親平均少5分，你想驗證上述的假設，記錄母親懷孕時每日的吸煙根數(xi)及兒女在三歲時的IQ(yi)，你心中假設的模型為：,抽取父母親IQ相當的20個樣本家庭，計算樣本迴歸模型如下：,請分析這個結果,Page 77,例題,斜率為-0.60如何解釋？代表樣本中，母親每吸一根菸，baby的智商減少0.60分截距為104如何解

19、釋？代表不吸煙母親的子女的智商預測值為104,Page 78,例題,可不可以將樣本所得的結果推論至母體(概化)？必須檢定母親的吸煙對兒女智商無影響的假設，即,Page 79,例題,The 95%confidence interval:,表示在95%的信心水準下，我們可以說真正的1值介於此區間中。,Page 80,例題,R2=0.17 說明母親的吸煙數量解釋了17%的兒女IQ變異量。或者說，尚有83%的IQ變異無法由抽煙與否來解釋。,Page 81,Prediction using the regression model,迴歸線可以用來估計在某一特定x值之下，Y的預測值：我們可以用迴歸線來估計

20、在xi下的”新”觀察值Y,我們也可以用迴歸線來估計在xi下的Y的期望值,Page 82,Prediction using the regression model,由於我們不知道母體迴歸線，因此Yi及E(Y|xi)最好的預測值為,雖然特定Yi的預測值與預測的期望值E(Yi|xi)相同，皆為b0+b1xi。但兩者的抽樣誤差不同，因為估計Yi的期望值不需要考慮隨機誤差項ei。,Page 83,Prediction using the regression model,Effects of Sampling Error:,預測Yi的期望值E(Yi|xi)會有來自於用樣本迴歸線來估計母體迴歸線所造成的

21、抽樣誤差。,估計,Page 84,Prediction using the regression model,Effects of Sampling Error:,預測單獨Yi的值會有來自於用樣本迴歸線來估計母體迴歸線所造成的抽樣誤差+用0來推估i 的誤差。,估計,Y,X,F(Y),Confidence Interval for Predictions,我們希望知道樣本迴歸線的預測值(y-hat)的抽樣分配，才能對E(Y|xi)從事統計推論,區分母體與樣本迴歸線,Page 87,E(Y|xi)之估計與檢定,=某特定值xp時，Yp的期望值?,Page 88,E(Y|xi)之估計與檢定,=某特定值

22、xp時，Yp的變異數=?,Page 89,E(Y|xi)之估計與檢定,因此E(Yp|xp)的抽樣分配為,以se來取代e,Page 90,E(Y|xi)之估計與檢定,在一特定xp值下，其相對應的期望值E(Yp|xp)的(1-)的信賴區間為,Page 91,E(Y|xi)之估計與檢定,在一特定xp值下，其相對應的預測值Yp的(1-)的信賴區間為,Page 92,E(Y|xi)之估計與檢定,其他條件不變，樣本數n愈大，預測值的信賴區間愈小，我們對預測的信心隨著樣本數的增加而增加。,Page 93,E(Y|xi)之估計與檢定,其他條件不變，se愈大，預測值的信賴區間愈大。Se為e的估計，代表依變項觀察值Yi與及其期望值之間的差異，se愈大，表示Yi愈不集中於母體迴歸線的週遭。,Page 94,E(Y|xi)之估計與檢定,其他條件不變，sx2 愈大，我們對x值的分佈知道的愈廣，因而對Y的預測會愈準。,Page 95,E(Y|xi)之估計與檢定,特定的xp值離x分佈的中心值愈遠，則我們的預測越不準。CI最窄的部分出現在,Page 96,例題,汽車保養費Yi與車齡xi呈線性關係，取15輛車來估計迴歸線得,求當xp=1,2,3,49時，Yi期望值得95%信賴區間,Page 97,例題,Page 98,例題,特定的xp值離x分佈的中心值愈遠，則我們的預測越不準。CI最窄的部分出現在x-bar,