第09章線性回歸計算

1、第九章第九章 一元線性回歸一元線性回歸回歸分析適合研究哪類問題回歸分析適合研究哪類問題? ?回歸方程的顯著性檢驗適合什么情況回歸方程的顯著性檢驗適合什么情況? ?回歸系數(shù)的顯著性檢驗適合什么情況回歸系數(shù)的顯著性檢驗適合什么情況? ? 第九章一元線性回歸第九章一元線性回歸9.1 9.1 回歸分析的基本概念回歸分析的基本概念 9.1.1 9.1.1 因變量因變量(Y)(Y)與自變量與自變量(X)(X)之間的關系之間的關系根據(jù)因變量與自變量之間的關系不同，可以分為兩種類型：根據(jù)因變量與自變量之間的關系不同，可以分為兩種類型：函數(shù)關系函數(shù)關系 統(tǒng)計關系統(tǒng)計關系 第九章一元線性回歸第九章一元線性回歸9.

2、1.1 9.1.1 因變量因變量(Y)(Y)與自變量與自變量(X)(X)之間的關系之間的關系1.1.函數(shù)關系函數(shù)關系 即對兩個變量即對兩個變量X X，Y Y來說，當來說，當X X值值確定后，確定后，Y Y值按照一定的規(guī)律唯一確定，值按照一定的規(guī)律唯一確定，即形成一種精確的關系。即形成一種精確的關系。 例如例如: :微積分學中所研究的一般變量之間的微積分學中所研究的一般變量之間的函數(shù)關系就屬于此種類型。函數(shù)關系就屬于此種類型。 第九章一元線性回歸第九章一元線性回歸9.1.1 9.1.1 因變量因變量(Y)(Y)與自變量與自變量(X)(X)之間的關系之間的關系2.2.統(tǒng)計關系統(tǒng)計關系 即當即當X

3、X值確定后，值確定后，Y Y值不是唯一確定的，值不是唯一確定的，但大量統(tǒng)計資料表明，這些變量之間還但大量統(tǒng)計資料表明，這些變量之間還是存在著某種客觀的聯(lián)系。是存在著某種客觀的聯(lián)系。 例如：圖例如：圖9.19.1在直角坐標平面上，標出了在直角坐標平面上，標出了1010個觀測點的坐標位置，他們表示以家庭為單個觀測點的坐標位置，他們表示以家庭為單位，某種商品年需求量與該商品價格之間位，某種商品年需求量與該商品價格之間的的1010對調(diào)查數(shù)據(jù)。對調(diào)查數(shù)據(jù)。 第九章一元線性回歸第九章一元線性回歸9.1.2 9.1.2 回歸分析回歸分析圖圖9-19-1第九章一元線性回歸第九章一元線性回歸9.1.2 9.1.

4、2 回歸分析回歸分析回歸分析回歸分析(Regression Analysis) (Regression Analysis) 就是應用統(tǒng)計方法，對大量的觀測數(shù)據(jù)進行整就是應用統(tǒng)計方法，對大量的觀測數(shù)據(jù)進行整理、分析和研究，從而得出反映事物內(nèi)部規(guī)律理、分析和研究，從而得出反映事物內(nèi)部規(guī)律性的一些結論性的一些結論( (數(shù)學模型數(shù)學模型) )。 第九章一元線性回歸第九章一元線性回歸9.2 9.2 一元線性回歸模型一元線性回歸模型 9.2.1 9.2.1 統(tǒng)計關系的特征統(tǒng)計關系的特征統(tǒng)計關系統(tǒng)計關系特征特征 觀測點散布在統(tǒng)計關系直線的周圍，此觀測點散布在統(tǒng)計關系直線的周圍，此種情況說明種情況說明Y Y的

5、變化除了受自變量的變化除了受自變量X X影響以外，還受其他因素的影響。影響以外，還受其他因素的影響。因此試圖建立這樣一個回歸模型，通過對此模型因此試圖建立這樣一個回歸模型，通過對此模型所作的一些假設，可以體現(xiàn)出上述統(tǒng)計關系所刻劃的特征。所作的一些假設，可以體現(xiàn)出上述統(tǒng)計關系所刻劃的特征。因變量因變量Y Y隨自變量隨自變量X X有規(guī)律的變化，而統(tǒng)有規(guī)律的變化，而統(tǒng)計關系直線描述了這一變化的趨勢。計關系直線描述了這一變化的趨勢。第九章一元線性回歸第九章一元線性回歸9.2.2 9.2.2 一元線性回歸模型假設一元線性回歸模型假設u根據(jù)統(tǒng)計關系特征，可以進行下述假設：根據(jù)統(tǒng)計關系特征，可以進行下述假設

6、：假設假設(2)(2)這些這些Y Y的概率分布的均值，有規(guī)律的隨的概率分布的均值，有規(guī)律的隨X X變化而變化變化而變化(1)(1)對于自變量的每一水平對于自變量的每一水平X X，存在著，存在著Y Y的一個概率分布；的一個概率分布；第九章一元線性回歸第九章一元線性回歸9.2.3 9.2.3 一元線性回歸模型一元線性回歸模型Y Y與與X X具有統(tǒng)計具有統(tǒng)計關系而且是線性關系而且是線性 建立建立回歸模型回歸模型Y Yi i=0 0+1 1X Xi i+i i (i=1,2,n) (i=1,2,n) 其中其中，(X (X i,i,Y Yi i) )表示表示(X,Y)(X,Y)的第的第i i個觀測值，個

7、觀測值，0 0 , , 1 1為參數(shù)，為參數(shù)，0 0+1 1X Xi i為反映統(tǒng)計關系直線的分量，為反映統(tǒng)計關系直線的分量， i i為反映在統(tǒng)計關系直線周圍散布的隨機分量為反映在統(tǒng)計關系直線周圍散布的隨機分量 i iN (0,N (0,2 2) )。第九章一元線性回歸第九章一元線性回歸9.2.3 9.2.3 一元線性回歸模型一元線性回歸模型u對于任意對于任意X Xi i值有：值有： Y Yi i服從正態(tài)分布服從正態(tài)分布E(YE(Yi i)=)=0 0+ +1 1X Xi i； 各各Y Yi i間相互獨立間相互獨立 Y Yi iN(N(0 0+1 1X Xi i,2 2) ) 。22)(iY第九

8、章一元線性回歸第九章一元線性回歸9.2.3 9.2.3 一元線性回歸模型一元線性回歸模型圖圖9-29-2第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程最小二乘法最小二乘法 Y Y與與X X之間之間為線性關系為線性關系 選出一條最能反選出一條最能反映映Y Y與與X X之間關系之間關系規(guī)律的直線規(guī)律的直線 第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程Y Yi i= =0 0+ +1 1X Xi i+ +i i 0 0和和1 1均未知均未知 根據(jù)樣本數(shù)據(jù)根據(jù)樣本數(shù)據(jù)對對0 0和和1 1進行估計進行估計 0

9、0和和1 1的估計的估計值為值為b b0 0和和b b1 1 建立一元線性回歸方程建立一元線性回歸方程 XbbY10第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程一般而言，所求的一般而言，所求的b b0 0和和b b1 1應能使每個樣本觀測點應能使每個樣本觀測點(X(X i i,Y,Y i i) )與回歸直線之間的偏差盡可能小，即使觀察值與擬與回歸直線之間的偏差盡可能小，即使觀察值與擬合值的誤差平方和合值的誤差平方和Q Q達到最小。達到最小。 圖圖9-4 9-4 回歸方程原理圖回歸方程原理圖第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4

10、 一元線性回歸方程一元線性回歸方程令令 2110)(niiiXbbYQQ Q達到最小值達到最小值b b0 0和和b b1 1稱為最小二乘估計量稱為最小二乘估計量 微積分中極值微積分中極值的必要條件的必要條件 niiiXbbYbQ1100)(2niiiiXXbbYbQ1101)(2 令偏導數(shù)為令偏導數(shù)為0 0niiniiYXbnb1110iniiniiniiYXXbXb112110解方程解方程第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程nXXnYXYXXXYYXXbiniiniiiiiniiniii21211211)()()()(XbYb10(9-

11、5)(9-5)(9-6)(9-6)第九章一元線性回歸第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性b b0 0,b,b1 1的特性的特性線性性線性性無偏性無偏性第九章一元線性回歸第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性(1) (1) 線性特性線性特性 由（由（9-59-5）得）得niiniiiniiniiiXXYXXXXYYXXb1211211)()()()(niiiiXXXXC12)(令令niiiYCb11則則 表明表明b b1 1是是Y Yi i的線性組合的線性

12、組合 第九章一元線性回歸第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性同理，可得同理，可得 niiiYkb10XCnkii1b b0 0是是Y Yi i線線性組合性組合第九章一元線性回歸第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性(2) (2) 無偏性無偏性可以證明可以證明b b0 0和和b b1 1分別是分別是0 0和和1 1的無偏估計的無偏估計（過程比較繁瑣，參照第五章內(nèi)容（過程比較繁瑣，參照第五章內(nèi)容有興趣大家自己證明。）有興趣大家自己證明。） 第九章一元線性回歸

13、第九章一元線性回歸9.3 9.3 總平方和分解總平方和分解9.3.1 9.3.1 總平方和分解總平方和分解YYYYYYiiiiniininiiiiYYYYYY121122)()()(niiiiYYYY10)(第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解圖圖9-5 9-5 總平總平方和分解圖方和分解圖 第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解總離差平方和總離差平方和 niiYYSSTO12)(它表示沒有它表示沒有X X的影響，的影響，單純考察數(shù)據(jù)中單純考察數(shù)據(jù)中Y Y的變動情況。的變動情況。第九章一元線性回歸第九

14、章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解回歸平方和回歸平方和niiYYSSR12)(表示各表示各 的變動程度，該變動是由于回歸直線的變動程度，該變動是由于回歸直線中各中各X Xi i 的變動所引起的，并且通過的變動所引起的，并且通過X X對對Y Y的線性影響表現(xiàn)出來。的線性影響表現(xiàn)出來。 iY第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解誤差平方和誤差平方和niiiYYSSE12)(表示各表示各Y Yi i圍繞所擬合的回歸直線的變動程度圍繞所擬合的回歸直線的變動程度 SSTOSSTO= =SSRSSR+ +SSESSE第九章一元線性回

15、歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解SSE=SSTO-SSRSSE=SSTO-SSRniniiinYYSSTO1212)()(121221niniiinXXbSSR第九章一元線性回歸第九章一元線性回歸9.3.2 9.3.2 自由度的分解自由度的分解SSTOSSTOniiYY10)(自由度自由度 T T為為n-1 n-1 SSESSE0 0和和1 1用了用了兩個正規(guī)方程兩個正規(guī)方程 自由度自由度 E E為為n-2 n-2 SSRSSRniiYY10)(自由度自由度 R R為為1 1 第九章一元線性回歸第九章一元線性回歸9.3.2 9.3.2 自由度的分解自由度的分

16、解自由度的分解可以表示為自由度的分解可以表示為n-1=1+n-1=1+（n-2n-2） T T=R R+E E第九章一元線性回歸第九章一元線性回歸9.3.3 9.3.3 回歸均方與誤差均方回歸均方與誤差均方1SSRMSR 2nSSEMSE(9-10) (9-10) (9-11)(9-11)回歸均方回歸均方誤差均方誤差均方第九章一元線性回歸第九章一元線性回歸9.4 9.4 樣本確定系數(shù)與樣本相關系數(shù)樣本確定系數(shù)與樣本相關系數(shù)9.4.1 9.4.1 樣本確定系數(shù)樣本確定系數(shù)SSTOSSESSTOSSESSTOSSTOSSRr12(9-12) (9-12) 注注:Y:Y的總變差中能被的總變差中能被X

17、 X解釋的那部分所占的比率解釋的那部分所占的比率第九章一元線性回歸第九章一元線性回歸9.4.1 9.4.1 樣本確定系數(shù)樣本確定系數(shù)r r2 2的取值范圍的取值范圍102 r樣本的全部觀察值都落在樣本的全部觀察值都落在所擬和的回歸直線上所擬和的回歸直線上 SSE=0SSE=0， r r2 2=1 =1 當當X X與與Y Y無關，無關，Y Y的變差完的變差完全由于隨機因素引起，全由于隨機因素引起，此時，此時，SSR=0SSR=0 r r2 2=0 =0 第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關系數(shù)樣本相關系數(shù)樣本相關系數(shù)樣本相關系數(shù)2rrniiniiniiiYYXXY

18、YXXr12121)()()(注注:r:r與與b b1 1的分母均為正，分子相同的分母均為正，分子相同, ,故故r r與與b b1 1有相同的符號。有相同的符號。 第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關系數(shù)樣本相關系數(shù) 不同不同r r值所表示的相關程度值所表示的相關程度第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關系數(shù)樣本相關系數(shù)r r的取值情況的取值情況 情況一情況一圖圖9-69-6第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關系數(shù)樣本相關系數(shù)情況二情況二圖圖9-79-7第九章一元線性回歸第九章一元線性回歸9.4.2

19、9.4.2 樣本相關系數(shù)樣本相關系數(shù)情況三情況三圖圖9-89-8第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關系數(shù)樣本相關系數(shù)情況四情況四圖圖9-99-9第九章一元線性回歸第九章一元線性回歸9.5 9.5 一元線性回歸顯著性檢驗一元線性回歸顯著性檢驗在回歸函數(shù)在回歸函數(shù)E(Y)=E(Y)=0 0+1 1X X中，如果中，如果1 1=0=0，則對于，則對于X X的一切水的一切水平平E(Y)=E(Y)=0 0，說明，說明Y Y的變化與的變化與X X的變化無關，因而，我們不能的變化無關，因而，我們不能通過通過X X去預測去預測Y Y。所以，對模型。所以，對模型Y Yi i=0

20、0+1 1X Xi i+i i 檢驗檢驗1 1=0=0是否成立，等價于檢驗是否成立，等價于檢驗Y Y與與X X之間是否存在線性關系。之間是否存在線性關系。 第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布為了檢驗為了檢驗1 1=0=0是否成立，需要構造一是否成立，需要構造一個合適的統(tǒng)計量，因此，首先討論個合適的統(tǒng)計量，因此，首先討論b b1 1的抽樣分布。的抽樣分布。第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布b b1 1是觀測值是觀測值Y Yi i的線的線性組合性組合 Y Yi i服從正態(tài)分布且服從正態(tài)分

21、布且相互獨立相互獨立 b b1 1也服從正態(tài)分布也服從正態(tài)分布 第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布以下可以證明以下可以證明niiXXb12212)()(b b1 1的方差的方差第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布證明：證明：因為因為 niiiYCb11且且Y Yi i相互獨立，其中相互獨立，其中 niiiiXXXXC12)(niiniiiniiiXXYCYCb1221221212)()()()(所以，所以，b b1 1服從服從 )(,(1221niiXXN第九章一元線性回歸第九章一元線

22、性回歸9.5.2 F 9.5.2 F 檢驗檢驗在一元線性回歸中，為了檢驗在一元線性回歸中，為了檢驗Y Y對于對于X X線性線性關系的統(tǒng)計顯著性，對關系的統(tǒng)計顯著性，對1 1進行進行F F檢驗檢驗1 1）提出假設：）提出假設：H H0 0：1 1=0=0，H H1 1：1 100。 2 2） 構造并計算統(tǒng)計量構造并計算統(tǒng)計量：ERfSSEfSSRF 3 3）查）查F F分布臨界值表，得臨界值分布臨界值表，得臨界值)2, 1 (nF4 4）比較：）比較： 接受接受H H0 0，認為，認為Y Y與與X X不存在一元線性關系。不存在一元線性關系。) 2, 1 (nFF第九章一元線性回歸第九章一元線性回

23、歸9.5.2 F 9.5.2 F 檢驗檢驗若若F F )2, 1(nF拒絕拒絕H H0 0，認為，認為Y Y與與X X存在一元線性關系。存在一元線性關系。 表表9-1 9-1 方差分析表方差分析表第九章一元線性回歸第九章一元線性回歸9.5.39.5.3 t t 檢驗檢驗 1 1）提出假設）提出假設 H H0 0: : H H1 1: : 01012 2）構造并計算統(tǒng)計量）構造并計算統(tǒng)計量 步步 驟：驟：)(11bsbt 21)()(XXMSEbsi3 3）查）查t t分布臨界值表分布臨界值表 得臨界值得臨界值 )2(2/nt第九章一元線性回歸第九章一元線性回歸9.5.39.5.3 t t 檢驗

24、檢驗4 4）比較）比較若若 ，接受，接受H H0 0 t)2(2/nt若若 ，拒絕，拒絕H H0 0 t)2(2/nt第九章一元線性回歸第九章一元線性回歸9.5.4 9.5.4 利用樣本相關系數(shù)進行統(tǒng)計檢驗利用樣本相關系數(shù)進行統(tǒng)計檢驗 步步 驟：驟：1 1）提出假設）提出假設 H H0 0: : =0 =0H H1 1: : 02 2）計算簡單相關系數(shù)）計算簡單相關系數(shù)r r 3 3）查）查相關系數(shù)相關系數(shù)臨界值表臨界值表 得臨界值得臨界值 )2( nr是總體是總體Y Y與與X X的線性的線性相關系數(shù)相關系數(shù)第九章一元線性回歸第九章一元線性回歸9.5.4 9.5.4 利用樣本相關系數(shù)進行統(tǒng)計檢

25、驗利用樣本相關系數(shù)進行統(tǒng)計檢驗4 4）比較）比較若若 ，接受，接受H H0 0 rr若若 ，拒絕，拒絕H H0 0 rr第九章一元線性回歸第九章一元線性回歸例題例題 某市欲對貨運總量與工業(yè)總產(chǎn)值的數(shù)量關系進行研究，某市欲對貨運總量與工業(yè)總產(chǎn)值的數(shù)量關系進行研究，以便通過工業(yè)總產(chǎn)值預測貨運總量。現(xiàn)將以便通過工業(yè)總產(chǎn)值預測貨運總量?，F(xiàn)將2001-20102001-2010年年的數(shù)據(jù)，列入下表：的數(shù)據(jù)，列入下表： 畫出相應的統(tǒng)計圖，根據(jù)這些數(shù)據(jù)建立相應回歸方程。畫出相應的統(tǒng)計圖，根據(jù)這些數(shù)據(jù)建立相應回歸方程。 計算說明工業(yè)總產(chǎn)值與貨運總量之間是否線性相關及計算說明工業(yè)總產(chǎn)值與貨運總量之間是否線性相關

26、及相關程度。相關程度。 對所求得的回歸方程進行線性顯著性檢驗。對所求得的回歸方程進行線性顯著性檢驗。=0.05=0.05 對計算得出的回歸系數(shù)進行檢驗。對計算得出的回歸系數(shù)進行檢驗。 當工業(yè)總產(chǎn)值為當工業(yè)總產(chǎn)值為500500億元，置信度為億元，置信度為1-=0.951-=0.95時，預時，預測貨運總量測貨運總量Y Y0 0的雙側置信區(qū)間。的雙側置信區(qū)間。第九章一元線性回歸第九章一元線性回歸課堂練習課堂練習 某廠要建立產(chǎn)量與單位成本數(shù)量關系模型，現(xiàn)收集了某廠要建立產(chǎn)量與單位成本數(shù)量關系模型，現(xiàn)收集了2 2000-2011000-2011年產(chǎn)量與單位成本的資料，如下表：年產(chǎn)量與單位成本的資料，如下表： 根據(jù)這些資料說明產(chǎn)量與單位成本的數(shù)量關系。根據(jù)這些資料說明產(chǎn)量與單位成本的數(shù)量關系。 對所求得的回歸方程進行線性顯著性檢驗。對所求得的回歸方程進行線性顯著性檢驗。=0.05=0.05 對計算得出的回歸系數(shù)進行檢驗。對計算得出的回歸系數(shù)進行檢驗。 假設假設20122012年的計劃產(chǎn)量為年的計劃產(chǎn)量為28002800件，預測單位成本的件，預測單位成本的95%95%的置信區(qū)間。的置信區(qū)間。第九章一元線性回歸第九章一元線性回歸9.6 9.6 模型適合性分析模型適合性分析 在對一元線性回歸模型的適合性進行分析時在對一元線性回歸模型的適合性進行分析時, ,由于誤差項