概率論與數(shù)理統(tǒng)計(jì)--一元回歸分析優(yōu)秀課件

1、12 在現(xiàn)實(shí)問(wèn)題中，處于同一個(gè)過(guò)程中的一些變量，在現(xiàn)實(shí)問(wèn)題中，處于同一個(gè)過(guò)程中的一些變量，往往是相互依賴(lài)和相互制約的，它們之間的相互關(guān)系往往是相互依賴(lài)和相互制約的，它們之間的相互關(guān)系大致可分為兩種：大致可分為兩種： 相關(guān)關(guān)系問(wèn)題相關(guān)關(guān)系問(wèn)題 （1 1）確定性關(guān)系）確定性關(guān)系函數(shù)關(guān)系；函數(shù)關(guān)系； （2 2）非確定性關(guān)系）非確定性關(guān)系相關(guān)關(guān)系；相關(guān)關(guān)系； 相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴(lài)關(guān)系，相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴(lài)關(guān)系，但這種關(guān)系并不完全確定，它們之間的關(guān)系不能精確但這種關(guān)系并不完全確定，它們之間的關(guān)系不能精確地用函數(shù)表示出來(lái)，這些變量其實(shí)是隨機(jī)變量，或至地用函數(shù)表示出來(lái)，這

2、些變量其實(shí)是隨機(jī)變量，或至少有一個(gè)是隨機(jī)變量。少有一個(gè)是隨機(jī)變量。3 相關(guān)關(guān)系舉例相關(guān)關(guān)系舉例 例如：在氣候、土壤、水利、種子和耕作技術(shù)等條件基本例如：在氣候、土壤、水利、種子和耕作技術(shù)等條件基本相同時(shí)，某農(nóng)作物的畝產(chǎn)量相同時(shí)，某農(nóng)作物的畝產(chǎn)量 Y Y 與施肥量與施肥量 X X 之間有一定的關(guān)系，之間有一定的關(guān)系，但施肥量相同，畝產(chǎn)量卻不一定相同。但施肥量相同，畝產(chǎn)量卻不一定相同。畝產(chǎn)量是一個(gè)隨機(jī)變量。畝產(chǎn)量是一個(gè)隨機(jī)變量。 又如：人的血壓又如：人的血壓 Y Y 與年齡與年齡 X X 之間有一定的依賴(lài)關(guān)系，一之間有一定的依賴(lài)關(guān)系，一般來(lái)說(shuō)，年齡越大，血壓越高，但年齡相同的兩個(gè)人的血壓不般來(lái)說(shuō)，

3、年齡越大，血壓越高，但年齡相同的兩個(gè)人的血壓不一定相等。一定相等。血壓是一個(gè)隨機(jī)變量。血壓是一個(gè)隨機(jī)變量。 農(nóng)作物的畝產(chǎn)量與施肥量、血壓與年齡之間的這農(nóng)作物的畝產(chǎn)量與施肥量、血壓與年齡之間的這種關(guān)系稱(chēng)為相關(guān)關(guān)系，在這些變量中，施肥量、年齡種關(guān)系稱(chēng)為相關(guān)關(guān)系，在這些變量中，施肥量、年齡是可控變量，畝產(chǎn)量、血壓是不可控變量。一般在討是可控變量，畝產(chǎn)量、血壓是不可控變量。一般在討論相關(guān)關(guān)系問(wèn)題中，論相關(guān)關(guān)系問(wèn)題中，可控變量稱(chēng)為自變量，不可控變可控變量稱(chēng)為自變量，不可控變量稱(chēng)為因變量。量稱(chēng)為因變量。4函數(shù)關(guān)系與相關(guān)關(guān)系的區(qū)別函數(shù)關(guān)系與相關(guān)關(guān)系的區(qū)別 相關(guān)關(guān)系相關(guān)關(guān)系x影響影響Y的值，的值，xY函數(shù)關(guān)系

4、函數(shù)關(guān)系決定決定的值，的值， 因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法確定：在給定自變量確定：在給定自變量 的條件下，因變量的條件下，因變量 的的條件數(shù)學(xué)期望條件數(shù)學(xué)期望xX Y(| )E Y x不能確定。不能確定。5回歸分析的概念回歸分析的概念 研究一個(gè)隨機(jī)變量與一個(gè)（或幾個(gè)）可控變量之間研究一個(gè)隨機(jī)變量與一個(gè)（或幾個(gè)）可控變量之間的相關(guān)關(guān)系的統(tǒng)計(jì)方法稱(chēng)為回歸分析。的相關(guān)關(guān)系的統(tǒng)計(jì)方法稱(chēng)為回歸分析。 只有一個(gè)自變量的回歸分析稱(chēng)為一元回歸分析；多只有一個(gè)自變量的回歸分析稱(chēng)為一元回歸分析；多于一個(gè)自變量的回歸分析稱(chēng)為多元回歸分析。于一個(gè)自變量的回歸

5、分析稱(chēng)為多元回歸分析。)|()(xYEx 引進(jìn)回歸函數(shù)引進(jìn)回歸函數(shù)稱(chēng)為回歸方程稱(chēng)為回歸方程 ( )(| )yxE Y xYx 回歸方程反映了因變量回歸方程反映了因變量 隨自變量隨自變量 的變化而變化的變化而變化的平均變化情況的平均變化情況. .6 回歸分析主要包括三方面的內(nèi)容回歸分析主要包括三方面的內(nèi)容 （1 1）提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系）提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系式（稱(chēng)為經(jīng)驗(yàn)公式）的一般方法；式（稱(chēng)為經(jīng)驗(yàn)公式）的一般方法； （2 2）判別所建立的經(jīng)驗(yàn)公式是否有效，并從影響）判別所建立的經(jīng)驗(yàn)公式是否有效，并從影響隨機(jī)變量的諸變量中判別哪些變量的影響是顯著的，哪隨機(jī)變量

6、的諸變量中判別哪些變量的影響是顯著的，哪些是不顯著的；些是不顯著的；回歸分析的內(nèi)容回歸分析的內(nèi)容 （3 3）利用所得到的經(jīng)驗(yàn)公式進(jìn)行預(yù)測(cè)和控制。）利用所得到的經(jīng)驗(yàn)公式進(jìn)行預(yù)測(cè)和控制。7一元線性回歸模型一元線性回歸模型 如果試驗(yàn)的散點(diǎn)圖中各點(diǎn)呈直線狀，則假設(shè)這批數(shù)如果試驗(yàn)的散點(diǎn)圖中各點(diǎn)呈直線狀，則假設(shè)這批數(shù)據(jù)的數(shù)學(xué)模型為據(jù)的數(shù)學(xué)模型為 設(shè)隨機(jī)變量設(shè)隨機(jī)變量Y Y依賴(lài)于自變量依賴(lài)于自變量x x，作，作n n次獨(dú)立試驗(yàn)，次獨(dú)立試驗(yàn)，得得n n對(duì)觀測(cè)值：對(duì)觀測(cè)值：稱(chēng)這稱(chēng)這n n對(duì)觀測(cè)值為容量為對(duì)觀測(cè)值為容量為n n的一個(gè)子樣，若把這的一個(gè)子樣，若把這n n對(duì)觀對(duì)觀測(cè)值在平面直角坐標(biāo)系中描點(diǎn)，得到試驗(yàn)的

7、測(cè)值在平面直角坐標(biāo)系中描點(diǎn)，得到試驗(yàn)的散點(diǎn)圖散點(diǎn)圖. .1122( ,) (,)(,)nnx yxyxy01,iiiyxni, 2, 1其中其中 ，且相互獨(dú)立，且相互獨(dú)立，2(0,)iNni, 2, 1201,iiyNx則則 8圖圖 9-1xyOi( ,)iix yiiixy10ni, 2, 1其中其中 i同服從于正態(tài)分布同服從于正態(tài)分布 相互獨(dú)立，相互獨(dú)立，), 0(2N因此因此 201(,)iiyNxni, 2, 19), 0 () 0(,2110NxY210、x其中其中 是與是與 無(wú)關(guān)的無(wú)關(guān)的未知常數(shù)未知常數(shù)。（9.1）一元線性回歸模型一元線性回歸模型 一般地，稱(chēng)如下數(shù)學(xué)模型為一元線性模

8、型一般地，稱(chēng)如下數(shù)學(xué)模型為一元線性模型 而而 稱(chēng)為回歸函數(shù)或回歸方程。稱(chēng)為回歸函數(shù)或回歸方程。01Yx稱(chēng)為回歸系數(shù)。稱(chēng)為回歸系數(shù)。01、10回歸函數(shù)（方程）的建立回歸函數(shù)（方程）的建立 由觀測(cè)值由觀測(cè)值 確定的回歸確定的回歸函數(shù)函數(shù) ，應(yīng)使得，應(yīng)使得 較小。較小。1122( ,) (,)(,)nnx yx yxy01Yx01iiiyx考慮函數(shù)考慮函數(shù) 201011(,)niiiQyx 問(wèn)題：確定問(wèn)題：確定 ，使得，使得 取得極小值。取得極小值。01, 01(,)Q 這是一個(gè)二元函數(shù)的無(wú)條件極值問(wèn)題。這是一個(gè)二元函數(shù)的無(wú)條件極值問(wèn)題。11回歸方程的建立回歸方程的建立 201011min(,)ni

9、iiQyx 令令 01102( 1)0niiiQyx 01112()0niiiiQyxx 01yx1xyxxLL1111, nniiiixxyynn21()nxxiiLxx1()()nxyiiiLxxyy12回歸方程的建立回歸方程的建立 01yx1xyxxLL記記 表示對(duì)表示對(duì) 的估計(jì)值的估計(jì)值01, 01yx則變量則變量 對(duì)對(duì) 的回歸方程為的回歸方程為 Yx簡(jiǎn)寫(xiě)為簡(jiǎn)寫(xiě)為 01yx01yx13回歸方程有效性的檢驗(yàn)回歸方程有效性的檢驗(yàn) 對(duì)于任何一組數(shù)據(jù)對(duì)于任何一組數(shù)據(jù) ，都可按最，都可按最小二乘法確定一個(gè)線性函數(shù)，但變量小二乘法確定一個(gè)線性函數(shù)，但變量 與與 之間是否真之間是否真有近似于線性函數(shù)

10、的相關(guān)關(guān)系呢？尚需進(jìn)行假設(shè)檢驗(yàn)。有近似于線性函數(shù)的相關(guān)關(guān)系呢？尚需進(jìn)行假設(shè)檢驗(yàn)。( ,) (1,2, )iix yinxy假設(shè)假設(shè) 0111: 0, : 0,HHxy如果如果 成立，則不能認(rèn)為成立，則不能認(rèn)為 與與 有線性相關(guān)關(guān)系。有線性相關(guān)關(guān)系。0H三種檢驗(yàn)方法：三種檢驗(yàn)方法：F F檢驗(yàn)法、檢驗(yàn)法、t-t-檢驗(yàn)法、檢驗(yàn)法、r r檢驗(yàn)法。檢驗(yàn)法。 1421()nTiyyiSSyyL回歸方程有效性的回歸方程有效性的F檢驗(yàn)法檢驗(yàn)法 記記 總離差平方和總離差平方和，反映觀測(cè)值與平均值的偏差程度。，反映觀測(cè)值與平均值的偏差程度。經(jīng)恒等變形，將經(jīng)恒等變形，將 分解分解 TSS221211()() ()

11、nTiiiiniiiREniiyySSSyyyySyySS15回歸方程有效性的回歸方程有效性的F檢驗(yàn)法檢驗(yàn)法 22111()nRxiixyxLLSSyy21011(),nEiiyyxyiSSyyLLQ 回歸平方和，反映回歸值與平均值的偏差，揭示回歸平方和，反映回歸值與平均值的偏差，揭示變量變量 與與 的線性關(guān)系所引起的數(shù)據(jù)波動(dòng)。的線性關(guān)系所引起的數(shù)據(jù)波動(dòng)。yx剩余平方和，反映觀測(cè)值與回歸值的偏差，揭示剩余平方和，反映觀測(cè)值與回歸值的偏差，揭示試驗(yàn)誤差和非線性關(guān)系對(duì)試驗(yàn)結(jié)果所引起的數(shù)據(jù)波動(dòng)。試驗(yàn)誤差和非線性關(guān)系對(duì)試驗(yàn)結(jié)果所引起的數(shù)據(jù)波動(dòng)。16回歸方程有效性的回歸方程有效性的F檢驗(yàn)法檢驗(yàn)法 如果如

12、果 為真，則為真，則 01: 0H221TSSn 221RSS222ESSn于是，統(tǒng)計(jì)量于是，統(tǒng)計(jì)量 1,2(2)RESSFFnSSn對(duì)給定的檢驗(yàn)水平對(duì)給定的檢驗(yàn)水平 ，（1 1）當(dāng)）當(dāng) 時(shí)，時(shí)，拒絕拒絕 ，即可認(rèn)為變量，即可認(rèn)為變量 與與 有線性相關(guān)關(guān)系有線性相關(guān)關(guān)系；FF0Hxy（2 2）當(dāng)）當(dāng) 時(shí)，時(shí)，接受接受 ，即可認(rèn)為變量，即可認(rèn)為變量 與與 沒(méi)有線性相關(guān)關(guān)系沒(méi)有線性相關(guān)關(guān)系；FF0Hyx17回歸方程有效性的回歸方程有效性的F檢驗(yàn)法檢驗(yàn)法 （2 2）當(dāng)）當(dāng) 時(shí)，時(shí)，接受接受 ，即可認(rèn)為變量，即可認(rèn)為變量 與與 沒(méi)有線性相關(guān)關(guān)系沒(méi)有線性相關(guān)關(guān)系；FF0Hyx此時(shí)，可能有以下幾種情況：此

13、時(shí)，可能有以下幾種情況： （2 2） 對(duì)對(duì) 有顯著影響，但這種影響不能用線性關(guān)系有顯著影響，但這種影響不能用線性關(guān)系表示，應(yīng)作非線性回歸；表示，應(yīng)作非線性回歸；yx（3 3）除）除 之外，還有其它變量對(duì)之外，還有其它變量對(duì) 也有顯著影響，從也有顯著影響，從而削弱了而削弱了 對(duì)對(duì) 的影響，應(yīng)考慮多元回歸。的影響，應(yīng)考慮多元回歸。yyxx（1 1） 對(duì)對(duì) 沒(méi)有顯著影響，應(yīng)丟棄自變量沒(méi)有顯著影響，應(yīng)丟棄自變量 ；yxx18回歸方程有效性的回歸方程有效性的r檢驗(yàn)法檢驗(yàn)法 記記 xyxxyyLRL L樣本的相關(guān)系數(shù)樣本的相關(guān)系數(shù) R 可反映變量可反映變量 與與 之間的線性相關(guān)程度。之間的線性相關(guān)程度。

14、xy因?yàn)橐驗(yàn)?2121xyEyyxyyyxxyxxyxxyyyyyyyyLLSSQLLLLLLRLLLL21RxyyySSLR L19回歸方程有效性的回歸方程有效性的r檢驗(yàn)法檢驗(yàn)法 記記 xyxxyyLRL L樣本的相關(guān)系數(shù)樣本的相關(guān)系數(shù) 越大，變量越大，變量 與與 之間的線性相關(guān)程度越強(qiáng)。之間的線性相關(guān)程度越強(qiáng)。 Rxy因?yàn)橐驗(yàn)?21EyySSQRL2RyySSR L（1 1） 1R TyySSL（2 2） 時(shí)，時(shí)， 1R 0,ETRSSSSSS（3 3） 時(shí)，時(shí)， 0R 0,RTESSSSSS 與與 有線性相關(guān)關(guān)系；有線性相關(guān)關(guān)系； xy 與與 無(wú)線性相關(guān)關(guān)系；無(wú)線性相關(guān)關(guān)系； xy20回

15、歸方程有效性的回歸方程有效性的r檢驗(yàn)法檢驗(yàn)法 計(jì)算計(jì)算 xyxxyyLRL L對(duì)給定的檢驗(yàn)水平對(duì)給定的檢驗(yàn)水平 ，查相關(guān)系數(shù)的臨界值表，查相關(guān)系數(shù)的臨界值表 如果如果 ，則拒絕，則拒絕 ，即線性回歸方程有效；，即線性回歸方程有效；否則，接受否則，接受 ，即線性回歸方程無(wú)效。，即線性回歸方程無(wú)效。RR0H0HF F檢驗(yàn)與檢驗(yàn)與r r檢驗(yàn)是一致的：檢驗(yàn)是一致的： 22(2)(1)(2)yyREyyR LSSFSSnRLn21回歸方程有效性的回歸方程有效性的t檢驗(yàn)法檢驗(yàn)法 統(tǒng)計(jì)量統(tǒng)計(jì)量 11 (2)(2)ExxTt nSSnLH H0 0成立時(shí)，成立時(shí)， 1 (2)(2)ExxTt nSSnL對(duì)給定

16、的檢驗(yàn)水平對(duì)給定的檢驗(yàn)水平 ，H H0 0的拒絕域?yàn)榈木芙^域?yàn)?2(2)Ttn即當(dāng)即當(dāng) 時(shí)，變量時(shí)，變量 與與 有線性相關(guān)關(guān)系。有線性相關(guān)關(guān)系。 2(2)TtnyxF F檢驗(yàn)與檢驗(yàn)與t t檢驗(yàn)是一致的：檢驗(yàn)是一致的： 2(2)RESSFTSSn22編號(hào)編號(hào)123456789脂肪脂肪含量含量%15.417.518.920.021.022.815.817.819.1蛋白蛋白質(zhì)含質(zhì)含量量%44.039.241.838.937.438.144.640.739.8試求出試求出 與與 的關(guān)系，并判斷是否有效。的關(guān)系，并判斷是否有效。 xy例例1 1 為了研究大豆脂肪含量為了研究大豆脂肪含量 和蛋白質(zhì)含量和

17、蛋白質(zhì)含量 的關(guān)系，的關(guān)系，測(cè)定了九種大豆品種籽粒內(nèi)的脂肪含量和蛋白質(zhì)含量，測(cè)定了九種大豆品種籽粒內(nèi)的脂肪含量和蛋白質(zhì)含量，得到如下數(shù)據(jù)得到如下數(shù)據(jù)xy23解解 （1 1）描散點(diǎn)圖）描散點(diǎn)圖 24（2 2）建立模型）建立模型 由散點(diǎn)圖，設(shè)變量由散點(diǎn)圖，設(shè)變量 與與 為線性相關(guān)關(guān)系：為線性相關(guān)關(guān)系： xyyabx確定回歸系數(shù)確定回歸系數(shù) 和和 ： ab編號(hào)編號(hào)123456789 x15.417.518.920.021.022.815.817.819.1168.3y44.039.241.838.937.438.144.640.739.8364.5x2237.16306.25357.21400441

18、519.84249.64316.84364.813192.75y219361536.641747.241513.211398.761451.611989.161656.491584.0414813.2xy677.6686790.02778785.4868.68704.68724.46760.186775.0225168.3364.518.7; 40.599xy6775.029 18.740.541.13xyL 23192.759 18.745.54xxL 214813.2940.550.95yyL 0.9032xyxxLbL 57.3891aybx所以，所求的回歸方程為所以，所求的回歸方程為

19、0.903257.3891yx 26（3 3）檢驗(yàn)回歸方程的有效性）檢驗(yàn)回歸方程的有效性 0.8539xyxxyyLRL L 0.010.7977R2927dfn查相關(guān)系數(shù)臨界值表查相關(guān)系數(shù)臨界值表 因?yàn)橐驗(yàn)?0.01RR所以回歸方程在所以回歸方程在 的檢驗(yàn)水平下有統(tǒng)計(jì)意義。的檢驗(yàn)水平下有統(tǒng)計(jì)意義。0.01即可以認(rèn)為大豆的蛋白質(zhì)含量與脂肪含量有線性相關(guān)性。即可以認(rèn)為大豆的蛋白質(zhì)含量與脂肪含量有線性相關(guān)性。27利用回歸方程進(jìn)行預(yù)測(cè)利用回歸方程進(jìn)行預(yù)測(cè)1 1、點(diǎn)預(yù)測(cè)、點(diǎn)預(yù)測(cè) 0 xx時(shí)，時(shí)， 即為即為 的點(diǎn)預(yù)測(cè)值。的點(diǎn)預(yù)測(cè)值。 0 yabxy2 2、區(qū)間預(yù)測(cè)、區(qū)間預(yù)測(cè) 統(tǒng)計(jì)量統(tǒng)計(jì)量 0020 (2)11(2)ExxyyTt nxxSSnnL對(duì)給定的置信水平對(duì)給定的置信水平 ， 的預(yù)測(cè)區(qū)間為的預(yù)測(cè)區(qū)間為 10y202