一元線性回歸

1、一元線性回歸模型及其在經(jīng)濟(jì)生活中的應(yīng)用中文摘要：本文回顧了描述變量相關(guān)關(guān)系和回歸分析方面的基本知 識(shí)，系統(tǒng)闡述了一元線性回歸模型的基本原理，并將其應(yīng)用于濮陽(yáng)市國(guó)內(nèi)生產(chǎn)總值預(yù)測(cè)中，取得了較好的效果。英文摘要: This paper reviews the relationship between variables and describe the basic knowledge of regression analysis, the system describes a linear regression model of the basic principles, and applied t

2、o forecast gross domestic product, Puyang City, and achieved good effect.引言：隨著科技的迅速發(fā)展，數(shù)學(xué)的應(yīng)用不僅在它的傳統(tǒng)領(lǐng)域經(jīng)濟(jì)建設(shè)、工程技術(shù)等方面發(fā)揮著越來(lái)越重要的作用，而且不斷向一些 新的領(lǐng)域滲透，形成了許多交叉科學(xué)，如計(jì)量經(jīng)濟(jì)學(xué)、人口控制論、 生物數(shù)學(xué)等。數(shù)學(xué)模型成為人們認(rèn)識(shí)和研究這些學(xué)科的一種重要的工 具，如何利用所學(xué)知識(shí)，建立與實(shí)際生活背景更貼切的數(shù)學(xué)模型來(lái)解 決我們經(jīng)濟(jì)生活中存在的問(wèn)題是擺在人們面前的重要課題！本文回顧了描述變量相關(guān)關(guān)系和回歸分析方面的基本知識(shí)，系統(tǒng)闡述了 一元線性回歸模型的基本原理，并將其

3、應(yīng)用于實(shí)際生活中。相關(guān)關(guān)系基本知識(shí)回顧：在生產(chǎn)實(shí)踐和科學(xué)實(shí)驗(yàn)中，經(jīng)常會(huì)遇到一些相互關(guān)聯(lián)、相互制約 的變量，它們之間客觀上存在著一定的關(guān)系，為了揭示其內(nèi)在聯(lián)系， 往往需要確定這些變量的關(guān)系程度。變量之間的關(guān)系大致可分為兩 類，一類是確定性的關(guān)系，變量之間按照確定的函數(shù)關(guān)系發(fā)生關(guān)聯(lián)， 也稱函數(shù)關(guān)系，如物理學(xué)中速度與加速度之間的關(guān)系； 另一類是不確 定性的關(guān)系，這種關(guān)系無(wú)法用一個(gè)數(shù)學(xué)公式來(lái)精確描述。當(dāng)一個(gè)變量 （稱因變量或可控變量）的取值確定后，若另一個(gè)變量（稱因變量或 依變量）的取值雖無(wú)確定值，但以一確定的條件概率分布與之對(duì)應(yīng)， 這種變量間的不確定性關(guān)系稱為相關(guān)關(guān)系， 如人的血壓與年齡，身高 與體

4、重之間的關(guān)系，存在相關(guān)關(guān)系的變量稱為相關(guān)變量。統(tǒng)計(jì)學(xué)中研究相關(guān)關(guān)系的理論模型有相關(guān)模型和回歸模型兩種； 相關(guān)模型指的是變量間具有平行變化關(guān)系，相應(yīng)的統(tǒng)計(jì)分析方法稱為 相關(guān)分析，研究的是多個(gè)變量在數(shù)量關(guān)系上的密切程度和性質(zhì)；回歸模型指的是變量間具有因果變化關(guān)系， 相關(guān)的統(tǒng)計(jì)分析方法稱為回歸 分析，研究的是一個(gè)隨機(jī)變量與一個(gè)或多個(gè)可控變量之間的變化關(guān) 系。相關(guān)分析是回歸分析的基礎(chǔ)和前提， 回歸分析則是相關(guān)分析的深 入和繼續(xù)。相關(guān)分析需要依靠回歸分析來(lái)表現(xiàn)變量之間數(shù)量相關(guān)的具 體形式，而回歸分析則需要依靠相關(guān)分析來(lái)表現(xiàn)變量之間數(shù)量變化的 相關(guān)程度；相關(guān)分析研究變量之間相關(guān)的方向和程度，不能推斷變量

5、之間相互關(guān)系的具體形式，也無(wú)法從一個(gè)變量的變化來(lái)推測(cè)另一個(gè)變 量的變化情況；回歸分析可以推斷變量之間相互關(guān)系的具體形式，能夠從一個(gè)變量的變化來(lái)推測(cè)另一個(gè)變量的變化情況?；貧w分析基本知識(shí)回顧:1. 回歸分析的定義在研究某一社會(huì)經(jīng)濟(jì)現(xiàn)象的發(fā)展變化規(guī)律時(shí)，所研究的現(xiàn)象或?qū)?象稱為被解釋變量，它是分析的對(duì)象；把引起這一現(xiàn)象變化的因素稱 為解釋變量，它是引起這一現(xiàn)象變化的原因，被解釋變量反映了解釋 變量變化的結(jié)果?；貧w分析是研究某一被解釋變量(因變量)與另一個(gè)或多個(gè)解釋變量(白變量)間的依存關(guān)系，其目的在于根據(jù)已知的 解釋變量值或固定的解釋變量值 (重復(fù)抽樣)來(lái)估計(jì)和預(yù)測(cè)被解釋變 量的總體平均值。2.

6、回歸模型的分類(1) 按模型中白變量的多少，分為一元回歸模型和多元回歸模 型；(2) 按模型中參數(shù)與被解釋變量之間是否線性，分為線性回歸 模型和非線性回歸模型；(3) 按模型中方程數(shù)目的多少，分為單一方程模型和聯(lián)立方程 模型；3. 回歸分析的步驟(1) 數(shù)據(jù)的收集與選取；(2) 回歸模型參數(shù)的估計(jì)、模型的確定檢驗(yàn)與修正；(3) 回歸模型應(yīng)用與推廣。4. 回歸分析的任務(wù)找出相關(guān)變量間的回歸方程，并利用其進(jìn)行預(yù)測(cè)和控制。(1) 依據(jù)一組實(shí)驗(yàn)數(shù)據(jù)，判斷變量間是否存在相關(guān)關(guān)系，若有 則建立相關(guān)變量間的數(shù)學(xué)關(guān)系式(回歸方程)，并對(duì)所獲得的回歸方程的可信度作統(tǒng)計(jì)檢驗(yàn);(2) 判斷各變標(biāo)考核變量(隨機(jī)變量)

7、影響的顯著性，并做出統(tǒng)計(jì)選擇；(3) 利用最終獲得的回歸方程對(duì)生產(chǎn)和試驗(yàn)進(jìn)行預(yù)測(cè)和控制?；貧w分析是一種傳統(tǒng)意義上的應(yīng)用性較強(qiáng)的科學(xué)方法之一，在各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用，它不僅可以提取大量數(shù)據(jù)中的重要信 息，掌握這些數(shù)據(jù)的特點(diǎn)及規(guī)律，進(jìn)而得出變量間相關(guān)關(guān)系的數(shù)學(xué)表 達(dá)式，對(duì)這些關(guān)系進(jìn)行分析；還可以利用這些關(guān)系式，有一些變量去 預(yù)測(cè)和控制另一個(gè)因變量的取值，進(jìn)而知道這種預(yù)測(cè)和控制所到達(dá)的 程度，并分析得出結(jié)論。一元線性回歸模型的基本原理1. 一元線性關(guān)系的判斷一元線性回歸模型的使用條件是兩個(gè)變量之間存在線性關(guān)系，通過(guò)相關(guān)系數(shù)的來(lái)判定兩個(gè)變量之間存在線性相關(guān)。ni n nXi y -Xiy V相互

8、獨(dú)立且服從N(0, CT2)的正態(tài)分布，求得臼0與Pi的估計(jì)值b0和bi ,對(duì)于x , E(y)的估計(jì)值b0 +b1x，記為y',則方程y = b0十b1x稱為y對(duì)x的一*元線性回歸模型。利用最小二乘法估計(jì)參數(shù)：若能使回歸直線y=b。+bix盡可能地靠近散點(diǎn)(xi,yi),即應(yīng)使總的離回歸平方和:nn一一2_2Q(b°,bi) =' (V-V) =、(yib°bixDi 土i -i達(dá)到最小，欲使二元函數(shù) Q(b°,bi)最/J、，；：Q I ,"八2(yi - b0 - bi xi)=0迥i±；:Qn=一2 二(y - b

9、76; - bi xi) x = 0:bii 旦整理得:nnnb0 , bi M xi = ' Vi ±i ±nnnbo： xi - bi ： x： = '、xi Vi注i旦i 土其解b。，bi稱為E。與Pi的最小二乘估計(jì)x =上 xi , y =【£ yi 進(jìn)n i z+n i T步表示為：b° = y f xn_'' (xi - x)(yi - y)i 土bin_.-2(xi -x)i =i即求出y對(duì)x的一元線性回歸模型y =b°b1x3. 模型回歸效果的顯著性檢驗(yàn)對(duì)于一元線性回歸模型來(lái)說(shuō)，我們常用的檢驗(yàn)方法

10、有以下幾種:t檢驗(yàn)、F檢驗(yàn)、相關(guān)系數(shù)的顯著性檢驗(yàn)、擬合優(yōu)度卜面我們重點(diǎn)介紹一下t檢驗(yàn)和F檢驗(yàn)(一)t檢驗(yàn)1、t統(tǒng)計(jì)量回歸系數(shù)估計(jì)量服從正態(tài)分布：1?0N "。，C。2 , £N 0 二I n£ x JI Z Xi y用Q2的無(wú)偏估計(jì)量白2 =二來(lái)代替7時(shí)，可以構(gòu)造t統(tǒng)計(jì)量: n 2t 0? 0- 10to 二二 Se( M 卜X刀久仲 x2所構(gòu)造的t統(tǒng)計(jì)量服從自由度為 n-2的t分布。即t仁t (n-2)2、回歸系數(shù)估計(jì)量的t檢驗(yàn)步驟下面以估計(jì)量胄為例，介紹t檢驗(yàn)的步驟。1提出假設(shè)原假設(shè)H0： Pi=0備擇假設(shè)Hi： Pi句2給定顯著性水平，查t分布表獲得臨界值七

11、(n 一2),對(duì)于例2-1 ,2在顯著性水平口=0.05, n-2=8時(shí)，查t分布表,得到：y(n 2) =2.306。2Se ( ?i)? - i i3根據(jù)下式利用樣本數(shù)據(jù)計(jì)算檢驗(yàn)統(tǒng)計(jì)量t的值ti4進(jìn)行比較，做出判斷若"At應(yīng)n2),差異顯著，拒絕原假設(shè)，接收備擇假設(shè)。 2若t,tn2),差異不顯著，接受原假設(shè)。2(二)F檢驗(yàn)1、方差分析F檢驗(yàn)是根據(jù)平方和分解式，直接從回歸效果檢驗(yàn)回歸方程的檢驗(yàn)性。平方和分解式為：其中n2z (yi-y )稱為總平方和，簡(jiǎn)記為 SST或者S總或、，SST表示 i ±sum of square for totalZ :y：-y j稱為回歸平

12、方和，簡(jiǎn)記為 SSR或者s回，R表示 i壬regressionZ ?-；"稱為殘差平方和，簡(jiǎn)記為SSE或者s殘， E 表示 error。 i 土 .因而平方和分解式可以簡(jiǎn)寫為：SST=SSR+SSE對(duì)總平方和(SST)的這兩個(gè)分量進(jìn)行研究，就稱為從回歸角度進(jìn)行的方差分析每個(gè)平方和都具有相應(yīng)的白由度，假定給 n個(gè)變量賦予數(shù)值,在計(jì)算平方和時(shí)，總有k個(gè)變量可以白由取值，即是這k個(gè)變量線性獨(dú)立，我們說(shuō)這個(gè)平方和的白由度為 k。與每一個(gè)平方和相聯(lián)系的是它們的白由度。對(duì)于一元線性回歸模型，SST有n-1個(gè)白由度；SSE有1個(gè)白由度；SSR有n-2個(gè)白由度。平方和與白由度之比即為平均平方和。將平

13、方和、白由度及平 均平方和列成一個(gè)表，該表稱為方差分析表。一元線性回歸方差分析表方差來(lái)源白由度平方和rnrF值P值回歸1SSRSS"SSR/ /1殘差n-2SSESSE / /n 2SSE/7 n -2P（FF值）=p值總和n-1SST2、F檢驗(yàn)統(tǒng)計(jì)量定義從方差分析的角度進(jìn)行的回歸模型整體性檢驗(yàn)所采用的檢驗(yàn)統(tǒng)計(jì)量是F統(tǒng)計(jì)量。檢驗(yàn)統(tǒng)計(jì)量 F反映平均回歸平方和與平均剩余平方和的比較。且F服從白由度為1和n-2的F分布。即：F十（1, n-2）可以推導(dǎo)，F(xiàn)與可決系數(shù)r2有以下關(guān)系2rF = (n -2)1 r利用檢驗(yàn)統(tǒng)計(jì)量是F可以對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)，即F檢驗(yàn)。3、F檢驗(yàn)的步驟1>

14、;提出假設(shè)原假設(shè)H0： Pi=0備擇假設(shè)Hi "函2>給定顯著性水平a ,查F分l布表獲得臨界值 d( 1, n-2), 例如：在顯著性水平a=0.05, n-2=8時(shí)，查F分布表，可以得 至1! ： Eg (1, 8) =5.323>據(jù)由下式可以利用樣本數(shù)據(jù)計(jì)算檢驗(yàn)統(tǒng)計(jì)量F的值SSR14> 進(jìn)行比較，做出判斷若F ""偵2),差異顯著，拒絕原假設(shè)，接受備擇假設(shè);若F <FM1,n2),差異不顯著，接受原假設(shè)。4. 一元線性回歸模型的使用條件(1) 一元線性回歸模型的使用條件是兩個(gè)變量之間存在線性關(guān)系，因變量于白變量都必須具有高度相關(guān)性;(

15、2) 一元線性回歸模型的建立需要數(shù)據(jù)結(jié)構(gòu)相對(duì)比較簡(jiǎn)單，白變 量的預(yù)測(cè)值比較容易得到；(3) 市場(chǎng)經(jīng)濟(jì)存在著許多的變數(shù)，相關(guān)的數(shù)據(jù)也在不斷變化，不 可避免的影響模型的建立與預(yù)測(cè)， 使用一元線性回歸模型時(shí)，需要不 斷的關(guān)注這些相關(guān)數(shù)據(jù)的變化， 進(jìn)而掌握這些數(shù)據(jù)，以便更好的應(yīng)用 這些數(shù)據(jù)。5. 一元線性回歸模型的特點(diǎn)(1) 方法簡(jiǎn)單；(2) 數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單，容易掌握，檢測(cè)較為準(zhǔn)確；(3) 應(yīng)用領(lǐng)域比較廣泛，有較強(qiáng)的實(shí)用性。算例分析許多經(jīng)濟(jì)變量之間存在著相互依存、相互制約、相互影響的關(guān)系, 如果能找到經(jīng)濟(jì)變量與影響因素之間的變化規(guī)律， 并把這種規(guī)律用數(shù) 學(xué)表達(dá)式具體表達(dá)出來(lái)，然后將其模型化。例如：已知濮

16、陽(yáng)市1996 2005年國(guó)內(nèi)生產(chǎn)總值與固定資產(chǎn)投資 額，先計(jì)算線性相關(guān)系數(shù)，再確定兩者之間是否存在線性相關(guān)。表1 濮陽(yáng)市199" 2005年國(guó)內(nèi)生產(chǎn)總值與固定資產(chǎn)投資額單位：百萬(wàn)元年份1996199719981999200020012002200320042005國(guó)內(nèi)生產(chǎn)總值y169185216266346467584678744783固定資產(chǎn)投資x44455580130170200229294284相關(guān)系數(shù)計(jì)算數(shù)據(jù)表:序號(hào)年份yXXy119961604474361936282612199718545832520253422531998216551188030254665641999

17、266802128064007075552000346130449801690011971662001467170793902890021808972002584200116800400003416568200367822915526252441495684920047442491852566200155353610200578328021924070400613089合計(jì)443814828498492920282485360其中 n =1 0 x =1482y = 4438xy = 849849有這些數(shù)據(jù)，我們可以用一元線性關(guān)系的判斷公式可知兩個(gè)變量之間的線性關(guān)系。判斷公式為：ni n n、

18、'Xi yi -一、' Xj'. V_idn i T i 任nni nn.'、' Xi2 -C Xi)2,二 v； 一(' yi)2，idn iidn i qi=0.994當(dāng)r|“，|越大，線性相關(guān)越密切。當(dāng)0.5| <1為線性相關(guān)，我們可以用一元線性回歸來(lái)分析和預(yù)測(cè) 模型結(jié)果了。由以上的數(shù)據(jù)可知：|r|滿足0.5r. <1 ,由上可知來(lái)年各個(gè)變量之 間存在著高度的線性相關(guān)，因此我們可以用一元線性回歸來(lái)建立模 型，并對(duì)其進(jìn)行分析和預(yù)測(cè)。下邊我們開(kāi)始建立模型。(一)建立一元線性回歸模型并求解上面我們確定了兩個(gè)變量之間是線性相關(guān)的，然后我

19、們對(duì)其進(jìn) 行回歸分析，其方法是在一些相關(guān)點(diǎn)之間找到一條直線， 就可以表示 出兩個(gè)變量之間的數(shù)量變動(dòng)關(guān)系。由上面的基本原理可知：設(shè)隨機(jī)變量y與變量x之間存在著直線 相關(guān)關(guān)系，(x.yi)可用模型表示為："=禺+皿十鬲。=1,2,., n) , B。與Pi 為未知參數(shù)，Vi=1,2,.n)相互獨(dú)立且服從N(0,。2)的正態(tài)分布，求得P。 與巨的估計(jì)值bo和bi，對(duì)于x , E(y)的估計(jì)值bo，記為；',則方程= b°稱為y對(duì)x的一元線性回歸模型。利用最小二乘法估計(jì)參數(shù)：若能使回歸直線y=bo+bix盡可能地靠近散點(diǎn)(x.yi),即應(yīng)使總的離回歸平方和：nnQ(bo,b

20、i) =£ (yi -y。2 =£ (yi -b° bM)2 達(dá)至最小值。 i ±i 4若要函數(shù)Q(bo,bi)值達(dá)到最小，那么則要函數(shù)Q(bo,bi)分別對(duì)a,b所 求的一階偏導(dǎo)數(shù)均為零，也即是：EQ2=一2 二(yi bo bM) =0Cbo=一2二(yi bo bixjxi =0cbiq對(duì)上式進(jìn)行整理可得:rnnnbo +加，Xj=E V、i工i工nnnbo'、xibix、2 =.?, xi Vii _1i _1i _1其解bo , bi稱為Po與Pi的最小二乘估計(jì)，從中求解出bo , bi :'、Vi '、' X1

21、i，bo = - bi 一一nnbi=nnnn' X Vi 一 L x、' Vii Xi -ii -in/ n2!n' x、- ' x、Ji±n其中 n = 1 0 w x、=i482i <n'、'Vi =4438i zinn£ x、£ V、=849849,i =!、=!bobi =Vi x、. i注-binnnnn'x、Vi f x、' Vi4438i482o io io iO 849849 -4438 i482iO 292O28 -i482bo =5i.O7加=2.65由以上數(shù)據(jù)可知，一元線

22、性回歸方程為：V、= 5i.O7 +2.65 x有了一元線性回歸方程，我們將今后每年的固定資產(chǎn)投資額帶入 回歸預(yù)測(cè)模型中，便可以預(yù)測(cè)今后每年的國(guó)內(nèi)生產(chǎn)總值。設(shè)：濮陽(yáng)市2OO5念得固定資產(chǎn)投資額為5OO百萬(wàn)元，則國(guó)內(nèi)生 產(chǎn)總值的預(yù)測(cè)值為:y =51.072.65 x =51.07 - 2.65500= 1376.07（百萬(wàn)元）（二）對(duì)一元線性回歸模型進(jìn)行檢驗(yàn)。1、我們可以米用F檢驗(yàn),1>提出假設(shè)原假設(shè)H0： p1=0備擇假設(shè)H1 :島#02>給定顯著性水平a ,查F分l布表獲得臨界值 孔（1, n-2）, 例如：在顯著性水平a=0.05, n-2=8時(shí)，查F分布表，可以得 至V ：

23、F0.05 （1,8） =5.323>據(jù)由下式可以利用樣本數(shù)據(jù)計(jì)算檢驗(yàn)統(tǒng)計(jì)量F的值SSR 1_ 一 SSE n 2=533.9244> 進(jìn)行比較，做出判斷若F AFKn -2）,差異顯著，拒絕原假設(shè)，接受備擇假設(shè);若F <FM1,n-2）,差異不顯著，接受原假設(shè)。由上數(shù)據(jù)我們可以得到:F "以1,2）,差異顯著，拒絕原假設(shè)，接受備擇假設(shè)；2、下面我們也可以采用SPSS軟件來(lái)處理這個(gè)問(wèn)題，結(jié)果如下:模型綜合分析表bModel SummaryModelRRSquareAdjusted RSquareStd. Error of the EstimateChange StatisticsDurbin-WatsonR SquareChangeF Changedf1df2Sig. F Change1.993a.985.98330.85068.985533.92418.0002.350a. Predictors: (Constant),固定資產(chǎn)投資b. Dependent Variable:國(guó)內(nèi)生產(chǎn)總值由模型綜合分析表可得出F值為533.924 , SIG=0.000小于P=0.05,結(jié)合方差分析表，可知,回歸效果顯著。Sia F Chanae Sig. F Change.000方差分析表ANOVAb