研究生回歸分析講稿.doc

回歸分析模型一、什么是回歸分析自然界中許多變量間都存在著某種相互聯(lián)系和相互制約的關(guān)系，這種關(guān)系一般有兩類，一類是確定性關(guān)系，也稱之為函數(shù)關(guān)系。如中變量與的關(guān)系就是確定性關(guān)系。另一類是不確定性關(guān)系，也稱之為相關(guān)關(guān)系或統(tǒng)計關(guān)系。這種變量間的關(guān)系尚無法表示成精確的函數(shù)關(guān)系，如人的身高與體重間的關(guān)系；商品的銷售量與價格間的關(guān)系；樹高與生長時間的關(guān)系等等均屬于這類關(guān)系。所謂回歸分析是指通過試驗和觀測，去尋找隱藏在變量間的統(tǒng)計關(guān)系的一種數(shù)學(xué)方法。設(shè)我們要研究變量與之間的統(tǒng)計關(guān)系，希望找出的值是如何隨的變化而變化的規(guī)律，這時稱為因變量，為自變量。通常被認(rèn)為是非隨機變量，它是可以精確測量或嚴(yán)格控制的；是一個隨機變量，它是可觀測的，但存在測量誤差。于是與的關(guān)系可表示為.（）其中是一切隨機因素影響的總和，有時也簡稱為隨機誤差。通常假設(shè)滿足.由（）式得到，（）（）式稱為理論回歸方程。由于的函數(shù)形式未知，或者的函數(shù)形式已知，但其中含有未知參數(shù)，即，其中為未知參數(shù)。故理論回歸方程一般無法直接寫出。為了得到理論回歸方程的近似表達(dá)式，通常先對的函數(shù)形式作出假定，然后通過觀測得到關(guān)于的組獨立觀測數(shù)據(jù)。利用這些觀測數(shù)據(jù)來估計出中的未知參數(shù)，得到經(jīng)驗回歸方程 （）（）式又稱為回歸方程，稱為對的回歸函數(shù)。當(dāng)是線性函數(shù)時，（）式稱為線性回歸方程，而獲得線性回歸方程的方法稱為線性回歸分析。若所進行的線性回歸分析中自變量是一元的，則稱之為一元線性回歸分析；若自變量是多元的，則稱之為多元線性回歸分析?；貧w分析在數(shù)學(xué)建模中的應(yīng)用非常廣泛，其主要作用有：（）根據(jù)所給的數(shù)據(jù)，在誤差盡可能小的條件下，建立因變量與自變量之間的回歸方程，并利用此方程對變量進行預(yù)測或控制。（）判斷自變量中，哪些變量對的影響是顯著的，哪些變量的影響是不顯著的。（）估計多項式插值函數(shù)的系數(shù)。二、一元線性回歸分析一元線性回歸分析是指獲得一元線性回歸方程的方法。1數(shù)學(xué)模型的建立設(shè)變量與之間存在統(tǒng)計關(guān)系，通過觀測得到關(guān)于的對獨立觀測數(shù)據(jù).（）在平面直角坐標(biāo)系中，描出每對觀測數(shù)據(jù)所對應(yīng)的點，得到的圖稱為散點圖。若散點圖呈直線狀，則可以假定變量與之間有如下關(guān)系.（）其中為隨機變量，為非隨機變量，稱為回歸系數(shù)。為隨機變量，稱為隨機誤差，它可以理解為中無法用表示的其它各種隨機因素造成的誤差。我們的問題是要用來估計的均值，即.且假定，是與無關(guān)的待定常數(shù)。因此，變量的對獨立觀測數(shù)據(jù)應(yīng)滿足 （）其中為待估參數(shù)，為個相互獨立的且服從同一正態(tài)分布的隨機變量。（）式稱為一元線性回歸的數(shù)學(xué)模型。2參數(shù)的最小二乘估計為了得到回歸方程， （）我們需要利用觀測數(shù)據(jù)來估計參數(shù)，而估計參數(shù)的原則是使（誤差平方和）盡可能地小。又因為，（）所以和的估計值和應(yīng)為方程組（）的解。記，則方程組（）化為 （10）方程組（10）稱為正規(guī)方程組。由于，所以方程組（10）有唯一解，其解為. （11） 若記則（11）可化為，. （12）所求回歸方程為. （13）這種以誤差平方和達(dá)最小為原則的參數(shù)估計方法稱為最小二乘估計。例考察硫酸銅(CuSO4)在100克水中的溶解量與溫度間的關(guān)系時，作了9組獨立試驗，結(jié)果見表31。試尋找隱藏在變量與之間的統(tǒng)計關(guān)系。表3溫度（）01020304050607080溶解量(g)14.017.521.226.129.233.340.048.054.8圖 31解以變量的9組獨立觀測數(shù)據(jù)為點的坐標(biāo)，在平面直角坐標(biāo)系中作散點圖，見圖3。由圖3可見變量與之間大致呈線性關(guān)系，因此我們設(shè). (14）其中和為待估參數(shù)，為隨機誤差，且設(shè)。利用公式（12）對參數(shù)和進行估計，計算結(jié)果如下. .所求回歸方程為. （15）至于回歸方程（15）是否真實地反映了變量與之間的統(tǒng)計關(guān)系，這還需對其進行顯著性檢驗。3回歸方程的顯著性檢驗由前面的討論可知，變量與之間存在線性統(tǒng)計關(guān)系是依據(jù)散點圖做出的假設(shè)。這只是一種直觀判斷，并不可靠。一旦變量與之間不存在線性統(tǒng)計關(guān)系，則我們所確定的回歸方程將毫無意義。因此，在建立了回歸方程后，我們必須對變量與之間是否真正存在線性統(tǒng)計關(guān)系進行檢驗，這就是所謂的回歸方程顯著性檢驗。對回歸方程（13）進行顯著性檢驗，就是要檢驗假設(shè)當(dāng)為真時，模型（）不成立，即與之間不存在線性統(tǒng)計關(guān)系；當(dāng)不真時，模型（）成立，即與之間存在線性統(tǒng)計關(guān)系。為了檢驗假設(shè)，需要建立檢驗統(tǒng)計量。在建立檢驗統(tǒng)計量之前，首先對引起數(shù)據(jù)波動的主要因素進行分析。歸納起來引起數(shù)據(jù)波動的主要因素有兩個：（）由自變量取值的不同引起的變化，稱為回歸因素。（）其它一切隨機因素（包括試驗誤差）的影響，稱為誤差因素。為了檢驗兩方面的影響哪一個是主要的，需要把它們從的總離差中分解出來，這就是所謂的總離差平方和的分解。觀測值的總離差.可以證明，其中是回歸方程在處的函數(shù)值，即稱為理論值，并且其平均值也是。記， （16）則是描述，的離散程度的平方和，的大小反映了的變化對波動的影響，因此稱為回歸平方和，其自由度為1（因為自變量的個數(shù)是1）。而是反映其它一切隨機因素（包括試驗誤差）對波動的影響，稱為剩余平方和（或殘差平方和），其自由度為的自由度減去1，即。由回歸平方和及剩余平方和的意義可知，與之間是否存在線性統(tǒng)計關(guān)系，取決于及在中所占的比例大小，或者看的大小，這個比值越大，說明對的線性影響越大?？梢宰C明，且與相互獨立。而在假設(shè)成立的條件下，有 .因此，由分布的定義知，在成立的條件下，. （17）有了檢驗統(tǒng)計量，在給定的顯著性水平下，假設(shè)的拒絕域為.若假設(shè)被拒絕，則回歸方程（13）的回歸效果是顯著的，這說明變量與之間存在顯著的線性統(tǒng)計關(guān)系；否則回歸方程（13）的回歸效果是不顯著的，這說明變量與之間不存在顯著的線性統(tǒng)計關(guān)系?；貧w平方和與剩余平方和也可采用下述簡便公式計算（=），.（18）例對例1中的回歸方程（15）進行顯著性檢驗。解假設(shè) .我們有，且，,.查表知。因此,回歸方程（15）的回歸效果是極顯著的，即例1中變量與之間存在著極顯著的線性統(tǒng)計關(guān)系。4應(yīng)用回歸方程進行預(yù)報當(dāng)所建立的回歸方程通過了顯著性檢驗后，可應(yīng)用該回歸方程進行預(yù)報。如在例1中，我們可以應(yīng)用回歸方程（15）預(yù)報水溫為25時，硫酸銅的溶解量。因為，所以當(dāng)水溫為25時，硫酸銅的溶解量為24.1克。三、多元線性回歸分析多元線性回歸分析的理論與一元線性回歸分析的理論是相似的，只不過自變量由一元擴展到了多元，因此在計算上相對要復(fù)雜一些。下面將多元線性回歸分析簡要地做一個介紹。1 數(shù)學(xué)模型的建立假設(shè)變量與變量之間有如下關(guān)系 （19）其中為隨機變量，為非隨機變量，稱為回歸系數(shù)。為隨機變量，稱為隨機誤差，它可以理解為中無法用表示的其它各種隨機因素造成的誤差。我們的問題是要用來估計的均值，即.且假定，是與無關(guān)的待定常數(shù)。為了估計，對變量進行次獨立試驗（或觀測），得到的組獨立觀測數(shù)據(jù)為. （20）而變量的組獨立觀測數(shù)據(jù)應(yīng)滿足 （21）其中為待估參數(shù)，為個相互獨立且服從同一正態(tài)分布的隨機變量，（21）式稱為多元線性回歸的數(shù)學(xué)模型。若記，.則（21）式的矩陣形式為.（22） 2參數(shù)的最小二乘估計與一元線性回歸的理論相同，也以使得誤差平方和最小為原則，對理論回歸方程 （23）的參數(shù)進行估計。因為，所以的估計值應(yīng)為方程組 （24）的解。方程組（24）稱為正規(guī)方程組，其有唯一解。方程組（24）的矩陣形式為若記回歸方程（23）中待估參數(shù)的估計值為,則 （25）所求回歸方程為 （26）方程組（24）也可以寫為 （27）其中；.若記 （28）則，3回歸方程的顯著性檢驗（1）總離差平方和的分解，其中,稱為理論值，并且其平均值也是若記，.則稱為回歸平方和，它反映了自變量的變化所引起的的波動，其自由度為（因為自變量的個數(shù)為）；而稱為剩余平方和（或殘差平方和），它反映了其它一切隨機因素（包括試驗誤差）對波動的影響，其自由度為的自由度減去，即（）顯著性檢驗對回歸方程的顯著性檢驗是指檢驗假設(shè). （29）可以證明，且和相互獨立當(dāng)假設(shè)成立時，可以證明因此，由分布的定義知，在成立的條件下，. （30）有了檢驗統(tǒng)計量，在給定的顯著性水平下，假設(shè)的拒絕域為若假設(shè)沒有被拒絕，則回歸方程（26）的回歸效果是不顯著的，這說明變量與變量之間不存在顯著的線性統(tǒng)計關(guān)系，回歸方程（26）沒有任何實際意義；若假設(shè)被拒絕，則回歸方程（26）的回歸效果是顯著的，這說明變量與變量之間存在顯著的線性統(tǒng)計關(guān)系4回歸系數(shù)的顯著性檢驗前面對回歸方程的顯著性檢驗，是對回歸方程中全部自變量的總體回歸效果進行檢驗但總體回歸效果顯著并不說明每個自變量對因變量的影響都是顯著的，即可能有某個自變量對的影響并不顯著，或者能被其它的自變量的作用所代替因此，對這種自變量我們希望能從回歸方程中剔除，從而建立更簡單的回歸方程顯然若自變量對因變量的影響不顯著，則它的回歸系數(shù)就應(yīng)取值為零因此，檢驗每個自變量是否對影響顯著，就是檢驗假設(shè)（31）可以證明，在假設(shè)成立的條件下，統(tǒng)計量. (32)其中為（28）式中矩陣的主對角線上第個元素。有了檢驗統(tǒng)計量，在給定的顯著性水平下，假設(shè)的拒絕域為若假設(shè)被拒絕，則對有顯著影響；否則對沒有顯著影響，應(yīng)在回歸方程中被剔除，并且對變量與變量之間的線性統(tǒng)計關(guān)系需要重新進行線性回歸分析，再建立新的回歸方程這個過程只有到了回歸方程中所有的自變量對的影響都顯著時才能停止例3某養(yǎng)豬場估計豬的毛重，測得14頭豬的體長(cm)、胸圍（cm）與體重(kg)的數(shù)據(jù)見表3試建立與的回歸方程表3序號1234567891011121314x141455152596269727880909298103x24958627162747174798485949195y2839414443505157636670768084解假設(shè)與之間有如下關(guān)系，故所求回歸方程為應(yīng)用方程組（27）進行參數(shù)估計經(jīng)計算得 ,，.故，所求回歸方程為 (33)對回歸方程進行顯著性檢驗，經(jīng)計算得.故查表知，因此，回歸方程（33）的回歸效果極顯著。對回歸系數(shù)進行顯著性檢驗，經(jīng)計算得，查表知，因此，和對的影響都顯著，和都應(yīng)保留在回歸方程（33）中。作業(yè)1在研究某化學(xué)提取過程中溫度（）與得率（%）的相關(guān)關(guān)系時，作了9組獨立試驗，觀測值的散點圖呈線性變化規(guī)律，根據(jù)觀測值計算出：=40,=31.567,=6000,=2995,=1533.38（1）求回歸方程；（2）對回歸方程進行顯著性檢驗（取顯著性水平=0.01，臨界值=12.25）。作業(yè)2為了研究老鼠體內(nèi)血糖的減少量和注射胰島素A的劑量的關(guān)系，將同樣條件下繁殖的7只老鼠注射不同劑量的胰島素A，觀測數(shù)據(jù)見下表。觀測注射胰島素A的劑量0.200.250.300.350.400.450.50老鼠體內(nèi)血糖的減少量302640355460