多元線性回歸模型的各種檢驗(yàn)方法

1、對(duì)多元線性回歸模型的各種檢驗(yàn)方法對(duì)于形如Y=:01X12X2kXku（1）的回歸模型，我們可能需要對(duì)其實(shí)施如下的檢驗(yàn)中的一種或幾種檢驗(yàn)：一、對(duì)單個(gè)總體參數(shù)的假設(shè)檢驗(yàn)：t檢驗(yàn)在這種檢驗(yàn)中，我們需要對(duì)模型中的某個(gè)（總體）參數(shù)是否滿足虛擬假設(shè)H。：aj,做出具有統(tǒng)計(jì)意義（即帶有一定的置信度）的檢驗(yàn)，其中aj為某個(gè)給定的已知數(shù)。特別是，當(dāng)aj=0時(shí)，稱為參數(shù)的（狹義意義上的）顯著性檢驗(yàn)。如果拒絕H。，說(shuō)明解釋變量Xj對(duì)被解釋變量Y具有顯著的線性影響，估計(jì)值3才敢使用；反之，說(shuō)明解釋變量Xj對(duì)被解釋變量Y不具有顯著的線性影響，估計(jì)值對(duì)我們就沒(méi)有意義。具體檢驗(yàn)方法如下：（1）給定虛擬假設(shè)H。：=aj；t?

2、E(j)?aj(2)計(jì)算統(tǒng)計(jì)量SeC?)Se(p?j)的數(shù)值;SeC?j)*A其中Cjj(XTX)1jij+1(3) 在給定的顯著水平“下(°不能大于0.1即10%也即我們不能在置信度小于90%U下的前提下做結(jié)論)，查出雙尾t(n-k-1)分布的臨界值匕/2；(4) 如果出現(xiàn)|t|>ta/2的情況，檢驗(yàn)結(jié)論為拒絕H。；反之，無(wú)法拒絕H0Op?.-P.t檢驗(yàn)方法的關(guān)鍵是統(tǒng)計(jì)量t=藍(lán)用必須服從已知的t分布函數(shù)。什么情況或條件下才會(huì)這樣呢？這需要我們建立的模型滿足如下的條件(或假定)：(D隨機(jī)抽樣性。我們有一個(gè)含n次觀測(cè)的隨機(jī)樣"Xi1,Xi2，Xik,YJ：i=1,2,，

3、n。這保證了誤差u自身的隨機(jī)性，即無(wú)自相關(guān)性，CoMui-E(u)(Uj-E(Uj)=0。(2)條件期望值為0。給定解釋變量的任何值，誤差U的期望值為零。即有E(u|X1,X2,Xk)=0這也保證了誤差u獨(dú)立于解釋變量X1,X2,X,即模型中的解釋變量是外生性的，也使得E(u)=0。(3)不存在完全共線性。在樣本因而在總體中，沒(méi)有一個(gè)解釋變量是常數(shù)，解釋變量之間也不存在嚴(yán)格的線性關(guān)系。(4)同方差性。Var(u|Xi,X2，Xk)2=常數(shù)。(5) 正態(tài)性。誤差U滿足uNormal(0,。2)。在以上5個(gè)前提下，才可以推導(dǎo)出：?jNj,Var(?j)(?jj)/Sd(?j)N(0,1)(?jj)

4、/Se(?j)tnk1由此可見(jiàn)，t檢驗(yàn)方法所要求的條件是極為苛刻的。二、對(duì)參數(shù)的一個(gè)線性組合的假設(shè)的檢驗(yàn)需要檢驗(yàn)的虛擬假設(shè)為Ho：prpj2o比如無(wú)法直接檢驗(yàn)。設(shè)立新參數(shù)="-：2。原虛擬假設(shè)等價(jià)于Ho：*=0。將晨=%+匕代入原模型后得出新模型：Y=':01X12(X1X2)kXku在模型(2)中再利用t檢驗(yàn)方法檢驗(yàn)虛擬假設(shè)Ho：3=0。我們甚至還可以檢驗(yàn)這樣一個(gè)更一般的假設(shè)H)目n0:AP0011kkCt統(tǒng)計(jì)量為,犯-入8“八：2iTt(nk1)s4人(Xx)11三、對(duì)參數(shù)多個(gè)線性約束的假設(shè)檢驗(yàn)：F檢驗(yàn)需要檢驗(yàn)的虛擬假設(shè)為H。：,=0,Ckq1,kq2,該假設(shè)對(duì)模型（1）

5、施加了qj排除性約束。模型（1）在該約束下轉(zhuǎn)變?yōu)槿缦碌男履Ｐ停篩=:01X12X2kqXkqu（3）模型（1）稱為不受約束（ur）的模型，而模型（3）稱為受約束（r）的模型。模型（3）也稱為模型（1）的嵌套模型，或子模型。分別用OLS方法估計(jì)模型（1）和（2）后，可以計(jì)算出如下的統(tǒng)計(jì)量：RSSrRSSur/qRSSur/(nk1)關(guān)鍵在于，不需要滿足t檢驗(yàn)所需要的假定（3）,統(tǒng)計(jì)量F就滿足：FFq,n-k-1。利用已知的F分布函數(shù)，我們就可以拒絕或接受虛擬假設(shè)H0Ik-q1=0Ik-q2>>'k=0了。所以，一般來(lái)講，F(xiàn)檢驗(yàn)比t檢驗(yàn)更先使用，用的更普遍，可信度更高。利用關(guān)系

6、式RSG=TSS（1-R2）,RSS=TS41-Rr),F統(tǒng)計(jì)量還可以寫(xiě)成：LR；r-Rr2/qF=-2-(1-RUr)/(n-k-1)四、對(duì)回歸模型整體顯著性的檢驗(yàn)：F檢驗(yàn)需要檢驗(yàn)的虛擬假設(shè)為H。：丁0,乙，、k=0。相當(dāng)于前一個(gè)檢驗(yàn)問(wèn)題的特例，q=ko嵌套模型變?yōu)檠?P0+uoR2=0,RSSPTSS,Rr=R2。F統(tǒng)計(jì)量變?yōu)椋贺蜶2/kF-27T-(1R2)/(nk1).ESS/kRSS(nk1)五、檢驗(yàn)一般的線性約束需要檢驗(yàn)的虛擬假設(shè)比如為H。：丁12，屋=。受約束模型變?yōu)椋篩0X1u再變形為：YXrp0uof統(tǒng)計(jì)量只可用：RSSrRSSr/qF.!1RSgr/(nk1)其中，RSS=

7、TSSY_X1=s(Y-XQ-(Y-Xi)2=z1(Y-Y)-(Xi1-Xi)2o六、檢驗(yàn)兩個(gè)數(shù)據(jù)集的回歸參數(shù)是否相等：皺(至莊)檢驗(yàn)虛擬假定是總體回歸系數(shù)的真值相等。步驟如下：(1)基于兩組樣本數(shù)據(jù)，進(jìn)行相同設(shè)定的回歸，將者的RSS另I記為RSS和RSS2。(2)將兩組樣本數(shù)據(jù)合并，基于合并的樣本數(shù)據(jù),進(jìn)行相同設(shè)定的回歸，將回歸的RSS記為RSG。(3)計(jì)算下面的F統(tǒng)計(jì)量：l(RSSTRSSRSS2)/(k+1)F(RSS+RS)/(n1+n22k2)(4)如果FZF,拒絕原假定。七、非正態(tài)假定下多個(gè)線性約束的大樣本假設(shè)檢驗(yàn)：LM(拉格郎日乘數(shù))檢驗(yàn)F檢驗(yàn)方法需要模型(1)中的U滿足正態(tài)性假

8、定。在不滿足正態(tài)性假定時(shí)，在大樣本條件下，可以使用LM統(tǒng)計(jì)量。虛擬假設(shè)依然是Ho：Pk-q+rOJk-q+2Jk=0。LM統(tǒng)計(jì)量?jī)H要求對(duì)受約束模型的估計(jì)。具體步驟如下:(i)將Y對(duì)施加限制后的解釋變量進(jìn)行回歸，保留殘差。即我們要進(jìn)行了如下的回歸估計(jì)+pkqVppYpVY01X12X2(ii)將U1對(duì)所有解釋變量進(jìn)行輔助回歸，即進(jìn)行如下回歸估計(jì)aO+aOXZ+aOXZ+aOXZ+0iXi2X2kXk并得到R-平方，記為R2。(iii)計(jì)算統(tǒng)計(jì)量(iv)將LM與父LMnRu;分布中適當(dāng)?shù)呐R界值C比較。如果LM>c,就拒絕虛擬假設(shè)Ho；否則，就不能拒絕虛擬假設(shè)H0o八、對(duì)模型函數(shù)形式誤設(shè)問(wèn)題的

9、一般檢驗(yàn)：RESET如果一個(gè)多元回歸模型沒(méi)有正確地解釋被解釋變量與所觀察到的解釋變量之間的關(guān)系，那它就存在函數(shù)形式誤設(shè)的問(wèn)題。誤設(shè)可以表現(xiàn)為兩種形式：模型中遺漏了對(duì)被解釋變量有系統(tǒng)性影響的解釋變量；錯(cuò)誤地設(shè)定了一個(gè)模型的函數(shù)形式。在偵察一般的函數(shù)形式誤設(shè)方面，拉姆齊(Ramsey1969)的回歸設(shè)定誤差檢驗(yàn)(regressionspecilficationerrortest,RESET)是一種常用的方法。RESE啃后的思想相當(dāng)簡(jiǎn)單。如果原模型(1)滿足經(jīng)典假定(3),那么在模型(1)中添加解釋變量的非線性關(guān)系應(yīng)該是不顯著的。盡管這樣做通常能偵察出函數(shù)形式誤設(shè)，但如果原模型中有許多解釋變量，它又

10、有使用掉大量自由度的缺陷。另外，非線性關(guān)系的形式也是多種多樣的。RESETS是在中K型（1）中添加模型（1）的OLS擬合值的多項(xiàng)式，以偵察函數(shù)形式誤設(shè)的一般形式。為了實(shí)施RESET我們必須決定在一個(gè)擴(kuò)大的回歸模型中包括多少個(gè)擬合值的函數(shù)。雖然對(duì)這個(gè)問(wèn)題沒(méi)有正確的答案，但在大多數(shù)應(yīng)用研究中，都表明平方項(xiàng)和三次項(xiàng)很有用。令表示從模型（1）所得到的OLS古計(jì)值?？紤]擴(kuò)大的模型丫=兔+AXi+P2X2+Xk+6仔+62/+8（4）這個(gè)模型看起來(lái)有些奇怪，因?yàn)樵烙?jì)的擬合值的函數(shù)現(xiàn)在卻出作為解釋變量出現(xiàn)。實(shí)際上，我們對(duì)模型（4）的參數(shù)估計(jì)并不感興趣，我們只是利用這個(gè)模型來(lái)檢驗(yàn)?zāi)Ｐ停?）是否遺漏掉了重要的

11、非線性關(guān)系。記住，P和密都只是Xj的非線性函數(shù)。對(duì)模型（4）,我們檢驗(yàn)虛擬假設(shè)H0：6lO,3O。這時(shí)，模型（4）是無(wú)約束模型，模型（1）是受約束模型。計(jì)算F統(tǒng)計(jì)量。需要查F2，n-k-3分布表。拒絕Ho,模型（1）存在誤設(shè)，否則，不存在誤設(shè)。九、利用非嵌套模型檢驗(yàn)函數(shù)形式誤設(shè)尋求對(duì)函數(shù)形式誤設(shè)的其他類型(比如，試圖決定某一解釋變量究竟應(yīng)以水平值形式還是對(duì)數(shù)形式出現(xiàn))作出檢驗(yàn)，需要離開(kāi)經(jīng)典假設(shè)檢驗(yàn)的轄域。有可能要相對(duì)模型丫一。+ilog(X)B210g(X2)+log(Xk)-(5)檢驗(yàn)?zāi)Ｐ?1),或者把兩個(gè)模型反過(guò)來(lái)。然而，它們是非嵌套的，所以我們不能僅使用標(biāo)準(zhǔn)的F檢驗(yàn)。有兩種不同的方法。一

12、種方法由MizonandRichard(1986)提出，構(gòu)造一個(gè)綜合模型，將每個(gè)模型作為一個(gè)特殊情形而包含其中，然后檢驗(yàn)導(dǎo)致每個(gè)模型的約束。對(duì)于模型(1)和模型(5)而言，綜合模型就是丫="+ZXi+"Xk+”410g(Xi)+，4kiog(Xk)+R(6)可以先檢驗(yàn)H.：k=0，16kL。，作為對(duì)模型(1)的檢驗(yàn)。也可以通過(guò)對(duì)檢驗(yàn)Ho："。,VO,作為對(duì)模型(5)的檢驗(yàn)。另一種方法由DavisonandMacKinnon（1981）提出。認(rèn)為，如果模型（1）是正確的，那么從模型（5）得到的擬合值在模型（1）中應(yīng)該是不顯著的。因此，為了檢驗(yàn)?zāi)Ｐ停?）的正確性，首先

13、用OLS估計(jì)模型（5）以得到擬合值，并記為九在新模型丫=1+設(shè)1+吵2+斷卜+。1落口（7）中計(jì)算中的t統(tǒng)計(jì)量，利用t檢驗(yàn)拒絕或接受假定h0：3.。顯著的t統(tǒng)計(jì)量就是拒絕模型（1）的證據(jù)。類似的，為了檢驗(yàn)?zāi)Ｐ停?）的正確性，首先用OLS古計(jì)模型（1）以得到擬合值，并記為五在新模型Y=P0+P1log（X1）+P2|og（X2）+'+久log（Xj+。#+N（8）中計(jì)算中的t統(tǒng)計(jì)量，利用t檢驗(yàn)拒絕或接受假定Ho”。以上兩種檢驗(yàn)方法可以用于檢驗(yàn)任意兩個(gè)具有相同的被解釋變量的非嵌套模型。非嵌套檢驗(yàn)存在一些問(wèn)題。首先，不一定會(huì)出現(xiàn)一個(gè)明顯好的模型。兩個(gè)模型可能都被拒絕，也可能沒(méi)有一個(gè)被拒絕。在后一種情形中，我們可以使用調(diào)整的R-平方進(jìn)行選擇。如果兩個(gè)模型都被拒絕，則有更多的工作要做。不過(guò)，重要的是知道使用這種或那種函數(shù)形式的后果，如果關(guān)鍵性解釋變量