異方差的解決方法

1、5.4 異方差性問題的解決方法異方差性問題的解決方法一、對(duì)原模型進(jìn)行變換一、對(duì)原模型進(jìn)行變換設(shè)原模型為iiiyxu(5.4.1) 其中ui具有異方差性(其余假定都滿足)。假定現(xiàn)在已知 (5.4.2)其中k2為常數(shù)?，F(xiàn)在的問題是經(jīng)典假定遭到了破壞的情況下，如何求出參數(shù)、的最佳線性無偏估計(jì)量? 22()()iiuiV uk f x解決這個(gè)問題的基本想法是對(duì)原模型(5.4.1)作適當(dāng)?shù)淖儞Q，使變換后的隨機(jī)項(xiàng)不再具有異方差，從而可用OLS法求出參數(shù)的最佳線性無偏估計(jì)量。用 去除(5.4.1)式兩端，則得到新的模型： ( )if x)()()()(xfuxxfxfxfyiiiiiii(5.4.3) 記

2、)(,)(,)(1,)(*2*1*xfuuxfxxxfxxfyyiiiiiiiiiii(5.4.4) 則模型(5.4.3)變?yōu)閡xxyiiii*2*1*(5.4.5) (5.4.5)中的參數(shù)和即原模型中的參數(shù)，但是隨機(jī)項(xiàng) 已經(jīng)沒有異方差性了。因?yàn)椋?iu2*2()( )()()( )( )( )iiiiiiiuV uk f xV uVkf xf xf x因此，對(duì)模型(5.4.5)應(yīng)用OLS法，即可得出參數(shù)、的最佳線性無偏估計(jì)量，問題得以解決。例例5.4.1 設(shè)模型(5.4.1)中ui的異方差結(jié)構(gòu)為 (這是一種最常見的異方差結(jié)構(gòu))，求、的最佳線性無偏估計(jì)量。xkiiu222在本例中 ， ，用 x

3、i 去除(5.4.1)式各項(xiàng)，得xxfii2)(xxfii)(xuxxyiiiii改寫成*iiiyxu其中xuuxxxyyiiiiiiii*,1,由于變換后的模型中的隨機(jī)項(xiàng) 已沒有異方差，應(yīng)用OLS法得和的最佳線性無偏估計(jì)量：ui*2iiix yx *yx二、加權(quán)最小二乘法二、加權(quán)最小二乘法(WLS)在OLS法中，其基本原則是使殘差平方和)(22xyiii(5.4.6) 達(dá)到最小，這是對(duì)滿足經(jīng)典回歸假定而言，也就是在等方差的情況下進(jìn)行的。當(dāng)隨機(jī)項(xiàng)具有異方差時(shí)，用 作為i2的權(quán)數(shù)是合理的。 211( )iiuV u現(xiàn)在我們可以用權(quán)數(shù)將普通最小二乘法修正為：使加權(quán)殘差平方和)(12222xyiii

4、iiuu(5.4.7) 達(dá)到最小。這就是加權(quán)最小二乘法。下面我們說明，這種加權(quán)最小二乘法同樣可以消除異方差性的影響。設(shè)異方差是xi的函數(shù)22( )iuik f x(5.4.8) 將(5.4.8)代入(5.4.7)得加權(quán)最小二乘法，要求)()(12222xyxfkiiiiiu(5.4.9) 達(dá)到最小?，F(xiàn)在對(duì)原模型(5.4.1)作變換：)()()()(xfuxxfxfxfyiiiiiii(5.4.3) 對(duì)(5.4.3)應(yīng)用普通最小二乘法，要求殘差平方和：)()(1)()()()(222xyxfxfxfxfyxfiiiiiiiii(5.4.10) 最小。顯然，能使(5.4.10)達(dá)到最小的 也一定能

5、使(5.4.9)式達(dá)到最小，因?yàn)槎咧徊钜粋€(gè)常數(shù)因子。即兩種方法得到的結(jié)果相同。兩種方法實(shí)質(zhì)上是一回事。對(duì)原模型進(jìn)行變換的方法實(shí)際上是加權(quán)最小二乘法當(dāng) 時(shí)的特例，也可以看作是加權(quán)最小二乘法的直接應(yīng)用。 、112k三、廣義最小二乘法三、廣義最小二乘法 ( GLS )廣義最小二乘法是處理廣義線性模型的一種估計(jì)方法。廣義線性模型是指線性模型 (5.4.11)并且有YXU2( )0()uE UE UU(5.4.12) 其中 為未知常數(shù)，是一個(gè)已知的nn階正定對(duì)稱矩陣：2u111212122212nnn nnnnn (5.4.13) 其它基本假定不變，稱之為廣義線性模型。若將換成In，則模型(5.4.1

6、1)就變成一般古典線性模型。由于為正定對(duì)稱矩陣，必存在一個(gè)(nn)階非奇異矩陣P，使得nP PI (5.4.14) 且有1P P(5.4.15) 利用矩陣P對(duì)原模型進(jìn)行變換，用P左乘(5.4.11)得，PYPXPU (5.4.16) 令PUUPXXPYY*(5.4.17) 則(5.4.16)變?yōu)?YXU(5.4.18) 此時(shí)IPUUPEPUPUEUUEnu2*)()() (5.4.19) 可見，變換后的模型(5.4.18)，已滿足全部基本假定，可以對(duì)模型(5.4.18)應(yīng)用普通最小二乘法，求得的廣義最小二乘估計(jì)量為YXXX*1*)(5.4.20) 將(5.4.17)代入(5.4.20)YXXX

7、PYPXPXPXPYPXPXPX11111)()()()( )()( (5.4.20) (5.4.20)(或(5.4.20)稱為廣義最小二乘估計(jì)式。這種將原模型(5.4.11)進(jìn)行適當(dāng)變換，變?yōu)槟Ｐ?5.4.18)，然后對(duì)新模型(5.4.18)應(yīng)用普通最小二乘法，求得參數(shù)估計(jì)量，稱作對(duì)原模型的廣義最小二乘法，記作GLS。當(dāng) = In時(shí)，1()X XX Y(5.4.21) 此時(shí)廣義最小二乘法就是普通最小二乘法。參數(shù)的協(xié)方差矩陣)( )()()()(112121*2XXPXPXXXCOVVuuu(5.4.22) *2*111() ()111() ()11()()111uYXYXnknkPYPXPY

8、PXnkYXYXnknk (5.4.23) 其中為廣義最小二乘估計(jì)量所對(duì)應(yīng)的模型(5.4.11)的樣本殘差。四、廣義最小二乘法的應(yīng)用之一四、廣義最小二乘法的應(yīng)用之一 異方差問題的處理異方差問題的處理 設(shè)模型YXU(5.4.24) 或 ),(), , 2 , 1(21xxxXniuXykiiiiiii假定隨機(jī)項(xiàng)存在異方差，即22)(uiuEi (5.4.25) 其余條件皆滿足基本假定，此時(shí)u的方差協(xié)方差矩陣具有對(duì)角形式：22221)(uuunUUE(5.4.26) 因?yàn)槭菍?duì)角陣，所以 是1222111121uuun(5.4.27) 于是uuunP11121(5.4.28) 便有1PPIPPn且且

9、(5.4.29) 作變換*YPYXPXUPU(5.4.30) 則模型(5.4.24)變?yōu)?YXU(5.4.31) 此時(shí)U*已無異方差，可以應(yīng)用OLS法，得到Y(jié)XXX111)()()(11XXCOVV (5.4.32) (5.4.33) 以上結(jié)果中，都要用到，而的計(jì)算需要知道 ，因而Park、Glejser檢驗(yàn)所得到的方差結(jié)構(gòu)信息對(duì)應(yīng)用廣義最小二乘法處理異方差問題至關(guān)重要。2ui上述結(jié)果，可以看作是我們把廣義最小二乘估計(jì)量中的 換成了 得出的結(jié)果。換句話說，是把異方差問題作為廣義線性模型的特例來處理的。這實(shí)際上也是加權(quán)最小二乘估計(jì)的一種表達(dá)形式。因?yàn)閷?duì)模型(5.4.31)應(yīng)用OLS法是使11)(

10、)(*XYXY(5.4.34) 達(dá)到最小。將原數(shù)值(5.4.30) 代入(5.4.34)便有)()()()()()(1*XYXYPXPYPXPYXYXY把 的表達(dá)式(5.4.27)代入(5.4.35)可簡(jiǎn)寫成 1niiiuiXy122)(5.4.36) 這便是加權(quán)最小二乘法。從而說明了，加權(quán)最小二乘法可以看作是廣義最小二乘法的特例。例例5.4.2 我們?nèi)岳美?.3.1中表5.3.1給出的數(shù)據(jù)。（見課本129-132）帕克檢驗(yàn)已給出xiui056229. 32000105444. 0本例在Eviews中可直接應(yīng)用加權(quán)最小二乘法（WLS 法），將參數(shù)估計(jì)出來，只需定義一個(gè)權(quán)數(shù)： GENR W1=

11、1/(X1.5281145)然后在方程的對(duì)話框的Options欄中選Weighted LS項(xiàng)，并在Weight 項(xiàng)中輸入權(quán)數(shù)即可。計(jì)算結(jié)果如圖5.4.1所示。 五、五、權(quán)函數(shù)的一個(gè)權(quán)函數(shù)的一個(gè)可行的可行的GLS估計(jì)量估計(jì)量在GLS處理異方差的關(guān)鍵是找到權(quán)函數(shù)hi，如果用估計(jì)值 代替hi 就可應(yīng)用WLS得到參數(shù)的估計(jì)量，被稱為可行的可行的GLS估計(jì)量。估計(jì)量。對(duì)于模型 hiuyxxxkk22110(5.3.18) )exp()/(221102xxxkkXuV假定方差具有函數(shù)形式(5.3.19) 式中 x1，x2，xk為(5.3.18)的自變量，j為未知參數(shù)。記 )exp()(22110 xxxkkxh在(5.3.19)條件下，可以寫成vxxxukk)exp(1111022(5.3.20) 其中 ，(5.3.20)兩邊取對(duì)數(shù)1)/(XvE(5.3.21) exxxukk221102)ln(其中e=lnv,v的均值為1,e的均值為0且與x無關(guān)。u2135u2中的代替用).(2再對(duì)(5.3.21)應(yīng)用OLS，得到估計(jì)值xxxukk)(n l221102便得到)()exp(221102xhxxx