第四章多重共線性

1、機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第1 1頁頁 多重共線性（Multicollinearity）一詞由弗里希（Ragnar Frisch，18951973）于1934年引入。 第四章第四章 多重共線性多重共線性 原意是指回歸模型中的部分或全部解釋變量之間存在完全的線性關(guān)系，是對(duì)假定MLR.3的違背，后來人們將這個(gè)概念擴(kuò)展到近似的線性關(guān)系。 多重共線性是多元回歸建模過程中最常遇到的問題。本章中我們首先分析與界定完全多重共線性與多重共線性，探討多重共線性可能引起的后果，然后介紹多重共線性的診斷與

2、緩解多重共線性的補(bǔ)救措施。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第2 2頁頁學(xué)習(xí)目標(biāo)：1、了解多重共線性的概念、能區(qū)分完全的多重共線性與多重共線性；2、了解多重共線性產(chǎn)生的原因；3、理解多重共線性引起的后果；4、理解并掌握多重共線性的診斷；5、掌握緩解多重共線性問題的處理方法。重點(diǎn)與難點(diǎn)： 理解多重共線性是一種樣本現(xiàn)象； 深刻理解多重共線性的理論后果與實(shí)際后果； 掌握多重共線性的診斷及多重共線性問題的 處理方法。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)

3、學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3 3頁頁 第一節(jié)第一節(jié) 多重共線性問題及其對(duì)建模的影響多重共線性問題及其對(duì)建模的影響 一、多重共線性的含義一、多重共線性的含義 廣義的多重共線性包括完全多重共線性和近似多重共線性。狹義的的多重共線性指的是近似多重共線性。如果不特加說明，本章使用的是狹義的多重共線性。（一）完全多重共線性 多元線性回歸模型的古典假定MLR.3是，模型中解釋變量之間不存在完全的線性相關(guān)關(guān)系，此機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4 4頁頁對(duì)于模型對(duì)于模型

4、yi= 0+ 1x1i+ 2x2i+ kxki+ui i=1,2,n時(shí)就稱解釋變量(1,2,., )jxjk之間不存在完全的多重共線性。 即：若存在一組不全為零的常數(shù)012,k 0 如果存在某解釋變量是其他解釋變量的線性組合，則稱為存在完全多重共線性（Complete Multicollinearity， Exact Multicollinearity）使得：01 1220kkxxx機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5 5頁頁用矩陣表示，解釋變量的觀測(cè)值矩陣為)1(211221212111

5、111knknnnkkxxxxxxxxxX當(dāng)存在完全共線性時(shí)： rank(X) R2，則xl，xj間的多重共線性對(duì)回歸模型是有害的。例例4.2 建立電信業(yè)務(wù)總量的計(jì)量經(jīng)濟(jì)模型。經(jīng)初步分析，認(rèn)為影響電信業(yè)務(wù)總量變化的主要因素是郵政業(yè)務(wù)總量、總?cè)丝跀?shù)、市鎮(zhèn)人口占總?cè)丝诘谋戎?、人均GDP、居民人均消費(fèi)水平。9個(gè)地區(qū)的樣本數(shù)據(jù)。試檢驗(yàn)解釋變量之間的多重共線性。 機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3333頁頁樣本標(biāo)號(hào)電信業(yè)務(wù)總量y郵政業(yè)務(wù)總量x1總?cè)丝跀?shù)x2市鎮(zhèn)人口比重x3人均GDPx4人均消費(fèi)水平

6、x511.51630.527511.58230.26371.8790.89622.26570.636711.71710.27632.2871.07033.82450.802611.85170.28142.9391.33145.92300.958911.98500.28623.9231.74658.75511.133412.11210.29044.8542.236612.08751.332912.23890.29375.5762.641712.68951.443412.36260.29926.0532.834822.64941.662812.48100.30406.3072.972931.323

7、81.984412.59090.30896.5343.143 電信業(yè)務(wù)總量及相關(guān)指標(biāo)數(shù)據(jù)機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3434頁頁CoefficientStd. Errort-StatisticProb.C-124.5040456.2935-0.2728590.8027X135.7397216.047402.2271350.1123X216.9699847.308530.3587090.7436X3-300.2670390.8775-0.7681870.4983X4-5.3169439

8、.897531-0.5371990.6284X5-0.26962919.74999-0.0136520.9900R-squared0.991815Mean dependent var11.22609Adjusted R-squared0.978173S.D. dependent var10.00546S.E. of regression1.478215Akaike info criterion3.854269Sum squared resid6.555361Schwarz criterion3.985752Log likelihood-11.34421Hannan-Quinn criter.3

9、.570529F-statistic72.70254Durbin-Watson stat2.969320Prob(F-statistic)0.002496 EViews輸出結(jié)果機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3535頁頁(2)R2 = 0.9918，擬合優(yōu)度很高，但而每個(gè)回歸參數(shù)的t檢驗(yàn)在統(tǒng)計(jì)上都不顯著，這符合多重共線性的“經(jīng)典”特征，說明模型中可能存在嚴(yán)重的多重共線性。從EViews輸出結(jié)果看：（1）從經(jīng)濟(jì)理論角度講，影響電信業(yè)務(wù)總量變化的主要因素中郵政業(yè)務(wù)總量與電信業(yè)務(wù)總量負(fù)相關(guān)；而

10、總?cè)丝跀?shù)、市鎮(zhèn)人口占總?cè)丝诘谋戎?、人均GDP、居民人均消費(fèi)水平應(yīng)與電信業(yè)務(wù)總量正相關(guān)。但模型變量郵政業(yè)務(wù)總量、市鎮(zhèn)人口占總?cè)丝诘谋戎?、人均GDP、居民人均消費(fèi)水平的系數(shù)估計(jì)出現(xiàn)符號(hào)錯(cuò)誤，與預(yù)期不一致。根據(jù)經(jīng)驗(yàn)判別法，說明模型中可能存在嚴(yán)重的多重共線性。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3636頁頁（3）下面用Klein判別法進(jìn)行分析。首先計(jì)算出解釋變量間的簡(jiǎn)單相關(guān)系數(shù)矩陣： 因?yàn)槠渲衳4與x5之間的簡(jiǎn)單相關(guān)系數(shù)（0.9986）大于模型的樣本決定系數(shù)（0.9918），所以根據(jù)Klein判別法

11、，斷定模型中存在嚴(yán)重的多重共線性。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3737頁頁二、輔助回歸法二、輔助回歸法01 1221111)jjjjjkkxxxxxx1, 2,jk 設(shè)解釋變量為k個(gè)，即x1，x2， , xk。我們分別以其中的一個(gè)對(duì)其它所有的解釋變量進(jìn)行回歸,得 k個(gè)回歸方程： 每個(gè)回歸方程求其決定系數(shù),不妨設(shè)為: 222212,jkRRRR 對(duì)于多元線性回歸模型來說，如果分別以每個(gè)解釋變量為被解釋變量，作與其他解釋變量的回歸，這稱為輔助回歸。 機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2

12、022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第3838頁頁 在這些決定系數(shù)中尋其最大者，不妨設(shè) Rj2最大，由第一節(jié)分析我們知道：多元線性回歸模型01 122iiikikiyxxxuxj的系數(shù)估計(jì)量的方差為2222221var()() (1)()(1)uujjijjjijjxxRxxR jxjx2jjRx由于度量了與其他解釋變量的線性相關(guān)程度，這var()j 增大的趨勢(shì)越快，說明變量間種相關(guān)程度越強(qiáng)，機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第

13、3939頁頁（1-Rj2）為自變量xj的容忍度（Tolerance）。211jjVIFR 多重共線性越嚴(yán)重，反之， 與其他解釋變量的線性相關(guān)程度越弱，說明變量間的多重共線性越弱。 為此，我們定義：jx 其倒數(shù)稱為方差擴(kuò)大因子（Variance Inflation Factor）簡(jiǎn)記為VIF），即： 經(jīng)驗(yàn)表明，當(dāng)VIFj10時(shí)，自變量xj與其它自變量之間的多重共線性程度就非常大了，以至于足以影響到OLSE的穩(wěn)定性（方差增大） 。 機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4040頁頁注：注： 也可以

14、用k個(gè)自變量所對(duì)應(yīng)的方差擴(kuò)大因子的平均數(shù)來度量多重共線性。當(dāng)模型中全部k個(gè)自變量所對(duì)應(yīng)的方差擴(kuò)大因子的平均數(shù)大于10時(shí)，就表明存在嚴(yán)重的多重共線性。用VIF去度量共線性也難免受到批評(píng)。如（4.5）所示， (jVar 2u與21() ,njijixx21(1)jjVIFR依賴于3個(gè)因子：21()njijixx2u一個(gè)高的VIF可被一個(gè)低的 或一個(gè)高的 所抵消。換句話說，一個(gè)高的VIF既不是導(dǎo)致高多重共線性和高的標(biāo)準(zhǔn)誤的必要條件，也不是其充分條件。因此，一個(gè)高的VIF度量出來的高多重共線性不一定是高的標(biāo)準(zhǔn)誤的原因。在所有這些討論中，高和低這兩個(gè)用語都是機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-

15、3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4141頁頁相對(duì)而言的。在實(shí)際應(yīng)用中，最好把 作為一個(gè)參考指標(biāo)，與直觀判斷法中的其他特征聯(lián)合起來綜合判定。jVIF 在EViews中，不能直接計(jì)算解釋變量的方差擴(kuò)大因子，而是需要根據(jù)VIF的定義式計(jì)算得到。55xVIF的對(duì)例4.2，計(jì)算解釋變量值的過程如下： 輔助回歸方程FZHG 的EViews輸出結(jié)果首先建立一個(gè)以x5為被解釋變量，其余解釋變量為解釋變量的輔助回歸方程，命名為“FZHG”：機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大

16、學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4242頁頁Dependent Variable: X5CoefficientStd. Errort-StatisticProb. C4.61359311.319070.4075950.7044X10.4135410.3497081.1825300.3025X2-0.2789941.189533-0.2345410.8261X3-6.0041799.429268-0.6367600.5589X40.4716950.0846265.5738500.0051R-squared0.999055 Mean dependent var2.096556Adjusted R-sq

17、uared0.998109 S.D. dependent var0.860614S.E. of regression0.037423 Akaike info criterion-3.432872Sum squared resid0.005602 Schwarz criterion-3.323303Log likelihood20.44792 Hannan-Quinn criter.-3.669322F-statistic1056.707 Durbin-Watson stat1.817349Prob(F-statistic)0.000003機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-620

18、22-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4343頁頁然后在主窗口命令行輸入：scalar vif =1/(1-FZHG.R2)，該命令的含義是建立一個(gè)取值為此式的變量vif，其中R2就是2R 執(zhí)行后在主窗口的左下角狀態(tài)欄上會(huì)出現(xiàn)“vif succes-sfully created”的字樣，同時(shí)工作表中產(chǎn)生一個(gè)叫做vif的新變量，雙擊此變量，主窗口左下角的狀態(tài)欄上便會(huì)出現(xiàn)：Scalar VIF =1057.707，這個(gè)數(shù)值很大，根據(jù)前面的準(zhǔn)則可以認(rèn)為解釋變量之間存在嚴(yán)重的多重共線性。三、特征值與病態(tài)指數(shù)三、特征值與病態(tài)指數(shù)k個(gè)自變量（不包含常數(shù)項(xiàng)）的樣

19、本數(shù)據(jù)構(gòu)成一個(gè)nk的矩陣X，若自變量間存在共線性，則稱X為病態(tài)的。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4444頁頁 經(jīng)驗(yàn)判斷法則是：若K100，則認(rèn)為多重共線性的程度很小；若100K1000，則認(rèn)為多重共線性的程度中等或比較嚴(yán)重；若K1000，則認(rèn)為多重共線性的程度非常嚴(yán)重。 為一個(gè)kk的方陣，其特征根由大到小排列 X X就存在非常小的特征根（并且有幾個(gè)共線關(guān)系，就有幾個(gè)很小的特征根）。則X X12,.,k 依次快速遞減，如果X為病態(tài)的，1kK定義病態(tài)數(shù)為：以及病態(tài)指數(shù)：1kCIK機(jī)動(dòng) 目錄

20、 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4545頁頁另一準(zhǔn)則是，如果病態(tài)指數(shù)10CI30，認(rèn)為多重共線性的程度中等，而如果CI30，則認(rèn)為多重共線性的程度非常嚴(yán)重。四、法勒格勞伯（FarrarGlauber）檢驗(yàn) FarrarGlauber提出的檢驗(yàn)是三種檢驗(yàn)的結(jié)合提出的檢驗(yàn)是三種檢驗(yàn)的結(jié)合。第一種檢驗(yàn)是。第一種檢驗(yàn)是2 2檢驗(yàn)，它檢驗(yàn)多元回歸模型中所有檢驗(yàn)，它檢驗(yàn)多元回歸模型中所有解釋變量之間存在共線性及共線性的程度。第二種檢解釋變量之間存在共線性及共線性的程度。第二種檢驗(yàn)是驗(yàn)是F檢驗(yàn)，用來確定哪些解釋

21、變量是多重共線的。檢驗(yàn)，用來確定哪些解釋變量是多重共線的。第三種檢驗(yàn)是第三種檢驗(yàn)是t檢驗(yàn)，用來找出造成解釋變量多重共檢驗(yàn)，用來找出造成解釋變量多重共線性原因的是哪些變量。線性原因的是哪些變量。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4646頁頁第一，第一， 2 檢驗(yàn)檢驗(yàn)若若k個(gè)變量個(gè)變量x1, x2, xk滿足滿足rij=0, ij,i,j=1,2,k,則則說這說這k個(gè)變量是個(gè)變量是正交正交的。的?；舅枷耄夯舅枷耄?1121221112kkkkrrrrrrA設(shè)相關(guān)系數(shù)矩陣為：設(shè)相關(guān)系數(shù)矩陣為

22、：其中：其中：), 2 , 1,(kjiLLLrjjiiijij 由A可以看出，當(dāng)解釋變量存在完全共線性時(shí)，|A|=0；當(dāng)解釋變量互相正交時(shí)，|A|=1。因此可以認(rèn)為當(dāng)解釋變機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第4747頁頁量存在多重共線性時(shí)，0|A| t /2 ，則認(rèn)為，則認(rèn)為xj和和xi的偏相關(guān)系數(shù)是顯著的，也就是的偏相關(guān)系數(shù)是顯著的，也就是xj和和xi是是引起多重共線的原因。若引起多重共線的原因。若t t /2，則認(rèn)為，則認(rèn)為xj和和xi不是引起多不是引起多重共線的原因。重共線的原因。

23、構(gòu)造統(tǒng)計(jì)量：構(gòu)造統(tǒng)計(jì)量：計(jì)算計(jì)算xj與其余每一個(gè)解釋變量的偏相關(guān)系數(shù)與其余每一個(gè)解釋變量的偏相關(guān)系數(shù)：), 2 , 1,()1)(1()1)(1(1kijirkiijjji機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5050頁頁 在結(jié)束我們關(guān)于偵察多重共線性的討論之際，我們強(qiáng)調(diào)指出，本節(jié)所討論的各種方法實(shí)質(zhì)上都類似于垂釣，我們無法知道一種方法在任一特定的應(yīng)用中是否靈驗(yàn)，而且沒有更為有效的方法。因?yàn)槎嘀毓簿€性問題就出現(xiàn)在研究者對(duì)于一個(gè)給定的樣本施加不了多少控制的場(chǎng)合之中。機(jī)動(dòng) 目錄 上頁 下頁 返回

24、結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5151頁頁第三節(jié)第三節(jié) 多重共線性問題的處理多重共線性問題的處理 如果通過檢驗(yàn)，發(fā)現(xiàn)模型中存在嚴(yán)重的多重共線性，是不是一定不好呢？這要視模型的具體用途而定。如果模型只是用來進(jìn)行預(yù)測(cè)，只要多重樣本決定系數(shù)（R2, ）足夠大即可，無需消除多重共線性。但如果模型是用來進(jìn)行結(jié)構(gòu)分析和政策評(píng)價(jià)，由于多重共線性影響到每個(gè)自變量系數(shù)估計(jì)的正確性和有效性，所以應(yīng)設(shè)法消除多重共線性的影響，確保模型的可用性。 2R下面介紹幾種常用的處理多重共線性問題的方法。 機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022

25、-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5252頁頁一、增加樣本觀測(cè)值一、增加樣本觀測(cè)值 如果多重共線性是由樣本引起的（例如測(cè)量誤差或偶然的樣本），但解釋變量的總體不存在多重共線性，則可以通過收集更多的觀測(cè)值增加樣本容量，避免或減弱多重共線性。對(duì)于時(shí)間序列資料就是增大觀測(cè)次數(shù)，對(duì)于截面數(shù)據(jù)資料就是增加觀測(cè)對(duì)象，或者把時(shí)間序列資料與截面數(shù)據(jù)資料結(jié)合起來使用。現(xiàn)利用兩個(gè)解釋變量的線性回歸模型 01 122iiiiyxxu作一說明。 由（4.8）可知，該模型參數(shù)的OLSE方差為：機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-

26、6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5353頁頁 將增加，將增加，r12趨向于總體相關(guān)系數(shù)，是某一個(gè)趨向于總體相關(guān)系數(shù)，是某一個(gè)確定的值，從而確定的值，從而 將會(huì)減少，這樣就會(huì)提將會(huì)減少，這樣就會(huì)提高估計(jì)值高估計(jì)值 的精度。的精度。從上兩式可以看出，當(dāng)增大樣本容量時(shí)，則從上兩式可以看出，當(dāng)增大樣本容量時(shí)，則,)(211 xxi222)(xxi)(),(21VarVar21,注意：注意： 當(dāng)解釋變量總體存在多重共線性時(shí)，增加樣本容量當(dāng)解釋變量總體存在多重共線性時(shí)，增加樣本容量也無助于減輕多重共線的程度。也無助于減輕多重共線的程度。 )1 ()()(21221

27、121rxxVariu)1()()(21222222rxxVariu機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5454頁頁二、刪去不重要的解釋變量二、刪去不重要的解釋變量 對(duì)待嚴(yán)重的多重共線性問題，一個(gè)最簡(jiǎn)單的解決辦法就是刪去那些產(chǎn)生多重共線性、對(duì)因變量影響不大且人們認(rèn)為不重要的解釋變量，使模型中剩下那些對(duì)因變量起重要作用的解釋變量，然后對(duì)僅包含重要解釋變量的模型應(yīng)用普通最小二乘法。但應(yīng)注意的是，由于把刪去的解釋變量對(duì)因變量的影響歸入隨機(jī)項(xiàng)中，有可能使隨機(jī)項(xiàng)不滿足零均值的假設(shè)，這時(shí)所得的參數(shù)估計(jì)值

28、可能是有偏的，即產(chǎn)生確定性偏倚。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5555頁頁三、利用三、利用“先驗(yàn)先驗(yàn)”信息信息 先驗(yàn)信息既包括從經(jīng)濟(jì)理論也包括從實(shí)際統(tǒng)先驗(yàn)信息既包括從經(jīng)濟(jì)理論也包括從實(shí)際統(tǒng)計(jì)資料中獲得的解釋變量之間關(guān)系的信息。如果計(jì)資料中獲得的解釋變量之間關(guān)系的信息。如果我們研究的回歸模型存在多重共線性，而線性相我們研究的回歸模型存在多重共線性，而線性相關(guān)的解釋變量之間的關(guān)系可由事前信息得到。則關(guān)的解釋變量之間的關(guān)系可由事前信息得到。則只要把事前知道的關(guān)系包含進(jìn)回歸模型中，多重只要把事

29、前知道的關(guān)系包含進(jìn)回歸模型中，多重共線性就會(huì)消失。共線性就會(huì)消失。例如柯布例如柯布道格拉斯生產(chǎn)函數(shù)為：道格拉斯生產(chǎn)函數(shù)為：其中，其中，Q為產(chǎn)出，為產(chǎn)出，K為資本，為資本，L為勞動(dòng)力，為勞動(dòng)力，A，為參數(shù)。將上式轉(zhuǎn)化為對(duì)數(shù)形式：為參數(shù)。將上式轉(zhuǎn)化為對(duì)數(shù)形式：uQAL K elnQ = lnA +lnK +lnL + u機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5656頁頁 因?yàn)橘Y本和勞動(dòng)力之間是高度相關(guān)的，所以因?yàn)橘Y本和勞動(dòng)力之間是高度相關(guān)的，所以lnK和和 lnL之間也是高度相關(guān)的，對(duì)數(shù)模型存在著

30、高度的多重之間也是高度相關(guān)的，對(duì)數(shù)模型存在著高度的多重共線性。共線性。 若根據(jù)先驗(yàn)信息知道該地區(qū)規(guī)模報(bào)酬不變，則根據(jù)經(jīng)濟(jì)學(xué)理論，知： 1利用利用 + =1將對(duì)數(shù)模型轉(zhuǎn)化為：將對(duì)數(shù)模型轉(zhuǎn)化為：uLKALylnlnln式中，式中，y/L為人均產(chǎn)出，為人均產(chǎn)出，K/L為人均資本量。上式即為為人均資本量。上式即為人均單位產(chǎn)出對(duì)人均資本量的一元回歸模型，多元回歸人均單位產(chǎn)出對(duì)人均資本量的一元回歸模型，多元回歸存在的多重共線性就被消除了。存在的多重共線性就被消除了。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5

31、757頁頁又如，消費(fèi)函數(shù)為：又如，消費(fèi)函數(shù)為： 01 122yxxu01122()3yxxu1223zxx01yzuy為消費(fèi)支出，為消費(fèi)支出，x1為收入，為收入，x2為財(cái)富。為財(cái)富。 就變?yōu)橐辉貧w模型，多重共線性就消除了。就變?yōu)橐辉貧w模型，多重共線性就消除了。1232從收入與財(cái)富的關(guān)系來看，是高度相關(guān)的。但根據(jù)大從收入與財(cái)富的關(guān)系來看，是高度相關(guān)的。但根據(jù)大量的統(tǒng)計(jì)數(shù)據(jù)可以總結(jié)出：量的統(tǒng)計(jì)數(shù)據(jù)可以總結(jié)出：將該關(guān)系式代入，則上式可化為：將該關(guān)系式代入，則上式可化為：令：令：則：則：機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大

32、學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5858頁頁 這是先驗(yàn)信息法的一個(gè)變種。其基本做法是：首先利用橫截面數(shù)據(jù)估計(jì)出部分參數(shù)，再利用時(shí)序數(shù)據(jù)估計(jì)出另外的部分參數(shù)，最后得到整個(gè)方程參數(shù)的估計(jì)。例：例：對(duì)于中國(guó)家用轎車需求模型012lnlnlnttttypIu四、橫截面數(shù)據(jù)與時(shí)間序列數(shù)據(jù)并用四、橫截面數(shù)據(jù)與時(shí)間序列數(shù)據(jù)并用目的是要估計(jì)價(jià)格彈性 和收入彈性 。12機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第5959頁頁 在時(shí)間序列分析中，價(jià)格和收入變量一般都有高度共線性的趨勢(shì)。托賓提出了解決此問題的一種方法：即如果

33、擁有關(guān)于消費(fèi)者定點(diǎn)追蹤的橫截面數(shù)據(jù)，如城鎮(zhèn)或農(nóng)村居民住戶調(diào)查數(shù)據(jù)，就可能可靠地估計(jì)收入彈性 。令收入彈性的橫截面估計(jì)為 ，就可以將前述時(shí)間序列回歸寫成2*2*01lntttypu*2lnlnttyyI其中 這樣就可以得到價(jià)格彈性的估計(jì)值。值得注意的是這里包含著假設(shè)：收入彈性的橫截面估計(jì)和從純粹時(shí)間序列分析中得到的估計(jì)是一樣的。當(dāng)橫截面估計(jì)在不同截面之間沒有大的變化時(shí)這是一個(gè)值得考慮的方法。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6060頁頁 五、變量變換五、變量變換 有時(shí)可以通過對(duì)模型中變量進(jìn)行

34、變換能夠?qū)崿F(xiàn)降低共線性的目的。常用的變量變換方式有：1.使用相對(duì)指標(biāo)。如原來的變量性質(zhì)是總量指標(biāo)，可轉(zhuǎn)換為人均指標(biāo)或結(jié)構(gòu)相對(duì)數(shù)(比重)指標(biāo)等。經(jīng)過這樣處理的數(shù)據(jù)有時(shí)可以降低共線性。2.將名義數(shù)據(jù)轉(zhuǎn)換為實(shí)際數(shù)據(jù)。將名義數(shù)據(jù)剔除價(jià)格影響后反映的信息在統(tǒng)計(jì)上常常是指純的物量的變化，不包含價(jià)格變動(dòng)的影響，有助于描述現(xiàn)象之間真實(shí)的數(shù)量變化關(guān)系。因此在多數(shù)經(jīng)濟(jì)分析中采用“實(shí)際”數(shù)據(jù)而不機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6161頁頁是名義數(shù)據(jù)，將名義數(shù)據(jù)轉(zhuǎn)換為實(shí)際數(shù)據(jù)有助于降低多重共線性。 需要指出，變

35、量數(shù)據(jù)的變換有時(shí)可得到較好的結(jié)果，但誰也無法保證一定可以得到很好的結(jié)果。3.將小類指標(biāo)合并成大類指標(biāo)。例如，如果模型中自變量包括工業(yè)增加值、建筑業(yè)增加值，由于二者之間呈現(xiàn)高度線性相關(guān)，可將其合并成第二產(chǎn)業(yè)增加值。這一合并有助于消除多重共線性。六、變換模型的形式六、變換模型的形式 有時(shí)作為解釋變量的某些經(jīng)濟(jì)變量之間出現(xiàn)了高度相關(guān)，但當(dāng)我們的研究目的是為了預(yù)測(cè)，并不需要區(qū)分機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6262頁頁 這些相關(guān)的解釋變量單獨(dú)對(duì)因變量的影響時(shí)，我們可以根據(jù)問題的需要對(duì)原模型加以

36、變形，使新的模型不再出現(xiàn)多重共線性。 例如，例如，某產(chǎn)品的銷售量y取決于其出廠價(jià)格x1、市場(chǎng)價(jià)格x2和市場(chǎng)總供應(yīng)量x3，設(shè)定模型為:0112233lnlnlnlniiiiiyxxxu通常通常 x1 、 x2 是高度相關(guān)的，如果研究的目的主要是是高度相關(guān)的，如果研究的目的主要是為了預(yù)測(cè)某廠該產(chǎn)品銷售量，則可以用相對(duì)價(jià)格為了預(yù)測(cè)某廠該產(chǎn)品銷售量，則可以用相對(duì)價(jià)格x1/x2 代替代替x1 、 x2 對(duì)對(duì)y的影響，的影響， 采用采用機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6363頁頁ln(x1/x2)為

37、解釋變量，建立如下對(duì)數(shù)回歸模型:從而克服了x1與x2的相關(guān)性。101232lnlnlnxyxux 另外，也可以采用差分法，將原模型變形為差分模型形式進(jìn)而減低多重共線性。因?yàn)橐话愣?，差分后變量之間的相關(guān)性要比差分前要弱得多，所以差分后的模型可以有效地降低出現(xiàn)共線性的可能性，此時(shí)可直接估計(jì)差分方程。但因?yàn)椴罘殖３?huì)丟失一些信息，差分模型的誤差項(xiàng)可能是序列相關(guān)的，會(huì)違背經(jīng)典線性回歸模型的相關(guān)假設(shè)，在具體運(yùn)用時(shí)要慎重。機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6464頁頁七、逐步回歸法七、逐步回歸法 為

38、了選出所有系數(shù)具有顯著性而且相互之間不存在嚴(yán)重多重共線性的自變量進(jìn)入回歸方程，可以采用對(duì)所有子集回歸方程進(jìn)行“全局比較”，尋找“最優(yōu)子集回歸”。 在實(shí)際應(yīng)用中，我們經(jīng)常使用的是一種簡(jiǎn)化的方法，即“局部比較”方法，包括逐步剔除法、逐步添加法和逐步回歸法。局部比較”方法得到的回歸方程不一定是“最優(yōu)”的，而只是較好的。但由于需要的計(jì)算量遠(yuǎn)遠(yuǎn)小于“全局比較”方法，這些方法（尤其是逐步回歸法）所以還是得到了廣泛應(yīng)用。 機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6565頁頁1.逐步剔除法（后退法，Backwa

39、rd Regression）。先建立一個(gè)包括所有可能自變量的回歸方程，然后逐個(gè)剔除作用不顯著的自變量，直到方程中所包括的自變量都有顯著作用為止。這種方法的缺點(diǎn)是，先剔除的變量不一定總是不顯著的，在剔除別的變量后，其作用有可能變得顯著，但整個(gè)過程是“只出不進(jìn)”，最終有可能漏掉起重要作用的變量；2.逐步添加法（前進(jìn)法，F(xiàn)orward Regression)。先從一個(gè)自變量開始，再將顯著變量逐個(gè)引入回歸方程。這個(gè)方法有一個(gè)問題是，先期引入的自變量，隨著其他變量的引人，由于多重共線性其作用可能變得不顯著了，但整個(gè)過程是“只進(jìn)不出”，最終會(huì)引入作用不顯著的自變量；機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 20

40、22-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6666頁頁3.逐步回歸法（Stepwise Regression）。逐步回歸可以克服逐步剔除法和逐步添加法的缺陷。其基本思想是“有進(jìn)有出”，根據(jù)各個(gè)自變量重要性的大小，每次選一個(gè)重要自變量進(jìn)入回歸方程，同時(shí)將不顯著的變量剔除掉。這種方法要求首先估計(jì)被解釋變量對(duì)每一個(gè)解釋變量的回歸方程，這些回歸方程叫做基本回歸方程。對(duì)每一個(gè)基本回歸方程進(jìn)行統(tǒng)計(jì)檢驗(yàn)，并根據(jù)經(jīng)濟(jì)理論分析這些回歸方程，從中選出最合適的基本回歸方程，然后再逐一加入其它的解釋變量，重新再作回歸。根據(jù)這個(gè)新加的解釋變量的邊際貢獻(xiàn)（樣本決定

41、系數(shù)的增加量）和標(biāo)準(zhǔn)差，并考察對(duì)每個(gè)回歸系數(shù)的影響，作如下的分析判斷：機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6767頁頁 第一，如果新加進(jìn)的解釋變量改進(jìn)了R2，并且其它回歸系數(shù)在統(tǒng)計(jì)上仍是顯著的，那么，就可以認(rèn)為新加進(jìn)去的解釋變量是有用的，作為模型中的解釋變量予以保留。 第二，如果加進(jìn)去的解釋變量未能改進(jìn)R2，對(duì)其它回歸系數(shù)也沒有影響，則不作為解釋變量。 第三、如果新加進(jìn)的解釋變量不僅改進(jìn)了R2，并且主要是顯著地影響了回歸系數(shù)的符號(hào)或數(shù)值，致使某些回歸系數(shù)達(dá)到不能接受的地步，則可斷言產(chǎn)生了嚴(yán)重

42、的多重共線性。 這個(gè)新加進(jìn)的變量在經(jīng)濟(jì)理論上可能十分重要，但由于它與其它解釋變量存在線性相關(guān)關(guān)系，使得普通最小機(jī)動(dòng) 目錄 上頁 下頁 返回 結(jié)束 2022-3-62022-3-6山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室山東財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院計(jì)量經(jīng)濟(jì)教研室第第6868頁頁二乘法估計(jì)失效。但舍棄的結(jié)果往往會(huì)不利于全面地、盡可能精確地描述經(jīng)濟(jì)現(xiàn)象，而且還可能會(huì)帶來隨機(jī)項(xiàng)與模型中的解釋變量相關(guān)。這時(shí)再進(jìn)行進(jìn)一步檢驗(yàn)，若相關(guān)的兩個(gè)解釋變量中一個(gè)可由另一個(gè)來解釋，則可以略去其中對(duì)因變量影響較小的一個(gè)，保留影響較大的一個(gè)。 如此繼續(xù)下去。一般地說，第t步是在未選的自變量中，選一個(gè)自變量與其他已經(jīng)選擇的自變量一起所組成t元回歸方程，并使該方程有更大的2R個(gè)選入回歸方程的自變量是真正重要的，需要對(duì)每一個(gè)進(jìn)入回歸