非線性變量關系的殘差序列

第五章 線性回歸的定式偏差,前面介紹的線性回歸分析建立在模型假設成立的基礎上，但這些假設并不必然成立。 本章討論變量關系非線性、存在異常值、規(guī)律性擾動和解釋變量缺落等，導致線性回歸模型前兩條假設不成立的定式偏差，包括它們對線性回歸分析的影響，判斷和處理的方法等。,本章結構,第一節(jié) 變量關系非線性 第二節(jié) 異常值 第三節(jié) 規(guī)律性擾動 第四節(jié) 解釋變量缺落 第五節(jié) 參數(shù)變化,第一節(jié) 變量關系非線性,一、問題 二、發(fā)現(xiàn)與判斷 三、問題處理和非線性回歸,一、問題,線性回歸模型都假設變量關系是線性隨機函數(shù)關系，或者經過特定數(shù)學變換以后是線性隨機函數(shù)關系。 但實際變量關系可能會存在偏差，存在用線性模型分析非線性關系的可能性。 把非線性變量關系當作線性關系處理，也可以說是違反誤差項均值為0的假設，對線性回歸分析的有效性有根本性的破壞作用。,例如若兩個變量之間的真實關系為： 其中 滿足 =0和線性回歸模型的其他假設，但如果我們直接用： 進行回歸分析，那么因為： 因此： 顯然不可能始終為0。,把非線性變量關系作為線性關系進行分析是變量關系的誤識別。 不僅會使得回歸分析的擬合程度降低，還會對經濟規(guī)律作出錯誤判斷，以及導致較大的預測偏差，屬于計量經濟分析比較嚴重的問題。,二、發(fā)現(xiàn)與判斷,由于有隨機擾動因素的影響，線性回歸模型的錯誤設定并不是很容易發(fā)現(xiàn)的。 發(fā)現(xiàn)和判斷變量關系非線性，首先是用數(shù)理經濟分析的方法，對模型的函數(shù)關系進行更深入的分析。 其次是根據數(shù)據和及其分布圖形、散點圖進行直接判斷。,更重要的方法是根據回歸殘差序列，從技術角度發(fā)現(xiàn)和判斷異常值問題。 回歸殘差序列根據被解釋變量的實際值和回歸理論值之差計算。 在EViews軟件進行回歸分析時，可以在得到回歸結果后在回歸結果窗口點擊View/Actual，F(xiàn)itted，Residual/ Actual，fitted，residual table，直接得到回歸殘差序列和殘差序列圖。 如果模型存在變量關系非線性問題，回歸殘差序列會表現(xiàn)出有規(guī)律的變化。,例如當發(fā)現(xiàn)模型的回歸殘差序列有圖5.1所示的規(guī)律性變化，就應該考慮存在把非線性關系（二次函數(shù)等）當作線性關系進行回歸的問題，必須進行處理。 圖5.1 非線性變量關系的殘差序列,用回歸殘差序列判斷變量關系非線性的最大問題是，線性回歸模型的其他某些一些問題，如參數(shù)（結構）改變等，與變量關系非線性的表現(xiàn)形式常常很相似，不容易正確區(qū)分。 因此必須結合問題背景分析、相關理論和經驗進行綜合判斷，然后再通過處理和結果的反復比較加以確定。,三、問題處理和非線性回歸,解決錯誤的第一步，是恢復變量之間的真實函數(shù)關系。 然后再設法通過冪函數(shù)、對數(shù)化等數(shù)學變換等，把非線性關系轉化為正確的線性回歸模型。 如果變量關系可以用初等數(shù)學變化轉化為線性模型，那么只要在轉化后再進行線性回歸分析就可以了。,但也有不少非線性變量關系無法通過初等數(shù)學變換轉化為線性模型。例如Y和X之間有兩變量關系如下： 其中 、 、 是未知參數(shù)，這個函數(shù)就無法通過初等數(shù)學變換轉化為線性模型。 這時候就需要直接處理非線性回歸模型。非線性回歸分析是線性回歸分析的自然擴展。,我們假設非線性函數(shù)關系為： 其中 是K個解釋變量， 是模型的P個參數(shù)， 為多元非線性函數(shù)，且對 是連續(xù)可微的。 對于這種非線性回歸模型，解決的方法之一是利用級數(shù)展開方法作非線性函數(shù)的近似線性函數(shù)，把模型強制性化為線性模型。,泰勒級數(shù)展開先要取一組參數(shù)的初始值： 然后將上述非線性函數(shù)在該點處對 作泰勒級數(shù)展開，并只取其中的線性項而忽略所有高次項，得到：,其中 為原變量關系中的誤差項 與泰勒級數(shù)展開的高階項之和。 整理上述展開式，移項合并可化為：,若令： 我們得到： 這是一個 對 的線性回歸模型，可以用最小二乘法估計其中參數(shù) 的估計值，我們記為,經過泰勒級數(shù)展開得到的線性模型只是原變量關系的近似，雖然可以把 作為原模型參數(shù)的估計，但效果可能沒有保證。 由于 和參數(shù)真實值的近似程度越高，級數(shù)展開忽略的高階項越不重要，因此提高級數(shù)展開初始值與參數(shù)真實值的近似程度有利于提高上述間接估計的精度。 提高近似程度的方法是，把前一次回歸得到的估計值作為新的級數(shù)展開初始值，再進行新的級數(shù)展開。然后再作變換和線性回歸，得到另一組參數(shù)估計值。,這個程序可以反復進行，直到參數(shù)估計值收斂或不再有大的變化。 最后得到的 就是非線性回歸模型的參數(shù)估計值。 除了上述泰勒級數(shù)展開線性化近似的迭代方法以外，還可以直接進行非線性回歸分析。 不過由計量軟件進行非線性回歸的迭代優(yōu)化分析就不存在這方面的困難，只要直接輸入相關命令即可。,例51某地消費函數(shù),表5.1 某地消費函數(shù)相關數(shù)據 年度 Y C 年度 Y C 年度 Y C 1950 791.8 733.2 1962 1170.2 1069.0 1974 1896.6 1674.0 1951 819.0 748.7 1963 1207.3 1108.4 1975 1931.7 1711.9 1952 844.3 771.4 1964 1291.0 1170.6 1976 2001.0 1803.9 1953 880.0 802.5 1965 1365.7 1236.4 1977 2066.6 1883.8 1954 894.0 822.7 1966 1431.3 1298.9 1978 2167.4 1961.0 1955 944.5 873.8 1967 1493.2 1337.7 1979 2212.6 2004.4 1956 989.4 899.8 1968 1551.3 1405.9 1980 2214.3 2000.4 1957 1012.1 919.7 1969 1599.8 1456.7 1981 2248.6 2024.2 1958 1028.8 932.9 1970 1688.1 1492.0 1982 2261.5 2050.7 1959 1067.2 979.4 1971 1728.4 1538.8 1983 2334.6 2145.9 1960 1091.1 1005.1 1972 1797.4 1621.9 1984 2468.4 2239.9 1961 1123.2 1025.2 1973 1916.3 1689.6 1985 2509.0 2312.6,為了選擇進行回歸分析的模型，可以用EViews軟件作兩個變量的散點圖。 建立工作文件和輸入收據后，用Graph命令或菜單操作可得到兩個變量的如下散點圖：,圖5.2 某地收入對消費的散點圖,根據對上述散點圖的直觀判斷，對消費和收入進行線性回歸分析基本上是合理的。 但是，如果我們進一步通過該回歸結果窗口的菜單操作得到下列殘差序列圖，如圖5.3，可以發(fā)現(xiàn)該回歸殘差序列顯示出明顯的規(guī)律性變化，包含了明顯的趨勢性。,圖5.3 某地消費函數(shù)回歸殘差序列圖,根據該殘差序列圖，可以考慮變量之間存在非線性關系的可能，因此可考慮采用泰勒級數(shù)展開方法作非線性函數(shù)的近似線性函數(shù)，把模型強制性化為線性模型。,第二節(jié) 異常值,一、問題 二、異常值的發(fā)現(xiàn)判斷 三、問題的處理,一、問題,現(xiàn)實經濟中常常存在這樣的情況，一些突發(fā)事件或變化對經濟活動、經濟關系造成短暫的，但卻是很顯著的沖擊影響。 這些影響既不能被看作微小的隨機擾動，但又不會決定或改變長期的經濟關系，或者說經濟規(guī)律。 這種情況在經濟數(shù)據上反映出來，就會表現(xiàn)為一個脫離基本趨勢的異常值。,如果所研究的經濟問題或相關數(shù)據中存在這種情況，建立線性回歸模型時又沒有預先處理或剔除這種影響，就會表現(xiàn)為模型誤差項在相應時點存在均值非0的問題。 例如變量Y 和X 在長期中的關系基本滿足線性回歸模型的各個假設，但在時刻 有一個突發(fā)情況，使得Y 出現(xiàn)一個C 單位的暫時性波動。那么如果用線性回歸模型： 分析這兩個變量的關系，其誤差項的均值是：,顯然不是 對任意i 都成立，也就是模型的假設（2）是不成立的。 這種情況如果不作處理，線性回歸分析的有效性也會受到不利影響。 異常值會使回歸分析結果出現(xiàn)較大偏差，參數(shù)估計量的性質和相關統(tǒng)計推斷都會失效。,二、異常值的發(fā)現(xiàn)判斷,發(fā)現(xiàn)和判斷異常值的方法之一是分析經濟問題的相關背景情況，包括對經濟現(xiàn)象、相關社會經濟事件以及數(shù)據序列的直接分析等。 殘差序列分析也是從技術角度發(fā)現(xiàn)和判斷異常值問題的基本方法。 因為異常值只是個別情況，最小二乘估計仍然是一致估計量，回歸殘差中會包含由于異常值所導致模型誤差項均值非0的信息。,回歸殘差序列分析發(fā)現(xiàn)和判斷異常值問題的方法,在模型假設成立的前提下，回歸殘差是服從正態(tài)分布的隨機變量，其取值95%左右的概率應分布在均值加減2倍標準差的范圍內。 如果發(fā)現(xiàn)某個殘差 出現(xiàn)： 其中 是殘差的標準差，模型在時點i處就很可能存在異常值問題。,上述回歸殘差序列分析等價于下列殘差序列圖分析。 把根據回歸殘差序列和殘差標準差計算出的 /S數(shù)據序列，描繪到以i為橫軸，以 /S為縱軸的坐標平面上，再在縱軸的 處畫上兩條水平的臨界線。 以誤差序列中是否有點落在兩條臨界線范圍之外作為判斷異常值的初步標準。,圖5.4 異常值的殘差序列圖檢驗,用EViews軟件進行回歸分析可以直接輸出殘差序列圖，并且在圖形中包括有兩倍標準差的臨界值，因此可以直接根據EViews輸出的殘差序列圖判斷是否有異常值的可能性。 如果有個別 /S坐標落在兩條臨界線的范圍以外，就意味著在i 時點上有異常值。 當然，如果落在臨界線以外的點有多個，那么一方面可以考慮存在多個異常值的可能性，另外也應該懷疑存在其他系統(tǒng)性偏差。,存在多個較大殘差不能簡單地認為是多個異常值，而是應該作進一步的深入分析，結合對其他問題的分析進行判斷。 此外，上述殘差序列判斷異常值的臨界值標準是95%置信度的，當 /S的絕對值落在2到3之間時，用95%的置信度判斷有異常值，而用99%的置信度判斷則可能沒有異常值，因此仍然存在模糊的地方。 這時候必須與問題背景分析結合起來考慮，并考慮各點殘差相對情況等。,三、問題的處理,如果判斷模型存在異常值問題，必須作針對性的處理。 例如一個兩變量線性回歸模型 ，在 處存在異常值問題： 解決的方法是引進一個針對性的虛擬變量D，其定義式為：,把這個虛擬變量引進原來的模型，得到一個新的回歸模型 ， 因此 在引進虛擬變量D的新模型中，異常值就不會造成模型誤差項出現(xiàn)均值非0的問題了，從而可以保證回歸分析的有效性。,例5-2 消費函數(shù)模型的異常值問題,圖5.5 消費函數(shù)殘差序列圖,根據圖中的殘差分布可以看出，1996、2001和2002年的回歸殘差絕對值，都大于2倍的殘差標準差，因此可能屬于異常值。 由于相比之下1996、1999、2000和2001四年的殘差偏離更大，而在去掉這幾年趨勢以后的其余年份基本上都在長期趨勢上，因此考慮引進四個虛擬變量。,再看引進虛擬變量后回歸的下列殘差序列圖，則現(xiàn)在是有多點而不是個別點在2倍標準差臨界值之外，而且都離臨界值不遠，并且2倍標準差的臨界值范圍也比未引進虛擬變量時小了許多，因此可不再認為存在異常值。,圖5.6 引進虛擬變量后的回歸殘差,第三節(jié) 規(guī)律性擾動,一、問題 二、問題的發(fā)現(xiàn)和判斷 三、問題的處理,一、問題,周期性或其他規(guī)律性擾動，也會使線性回歸模型的誤差項偏離零均值假設。 周期性擾動比較典型的例子是商業(yè)銷量指標的季節(jié)性變化。 這些問題并不影響變量關系的總體趨勢，但都會對變量關系產生規(guī)律性的影響，如果不預先加以處理或排除掉，就會導致誤差項均值非0問題的出現(xiàn)，影響回歸分析的效果。,例如變量Y 的季度數(shù)據中，第一季度總是受到一個季節(jié)性因素的影響。 如果我們忽視這種影響，用兩變量模型或多元模型研究Y 規(guī)律，就會遇到誤差項均值非0問題,二、問題的發(fā)現(xiàn)與判斷,由規(guī)律性擾動導致的誤差項均值非零問題的發(fā)現(xiàn)、判斷和處理，與異常值問題基本相似。 在發(fā)現(xiàn)和判斷方面，經濟問題的背景分析，以及同樣的回歸殘差序列分析，基本上都可以適用于規(guī)律性擾動問題。 規(guī)律性擾動在殘差序列圖上會表現(xiàn)為多個有規(guī)律的較大殘差，可以通過與問題背景的相互印證和分析，確定是否屬于規(guī)律性擾動。,三、問題的處理,解決規(guī)律性擾動問題的方法之一是對數(shù)據進行統(tǒng)計平滑處理，消除季節(jié)性或其他周期性擾動的影響。 但平滑處理存在兩個問題，一是不能區(qū)別趨勢因素和季節(jié)性擾動，不能真正確定所研究變量關系的具體變化軌跡，二是容易導致另一種問題，就是誤差序列自相關問題（以后會介紹）。 因此平滑處理并不是克服規(guī)律性擾動對線性回歸分析影響的好方法。,處理規(guī)律性擾動問題的較好方法也是引進虛擬變量，但有時需要引進多個虛擬變量。 以上面第一季度存在季節(jié)性因素影響的問題為例。如果在這個例子中，使用虛擬變量,把模型改為 或 Y 那么新模型就不再存在誤差項均值非0的問題，回歸分析的效果就能得到保證。 如果第一季度受到一種季節(jié)性因素擾動，第三季度受到另一種方向和力度不同因素的擾動。那么可以引進兩個虛擬變量,把這兩個虛擬變量同時引入模型，模型變?yōu)?或 Y 新模型同樣可以避免由于上述季節(jié)性擾動所導致的誤差項均值非0問題。 在對截面數(shù)據的計量經濟分析中，觀測對象特征差異導致的規(guī)律性擾動，也可以利用虛擬變量加以處理。,利用虛擬變量解決規(guī)律性擾動需要注意的是，引進虛擬變量是有限度的，需要謹慎，不能隨意引進。 因為引進更多虛擬變量意味著要估計更多參數(shù)和損失自由度，對回歸分析的效果有不利影響。 此外引進虛擬變量還可能落入“虛擬變量陷阱”。,例如如果上述季節(jié)性擾動模型中同時引進對應全部四個季節(jié)的，按照類似規(guī)則定義的四個虛擬變量為 、 、 和 ，那么這四個虛擬變量滿足相加和為1。 同時出現(xiàn)在一個模型中必然導致解釋變量嚴格線性相關，導致模型的崩潰。 因此在計量經濟分析中引進虛擬變量時需要謹慎，要注意避免虛擬變量陷阱。,第四節(jié) 解釋變量缺落,一、 問題 二、發(fā)現(xiàn)與判斷,一、問題,除了異常值和規(guī)律性擾動以外，還有一些定式偏差，如解釋變量缺落和參數(shù)改變，也是引起誤差項均值非0問題的常見原因。 所謂解釋變量缺落就是線性回歸模型設定的變量關系中，忽略了某些具有重要的，對被解釋變量有趨勢性影響的因素。 解釋變量缺落會引起誤差項均值非0很容易理解，因為被忽略的因素對被解釋變量的影響，會在誤差項中表現(xiàn)出來，導致誤差項不再是純粹的隨機擾動。,例如若真實變量關系應該為 其中 滿足 及多元線性回歸模型的其他假設。 如果建模時忽略了其中的變量 ，即采用變量關系 那么其中的誤差項,滿足 由于 、 和 之間不存在線性關系， 不可能始終等于0。 因此缺落重要解釋變量的線性回歸模型，必然違反誤差項0均值的假設。,二、發(fā)現(xiàn)與判斷,發(fā)現(xiàn)和判斷解釋變量缺落或模型參數(shù)改變的基本方法，也是經濟問題背景分析和殘差序列分析相結合。 在原模型回歸分析的基礎上對回歸殘差序列進行分析，如果發(fā)現(xiàn)殘差序列有某種趨勢性，那么可以根據問題背景考慮是否忽略了有重要性的因素。,若以懷疑缺落的變量 為橫軸，殘差e為縱軸，作殘差序列分布圖。如發(fā)現(xiàn) 和e 確實有相關性，如圖所示，可初步認為模型缺落了 。,解釋變量缺落和模型參數(shù)改變問題的處理方法比較簡單，因為針對性地加入所缺落的變量，或根據參數(shù)改變的時間分不同時期段進行分段回歸，就可以解決這些問題。,第五節(jié) 參數(shù)變化,一、 問題 二、 發(fā)現(xiàn)和判斷,一、 問題,參數(shù)改變指在考察期間（樣本數(shù)據觀測范圍），變量關系中的參數(shù)發(fā)生變化，就是變量關系本身發(fā)生變化。 這時實際上不能用同一個線性回歸模型研究變量在整個考察期間的關系。 如果忽略這種模型參數(shù)變化，也會導致誤差項均值非0問題。,以兩變量線性關系在考察期0，T 中的t時刻參數(shù)發(fā)生變化為例。 真實的變量關系可以用0，t 和（t，T）兩個時期中的兩個模型分別表示 其中 和 都滿足均值為0和線性回歸模型的其他假設，且 ， 。,如果忽略了模型參數(shù)的上述變化，簡單地用同一變量關系 ，代表Y和X在整個0，n時期的關系，那么因為在兩個時期中模型的誤差項 分別為： 因此兩個時期誤差項的均值分別為,很顯然，除非 和 同時成立，否則的均值不可能在兩個時期都始終為0。 如果兩個等式同時成立，就意味著兩個時期參數(shù)沒有變化，與假設的情況不一致。因此在參數(shù)發(fā)生改變時，必然導致誤差項均值非0的問題。,二、發(fā)現(xiàn)與判斷,發(fā)現(xiàn)和判斷模型參數(shù)改變的基本方法，也是經濟問題背景分析和殘差序列分析相結合。 如果以i為橫軸，殘差e為縱軸的殘差序列分布，存在某個時刻附近轉折的情況，如圖5.8所示，應該考慮變量關系在該時刻可能存在參數(shù)改變。,圖5.8 參數(shù)變化,根據情況分析和殘差序列圖的判斷不是絕對可靠的，問題典型性不強時更難下結論。 而且變量關系非線性、解釋變量缺落和參數(shù)變化等問題在殘差分布中的表現(xiàn)往往很