第4章 多元回歸：估計(jì)與假設(shè)檢驗(yàn)

1、第四章 多元回歸：估計(jì)與假設(shè)檢驗(yàn)本章要點(diǎn)1.三變量線性回歸模型2.多元線性回歸模型的若干假定2.三變量線性回歸模型的OLS估計(jì)量以及OLS估計(jì)量的方差與標(biāo)準(zhǔn)誤3.多元回歸的擬合優(yōu)度：多元判定系數(shù)R24.多元回歸的假設(shè)檢驗(yàn)5.其他問(wèn)題一、三變量線性回歸模型及古典模型的假定 三變量線性回歸模型的非隨機(jī)總體回歸函數(shù)（PRF）一般可以表示為： 隨機(jī)形式： 其中，Y為應(yīng)變量；X1,X2為解釋變量；u為隨機(jī)誤差項(xiàng)；t表示第t期觀察值。B1是截距，表示當(dāng)X1,X2為零時(shí)Y的平均值。B2、B3稱為偏回歸系數(shù)。l三變量線性回歸模型的PRF也是給出了在給定解釋變量的情況下，相應(yīng)的Y總體的條件均值。12233()t

2、ttEYBBXBX12233()ttttttYBBXBXuEYu 偏回歸系數(shù) 三變量線性回歸模型中的斜率系數(shù) B2,B3 稱為偏回歸系數(shù)(Partial regression coefficient)或偏斜率系數(shù)(partial slope coefficient)。 其表示的意義為 B2度量了在 X3 保持不變的情況下單位X2變動(dòng)引起Y均值的改變量； 同樣，B3度量了在X2保持不變的情況下,單位X3變動(dòng)引起Y均值的改變量。 例如：23( )15 1.20.8tttE YXX 包含多個(gè)解釋變量的回歸模型稱為多元回歸模型。多元是指由多種因素對(duì)應(yīng)變量有影響。本章將以三變量線性回歸模型為例來(lái)講解多元

3、回歸模型。一旦掌握了三變量模型，就很容易將結(jié)論擴(kuò)展到更多元的線性回歸模型。多元線性回歸模型的若干假定(1)回歸模型是參數(shù)線性的(2)回歸模型是正確設(shè)定的。(3)解釋變量與隨機(jī)誤差項(xiàng)不相關(guān)。(4)隨機(jī)誤差項(xiàng)均值為零多元回歸模型(5)不同隨機(jī)誤差項(xiàng)的方差相同，即：(6)不同隨機(jī)誤差項(xiàng)之間不相關(guān)，或者無(wú)自相關(guān)，即：(7)解釋變量 X2和X3之間不存在完全共線性，即兩個(gè)解釋變量之間無(wú)嚴(yán)格的線性關(guān)系。 如果變量 X2能表示為另一變量 X3的線性函數(shù)，則稱 X2 和X3之間是共線性的。在X2和X3存在共線性的情況下,不能通過(guò)一個(gè)樣本估計(jì)出B2和B3的參數(shù)值。 注意：雖然在實(shí)際中很少遇到完全共線性的情況，但

4、是高度共線性或近似共線性的情況還是很常見的。(8)隨機(jī)誤差項(xiàng)服從均值為零，方差為 的正態(tài)分布，即：cov( ,)0,iju uij22v a r()tu2(0 ,)tuN二、三變量線性回歸模型的OLS估計(jì)量1.三變量線性回歸模型的OLS估計(jì)量 設(shè)某三變量線性回歸模型，其隨機(jī)樣本回歸函數(shù)為： 其中，b1 、b2、b3 分別是 B1、B2、B3的估計(jì)量 為殘差。確定樣本回歸函數(shù)為： 根據(jù)OLS的原理，求解 b1 、b2 、b3 的方法是選擇 b1、 b2、b3 使得下式中的RSS最小化，即： RSS RSS（YtYt真實(shí)值與估計(jì)值之差的平方和）真實(shí)值與估計(jì)值之差的平方和）12233ttttYbb

5、Xb Xete12233tttYbb Xb X1232212233minRSS:()ttttbbbeYbb Xb X、求解該最小化問(wèn)題后得到如下正規(guī)方程式：將以上三個(gè)正規(guī)方程做簡(jiǎn)單代數(shù)變換，得到：12233Ybb Xb X221222323tttttYXbXbXbXX231322333ttttttY XbXbXXbX12233bYb Xb X22332322222323()()()()()()()ttttttttttty xxy xxxbxxxx23222332222323()()()()()()()ttttttttttty xxy xxxbxxxx其中，小寫字母表示與其樣本均值的離差，（例如

6、： ）ttyYY2.三變量模型OLS估計(jì)量的方差與標(biāo)準(zhǔn)誤根據(jù)三變量線性回歸模型OLS估計(jì)量的推導(dǎo)式可以知道， 、 、 估計(jì)量的方差與標(biāo)準(zhǔn)誤為：1b2b3b22222332232321222232321var()()ttttttttXxxxX Xxxbnxxxx11()var()se bb23222222323var()()()()tttttxbxxx x22()var()se bb22232222323var()()()()tttttxbxxxx33()var()se bb 對(duì)于以上諸式中的未知量 ，可用其OLS估計(jì)量來(lái)代替，即：3.高斯-馬爾柯夫定理 在滿足古典線性回歸模型假設(shè)的前提下，多元

7、線性回歸模型中參數(shù)的估計(jì)量依然是總體回歸模型參數(shù)的最優(yōu)線性無(wú)偏估計(jì)量（BLUE）。223ten2三、多元回歸擬合優(yōu)度的判定：多元判定系數(shù)對(duì)于多元線性回歸模型來(lái)說(shuō)，也有如下等式的成立： 與雙變量模型相同，決定系數(shù) 定義為：2ESSRTSS2R其中，為應(yīng)變量的總平方和；為回歸平方和為殘差平方和。TSSESSRSSTSSESSRSS四、多元回歸的假設(shè)檢驗(yàn)在隨機(jī)誤差項(xiàng)服從正態(tài)分布以及多元回歸的其他基本假定的情況下，可以證明、均服從均值分別為 、和，方差分別為 、 、 的正態(tài)分布。1.回歸系數(shù)的顯著性檢驗(yàn)。針對(duì) 的原假設(shè)和備擇假設(shè)為： 進(jìn)行假設(shè)檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量為： 針對(duì) ， 的原假設(shè)和備擇假設(shè)分別為：1

8、b2b3b1B2B3B0111:0;:0.HBHB1131()nbBttse b2232()nbBttse b3333()nbBttse b1( )Var b2()Var b3()Var b1B2B3B0212:0;:0.HBHB0313:0;:0.HBHB及檢驗(yàn)統(tǒng)計(jì)量分別為： 顯著性檢驗(yàn)法1.對(duì)于假設(shè)2.計(jì)算t值3.根據(jù)顯著性水平 計(jì)算臨界值并得到拒絕域4.比較t值和拒絕域并作出判斷 置信區(qū)間法 由于多元線性回歸模型截距和系數(shù)的檢驗(yàn)統(tǒng)計(jì)量為t統(tǒng)計(jì)量，即： 所以可以得到一個(gè)該參數(shù)的置信度為 的置信區(qū)間： 滿足：01:0;:0,1,2,3iiHBHBi3()iinibBttse b/ 2/ 2(

9、3)(),(3)()iiiibtnse bbtnse b/ 2/ 2(3)()(3)()1iiiiiP btnse bBbtnse b1 對(duì)比參數(shù)的置信區(qū)間和零假設(shè)值，如果置信區(qū)間包含零假設(shè)值，則不能拒絕零假設(shè)，否則，拒絕零假設(shè)。2.檢驗(yàn)聯(lián)合假設(shè)： 對(duì)于一個(gè)多元線性回歸模型來(lái)說(shuō)，一個(gè)或多個(gè)解釋變量各自對(duì)應(yīng)變量沒(méi)有影響，但卻有可能聯(lián)合對(duì)應(yīng)變量有影響。所以有必要對(duì)這些變量的系數(shù)作聯(lián)合的假設(shè)檢驗(yàn)，即檢驗(yàn)假設(shè)： 或 以上檢驗(yàn)稱為多元回歸的總體顯著性檢驗(yàn)。 如何檢驗(yàn)?zāi)?？可以采用方差分析的公式?20:0HR023:0HBB2023:00HBBR或T S SE S SR S S 對(duì)于TSS、RSS、ESS

10、來(lái)說(shuō)，其自由度分別為：對(duì)于三變量線性回歸模型來(lái)說(shuō)，有下表 在滿足CLRM基本假定，在零假設(shè)： 下 可以證明變量服從分子自由度為k-1，分母自由度為n-k的F分布，即：對(duì)于三變量線性回歸模型來(lái)說(shuō)，則有：023:0HBB23XX/./(1)/./()E SSdfE SSkFR SSdfR SSnk由和解 釋 的 變 異未 解 釋 的 變 異(1,)FFknk(2,3)FFn F檢驗(yàn)的理論原理是：如果Y由回歸解釋的部分（即由X2和X3解釋的部分）比未被回歸解釋的部分大，則F值將大于1。因此，隨著解釋變量對(duì)應(yīng)變量Y變異的解釋比例逐漸增大，F(xiàn)值也將逐漸增大。因此，F(xiàn)值越大，則拒絕零假設(shè)的理由越充分。 例

11、如：古董鐘拍賣價(jià)格一例（見課本第77頁(yè)） 回歸結(jié)果如下： 從結(jié)果來(lái)看，獲得F值的概率幾乎為0，所以，能夠拒絕零假設(shè)：鐘表年代和競(jìng)標(biāo)人數(shù)聯(lián)合對(duì)古董競(jìng)標(biāo)價(jià)格沒(méi)有影響。 F與 之間的重要關(guān)系 可以證明，判定系數(shù) 與F值之間有如下重要關(guān)系： 其中，n為觀察值的個(gè)數(shù)，k為包括截距在內(nèi)的解釋變量的個(gè)數(shù)。 因此，可以說(shuō)，前面討論過(guò)的F檢驗(yàn)也可用于檢驗(yàn) 的顯著性。鑒于此，對(duì)于總體回歸方程的顯著性的F檢驗(yàn)可以采用 的形式。方差分析表也可以等價(jià)地表示為下表：2R22/(1)(1) /()RkFRnk2R2R2R五、多元回歸的其他問(wèn)題1.設(shè)定誤差的定義 以鐘表拍賣為例，可以設(shè)立拍賣價(jià)格和鐘表年代的一元線性回歸模型，

12、拍賣價(jià)格和競(jìng)標(biāo)人數(shù)的一元線性回歸模型，拍賣價(jià)格和鐘表年代、競(jìng)標(biāo)人數(shù)的三變量線性回歸模型。其回歸結(jié)果如下：21 9 1 .6 6 6 21 0 .4 8 5 6iiYX38 0 7 .9 55 4 .5 7iiYX23(7 .6 2 2 6 )(1 3 .9 6 5 3 )( 9 .7 4 3 7 )1 3 3 6 .0 4 91 2 .7 4 18 5 .7 6 4iiitYXX t = (-0.7248) (5.8457) r2=0.5325 F=34.17 t = (3.496) (2.345) r2=0.1549 F=5.502 P = (0.0000) (0.00000) (0.000

13、00) R2=0.89 F=118.06 注意，在兩個(gè)雙變量模型中，解釋變量的影響包括了該解釋變量的直接影響和其他變量的間接影響；而在三變量模型中，當(dāng)推導(dǎo)一個(gè)解釋變量對(duì)應(yīng)變量的影響時(shí)，則是假設(shè)另外一個(gè)解釋變量保持不變，這是一種凈影響或凈效果。 除了以上的一點(diǎn)外，從以上三個(gè)回歸方程式可以知道，鐘表年代和競(jìng)標(biāo)人數(shù)無(wú)論是單獨(dú)地，還是聯(lián)合地都對(duì)拍賣價(jià)格有重要影響。因此，如果從模型式中省略任何一個(gè)變量，都會(huì)導(dǎo)致設(shè)定偏差，或設(shè)定誤差。 經(jīng)驗(yàn)告訴我們，建模過(guò)程中，要以經(jīng)濟(jì)理論為依據(jù)，并充分利用以往的工作經(jīng)驗(yàn)，一旦建立起模型，就不要隨意地從模型中刪除某個(gè)解釋變量。2.校正的判定系數(shù) 校正的判定系數(shù)的提出是因?yàn)?/p>

14、普通的判定系數(shù) 會(huì)隨著解釋變量的個(gè)數(shù)的增加而變大，比如鐘表拍賣價(jià)格一例。這是因?yàn)椋?的定義中，并沒(méi)有考慮到不同模型自由度的差異。2R2R2R 正是基于以上不足，計(jì)量經(jīng)濟(jì)學(xué)者們提出了能根據(jù)模型中解釋變量的個(gè)數(shù)進(jìn)行調(diào)整的，經(jīng)過(guò)調(diào)整的判定系數(shù)，稱為校正判定系數(shù) 。其計(jì)算公式為： 校正的判定系數(shù)有如下性質(zhì)：(1)如果 ，則 。隨著模型中解釋變量個(gè)數(shù)的增加，校正判定系數(shù)越來(lái)越小于未校正判定系數(shù)。(2)雖然未校正判定系數(shù)總為正，但校正判定系數(shù)可能為負(fù)。3.什么時(shí)候增加新的解釋變量？ 通常的做法是：只要校正判定系數(shù) 的值增加（即使 值小于 的值），就可以增加新的解釋變量。但問(wèn)題是，什么時(shí)候 值開始增加呢？

15、理論表明：如果增加變量系數(shù)的|t|值大于1， 就會(huì)增加，這里的t值是在零假設(shè)：總體系數(shù)為零下計(jì)算得到的。（例子：p166） 2R2211(1)nRRnk1k 22RR2R2R2R2R2R4.受限最小二乘(略) 對(duì) 的F檢驗(yàn)提供了對(duì)所有回歸系數(shù)為零的原假設(shè)的檢驗(yàn)，但是有時(shí)我們想對(duì)部分回歸系數(shù)所組成的子集是否顯著進(jìn)行聯(lián)合檢驗(yàn)（比方說(shuō)，在有四個(gè)解釋變量的線性回歸模型中，對(duì)其中的三個(gè)作是否共同顯著的聯(lián)合檢驗(yàn)）。 考慮如下模型： 因?yàn)殛P(guān)于這個(gè)模型系數(shù)沒(méi)有任何假設(shè)，稱為非受限模型（UR）。假設(shè)我們想檢驗(yàn)其中q個(gè)回歸系數(shù)是否同時(shí)為零，為此，可以將上式分為兩部分，第一部分包含k-q個(gè)變量（包括常數(shù)項(xiàng)），第二部分包含q個(gè)變量。 如果所有后q個(gè)系數(shù)都為零，則修正后的模型將為受限模型（R）：（原假設(shè)則為 ）2R122 ,ttkk ttYBB