多元回歸模型new

1、多元回歸模型一、模型的設定和求解 為擾動項 Y與X之間存在著線性關系，有關擾動項u的假設和一元回歸類似。若樣本容量為n，則模型可以寫為： 模型可以用矩陣表示如下：Y=XB+U 利用最小二乘法求系數(shù)的解：最小二乘的意思就是殘差的平方和達到最小，也就是最小殘差平方和于是注意根據(jù)矩陣的基本定理=，則，而與都是矩陣，故兩者同值。對殘差平方和求偏導，并令其為零?；貧w方程的顯著性檢驗：回歸系數(shù)的顯著性檢驗：t檢驗可以證明，在回歸方程中自變量的系數(shù)的分布為：是矩陣主對角線上的元素，由于無法直接得到，故以樣本殘差來代替：，因此可以t統(tǒng)計量來檢驗假設統(tǒng)計量回歸方程的顯著性檢驗：運用F統(tǒng)計量 二、多重共線性定義：

2、回歸模型中有兩個或兩個以上的自變量相關。問題：當變量相關時， 回歸系數(shù)的解會存在問題，一是完全無解，二是系數(shù)不穩(wěn)定。而且可能對參數(shù)估計的正負號產(chǎn)生影響。（參數(shù)估計的正負號與預期相反）多重共線性的判別：見書P363頁多重共線性的處理：變量選擇法三、虛擬自變量的回歸解釋變量的分類：定量變量：反映數(shù)量大小的變量；如收入，產(chǎn)量，價格，成本等。一般用X表示。定性變量：又稱屬性變量 ，很難直接度量其大小，如性別，種族，職業(yè)，受教育水平，季節(jié)，戰(zhàn)爭，地震，罷工等。一般用D表示。2由于定性變量常指某一“性質(zhì)”或“屬性”出現(xiàn)或不出現(xiàn)，因此“量化”這些變量的一個方法是構造一個取值為1或0的人為變量，即：取這樣的1

3、或0值的變量叫做虛擬變量（Dummy Variables）。例： ； 方差分析模型（ANOVA）當模型中的解釋變量只有虛擬變量時，稱為方差分析模型（analysis of variance models）。例：分析大學畢業(yè)生和非大學畢業(yè)生的初職年薪是否存在差異。假設設定以下回歸模型：其中，Y表示初職年薪； 也應是說，對于大學畢業(yè)生而言，其D1，代入模型中可得：，其期望值為：對于非大學畢業(yè)生而言，其D0，代入模型可得：， 其期望值為：也就是說，原模型是假設大學畢業(yè)生的初值年薪與非大學生的初職年薪顯著不同，其平均差距為虛擬變量D的系數(shù)b2。被賦予零值的那個類別被稱為是基底或基準(base，benc

4、hmark)，也就是說，它被用于和其它類別比較的基礎。共同的截距項b1就是基底類的截距項。虛擬變量D的系數(shù)b2被稱為級差截距系數(shù)（differential intercept coefficient），它告訴我們?nèi)≈禐?的類別的截距值和基底類的截距值相比有多少差別。虛擬變量顯著性檢驗：t 檢驗顯著表明虛擬變量被賦予1值的分類與基底類的差異是顯著的。包含一個定量變量，一個虛擬變量的回歸模型在實際分析中，很少使用前面提到的方差分析模型，更多的是用到既有定量變量，又有虛擬變量作為解釋變量的回歸模型，這樣的回歸模型稱為協(xié)方差分析模型（ANCOVA）。例：分析大學教師的工資的主要影響因素。設定以下回歸模

5、型：其中，Y為大學教師的年薪；X為教齡； 這個模型認為，大學教師的年薪主要受兩個因素的影響，一個是教齡，另一個是性別。 并且假設性別只對大學教師年薪的截距產(chǎn)生影響，年薪對教齡的變化率不受性別影響（即男女教師具有相同的斜率）。可以將以上模型分解為：女教師的年薪模型：D0 截距為：b1（基底類的截距）男教師的年薪模型：D1 截距為：b1+b2級差截距為：b2虛擬變量的顯著性檢驗的意義：D的t統(tǒng)計量顯著表明男女教師的年薪的差異是顯著的，平均而言，男教師的年薪比女教師高b2個單位。虛擬變量的設置規(guī)則對于有截距項的回歸模型，其虛擬變量的設置規(guī)則為：某一屬性變量如果有m種互斥的分類，則針對這一屬性應在模型

6、中引入m-1個虛擬變量。 例如：假設旅游支出主要受收入和教育因素的影響。其中，收入是定量變量，教育是定性變量。假設教育水平可以分為三類：大學以上水平，中學水平,和未達到中學水平。因此模型中應引入的虛擬變量的個數(shù)為312個。模型可設定如下： 其中，Y表示旅游支出，X表示收入水平， 所以模型中三類教育水平的截距分別為：未達到中學水平： b1 D10； D20中 學 水 平： b1+b3 D1=0 ； D21大學以上 水 平： b1+b2 D11 ；D2=0這樣設置的目的是為了防止虛擬變量陷阱，即完全的多重共線性問題。例如，假設分析大學教師的工資的主要影響因素。設定以下回歸模型： 其中，Y為大學教師

7、的年薪；X為教齡； 即按性別的二種分類設置了兩個虛擬變量，則解釋變量序列為： 截距 D1 D2 X即 截距（D1D2）0，也就是說，解釋變量之間出現(xiàn)了完全的多重共線性，它將導致無法估計模型的參數(shù)。包含一個定量變量，兩個定性變量的回歸模型例：設大學教師的年薪Y除了受定量變量教齡X影響外，還受性別和膚色兩個定性變量的影響。為了簡便，假設膚色有兩種分類：白種和非白種。所以模型中共應引入兩個虛擬變量，一個反映男女的差別，一個反映膚色的差別。設定的回歸模型如下： 其中，Y年薪；X教齡； 以上模型可以分解為四種不同的對象的模型：（假設斜率都相同）白種男教師的年薪模型： 非白種男教師的年薪模型： 白種女教師

8、的年薪模型： 非白種女教師的年薪模型： 虛擬變量的其它引入方式前面的模型中都假設虛擬變量的引入只改變了原模型（未加入虛擬變量的模型）的截距，但不改變原模型的斜率。但實際中，有可能會改變斜率，或同時改變斜率和截距。1 改變斜率的模型（乘法模型）的設定：例：分析大學教師的工資的主要影響因素。假定除教齡外，性別還會對模型的斜率產(chǎn)生影響，所以可以設定以下回歸模型：其中，Y為大學教師的年薪；X為教齡；女教師的年薪模型：D0 斜率為：b3（基底類的斜率）男教師的年薪模型：D1 斜率為：b2+b3級差斜率為：b2虛擬變量顯著性檢驗的意義： 表明性別差異是否對年薪對教齡的變化率會產(chǎn)生顯著的影響。2 同時影響截距和斜率：設定以下回歸模型：其中，Y為大學教師的年薪；X為教齡；女教師的年薪模型：