多元線性回歸模型的參數(shù)估計(jì)

1、3.2 多元線性回歸模型的估計(jì)多元線性回歸模型的估計(jì) 估計(jì)方法：OLS、ML或者M(jìn)M一、普通最小二乘估計(jì)一、普通最小二乘估計(jì) * *二、最大或然估計(jì)二、最大或然估計(jì) * *三、矩估計(jì)三、矩估計(jì) 四、參數(shù)估計(jì)量的性質(zhì)四、參數(shù)估計(jì)量的性質(zhì) 五、樣本容量問題五、樣本容量問題 六、估計(jì)實(shí)例六、估計(jì)實(shí)例 一、普通最小二乘估計(jì)一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有： i=1,2n根據(jù)最小二乘原理最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解 0000210QQQQk其中2112)(niiiniiY

2、YeQ2122110)(nikikiiiXXXYKikiiiXXXY22110于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組正規(guī)方程組： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 解該（k+1）個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1)個(gè)待估參數(shù)的估計(jì)值, , ,jjk 012 。正規(guī)方程組正規(guī)方程組的矩陣形式矩陣形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111即YXX)X(由于XX滿

3、秩，故有 YXXX1)(將上述過程用矩陣表示矩陣表示如下： 即求解方程組：0)()(XYXY0)(XXXYYXYY0)2(XXXYYY0XXYX得到： YXXX1)(XXYX于是：例例3.2.1：在例2.1.1的家庭收入家庭收入-消費(fèi)支出消費(fèi)支出例中， 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX可求得 0735. 10003. 00003. 07226. 0)(1EXX于是 7770. 0172.10339648400156740735. 10003. 00003.

4、 07226. 021E正規(guī)方程組正規(guī)方程組 的另一種寫法對(duì)于正規(guī)方程組正規(guī)方程組 XXYXXXeXXX于是 0eX或 0ie0iijieX(*)或（*）是多元線性回歸模型正規(guī)方程組正規(guī)方程組的另一種寫法 (*)(*)樣本回歸函數(shù)的離差形式樣本回歸函數(shù)的離差形式ikikiiiexxxy2211i=1,2n其矩陣形式矩陣形式為 exy其中 ：nyyy21yknnnkkxxxxxxxxx212221212111xk21在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為 kkXXY110yxxx1)(隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) 的方差的方差 的無偏估計(jì)的無偏估計(jì) 可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為 1122kn

5、kneiee * *二、最大或然估計(jì)二、最大或然估計(jì) 對(duì)于多元線性回歸模型ikikiiiXXXY 22110易知),(2XiNYi Y的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin即為變量Y的或然函數(shù)或然函數(shù) 對(duì)數(shù)或然函數(shù)為)()(21)2()( 2*XYXYnLnLLnL對(duì)對(duì)數(shù)或然函數(shù)求極大值，也就是對(duì) )()(XYXY求極小值。 因此，參數(shù)的最大或然估計(jì)最大或然估計(jì)為為YXXX1)(結(jié)果與參數(shù)的普通最小二乘估計(jì)相同結(jié)果與參數(shù)的普通最小二乘估計(jì)相同* *三、矩估計(jì)三、矩估計(jì)（M

6、oment Method, MM） OLS估計(jì)是通過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正正規(guī)方程組規(guī)方程組YXX)X(并對(duì)它進(jìn)行求解而完成的。 該該正規(guī)方程組正規(guī)方程組 可以從另外一種思路來導(dǎo): XYXXXYXXX(YX)求期望 :0XYX)(E0XYX)(E稱為原總體回歸方程的一組矩條件矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。 0)1X(YXn由此得到正規(guī)方程組正規(guī)方程組 YXXX解此正規(guī)方程組即得參數(shù)的MM估計(jì)量。 易知MM估計(jì)量與與OLS、ML估計(jì)量等價(jià)。矩方法矩方法是是工具變量方法工具變量方法(Instrumental Variables,IV)和和廣義矩估計(jì)方法廣義矩估計(jì)方法(Gener

7、alized Moment Method, GMM)的基礎(chǔ)的基礎(chǔ) 在在矩方法矩方法中關(guān)鍵是利用了中關(guān)鍵是利用了 E(X )=0 如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。 如果存在k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM。 四、參數(shù)估計(jì)量的性質(zhì)四、參數(shù)估計(jì)量的性質(zhì) 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計(jì)、最大或然估計(jì)最大或然估計(jì)及矩估計(jì)矩估計(jì)仍具有： 線性性線性性、無偏性無偏性、有效性有效性。 同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有： 漸近無偏性、漸近有效性、一致性漸近無偏性、漸近有效性、一致性

8、。 1、線性性、線性性 CYYXXX1)(其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無偏性、無偏性 XXXXXXXYXXX11)()()()()()(1EEEE這里利用了假設(shè): E(X )=0 3、有效性（最小方差性）、有效性（最小方差性） 其中利用了 YXXX1)(XXXXXXX11)()()(和I2)(E 五、樣本容量問題五、樣本容量問題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數(shù)目

9、（包括常數(shù)項(xiàng)）的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1因?yàn)椋瑹o多重共線性要求：秩(X)=k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度從統(tǒng)計(jì)檢驗(yàn)的角度： n30 時(shí)，Z檢驗(yàn)才能應(yīng)用； n-k8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明得到理論上的證明 六、多元線性回歸模型的參數(shù)估計(jì)實(shí)例六、多元線性回歸模型的參數(shù)估計(jì)實(shí)例 例例3.2.2 在例2.5.1中，已建立了中國居中國居民人均消費(fèi)民人均消費(fèi)一元線性模型。這里我

10、們?cè)倏紤]建立多元線性模型。解釋變量：解釋變量：人均GDP：GDPP 前期消費(fèi)：CONSP(-1)估計(jì)區(qū)間估計(jì)區(qū)間：19792000年Eviews軟件估計(jì)結(jié)果 LS / Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C 120.7000 36.51036 3.305912 0.0037 GDPP 0.221327 0.060969 3.630145 0.0018 CONSP(-1) 0.451507 0.170308 2.651125 0.0158 R-squared 0.995403 Mean dependent var 928.4946 Adjusted R-squared 0.994920 S.D. dependent var 372.6424 S.E. of regression 26.56078 Akaike info crite