計量經(jīng)濟學 第三章 多元線性回歸.ppt

高等學校經(jīng)濟學類核心課程,計量經(jīng)濟學,Econometrics,云南財經(jīng)大學數(shù)量經(jīng)濟系,第三章多元線性回歸模型,3.1多元線性回歸模型3.2多元線性回歸模型的參數(shù)估計3.3多元線性回歸模型的統(tǒng)計檢驗3.4多元線性回歸模型的預測3.5可線性化的多元非線性回歸模型3.6受約束回歸,3.1多元線性回歸模型,一、模型形式二、基本假定,一、模型形式,注意：（1）解釋變量X的個數(shù)：k回歸系數(shù)j的個數(shù)：k1（2）j：偏回歸系數(shù)，表示了Xj對Y的凈影響（3）X的第一個下標j區(qū)分變量（j1，2，k）第二個下標i區(qū)分觀測（i1，2，n）,總體回歸函數(shù)（PRF）,樣本回歸函數(shù)（SRF）,樣本回歸模型（SRM）,其中：ei稱為殘差(residuals)，可看成是隨機誤差項i的近似替代。,2、于是，總體回歸模型可以表示為：,總體回歸模型的矩陣表示,1、總體回歸模型表示了n個隨機方程，引入如下矩陣記號：,2、于是，樣本回歸模型和函數(shù)可以表示為：,樣本回歸模型和函數(shù)的矩陣表示,1、同理，采用如下矩陣記號：,二、多元線性回歸模型的基本假設(shè),假設(shè)1：解釋變量是非隨機的或固定的，且各X之間互不相關(guān)（無多重共線性）。假設(shè)2：隨機誤差項具有零均值、同方差和無序列相關(guān)性：E(i)=0Var(i)=2i=1,2,NCov(i,j)=0iji,j=1,2,N假設(shè)3：隨機誤差項與解釋變量X之間不相關(guān)：Cov(Xji,i)=0i=1,2,N假設(shè)4：服從零均值、同方差、零協(xié)方差的正態(tài)分布iN(0,2)i=1,2,N,基本假設(shè)的矩陣表示,假設(shè)1:n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X列滿秩。假設(shè)2:,假設(shè)4:向量有一多維正態(tài)分布，即,暗含假設(shè),假設(shè)5：樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n時，,假設(shè)6：回歸模型是正確設(shè)定的,或,其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣,3.2多元線性回歸模型的參數(shù)估計,一、普通最小二乘估計二、參數(shù)估計量的性質(zhì)三、樣本容量問題,參數(shù)估計的任務和方法,1、估計目標：回歸系數(shù)j、隨機誤差項方差22、估計方法：OLS、ML或者MM,*OLS：普通最小二乘估計*ML：最大似然估計*MM：矩估計,一、普通最小二乘估計,基本思想：殘差平方和最小基于取得最小值的條件獲得系數(shù)估計）,殘差平方和：,取得最小值的條件：,正規(guī)方程組：,解此（k1）個方程組成的正規(guī)方程組，即可求得（k+1)個未知參數(shù)j的估計。,最小二乘估計的矩陣表示,1、正規(guī)方程組的矩陣形式,2、由于XX滿秩(其逆矩陣存在），故有,OLSE的矩陣估計過程,矩陣有關(guān)定理,殘差平方和的矩陣表示為：,#參數(shù)估計的實例,例3.2.1：在例2.1.1的家庭收入-消費支出例中，,誤差方差2的估計,1、基于OLS下，隨機誤差項的方差的無偏估計量為,注意：分母的形式：n-k-1=n-(k+1)。k：解釋變量X的個數(shù)；k+1：回歸系數(shù)的個數(shù),2、稱為估計標準誤或者回歸標準誤（S.Eofregression）,*最大似然估計*（MaximumLikelihoodEstimate）,1、基本原理：樣本觀測值出現(xiàn)的概率最大。2、似然函數(shù)：,3、最大似然估計MLE：,參數(shù)的MLE與參數(shù)的OLSE相同,*矩估計*（MomentMethod，MM）,1、OLS估計是通過得到一個關(guān)于參數(shù)估計值的正規(guī)方程組,并對它進行求解而完成的。,2、該正規(guī)方程組可以從另外一種思路來導出:,兩側(cè)求期望:,矩條件,*矩條件和矩估計量*,3、由此得到正規(guī)方程組：,解此正規(guī)方程組即得參數(shù)的MM估計量。,MM估計量與OLS、ML估計量等價。,*關(guān)于矩估計*,矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計方法(GeneralizedMomentMethod,GMM)的基礎(chǔ),在矩方法中關(guān)鍵是利用了：E(X)=0如果某個解釋變量與隨機項相關(guān)，只要能找到1個工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在k+1個變量與隨機項不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM。OLS只是GMM的一個特例,二、最小二乘估計量的性質(zhì),高斯馬爾可夫定理(Gauss-Markovtheorem):在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量，即最佳線性無偏估計量（BLUE）。,1、線性：,其中,C=(XX)-1X為一僅與固定的X有關(guān)的行向量,2、無偏性:,這里利用了假設(shè):E(X)=0,3、有效性:,其中利用了:,參數(shù)估計量的概率分布,1、由參數(shù)估計量的上述性質(zhì)和基本假設(shè)，易知：,線性性基本假設(shè)正態(tài)分布無偏性期望為有效性的證明方差表達式,2、記C=(XX)-1的第j個主對角元素為Cjj（j=0,1,k)，則：,三、樣本容量問題,最小樣本容量滿足基本要求的樣本容量,1、最小樣本容量,所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即：nk+1因為，無多重共線性要求：秩(X)=k+1,2、基本樣本容量,從統(tǒng)計檢驗的角度：n30時，Z檢驗才能應用；n-k8時,t分布較為穩(wěn)定,一般經(jīng)驗認為:當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。,模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明,3.3多元線性回歸模型的統(tǒng)計檢驗,一、擬合優(yōu)度檢驗二、方程顯著性檢驗三、變量顯著性檢驗,一、擬合優(yōu)度檢驗,目的：測定樣本回歸函數(shù)對樣本觀測值的擬合緊密程度指標：R2、Adj(R2),可決系數(shù)R2(coefficientofdetermination),0R21，該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。,1、定義：,2、問題：在模型中增加一個解釋變量，R2往往增大但是：增加解釋變量個數(shù)往往得不償失，不重要的變量不應引入。增加解釋變量使得估計參數(shù)增加，從而自由度減小。如果引入的變量對減少殘差平方和的作用很小，這將導致誤差方差2的增大，引起模型精度的降低。因此：R2需調(diào)整。,調(diào)整的可決系數(shù)Adj(R2)（adjustedcoefficientofdetermination）,1、調(diào)整思路:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。,2、自由度：統(tǒng)計量可自由變化的樣本觀測值的個數(shù)，記為df,TSS：dfn1ESS：dfkRSS：dfnk1,注意：df（TSS)=df(ESS)+df(RSS),3、定義：,#Adj(R2)的作用,1、消除擬合優(yōu)度評價中解釋變量的多少對擬合優(yōu)度的影響2、對于因變量Y相同，而自變量X個數(shù)不同的模型，不能用R2直接比較擬合優(yōu)度，而應使用Adj（R2）。3、可以通過Adj（R2）的增加變化，決定是否引入一個新的解釋變量。,Adj（R2）均值,回歸分析的預測實例：,中國居民人均收入-消費支出二元模型例中：2001年人均GDP：4033.1元,于是人均居民消費的預測值為2001=120.7+0.22134033.1+0.45151690.8=1776.8（元）,實測值（90年價）=1782.2元，相對誤差：-0.31%,預測的置信區(qū)間：,E(2001）的95%的置信區(qū)間為:,（1741.8，1811.7）,2001的95%的置信區(qū)間為:,（1711.1,1842.4）,3.5可線性化的多元非線性回歸模型,線性模型的本質(zhì)含義解釋變量的非線性變量代換法回歸參數(shù)的非線性函數(shù)變換法,實際中的非線性模型,1、恩格爾曲線(Englecurves)：消費者的收入與某類商品需求量之間的函數(shù)關(guān)系。冪函數(shù),2、菲利普斯曲線（Pillipscuves）：通貨膨脹率（貨幣工資率）與失業(yè)率之間的關(guān)系。雙曲線函數(shù),線性模型的本質(zhì)含義,1、被解釋變量Y與解釋變量X之間為線性關(guān)系,2、被解釋變量Y與參數(shù)之間為線性關(guān)系,3、更重要的在于后者,例如：拉弗曲線：描述稅收與稅率關(guān)系S=a+bR+cR2c0（拋物線）,令：X1=r，X2=r2，則原方程變換為：S=a+bX1+cX2c0,1、解釋變量的非線性問題變量代換,適用于倒數(shù)模型、多項式模型等,例如：Cobb-Dauglas生產(chǎn)函數(shù)：Q=AKL（冪函數(shù)）,方程兩邊取對數(shù)：lnQ=lnA+lnK+ln