3.3-4-多元線性回歸

§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

一、擬合優(yōu)度檢驗(yàn)

1、可決系數(shù)與調(diào)整的可決系數(shù)則（1）總離差平方和的分解由于

=0所以有：

注意：一個(gè)有趣的現(xiàn)象????-+++=ikiikiiieYXeXeebbb???110L（2）可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問(wèn)題：在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，

R2往往增大（Why?)

這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需調(diào)整。（3）調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度?？傠x差平方和TSS回歸平方和ESS殘差平方和RSS自由度n-1Kn-K-1=+統(tǒng)計(jì)量的自由度，是指統(tǒng)計(jì)量中可以自由變化的樣本觀測(cè)值的個(gè)數(shù)，它等于所用樣本觀測(cè)值個(gè)數(shù)減去對(duì)觀測(cè)值的約束個(gè)數(shù)。例如：樣本均值的自由度為n，而樣本方差的自由度為（n-1），因?yàn)槭褂昧藰颖揪?，形成一個(gè)約束。求參數(shù)

的估計(jì)量時(shí)失去K+1個(gè)自由度有K+1個(gè)解釋變量與應(yīng)變量對(duì)應(yīng),使用樣本均值失去一個(gè)自由度11)1(122-----=knnRR一、擬合優(yōu)度檢驗(yàn)總離差平方和TSS回歸平方和ESS殘差平方和RSS（1）總離差平方和的分解（2）可決系數(shù)R2（3）調(diào)整的可決系數(shù)檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。用在總離差分解基礎(chǔ)上確定的可決系數(shù)R2（調(diào)整的可決系數(shù)）度量n-1kn-k-1=+自由度在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，可決系數(shù)R2往往增大，這是因?yàn)闅埐钇椒胶蚏SS往往隨著解釋變量個(gè)數(shù)的增加而減少，至少不會(huì)增加。這就給人一個(gè)錯(cuò)覺(jué)：要使模型擬合得好，就必須增加解釋變量個(gè)數(shù)。但在樣本容量一定的情況下，增加解釋變量個(gè)數(shù)必定使得待估參數(shù)的個(gè)數(shù)增加，從而損失自由度；且有時(shí)所增加的解釋變量并非必要。R2的計(jì)算公式并未考慮不同模型自由度的不同；故調(diào)整的思路是將殘差平方和RSS和總離差平方和TSS分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。因此，在比較應(yīng)變量相同而解釋變量個(gè)數(shù)不同的兩個(gè)模型的擬合程度時(shí)，宜用調(diào)整的可決系數(shù)。若k>0，則即：隨著模型中解釋變量個(gè)數(shù)的增加，調(diào)整的可決系數(shù)越來(lái)越小于可決系數(shù)，這似乎是對(duì)增加解釋變量的“懲罰”?？倿檎?，但可能為負(fù)。*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則

為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:

赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量。

Eviews的估計(jì)結(jié)果顯示：中國(guó)居民消費(fèi)二元例中：

AIC=6.68AC=6.83

中國(guó)居民消費(fèi)一元例中：

AIC=7.09AC=7.19從這點(diǎn)看，可以說(shuō)前期人均居民消費(fèi)CONSP(-1)應(yīng)包括在模型中。

第三章多元線性回歸模型F檢驗(yàn)是以方差分析為基礎(chǔ)，旨在檢驗(yàn)?zāi)Ｐ椭斜唤忉屪兞颗c解釋變量之間的線性關(guān)系在總體上是否顯著成立。擬合優(yōu)度檢驗(yàn)（R2檢驗(yàn)）中，擬合優(yōu)度高，則解釋變量對(duì)被解釋變量的解釋程度越高，可以推測(cè)模型總體線性關(guān)系成立，反之就不成立。但這只是一個(gè)模糊的推測(cè)，不能給出一個(gè)統(tǒng)計(jì)上嚴(yán)格的結(jié)論，這就需要進(jìn)行方程的顯著性檢驗(yàn)。

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）（1）提出假設(shè)：H0：

1=

2=···=

k=0(等價(jià)于H0：R2=0)H1：

j不全為零(j=1,2,···,k)（2）在H0成立條件下，構(gòu)造F統(tǒng)計(jì)量，并由觀測(cè)值計(jì)算其值；檢驗(yàn)步驟(F隨著解釋變量對(duì)應(yīng)變量變動(dòng)的解釋比例的增大而逐漸增大)設(shè)隨機(jī)變量X～

2(n)，Y～2(m)，且X與Y相互獨(dú)立，則隨機(jī)變量F=(X/n)/(Y/m)的分布稱為自由度為（n,m）的F分布。方差分析表變差來(lái)源平方和自由度方差來(lái)自回歸來(lái)自殘差總變差kESS/kn-k-1RSS/(n-k-1)n-1二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）（1）提出假設(shè)：H0：

1=

2=···=

k=0(等價(jià)于H0：R2=0)H1：

j不全為零(j=1,2,···,k)（2）在H0成立條件下，構(gòu)造F統(tǒng)計(jì)量，并由觀測(cè)值計(jì)算其值；（3）給定顯著性水平，查F分布表,得臨界值F

(k,n-k-1)；若F＞F

(k,n-k-1)，則拒絕原假設(shè)H0，接受H1；說(shuō)明模型的線性關(guān)系顯著成立，模型通過(guò)方程顯著性檢驗(yàn)；也即回歸方程顯著。若F≤F

(k,n-k-1)，則接受原假設(shè)H0，說(shuō)明模型的線性關(guān)系顯著不成立，模型未通過(guò)方程顯著性檢驗(yàn)；也即回歸方程不顯著。檢驗(yàn)步驟(F隨著解釋變量對(duì)應(yīng)變量變動(dòng)的解釋比例的增大而逐漸增大)一元模型t檢驗(yàn)和F檢驗(yàn)等價(jià)方差分析表變差來(lái)源平方和自由度方差來(lái)自回歸來(lái)自殘差總變差kESS/kn-k-1RSS/(n-k-1)n-1Ff(F)F

是兩類檢驗(yàn)：R2檢驗(yàn)是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度；F檢驗(yàn)是檢驗(yàn)?zāi)Ｐ涂傮w線性關(guān)系的顯著性，并有精確的分布。兩者的關(guān)聯(lián)：模型對(duì)樣本觀測(cè)值的擬合程度高，模型總體線性關(guān)系的顯著性就強(qiáng)，即R2越大，F(xiàn)值越大。判定系數(shù)R2與F值：調(diào)整的判定系數(shù)與F值：

2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

對(duì)于中國(guó)居民人均消費(fèi)支出的例子：一元模型：F=285.92

二元模型：F=2057.3給定顯著性水平

=0.05，查分布表，得到臨界值：一元例：F

(1,21)=4.32

二元例：

F

(2,19)=3.52顯然有F

F

(k,n-k-1)

即二個(gè)模型的線性關(guān)系在95%的水平下顯著成立。在中國(guó)居民人均收入-消費(fèi)一元模型中，在中國(guó)居民人均收入-消費(fèi)二元模型中，三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線性關(guān)系顯著

每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。

1、t統(tǒng)計(jì)量

由于以cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：

其中

2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:

因此，可構(gòu)造如下t統(tǒng)計(jì)量

2、t檢驗(yàn)設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：

i0

給定顯著性水平

，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò)

|t|

t/2(n-k-1)或|t|

t/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：

i=0

（i=1,2…k）

注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：

1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

在中國(guó)居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：給定顯著性水平

=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093?？梢?jiàn)，計(jì)算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95%的水平下顯著，都通過(guò)了變量顯著性檢驗(yàn)。

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來(lái)考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下

i的置信區(qū)間是

其中，t/2為顯著性水平為

、自由度為n-k-1的臨界值。

)1(~1???----￠--=kntkncStiiiiiiieebbbbb在中國(guó)居民人均收入-消費(fèi)支出二元模型例中,給定

=0.05，查表得臨界值：t0.025(19)=2.093計(jì)算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)從回歸計(jì)算中已得到：如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減?。惶岣吣Ｐ偷臄M合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散,Cjj越小?！?.4多元線性回歸模型的預(yù)測(cè)在模型和解釋變量預(yù)測(cè)值XF=(1,X1F,X2F,···,XkF)確定的情況下，對(duì)應(yīng)變量Y的預(yù)測(cè)分為：點(diǎn)預(yù)測(cè)應(yīng)變量Y平均值應(yīng)變量Y個(gè)別值區(qū)間預(yù)測(cè)應(yīng)變量