第九章 非線性回歸與極大似然估計(jì)

1、整理ppt第九章第九章 非線性回歸與極大似然估計(jì)非線性回歸與極大似然估計(jì)一、非線性最小二乘估計(jì)一、非線性最小二乘估計(jì) 之前我們討論的單方程回歸模型都是因之前我們討論的單方程回歸模型都是因變量關(guān)于參數(shù)線性的，都可通過(guò)一定的變換變量關(guān)于參數(shù)線性的，都可通過(guò)一定的變換化為標(biāo)準(zhǔn)線性回歸模型。化為標(biāo)準(zhǔn)線性回歸模型。 本質(zhì)上非線性的回歸模型因變量關(guān)于參數(shù)本質(zhì)上非線性的回歸模型因變量關(guān)于參數(shù)是非線性的，不能變化為線性回歸模型。是非線性的，不能變化為線性回歸模型。uXXY2122110如整理ppt非線性回歸模型：非線性回歸模型：uXXXfYpk),(2121其中其中f是是k個(gè)自變量和個(gè)自變量和p個(gè)回歸系數(shù)的非

2、線性函數(shù)。個(gè)回歸系數(shù)的非線性函數(shù)。 用來(lái)決定系數(shù)估計(jì)值的標(biāo)準(zhǔn)與線性回歸的用來(lái)決定系數(shù)估計(jì)值的標(biāo)準(zhǔn)與線性回歸的標(biāo)準(zhǔn)一樣，即誤差平方和最小化，稱為非線性標(biāo)準(zhǔn)一樣，即誤差平方和最小化，稱為非線性最小二乘估計(jì)。最小二乘估計(jì)。 在線性回歸情況下，求最小乘估計(jì)在計(jì)算在線性回歸情況下，求最小乘估計(jì)在計(jì)算上很簡(jiǎn)單。對(duì)于非性方程，有若干不同的尋找上很簡(jiǎn)單。對(duì)于非性方程，有若干不同的尋找使誤差平方和達(dá)到最小的系數(shù)估計(jì)方法。使誤差平方和達(dá)到最小的系數(shù)估計(jì)方法。整理ppt泰勒級(jí)數(shù)展開(kāi)法（循環(huán)線性法）：泰勒級(jí)數(shù)展開(kāi)法（循環(huán)線性法）：uXXXfYpk),(2121對(duì)非線性函數(shù):,02010后的所有高次項(xiàng)得并略去所有二次項(xiàng)

3、和以展開(kāi)為泰勒級(jí)數(shù)在該處附近將對(duì)給定的初始值，fpufXXXfYiipiipk)(| )(),(0102010210uffXXXfYpiiipiiipk00| )(| )(),(1100201021整理ppt0| )(if 令左邊為一個(gè)新的因變量，右邊令左邊為一個(gè)新的因變量，右邊 為一組新的自變量，為一組新的自變量， 為未知參為未知參數(shù)，則原模型轉(zhuǎn)化成線性模型，可以用普通最小數(shù)，則原模型轉(zhuǎn)化成線性模型，可以用普通最小二乘法來(lái)估計(jì)這些參數(shù)。二乘法來(lái)估計(jì)這些參數(shù)。),(21p得到新的線性回歸方程值并把它們作為新的初始的第一次估計(jì)值記為將,),(),(1211121ppuffXXXfYpiiipii

4、ipk11| )(| )(),(1111211121對(duì)這個(gè)方程運(yùn)用普通最小二乘法，得到一組新估計(jì)對(duì)這個(gè)方程運(yùn)用普通最小二乘法，得到一組新估計(jì)值值 。不斷重復(fù)這個(gè)重新線性化的過(guò)程直。不斷重復(fù)這個(gè)重新線性化的過(guò)程直到估計(jì)的參數(shù)收斂。到估計(jì)的參數(shù)收斂。),(22212p整理ppt二、極大似然估計(jì)法二、極大似然估計(jì)法1、極大似然估計(jì)的思想、極大似然估計(jì)的思想.);(max);();(,);(.);(, );();(:,.),;(1111MLnnnin，XLXL，。XLXXX，LXLXXXpXLXXXp記為極大似然估計(jì)值的作為的用滿足所以值越大因此被抽取的真實(shí)概率越接近越接近真實(shí)值的估計(jì)值為似然函數(shù)稱被

5、抽取的概率反映度函數(shù)為因此隨機(jī)樣本的聯(lián)合密取自總體相互獨(dú)立的隨機(jī)樣本為未知參數(shù)為設(shè)總體分布的密度函數(shù)整理ppt.);(ln.0);(ln);(ln);(稱為對(duì)數(shù)似然函數(shù)估計(jì)值來(lái)得到參數(shù)的極大似然求導(dǎo)并使之等于對(duì)所以一般通過(guò)將有相同的極值點(diǎn)與因?yàn)閄LXL，XLXL2、標(biāo)準(zhǔn)線性模型的極大似然估計(jì)、標(biāo)準(zhǔn)線性模型的極大似然估計(jì))(21exp21)(),(,2222iiiiiiiiiXYYpXNYY，uXY為其概率密度函數(shù)可表示即服從正態(tài)分布每一個(gè)標(biāo)準(zhǔn)線性模型整理ppt則似然函數(shù)是密度函數(shù)在所有則似然函數(shù)是密度函數(shù)在所有N個(gè)觀測(cè)處取值個(gè)觀測(cè)處取值的連乘積：的連乘積：)(21exp)2(1)()()(),

6、(22222121iiNNNXYYPYPYPYYYL。，Y，YN值和達(dá)到大的即求使對(duì)數(shù)似然函數(shù)的值和的參數(shù)測(cè)值尋找最可能生成樣本觀極大似然估計(jì)的目標(biāo)是1222)()2/()ln()2/()2ln()2/(iiXYNNLnL對(duì)數(shù)似然函數(shù)整理pptNXYXYXXYYXXiiMLMLiiiML222)(;)()(:,極大似然估計(jì)量得求偏導(dǎo)并令它們等于零令對(duì)數(shù)似然函數(shù)對(duì)。，OLS，MLMLMLML的漸近有效估計(jì)量仍是但可以證明的有偏估計(jì)量卻是雖然是一致的但是最優(yōu)線性無(wú)偏估計(jì)量和因此估計(jì)量完全相同的極大似然估計(jì)量與顯然2222)(整理ppt3、非線性模型的極大似然估計(jì)、非線性模型的極大似然估計(jì)),(21

7、exp21),(0),(22121222121pkiiiiiipkXXXfYXYp，YX，uu，XXXfY的密度函數(shù)可寫成和那么給定的正態(tài)分布服從均值為假設(shè)對(duì)非線性函數(shù)2212122),()2/()ln()2/()2ln()2/(),(pkiiiiiiXXXfYNNXYpLnLN數(shù)為個(gè)觀測(cè)值的對(duì)數(shù)似然函則整理ppt。，pp，漸近有效的量都是一致的和但最終的極大似然估計(jì)求解過(guò)程較復(fù)雜個(gè)非線性方程組未知數(shù)可得到關(guān)于求偏導(dǎo)并令它們等于零和個(gè)令對(duì)數(shù)似然函數(shù)對(duì)每一11三、似然比檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)三、似然比檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn) 這兩種檢驗(yàn)所用統(tǒng)計(jì)量都是基于極大似然這兩種檢驗(yàn)所用統(tǒng)計(jì)量都是基于極大似然

8、估計(jì)法的計(jì)算估計(jì)法的計(jì)算,可用于檢驗(yàn)數(shù)據(jù)是否支持某些參可用于檢驗(yàn)數(shù)據(jù)是否支持某些參數(shù)限制條件。數(shù)限制條件。整理ppt1、似然比檢驗(yàn)（、似然比檢驗(yàn)（LR）.)()(,)(,)(0URRRURLnLLnLLnLLnL，則似然比定義為的極大值似然函數(shù)代表有限制條件時(shí)對(duì)數(shù)的極大值數(shù)似然函數(shù)代表沒(méi)有限制條件時(shí)對(duì)設(shè)的原假設(shè)如果我們希望檢驗(yàn)一些 LnL越大表明對(duì)數(shù)據(jù)的擬合程度越好，分母來(lái)自越大表明對(duì)數(shù)據(jù)的擬合程度越好，分母來(lái)自無(wú)條件模型，變量個(gè)數(shù)越多，擬合越好，因此分子小無(wú)條件模型，變量個(gè)數(shù)越多，擬合越好，因此分子小于分母，似然比在于分母，似然比在0到到1間。分子是在原假設(shè)成立下參間。分子是在原假設(shè)成立下參

9、數(shù)的極大似然函數(shù)值，是零假設(shè)的最佳表示。而分母數(shù)的極大似然函數(shù)值，是零假設(shè)的最佳表示。而分母則表示在在任意情況下參數(shù)的極大似然函數(shù)值。比值則表示在在任意情況下參數(shù)的極大似然函數(shù)值。比值的最大極限值為的最大極限值為1，其值靠近，其值靠近1，說(shuō)明局部的最大和全，說(shuō)明局部的最大和全局最大近似，零假設(shè)成立可能性就越大。局最大近似，零假設(shè)成立可能性就越大。 整理ppt用來(lái)對(duì)原假設(shè)進(jìn)行檢驗(yàn)的似然比統(tǒng)計(jì)量定義為：用來(lái)對(duì)原假設(shè)進(jìn)行檢驗(yàn)的似然比統(tǒng)計(jì)量定義為：)()(ln2)(ln)(ln2URRURRLLLLLR。，LR。mLRmm0,22不全為即所希望檢驗(yàn)的認(rèn)為限制條件不成立則拒絕原假設(shè)臨界值的大于給定顯著性

10、水平下若為限制條件的個(gè)數(shù)整理ppt 例：我們要討論線性回歸模型是否應(yīng)該加例：我們要討論線性回歸模型是否應(yīng)該加入一些重要變量的問(wèn)題：入一些重要變量的問(wèn)題：似然比檢驗(yàn)在計(jì)量經(jīng)濟(jì)模型選擇上的應(yīng)用似然比檢驗(yàn)在計(jì)量經(jīng)濟(jì)模型選擇上的應(yīng)用 )(:)(:22112210無(wú)約束條件的飽和模型有約束條件模型uXXXYHuXXYHkkmkmkmkmk在零假設(shè)成立的條件下，約束模型的極大對(duì)數(shù)在零假設(shè)成立的條件下，約束模型的極大對(duì)數(shù)似然函數(shù)為似然函數(shù)為 ；非約束模型的極大對(duì)；非約束模型的極大對(duì)數(shù)似然函數(shù)為數(shù)似然函數(shù)為)(RLnL)(URLnL2)()(ln)(ln2mURRLLLR。，LRm約束條件不成立則拒絕原假設(shè)反

11、之約束條件成立則接受原假設(shè)若;,2)(整理ppt2、拉格朗日乘數(shù)檢驗(yàn)（、拉格朗日乘數(shù)檢驗(yàn)（LM）)(:)(:22112210無(wú)約束條件的飽和模型有約束條件模型uXXXYHuXXYHkkmkmkmkmk檢驗(yàn)思路：檢驗(yàn)思路：. 0. 0,RURRURURLnL，LnL即非常接近的極大似然估計(jì)量應(yīng)與不施加約束條件下的極大似然估計(jì)量則施加約束條件下若約束條件成立有估計(jì)量對(duì)于非約束的極大似然。，LnLLMR則約束條件不成立顯著地不為零檢驗(yàn)的原理是若整理pptLM檢驗(yàn)的實(shí)際步驟檢驗(yàn)的實(shí)際步驟 ：假定已經(jīng)估計(jì)了約束模型假定已經(jīng)估計(jì)了約束模型 12 1ttqqttyxxu 考慮是否將剩余的考慮是否將剩余的k-

12、q個(gè)變量加入模型，構(gòu)成個(gè)變量加入模型，構(gòu)成一個(gè)無(wú)約束條件的模型一個(gè)無(wú)約束條件的模型1211(1)ttqqtqqttkkttyxxxuxu檢驗(yàn)的假設(shè)檢驗(yàn)的假設(shè) 01:0qkH11:,qkH至少一個(gè)不為零至少一個(gè)不為零整理ppt 首先，用首先，用OLS法估計(jì)約束模型，計(jì)算殘差序列法估計(jì)約束模型，計(jì)算殘差序列qtqtttxxye221然后，建立然后，建立LM的輔助回歸式如下：的輔助回歸式如下：ttkktqqtvxxe, 110 如果輔助回歸式中另外加上的變量都是如果輔助回歸式中另外加上的變量都是“無(wú)關(guān)緊無(wú)關(guān)緊要要”的，系數(shù)顯著為零，的，系數(shù)顯著為零，R2非常小，則當(dāng)我們從有約非常小，則當(dāng)我們從有約束的模型變動(dòng)到無(wú)約束的模型時(shí)，加進(jìn)來(lái)的束的模型變動(dòng)到無(wú)約束的模型時(shí)，加進(jìn)來(lái)的k-q個(gè)變量個(gè)變量的系數(shù)應(yīng)該為零，原假設(shè)成立。的系數(shù)應(yīng)該為零，原假設(shè)成立。 反之，輔助回歸式的擬合優(yōu)度十分好，反之，輔助回歸式的擬合優(yōu)度十分好，R2非常大，則非常大，則從有約束的模型變動(dòng)到無(wú)約束的模型時(shí)，加進(jìn)來(lái)的從有約束的模型變動(dòng)到無(wú)約束的模型時(shí)，加進(jìn)來(lái)的k-q個(gè)個(gè)變量的系數(shù)至少有一個(gè)顯著不為零，則接受備擇假設(shè)。變量的系數(shù)至少有一個(gè)顯著不為零，則接受備擇假設(shè)。 整理ppt 最后，用輔助回歸式