第九章 非線性回歸與極大似然估計

1、整理ppt第九章第九章 非線性回歸與極大似然估計非線性回歸與極大似然估計一、非線性最小二乘估計一、非線性最小二乘估計 之前我們討論的單方程回歸模型都是因之前我們討論的單方程回歸模型都是因變量關(guān)于參數(shù)線性的，都可通過一定的變換變量關(guān)于參數(shù)線性的，都可通過一定的變換化為標準線性回歸模型?；癁闃藴示€性回歸模型。 本質(zhì)上非線性的回歸模型因變量關(guān)于參數(shù)本質(zhì)上非線性的回歸模型因變量關(guān)于參數(shù)是非線性的，不能變化為線性回歸模型。是非線性的，不能變化為線性回歸模型。uXXY2122110如整理ppt非線性回歸模型：非線性回歸模型：uXXXfYpk),(2121其中其中f是是k個自變量和個自變量和p個回歸系數(shù)的非

2、線性函數(shù)。個回歸系數(shù)的非線性函數(shù)。 用來決定系數(shù)估計值的標準與線性回歸的用來決定系數(shù)估計值的標準與線性回歸的標準一樣，即誤差平方和最小化，稱為非線性標準一樣，即誤差平方和最小化，稱為非線性最小二乘估計。最小二乘估計。 在線性回歸情況下，求最小乘估計在計算在線性回歸情況下，求最小乘估計在計算上很簡單。對于非性方程，有若干不同的尋找上很簡單。對于非性方程，有若干不同的尋找使誤差平方和達到最小的系數(shù)估計方法。使誤差平方和達到最小的系數(shù)估計方法。整理ppt泰勒級數(shù)展開法（循環(huán)線性法）：泰勒級數(shù)展開法（循環(huán)線性法）：uXXXfYpk),(2121對非線性函數(shù):,02010后的所有高次項得并略去所有二次項

3、和以展開為泰勒級數(shù)在該處附近將對給定的初始值，fpufXXXfYiipiipk)(| )(),(0102010210uffXXXfYpiiipiiipk00| )(| )(),(1100201021整理ppt0| )(if 令左邊為一個新的因變量，右邊令左邊為一個新的因變量，右邊 為一組新的自變量，為一組新的自變量， 為未知參為未知參數(shù)，則原模型轉(zhuǎn)化成線性模型，可以用普通最小數(shù)，則原模型轉(zhuǎn)化成線性模型，可以用普通最小二乘法來估計這些參數(shù)。二乘法來估計這些參數(shù)。),(21p得到新的線性回歸方程值并把它們作為新的初始的第一次估計值記為將,),(),(1211121ppuffXXXfYpiiipii

4、ipk11| )(| )(),(1111211121對這個方程運用普通最小二乘法，得到一組新估計對這個方程運用普通最小二乘法，得到一組新估計值值 。不斷重復這個重新線性化的過程直。不斷重復這個重新線性化的過程直到估計的參數(shù)收斂。到估計的參數(shù)收斂。),(22212p整理ppt二、極大似然估計法二、極大似然估計法1、極大似然估計的思想、極大似然估計的思想.);(max);();(,);(.);(, );();(:,.),;(1111MLnnnin，XLXL，。XLXXX，LXLXXXpXLXXXp記為極大似然估計值的作為的用滿足所以值越大因此被抽取的真實概率越接近越接近真實值的估計值為似然函數(shù)稱被

5、抽取的概率反映度函數(shù)為因此隨機樣本的聯(lián)合密取自總體相互獨立的隨機樣本為未知參數(shù)為設(shè)總體分布的密度函數(shù)整理ppt.);(ln.0);(ln);(ln);(稱為對數(shù)似然函數(shù)估計值來得到參數(shù)的極大似然求導并使之等于對所以一般通過將有相同的極值點與因為XLXL，XLXL2、標準線性模型的極大似然估計、標準線性模型的極大似然估計)(21exp21)(),(,2222iiiiiiiiiXYYpXNYY，uXY為其概率密度函數(shù)可表示即服從正態(tài)分布每一個標準線性模型整理ppt則似然函數(shù)是密度函數(shù)在所有則似然函數(shù)是密度函數(shù)在所有N個觀測處取值個觀測處取值的連乘積：的連乘積：)(21exp)2(1)()()(),

6、(22222121iiNNNXYYPYPYPYYYL。，Y，YN值和達到大的即求使對數(shù)似然函數(shù)的值和的參數(shù)測值尋找最可能生成樣本觀極大似然估計的目標是1222)()2/()ln()2/()2ln()2/(iiXYNNLnL對數(shù)似然函數(shù)整理pptNXYXYXXYYXXiiMLMLiiiML222)(;)()(:,極大似然估計量得求偏導并令它們等于零令對數(shù)似然函數(shù)對。，OLS，MLMLMLML的漸近有效估計量仍是但可以證明的有偏估計量卻是雖然是一致的但是最優(yōu)線性無偏估計量和因此估計量完全相同的極大似然估計量與顯然2222)(整理ppt3、非線性模型的極大似然估計、非線性模型的極大似然估計),(21

7、exp21),(0),(22121222121pkiiiiiipkXXXfYXYp，YX，uu，XXXfY的密度函數(shù)可寫成和那么給定的正態(tài)分布服從均值為假設(shè)對非線性函數(shù)2212122),()2/()ln()2/()2ln()2/(),(pkiiiiiiXXXfYNNXYpLnLN數(shù)為個觀測值的對數(shù)似然函則整理ppt。，pp，漸近有效的量都是一致的和但最終的極大似然估計求解過程較復雜個非線性方程組未知數(shù)可得到關(guān)于求偏導并令它們等于零和個令對數(shù)似然函數(shù)對每一11三、似然比檢驗和拉格朗日乘數(shù)檢驗三、似然比檢驗和拉格朗日乘數(shù)檢驗 這兩種檢驗所用統(tǒng)計量都是基于極大似然這兩種檢驗所用統(tǒng)計量都是基于極大似然

8、估計法的計算估計法的計算,可用于檢驗數(shù)據(jù)是否支持某些參可用于檢驗數(shù)據(jù)是否支持某些參數(shù)限制條件。數(shù)限制條件。整理ppt1、似然比檢驗（、似然比檢驗（LR）.)()(,)(,)(0URRRURLnLLnLLnLLnL，則似然比定義為的極大值似然函數(shù)代表有限制條件時對數(shù)的極大值數(shù)似然函數(shù)代表沒有限制條件時對設(shè)的原假設(shè)如果我們希望檢驗一些 LnL越大表明對數(shù)據(jù)的擬合程度越好，分母來自越大表明對數(shù)據(jù)的擬合程度越好，分母來自無條件模型，變量個數(shù)越多，擬合越好，因此分子小無條件模型，變量個數(shù)越多，擬合越好，因此分子小于分母，似然比在于分母，似然比在0到到1間。分子是在原假設(shè)成立下參間。分子是在原假設(shè)成立下參

9、數(shù)的極大似然函數(shù)值，是零假設(shè)的最佳表示。而分母數(shù)的極大似然函數(shù)值，是零假設(shè)的最佳表示。而分母則表示在在任意情況下參數(shù)的極大似然函數(shù)值。比值則表示在在任意情況下參數(shù)的極大似然函數(shù)值。比值的最大極限值為的最大極限值為1，其值靠近，其值靠近1，說明局部的最大和全，說明局部的最大和全局最大近似，零假設(shè)成立可能性就越大。局最大近似，零假設(shè)成立可能性就越大。 整理ppt用來對原假設(shè)進行檢驗的似然比統(tǒng)計量定義為：用來對原假設(shè)進行檢驗的似然比統(tǒng)計量定義為：)()(ln2)(ln)(ln2URRURRLLLLLR。，LR。mLRmm0,22不全為即所希望檢驗的認為限制條件不成立則拒絕原假設(shè)臨界值的大于給定顯著性

10、水平下若為限制條件的個數(shù)整理ppt 例：我們要討論線性回歸模型是否應(yīng)該加例：我們要討論線性回歸模型是否應(yīng)該加入一些重要變量的問題：入一些重要變量的問題：似然比檢驗在計量經(jīng)濟模型選擇上的應(yīng)用似然比檢驗在計量經(jīng)濟模型選擇上的應(yīng)用 )(:)(:22112210無約束條件的飽和模型有約束條件模型uXXXYHuXXYHkkmkmkmkmk在零假設(shè)成立的條件下，約束模型的極大對數(shù)在零假設(shè)成立的條件下，約束模型的極大對數(shù)似然函數(shù)為似然函數(shù)為 ；非約束模型的極大對；非約束模型的極大對數(shù)似然函數(shù)為數(shù)似然函數(shù)為)(RLnL)(URLnL2)()(ln)(ln2mURRLLLR。，LRm約束條件不成立則拒絕原假設(shè)反

11、之約束條件成立則接受原假設(shè)若;,2)(整理ppt2、拉格朗日乘數(shù)檢驗（、拉格朗日乘數(shù)檢驗（LM）)(:)(:22112210無約束條件的飽和模型有約束條件模型uXXXYHuXXYHkkmkmkmkmk檢驗思路：檢驗思路：. 0. 0,RURRURURLnL，LnL即非常接近的極大似然估計量應(yīng)與不施加約束條件下的極大似然估計量則施加約束條件下若約束條件成立有估計量對于非約束的極大似然。，LnLLMR則約束條件不成立顯著地不為零檢驗的原理是若整理pptLM檢驗的實際步驟檢驗的實際步驟 ：假定已經(jīng)估計了約束模型假定已經(jīng)估計了約束模型 12 1ttqqttyxxu 考慮是否將剩余的考慮是否將剩余的k-

12、q個變量加入模型，構(gòu)成個變量加入模型，構(gòu)成一個無約束條件的模型一個無約束條件的模型1211(1)ttqqtqqttkkttyxxxuxu檢驗的假設(shè)檢驗的假設(shè) 01:0qkH11:,qkH至少一個不為零至少一個不為零整理ppt 首先，用首先，用OLS法估計約束模型，計算殘差序列法估計約束模型，計算殘差序列qtqtttxxye221然后，建立然后，建立LM的輔助回歸式如下：的輔助回歸式如下：ttkktqqtvxxe, 110 如果輔助回歸式中另外加上的變量都是如果輔助回歸式中另外加上的變量都是“無關(guān)緊無關(guān)緊要要”的，系數(shù)顯著為零，的，系數(shù)顯著為零，R2非常小，則當我們從有約非常小，則當我們從有約束的模型變動到無約束的模型時，加進來的束的模型變動到無約束的模型時，加進來的k-q個變量個變量的系數(shù)應(yīng)該為零，原假設(shè)成立。的系數(shù)應(yīng)該為零，原假設(shè)成立。 反之，輔助回歸式的擬合優(yōu)度十分好，反之，輔助回歸式的擬合優(yōu)度十分好，R2非常大，則非常大，則從有約束的模型變動到無約束的模型時，加進來的從有約束的模型變動到無約束的模型時，加進來的k-q個個變量的系數(shù)至少有一個顯著不為零，則接受備擇假設(shè)。變量的系數(shù)至少有一個顯著不為零，則接受備擇假設(shè)。 整理ppt 最后，用輔助回歸式