極大似然估計(jì)及其性質(zhì)

1、極大似然估計(jì)及其性質(zhì)一、極大似然估計(jì)設(shè)聯(lián)合密度函數(shù)為則似然函數(shù)為似然函數(shù)為使關(guān)于的似然函數(shù)最大化，求的一個(gè)估計(jì)，使獲得的已觀測(cè)到的樣本值的概率自大化，即最大似然估計(jì)量（MLE）。定義對(duì)數(shù)似然函數(shù)為則最大化的值也會(huì)最大化，對(duì)的導(dǎo)數(shù)稱作得分，將得分定義為0，即可解出（MLE），即二、MLE的性質(zhì)1、一致性。 2、漸進(jìn)正態(tài)性。式中為信息矩陣當(dāng)是一個(gè)維向量時(shí)，表示個(gè)偏導(dǎo)數(shù)組成的列向量，即而的二階導(dǎo)數(shù)為3、漸進(jìn)有效性。4、不變性。如果是的MLE，是的連續(xù)函數(shù)，則是的MLE。5、得分的均值為0，方差為。三、線性模型的極大似然估計(jì)設(shè)的多元正態(tài)密度函數(shù)為關(guān)于的多元條件密度為是由中元素關(guān)于中元素的偏導(dǎo)數(shù)組成的矩

2、陣轉(zhuǎn)換成的行列式的絕對(duì)值，并且為恒等矩陣。則上述意義下的對(duì)數(shù)似然函數(shù)為求的偏導(dǎo)數(shù)令其為零，可解出極大似然估計(jì)并且，但不是的無(wú)偏估計(jì)，由于（基于同方差性），因此，求二階導(dǎo)數(shù)為按照信息矩陣的定義，則它的逆為為滿秩矩陣將、的結(jié)果代入似然函數(shù)，可得似然函數(shù)的最大值為其中，為常數(shù)，它與模型中的任何參數(shù)都無(wú)關(guān)系。四、三大檢驗(yàn)設(shè)一般線性假設(shè)為為階矩陣，為維已知向量。設(shè)無(wú)約束條件的似然函數(shù)最大值為，約束條件的似然函數(shù)最大值為，則似然比為如果很小，則憑自覺(jué)拒絕原假設(shè)，在某些情況下，可以由的某些特殊變換來(lái)對(duì)的“很小”導(dǎo)出精確的有限樣本檢驗(yàn)（統(tǒng)計(jì)）量，普遍適用的大樣本檢驗(yàn)是通過(guò)拉格朗日函數(shù)（求條件極值）求最大化可得約束的極大似然估計(jì)，令其殘差為，的約束條件的極大似然估計(jì)為，則其中，為常數(shù)，它與模型中的任何參數(shù)都無(wú)關(guān)系。由似然比 2、檢驗(yàn)。在成立下，有，可得為中約束條件的個(gè)數(shù)。用的一致估計(jì)量代替上式中的，則3、LM檢驗(yàn)。記得分為當(dāng)約束條件有效時(shí)，應(yīng)趨近于。則此時(shí)，有。可以證明，在成立的情況下，其中用代替，代替，向量滿足，則并且，信息矩