概率論教學(xué)課件

第一節(jié)參數(shù)的點(diǎn)估計(jì)

引言上一章，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的四大分布，給出了幾個(gè)重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣

現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).這類問(wèn)題稱為參數(shù)估計(jì).參數(shù)估計(jì)問(wèn)題的一般提法X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì),或估計(jì)的某個(gè)已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個(gè)統(tǒng)計(jì)總體,總體的分布函數(shù)為F(x,)，其中為未知參數(shù)(可以是向量).

參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)（假定身高服從正態(tài)分布）設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69估計(jì)為1.68，這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計(jì)某班學(xué)生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì).而全部信息就由這5個(gè)數(shù)組成.一、點(diǎn)估計(jì)概念隨機(jī)抽查100個(gè)嬰兒,…得100個(gè)體重?cái)?shù)據(jù)10,7,6,6.5,5,5.2,

…呢?據(jù)此,我們應(yīng)如何估計(jì)和而全部信息就由這100個(gè)數(shù)組成.例1

已知某地區(qū)新生嬰兒的體重,未知

為估計(jì):我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)(X1,X2,…Xn)，每當(dāng)有了樣本，就代入該函數(shù)中算出一個(gè)值，用來(lái)作為的估計(jì)值.把樣本值代入

(X1,X2,…Xn)

中，估計(jì)值

.

(X1,X2,…Xn)稱為參數(shù)的點(diǎn)估計(jì)量，得到的一個(gè)點(diǎn)使用什么樣的統(tǒng)計(jì)量去估計(jì)？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計(jì)量.問(wèn)題是:二、尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.1.矩估計(jì)法矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來(lái)的.由辛欽大數(shù)定律,若總體的數(shù)學(xué)期望有限,則有

這表明

,當(dāng)樣本容量很大時(shí)

,在統(tǒng)計(jì)上,可以用用樣本矩去估計(jì)總體矩.這一事實(shí)導(dǎo)出矩估計(jì)法.定義用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩這種參數(shù)點(diǎn)估計(jì)法稱為矩估計(jì)法

.理論依據(jù):大數(shù)定律矩估計(jì)法的具體做法如下設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù),那么它的前k階矩,一般都是這k個(gè)參數(shù)的函數(shù),記為：i=1,2,…,k從這k個(gè)方程中解出即可得諸的矩估計(jì)量：矩估計(jì)量的觀察值稱為矩估計(jì)值

.i=1,2,…,ki=1,2,…,ki=1,2,…,k解

例1

設(shè)總體X的均值和方差都存在,未知.是來(lái)自X

的樣本,試求的矩估計(jì)量.于是的矩估計(jì)量為樣本矩總體矩mmm

例2

設(shè)總體X的概率密度為其中是未知參數(shù),X1,X2,…,Xn

是取自X的樣本,求參數(shù)的矩估計(jì).解

解的矩估計(jì)量為故

例3

設(shè)總體X在[a,b]上服從均勻分布,a,b未知.是來(lái)自X

的樣本,試求a,b

的矩估計(jì)量.解

即

解得于是a,b的矩估計(jì)量為mmmmmm

矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布.缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取哪些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.例：稍事休息

2.最大似然法它是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的.GaussFisher然而,這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).最大似然法的基本思想先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò).是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.

最大似然估計(jì)原理：當(dāng)給定樣本X1,X2,…Xn時(shí)，定義似然函數(shù)為：設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律(離散型)為L(zhǎng)(x1,x2,…,xn

;).L(x1,x2,…,xn;)這里x1,x2,…,xn

是樣本的觀察值.似然函數(shù)：

最大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì).稱為的最大似然估計(jì)值.看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值x1,x2,…,xn

的一種度量.

L(x1,x2,…,xn;)而相應(yīng)的統(tǒng)計(jì)量稱為的最大似然估計(jì)量.說(shuō)明：求似然函數(shù)L()的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于ln(x)是

x的增函數(shù),lnL()與L()在

的同一值處達(dá)到它的最大值，假定是一實(shí)數(shù)，且lnL()是的一個(gè)可微函數(shù)。通過(guò)求解方程：可以得到的最大似然估計(jì)量.若是向量，上述方程必須用方程組代替.下面舉例說(shuō)明如何求最大似然估計(jì)L(p)=L(x1,x2,…,xn;p)

例5

設(shè)X1,X2,…Xn是取自總體X~B(1,p)的一個(gè)樣本，求參數(shù)p的最大似然估計(jì)量.解：似然函數(shù)為:對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，=0得即為p

的最大似然估計(jì)值

.從而p

的最大似然估計(jì)量為

(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入就得參數(shù)的最大似然估計(jì)值

.求最大似然估計(jì)的一般步驟是：

(1)由總體分布導(dǎo)出樣本的聯(lián)合分布律(或聯(lián)合密度);

(2)把樣本聯(lián)合分布律(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到似然

函數(shù)L();

(3)求似然函數(shù)L()的最大值點(diǎn)(常常轉(zhuǎn)化為求ln

L()的最大值點(diǎn))，即

的最大似然估計(jì);

例6

設(shè)總體X~N(),未知.是來(lái)自X

的樣本值,試求的最大似然估計(jì)量.似然函數(shù)為解X的概率密度為于是令解得的最大似然估計(jì)量為三、課堂練習(xí)解由密度函數(shù)知例

1

設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本其中>0,求的矩估計(jì).具有均值為的指數(shù)分布即E(X-)=

D(X-)=

E(X)=

D(X)=故解得也就是

E(X)=

D(X)=的矩估計(jì)量為于是解似然函數(shù)為對(duì)數(shù)似然