小象-機(jī)器學(xué)習(xí)-21.hmm與中文分詞_第1頁
小象-機(jī)器學(xué)習(xí)-21.hmm與中文分詞_第2頁
小象-機(jī)器學(xué)習(xí)-21.hmm與中文分詞_第3頁
小象-機(jī)器學(xué)習(xí)-21.hmm與中文分詞_第4頁
小象-機(jī)器學(xué)習(xí)-21.hmm與中文分詞_第5頁
免費(fèi)預(yù)覽已結(jié)束,剩余48頁可下載查看

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

法本課件包括演示文稿、示例、代碼、題庫、和在課程范圍外向任何第散播。任何其他人或機(jī)構(gòu)不得盜版、、仿造其中的創(chuàng)意及內(nèi)容,我們 課 咨

鄒主要內(nèi)概率計(jì)算:前向后向算參數(shù)估計(jì):Baum-Welch算模型預(yù)測:Viterbi算

中文分

JasonBell.MachineLearning:Hands-OnforDevelopersandTechnicalHMM的參數(shù)表 A,B,

HMM的兩個(gè)基本性 , ,i , !i, Pi t t t

t

t Poi,o,i , !i, Pot

T

T

HMM的3個(gè)基本問 給定模型A,B,和觀 列Oo,o,…o計(jì) 列Oo1,o2,…oT,估計(jì)模型A,B,的參數(shù),使得在該模型下 列P(O|λ)最 問題:已知模型A,B,和 列Oo1,o2,…oT 列條件概率P(I|O,λ)最大的狀態(tài)序列

定義:前向概率-后向概

前向算 t

iPo,o,!o,iq可以遞推計(jì)算前向概率αt(i)及觀

前向算iPooo,iq 1初值:1i1tt

N

T

后向算下,從t+1到T的部分觀列為ot+1,ot+2…oT t t iPo, t t 可以遞推計(jì)算后向概率βt(i)及 列概

T t

aijbjot1t

N

前后向關(guān) Piq,O POiq,Pi t Po,!o, ,! i t Po,! iq, ,! iq,Piq

t

Po,!o,i

,!

iq,

t

記:iqO

單個(gè)狀態(tài)的概 iPiqO,

Piq,Oit it

N tN

γ的意態(tài)i*,從而得到一個(gè)狀態(tài)序列I*={i*i*…it

給定模型和

N N

t

兩個(gè)狀態(tài)的聯(lián)合概i,jPiq,i qO, t

兩個(gè)狀態(tài)的聯(lián)合概 tji,jPiq, tjPiq, q,Oj tjPOPiq, q,O t j

Piq, q,O t q,i t

t

期T在觀測O下狀態(tài)i出現(xiàn)的期Tt1在觀測O下狀態(tài)i轉(zhuǎn)移到狀態(tài)j的期望Tti,Tt

學(xué)習(xí)算 HMM的學(xué)習(xí)非常簡單,是監(jiān)督學(xué)

大數(shù)定列和對應(yīng)的狀態(tài)序列{(O1,I1),(O2,I2)…(Os,Is)},那么,可以直接利用BernoulliHMM的參數(shù)估計(jì)

監(jiān)督學(xué)習(xí)方

i ii

?ij

N

j

k

Baum-Welch算

附:EM算法整體框

Baum-Welch算所有觀測數(shù)據(jù)寫成O=(o1,o2…oT),所有隱數(shù)據(jù)寫成是HMM參數(shù)的當(dāng)前估計(jì)值,λ

I

lnPO,III

EM過

i

ai

bi

!a

ibi 1 1 2 T1 T

III

i tt1

I

itot極大極大化Q,求得參數(shù)

lniPO,IlniPO,ii1 1 NN

ln

i

i NiNi

NNN

初始狀態(tài)概率

11

11

1 1PO

1

轉(zhuǎn)移概率和觀測概T

NT1lnaPO,ii, j

t

i1j1t

tT1

T O,iti,it1 aijt t1 ttt

i ttt

tTT t t1,otvk TTTTTTt

i

t

t

預(yù)測算

預(yù)測的近似算態(tài)i*,從而得到一個(gè)狀態(tài)序列I*={i*i*…it

給定模型和

N N

t會(huì)出現(xiàn)此狀態(tài)在實(shí)際中可能不會(huì)發(fā)生的情

算法:走棋盤/格子取

問題分dp[0,0]=a[0,0]/第一行(列)累dp[x,y]=min(dp[x-1,y]+a[x,y],dp[x,y-即:dp[x,y]min(dp[x-1,y],dp[x,y-1])

Viterbi

ViterbiimaxPii,

,...i,o,...o

i1,i2

t

imax

i,i,...i, ,...ot

t

t 1j

P*max

0.5 0.5

A

B0.4

B

解:觀測向量O=“紅白紅

到o1=紅的概率,記此概率為 i 求得

0.5

A

解:觀測向量O=

maxja

t

同理

解:觀測向量O=“紅白紅

求最優(yōu)路徑圖

Baum-Welchcode:初始

Baum-Welch

前向-后

隱狀態(tài)概率–隱狀態(tài)轉(zhuǎn)移概EM迭

HMM與中文分

JasonBell.MachineLearning:Hands-OnforDevelopersandTechnical總馬爾科夫模型可以用來解釋貪心法和動(dòng)態(tài)規(guī)思考:可否用深度學(xué)習(xí)代替

參考

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論