時(shí)間連續(xù)狀態(tài)離散的馬爾科夫過(guò)程

1、馬爾科夫過(guò)程1、馬爾科夫過(guò)程的定義 其狀態(tài)空間12 , ,.NEi ii任意m個(gè)時(shí)刻 及任意正數(shù)s，滿(mǎn)足則稱(chēng)nX為馬爾科夫過(guò)程。定義：設(shè)時(shí)間連續(xù)狀態(tài)離散的隨機(jī)過(guò)程( ),(0,)X tt，若對(duì)任意整數(shù)m12, ,. ,mt tt12, , .,mi iijE1122|( ),( ), .,()mmmP X tsj X tiX tiX ti|()mmmP X tsj X ti2、轉(zhuǎn)移概率及性質(zhì)( ,)|( ),0,0ijpt tsP X tsj X tits( )=( ,)|( ),0,0ijijpsp t tsP X tsj X tits(1) 0( )1, (2)( )1,ijijjpsps

2、,1,2,.()i j 有限或無(wú)限一般的，規(guī)定性質(zhì)時(shí)齊馬爾科夫過(guò)程的轉(zhuǎn)移概率1,(0)=0,ijijijpij3 3 切普曼切普曼- -柯?tīng)柲缏宸蚍匠蹋聽(tīng)柲缏宸蚍匠蹋–-KC-K方程）方程）()( )( ),0,1,2.ijirrjrpstps pti j 轉(zhuǎn)移概率之間有如下關(guān)系: 對(duì) ，有0,0ts4 初始分布與絕對(duì)分布（1）初始分布為一馬爾科夫過(guò)程，其狀態(tài)空間, 2, 1, 0 E或?yàn)橛邢拮蛹Ａ?0)(0),ipP XiiE且對(duì)任意的Ei(0)(1)0ip(0)(2)1ii Ep(0),ipiE則稱(chēng) 為該馬爾科夫過(guò)程的初始分布，也稱(chēng)初始概率。初始概率是在初始時(shí)間 時(shí)處于狀態(tài)i的概率

3、。0t ，均有( ),(0,)X tt0t 當(dāng) 時(shí)，取各狀態(tài)的概率稱(chēng)為絕對(duì)概率或絕對(duì)分布。設(shè)為一馬爾科夫過(guò)程，其狀態(tài)空間, 2, 1, 0 E或?yàn)橛邢拮蛹Ａ? )( ),iptP X tiiE且對(duì)任意的Ei(1)( )0ip t (2)( )1ii Ep t( ),ip tiE則稱(chēng) 為絕對(duì)分布，也稱(chēng)絕對(duì)概率。均有（2）絕對(duì)分布( ),(0,)X tt絕對(duì)概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。絕對(duì)概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。(0)( )( )( )jiiji Ep tP X tjpp t科爾莫哥洛夫向前和向后方程1、速率函數(shù)( ),(0,)X tt若是狀態(tài)有限的馬爾科夫過(guò)程，設(shè)0

4、1,lim( )0,ijijtijp tij0( )lim,0,1,.ijijijtp tqi jNt(0 )ijqpijq稱(chēng)為速率函數(shù)，即速率函數(shù)刻畫(huà)了過(guò)程的轉(zhuǎn)移概率函數(shù)在零時(shí)刻對(duì)時(shí)間的變化率2、速率函數(shù)的性質(zhì)(1)0,0,1,.iiqiN(2)0,0,1,.ijqiji jN0(3)0Nijjq，性質(zhì)(3)的證明：000( )=limNNijijijtjjp tqt000( )=lim=0NNijijjjtp tt0,1,.iN定理 設(shè)隨機(jī)連續(xù)狀態(tài)有限馬爾科夫過(guò)程的轉(zhuǎn)移 概率函數(shù)為 ，速率函數(shù)為 ，則有科爾莫哥洛夫向前方程科爾莫哥洛夫向后方程0( )( ),0,1,2,.Nijikkjkd

5、p tpt qi jNdt0( )( ),0,1,2,.Nijikkjkdp tq pti jNdt( )ijp tijq注：無(wú)限馬爾科夫過(guò)程也有類(lèi)似結(jié)論證明：0( )()( )limijijijtdp tp ttp tdtt 00( )()( )limNikkjijktpt ptp tt 000( )()( )limNNikkjikkjkktpt ptptt 000()( ) lim( )NNkjkjikikkjtkkptptpt qt 證明20( )()( )limijijijtdp tp ttp tdtt 00()( )( )limNikkjijktpt ptp tt 000()( )(

6、 )limNNikkjikkjkktpt ptptt 000()(lim)( )( )NNikikkjikkjtkkptptq ptt 遍歷性定義 若馬爾科夫過(guò)程轉(zhuǎn)移概率的極限lim( ),ijjtp tpi jE存在且與 無(wú)關(guān)，則稱(chēng)此馬爾科夫鏈具有遍歷性此時(shí)，若滿(mǎn)足為轉(zhuǎn)移概率函數(shù)的極限分布i0,1jjjpp則稱(chēng),jpjE遍歷性111lim( )lim( )1NNNijijjttjjjp tp tp10,1,1,2,.NjjjppjN即在此稱(chēng)為轉(zhuǎn)移概率的極限分布若馬爾科夫過(guò)程為有限狀態(tài)的，顯然有，滿(mǎn)足說(shuō)明1：,1,2,.jpjN構(gòu)成一個(gè)概率分布有限狀態(tài)的遍歷的馬爾科夫過(guò)程必存在極限分布遍歷性,1,2,.jpjN10,1,1,2,.jjjppj1( )1,ijjp tjE即若馬爾科夫過(guò)程為無(wú)限狀態(tài)的，則有，又因?yàn)檎f(shuō)明2：不一定構(gòu)成一個(gè)概率分布無(wú)限狀態(tài)的遍歷的馬爾科夫過(guò)程不一定存在極限分布，只有其極限概率構(gòu)成概率分布時(shí)才存在極限分布1( )1Mijjp t11lim lim( )lim1MMijjMtMjjp tp絕對(duì)概率的極限( )(0)limlim( )tjiijttippp t(0)(0)lim( )iijijjtiipp tppp( )limtjjtpp即：絕對(duì)概率的極限與轉(zhuǎn)移概率的極限相同即定理 對(duì)有限馬爾科夫過(guò)程，如果存在正數(shù) ，則此鏈?zhǔn)潜闅v的，0