貝葉斯網(wǎng)絡(luò)基礎(chǔ)知識

1、貝葉斯網(wǎng)絡(luò)隨著計算機技術(shù)發(fā)展，知識發(fā)現(xiàn)和數(shù)據(jù)發(fā)掘能力越來越得到人 們的重視。在人工智能領(lǐng)域屮，貝葉斯網(wǎng)絡(luò)以其對不確定知識的表達(dá) 能力，對數(shù)據(jù)處理分析的能力得到了廣泛的應(yīng)用。貝葉斯網(wǎng)絡(luò)繼承了 圖論的直觀性，同時以堅實的數(shù)學(xué)理論支撐，在醫(yī)學(xué)診斷，故障分析 等領(lǐng)域的應(yīng)用都證明了它存在的科學(xué)性和重要意義。結(jié)構(gòu)學(xué)習(xí)是建立 貝葉斯網(wǎng)絡(luò)的智能化方法，它以數(shù)據(jù)分析的方法，尋找能準(zhǔn)確描述節(jié) 點之間依賴關(guān)系的網(wǎng)絡(luò)，是貝葉斯網(wǎng)絡(luò)理論發(fā)展的重要方向。提高貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)效率的主要因素是評分函數(shù)和搜索算法，優(yōu) 化評分函數(shù)的搜索算法是貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的核心問題 結(jié)構(gòu)學(xué)習(xí)的CH評分：(與BD評分的區(qū)別是？)學(xué)習(xí)貝葉斯結(jié)

2、構(gòu)實質(zhì)上就是學(xué)習(xí)與數(shù)據(jù)擬合最好的網(wǎng)絡(luò)結(jié)構(gòu)。即 P(G|D)的最大值。由貝葉斯公式得:P(G|D)=晉 =P(G|G)另外, P(D)與結(jié)構(gòu)無關(guān)，假設(shè)P(G)服從均勻分布。上式兩邊同時取對數(shù)得:logP(G| D)oclogP(D|G)因此，等價于求邊際似然函數(shù)P(D|G)的最大值。(名字的由來：P(D|G,0)是二元組(G, 0) D的似然函數(shù)，記為：L(G,0|D)邊際似然 函數(shù)P(D|G)記為L(G|D).若參數(shù)先驗分布P(0|G)服從狄利克雷分布，則CH評分如下：對數(shù)似然函數(shù):n Qi1(G|D)=i=l j = lWij)Fij + 】Aj)k=lgj + l】ijk)Fijk )由于

3、貝葉斯網(wǎng)絡(luò)具有獨特的不確定性表達(dá)形式、易于綜合先驗知識 以及直觀的推理結(jié)果等特性，貝葉斯網(wǎng)絡(luò)已逐漸成為在不確定情況下 進(jìn)行推理和決策的一種很受歡迎的網(wǎng)絡(luò)結(jié)構(gòu)，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)是目前研究的熱點，其目的是獲取能較 好吻合數(shù)據(jù)集并口盡可能簡單的網(wǎng)絡(luò)結(jié)構(gòu).同時，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué) 習(xí)也是一個N P難題.MDL (等價于BIC)不需要計算參數(shù)的先驗分布，計算簡單，傾向于選 擇較簡單的網(wǎng)絡(luò)結(jié)構(gòu)，基本原理是對于給定的實力數(shù)據(jù)進(jìn)行壓縮，從 而降低數(shù)據(jù)的編碼長度，一個MDL評分由以下兩部分組成：(1) 模型的描述長度(n).n表示節(jié)點變量個數(shù)；ki 表示節(jié)點的父節(jié)點數(shù)目。條件概率表的編碼長度L2 =呼(£打5 - DIttJ. N為實例數(shù)據(jù)集中實例的個數(shù)；|口|表示 變量父節(jié)點集合的取值組合的數(shù)目；Si表示變量取值的數(shù)目O(2) 數(shù)據(jù)的壓縮編碼長度L3 = NHH(Xi|7Ti) H(X|Y)=- S P(x|y)logP(x|y)為變量X對于變量Y的條件爛。Score MDL二L1+L2+L3連續(xù)變量離散化：對于連續(xù)型屬性，主要是根據(jù)專家經(jīng)驗知識設(shè)置斷 點進(jìn)