樸素貝葉斯分類算法及其MapReduce實(shí)現(xiàn)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上最近發(fā)現(xiàn)很多公司招聘數(shù)據(jù)挖掘的職位都提到貝葉斯分類，其實(shí)我不太清楚他們是要求理解貝葉斯分類算法，還是要求只需要通過工具（SPSS，SAS，Mahout）使用貝葉斯分類算法進(jìn)行分類。反正不管是需求什么都最好是了解其原理，才能知其然，還知其所以然。我盡量簡(jiǎn)單的描述貝葉斯定義和分類算法，復(fù)雜而有全面的描述參考“數(shù)據(jù)挖掘：概念與技術(shù)”。貝葉斯是一個(gè)人，叫（Thomas Bayes），下面這哥們就是。本文介紹了貝葉斯定理，樸素貝葉斯分類算法及其使用MapReduce實(shí)現(xiàn)。貝葉斯定理首先了解下貝葉斯定理PHX=PXHP(H)P(X)是不是有感覺都是符號(hào)看起來真復(fù)雜，我們根據(jù)下圖理

2、解貝葉斯定理。這里D是所有顧客（全集），H是購(gòu)買H商品的顧客，X是購(gòu)買X商品的顧客。自然XH是即購(gòu)買X又購(gòu)買H的顧客。P(X) 指先驗(yàn)概率，指所有顧客中購(gòu)買X的概率。同理P(H)指的是所有顧客中購(gòu)買H的概率，見下式。PX= XDPH= HDP(H|X) 指后驗(yàn)概率，在購(gòu)買X商品的顧客，購(gòu)買H的概率。同理P(X|H)指的是購(gòu)買H商品的顧客購(gòu)買X的概率，見下式。PH|X= XHXPX|H= XHH將這些公式帶入上面貝葉斯定理自然就成立了。樸素貝葉斯分類分類算法有很多，基本上決策樹，貝葉斯分類和神經(jīng)網(wǎng)絡(luò)是齊名的。樸素貝葉斯分類假定一個(gè)屬性值對(duì)給定分類的影響?yīng)毩⒂谄渌麑傩灾?。描述：這里有個(gè)例子假定我們

3、有一個(gè)顧客X（age = middle，income=high，sex =man）：· 年齡（age）取值可以是：?。▂oung），中（middle），大（old）· 收入（income）取值可以是：低（low），中（average），高（high）· 性別（sex）取值可以是：男（man），女（woman）其選擇電腦顏色的分類標(biāo)號(hào)H：白色（white），藍(lán)色（blue），粉色（pink）問題：用樸素貝葉斯分類法預(yù)測(cè)顧客X，選擇哪個(gè)顏色的分類標(biāo)號(hào)，也就是預(yù)測(cè)X屬于具有最高后驗(yàn)概率的分類。解答：Step 1也就是說我們要分別計(jì)算X選擇分類標(biāo)號(hào)為白色（white），藍(lán)

4、色（blue），粉色（pink）的后驗(yàn)概率，然后進(jìn)行比較取其中最大值。根據(jù)貝葉斯定理PHwhiteX=PXHwhiteP(Hwhite)P(X)同理PHblueX=PXHblueP(Hblue)P(X)PHpinkX=PXHpinkP(Hpink)P(X)Step 2其中P(X)為常數(shù)。D為全集元組數(shù)，Hwhite,D為全集中分類標(biāo)號(hào)為white的元組數(shù)。PHwhite= Hwhite,DD同理PHblue= Hblue,DDPHpink= Hpink,DDStep 3那么只需計(jì)算PXHwhite就可以了。PXHblue，PXHpink同理就不在進(jìn)行闡述。對(duì)于許多屬性的集，PXHwhite有可

5、能是缺失的，對(duì)于多個(gè)X的計(jì)算開銷可能非常大，那么根據(jù)樸素貝葉斯分類假定一個(gè)屬性值對(duì)給定類的影響?yīng)毩⒂谄渌麑傩灾?。PXHwhite=k=13Px1Hwhite=Pxage=middleHwhite×Pxincome=highHwhite×Pxsex=manHwhite可以很容易的由訓(xùn)練元組得出：Pxage=middleHwhitePxincome=highHwhitePxsex=manHwhiteStep 4PHwhiteX，, PHblueX，,PHpinkX后驗(yàn)概率中最大的，那么它的分類標(biāo)號(hào)就是X的分類標(biāo)號(hào)。改進(jìn)1， 目前X（年齡 = 中，收入 = 高，性別 = 男）中的

6、屬性都是分類屬性，而不是連續(xù)值屬性，我們要處理連續(xù)值屬性可以使用如下方法：Pxage=middleHwhite=gxage=middle,white,white=12e-(x-)222連續(xù)值屬性xage=middle服從均值為，標(biāo)準(zhǔn)差為的高斯分布。2， 如果遇到零概率值怎么辦？比如在訓(xùn)練元組中Pxsex=manHwhite為零，可以使用拉普拉斯校準(zhǔn)的方法避免該問題。樸素貝葉斯分類的MapReduce實(shí)現(xiàn)我們通過MapReduce計(jì)算X（age = middle，income=high，sex =man）的分類標(biāo)號(hào)。根據(jù)上面的推導(dǎo)，P(X)為常數(shù)只需計(jì)算PXHwhiteP(Hwhite)，PXH

7、blueP(Hblue)，PXHpinkP(Hpink)最大值即可。源文件為old:low:man:bluemiddle:high:man:whiteold:low:man:blueyonng:high:woman:whiteyoung:low:woman:pink那么如何使用一次MapReduce就計(jì)算出P(Hwhite)，PxageHwhite，PxincomeHwhite，PxsexHwhite等等MapClass為 public static class MapClass extends MapReduceBase implements Mapper<LongWritable,

8、Text, Text, IntWritable> private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException String line = value.toString(); String words = l

9、ine.split(":"); word.set("SUM"); output.collect(word, one); word.set(words3); output.collect(word, one); word.set(words0 + "-" + words3); output.collect(word, one); word.set(words1 + "-" + words3); output.collect(word, one); word.set(words2 + "-" + w

10、ords3); output.collect(word, one); ReduceClass為： public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws

11、 IOException int sum = 0; while (values.hasNext() sum += values.next().get(); output.collect(key, new IntWritable(sum); 計(jì)算結(jié)果為：SUM5blue2high-white2low-blue2low-pink1man-blue2man-white1middle-white1old-blue2pink1white2woman-pink1woman-white1yonng-white1young-pink1根據(jù)樸素貝葉斯分類法那么有PXHwhitePHwhite=Pxage=middleHwhite×Pxincome=highHwhite×P