創(chuàng)智數(shù)據(jù)挖掘平臺手冊.docx

1、創(chuàng)智數(shù)據(jù)挖掘平臺手冊1、平臺描述創(chuàng)智數(shù)據(jù)挖掘平臺是一個基于Hadoop2和Mahout開發(fā)的數(shù)據(jù)挖掘平臺，用于為客戶提供公共挖掘算法服務(wù)。目前平臺己支持推薦、聚類、分類算法，能支持常用大數(shù)據(jù)挖掘的服務(wù)。平臺作為在服務(wù)端運行的一個服務(wù)，將有關(guān)數(shù)據(jù)挖掘方面的運算放在了服務(wù)端的集群上運行，僅將最終結(jié)果返回給用戶的客戶端。因此為用戶在只擁有少量運算和存儲資源的客戶端上提供了大數(shù)據(jù)挖掘的可能。平臺與用戶的客戶端之間僅通過消息進行通訊，極大程度上降低了客戶端和服務(wù)端之間的耦合，使客戶端幾乎不會感知到服務(wù)端集群的擴展和更新。2、平臺架構(gòu)平臺設(shè)計分為接口層、業(yè)務(wù)邏輯層、數(shù)據(jù)層，架構(gòu)圖如下：平臺設(shè)計分為接口層、

2、業(yè)務(wù)邏輯層、數(shù)據(jù)層，架構(gòu)圖如下：客戶端故摳挖拐任務(wù)及布1客戶端哉*戶玲故&。詼2挖拇乎臺13心中心平臺戈掙院接口層用于與客戶端進行消息交互。目前平臺采用Rest消息格式，消息參數(shù)支持Json格式。業(yè)務(wù)邏輯層是平臺進行消息調(diào)度、系統(tǒng)資源監(jiān)控、實現(xiàn)數(shù)據(jù)挖掘運算和進行用戶管理的地方，平臺需要擴展新的數(shù)據(jù)挖掘算法的時候，也是在這一層加入新算法。數(shù)據(jù)層用于持久保存數(shù)據(jù)，包括用戶提交的原始數(shù)據(jù)、作為挖掘運算輸入的預(yù)處理數(shù)據(jù)以及挖掘運算的結(jié)果。目前數(shù)據(jù)保存在Hadoop2的HDFS文件系統(tǒng)中，今后將支持數(shù)據(jù)保存到HBase非關(guān)系型數(shù)據(jù)庫以及Oracle等關(guān)系型數(shù)據(jù)庫中。3、平臺已支持的算法目前平臺己支持推薦

3、、聚類、分類三類共六個數(shù)據(jù)挖掘算法，算法如下表描述:算法分類算法名稱算法介紹推薦算法協(xié)同過濾算法(DistributedItem-Based)屬于推薦算法的一種，根據(jù)用戶己有的信息推算出用戶可能會感興趣的信息。比如根據(jù)用戶在超市的購買記錄推算出該用戶可能會對其他感興趣的商品，并將這些商品推薦給該用戶。FP樹挖掘算法(FPTree)屬于推薦算法的一種，用于從大量數(shù)據(jù)集中發(fā)現(xiàn)有價值的項目之間的關(guān)聯(lián)。比如超市商家從產(chǎn)品銷售信息里找出一種產(chǎn)品的銷量會帶動其他哪些產(chǎn)品的銷量。支持分布式計算。聚類算法Canopy算法屬于聚類算法的一種，用于將一組未分類的數(shù)據(jù)分成多組相似的數(shù)據(jù)，該算法不需要指定分成多少組數(shù)

4、據(jù)，適合對數(shù)據(jù)了解較少的情況。支持分布式計算。K-Means算法屬于聚類算法的一種，與Canopy算法一樣用于將一組數(shù)據(jù)分成多組相似的數(shù)據(jù)，該算法區(qū)分結(jié)果更精確，但需指定分組數(shù)量，這在一定程度上限制了算法的使用。平臺調(diào)用K-Means算法時將分為兩步，第一步調(diào)用Canopy算法計算出聚類中心(分組)個數(shù)，第二步再調(diào)用K-Means算法，有效提高了運算效率。支持分布式計算。支持分布式計算。分類算法貝葉斯算法(Bayesian)統(tǒng)計學(xué)分類算法，是一種根據(jù)已有數(shù)據(jù)的分類信息來將新數(shù)據(jù)歸類的算法，分類準確率高，速度快，通常用于數(shù)據(jù)預(yù)測方向。支持分布式計算。隨機森林算法(RandomForests)分類

5、算法的一種，通過創(chuàng)建決策樹的方式來根據(jù)現(xiàn)有數(shù)據(jù)的分類信息將新數(shù)據(jù)歸類，優(yōu)點是即使有很大一部分數(shù)據(jù)遺失，該方法仍然能比較準確的實現(xiàn)數(shù)據(jù)分類。通常也用于數(shù)據(jù)預(yù)測。支持分布式計算。4、平臺使用為減少平臺與客戶端之間的耦合，平臺僅支持通過Rest消息與客戶端進行通訊，不需要向用戶提供sdk開發(fā)包。所有的交互均通過異步Rest消息實現(xiàn)，消息格式為：消息類型消息格式消息說明數(shù)據(jù)挖掘消息ip:8080/DMP/rest/DMPImplService/dm/消息名稱/消息參數(shù)用于調(diào)用對應(yīng)的數(shù)據(jù)挖掘算法數(shù)據(jù)使用消ip:8080/DMP/rest/DMPImplService/query/用于獲取挖掘結(jié)果，需要該

6、預(yù)處息消息名稱/消息參數(shù)理數(shù)據(jù)已執(zhí)行過對應(yīng)的數(shù)據(jù)挖掘算法并己經(jīng)產(chǎn)生了挖掘結(jié)果數(shù)據(jù)分類消息ip:8080/DMP/rest/DMPImplService/classify/消息名稱/消息參數(shù)僅分類算法提供，用于根據(jù)己有分類結(jié)果將新數(shù)據(jù)歸類平臺調(diào)用挖掘算法的方式首先是通過接口將數(shù)據(jù)保存到平臺。因為用戶對數(shù)據(jù)要求各不相同，因此平臺暫時沒有提供數(shù)據(jù)預(yù)處理的處理，這需要用戶先將數(shù)據(jù)預(yù)處理后再保存到平臺，作為算法的輸入數(shù)據(jù)，然后再調(diào)用挖掘算法消息進行計算。由于目前平臺數(shù)據(jù)輸入接曰尚未實現(xiàn)，因此目前平臺主要是通過Ftp方式將預(yù)處理數(shù)據(jù)存放到平臺。預(yù)處理數(shù)據(jù)存放到平臺后，就可以開始挖掘算法調(diào)用了。平臺各個挖掘

7、算法使用方式如下:算法名稱消息名稱和參數(shù)消息使用說明協(xié)同過濾算法(DistributedItem-Based)/dm/dib/ds&(para)協(xié)同過濾算法調(diào)用接口，用于啟動推薦該推薦算法ds-需要運算的預(yù)處理數(shù)據(jù)，名字就是預(yù)處理數(shù)據(jù)所在的文件央路徑para-協(xié)同過濾算法參數(shù)/query/dib/(ds&(numRec|&userFeature)&userStart&userStop協(xié)同過濾算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱numRec-每條記錄推薦的物品個數(shù)userFeature-用戶特征（包含指定名字的用戶）userStart-起始用戶號（從0開始）userStop-結(jié)束用戶

8、號（包含該下標的用戶）FP樹挖掘算法（FPTree）/dm/fp/(ds)¶FP樹挖掘算法調(diào)用接口ds-需要運算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para-算法參數(shù)/query/fp/(ds)&(numRe1ation&feature)&(type)&numRecordersFP樹挖掘算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱nuniRelation-每條記錄返回的關(guān)聯(lián)組個數(shù)，-1表小全部feature-記錄特征（選取記錄的Key的包含了指定字符串的記錄），NULL表示參數(shù)為空type-返回記錄方式，ALL|MAX|MIN（ALL-返問全部關(guān)聯(lián)信息，此時numRela

9、lion不起作用;MAX-從關(guān)聯(lián)度最大的開始返回;MIN-從關(guān)聯(lián)度最小的開始返回）numRecorders返叵1記錄條數(shù)Canopy算法/dm/canopy/ds¶Canopy算法調(diào)用接口ds-需要運算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para-算法參數(shù)/query/canopy/ds¶mCanopy算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱paraM查詢參數(shù)，格式為:-op:true/false,-cn:聚類中心名稱,p:true/falseop表示是否只查詢聚類中心點，默認為真；-cn為null時表示查詢?nèi)烤垲愔行?-op為false時，查詢聚類中心全匹

10、配設(shè)定字符串的類別下的所有記錄,-op為nie時，查詢聚類中心全匹配設(shè)定字符串的聚類中心；-P表示是否返回記錄屬性，默認為false;K-Means算法/dm/kmcans/ds)¶1¶2K-Means算法調(diào)用接口ds-需要運算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑paral-用來計算聚類中心個數(shù)的Canopy算法的參數(shù)paral-K-Means算法的參數(shù)/query/kmeans/(ds¶mK-Means算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱para查詢參數(shù)，格式為-op:true/false,cn:聚類中心名稱，-p:lrue/false-op表示

11、是否只查詢聚類中心點，默認為真；-cn為null時表示查詢?nèi)烤垲愔行?-op為false時，查詢聚類中心全匹配設(shè)定字符串的類別下的所有記錄,-op為true時，查詢聚類中心全匹配設(shè)定字符串的聚類中心；-P表示是否返回記錄屬性，默認為false;貝葉斯算法(Bayesian)/dm/bayes/ds)¶3貝葉斯算法調(diào)用接口ds-需要運算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para3-算法參數(shù)/classify/bayes/model&ds)貝葉斯算法分類新數(shù)據(jù)消息，這條消息在調(diào)用貝葉斯挖掘算法后調(diào)用，作用是根據(jù)挖掘算法結(jié)果來分類新數(shù)據(jù)model-已按貝葉斯算法分類的數(shù)據(jù)集名稱ds-待分類的數(shù)據(jù)集名稱/query/bayes/ds&nstart&nstop貝葉斯算法挖掘結(jié)果獲取ds-需要獲取的數(shù)據(jù)集名稱nstart-待查詢的數(shù)據(jù)起始行，如果該項值為0,表示從最開始查詢nstop-待查詢的數(shù)據(jù)結(jié)束行，如果該項值為0,表示一直查到分類結(jié)果結(jié)束隨機森林算法(RandomForests)/dm/rf/(ds&pdesc)&(pbuild隨機森林算法調(diào)用接口ds-需要運算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑pdesc-輸入生成描述文件的參數(shù)pbuild-輸入建立隨機森林模型的參數(shù)/classify/rf/(model&ds隨機森林算法分類新數(shù)據(jù)消息，這條消息