數(shù)據(jù)挖掘之關(guān)聯(lián)分析.ppt

數(shù)據(jù)挖掘關(guān)聯(lián)分析,概念,數(shù)據(jù)挖掘(Data Mining) 是通過分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個(gè)步驟。 數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。 關(guān)聯(lián)分析是指如果兩個(gè)或多個(gè)事物之間存在一定的關(guān)聯(lián),那么其中一個(gè)事物就能通過其他事物進(jìn)行預(yù)測(cè).它的目的是為了挖掘隱藏在數(shù)據(jù)間的相互關(guān)系 。,數(shù)據(jù)挖掘能做什么,分類 （Classification） 首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，在該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘分類的技術(shù)，建立分類模型，對(duì)于沒有分類的數(shù)據(jù)進(jìn)行分類。 例子： a. 信用卡申請(qǐng)者，分類為低、中、高風(fēng)險(xiǎn) b. 故障診斷：中國(guó)寶鋼集團(tuán)與上海天律信息技術(shù)有限公司合作，采用數(shù)據(jù)挖掘技術(shù)對(duì)鋼材生產(chǎn)的全流程進(jìn)行質(zhì)量監(jiān)控和分析，構(gòu)建故障地圖，實(shí)時(shí)分析產(chǎn)品出現(xiàn)瑕疵的原因，有效提高了產(chǎn)品的優(yōu)良率。,數(shù)據(jù)挖掘能做什么,估計(jì)（Estimation） 估計(jì)與分類類似，不同之處在于，分類描述的是離散型變量的輸出，而估值處理連續(xù)值的輸出；分類 數(shù)據(jù)挖掘 的類別是確定數(shù)目的，估值的量是不確定的。 例子： a. 根據(jù)購(gòu)買模式，估計(jì)一個(gè)家庭的孩子個(gè)數(shù) b. 根據(jù)購(gòu)買模式，估計(jì)一個(gè)家庭的收入 c. 估計(jì)real estate的價(jià)值 一般來(lái)說(shuō)，估值可以作為分類的前一步工作。例如：銀行對(duì)家庭貸款業(yè)務(wù)，運(yùn)用估值，給各個(gè)客戶記分（Score 01）。然后，根據(jù)閾值，將貸款級(jí)別分類。,數(shù)據(jù)挖掘能做什么,預(yù)測(cè)（Prediction） 通常，預(yù)測(cè)是通過分類或估值起作用的，也就是說(shuō)，通過分類或估值得出模型，該模型用于對(duì)未知變量的預(yù)言。從這種意義上說(shuō)，預(yù)言其實(shí)沒有必要分為一個(gè)單獨(dú)的類。預(yù)言其目的是對(duì)未來(lái)未知變量的預(yù)測(cè)，這種預(yù)測(cè)是需要時(shí)間來(lái)驗(yàn)證的，即必須經(jīng)過一定時(shí)間后，才知道預(yù)言準(zhǔn)確性是多少。,數(shù)據(jù)挖掘能做什么,相關(guān)性分組或關(guān)聯(lián)規(guī)則 （Affinity grouping or association rules） 決定哪些事情將一起發(fā)生。 例子： a. 超市中客戶在購(gòu)買A的同時(shí)，經(jīng)常會(huì)購(gòu)買B，即A = B(關(guān)聯(lián)規(guī)則) b. 客戶在購(gòu)買A后，隔一段時(shí)間，會(huì)購(gòu)買B （序列分析）,數(shù)據(jù)挖掘能做什么,聚類（Clustering） 聚類是對(duì)記錄分組，把相似的記錄在一個(gè)聚集里。聚類和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。 例子： a. 一些特定癥狀的聚集可能預(yù)示了一個(gè)特定的疾病 b. 租VCD類型不相似的客戶聚集，可能暗示成員屬于不同的亞文化群,數(shù)據(jù)關(guān)聯(lián),我們會(huì)發(fā)現(xiàn)很多網(wǎng)站都具備了內(nèi)容推薦的功能，這類功能無(wú)疑在幫助用戶發(fā)現(xiàn)需求，促進(jìn)商品購(gòu)買和服務(wù)應(yīng)用方面起到了顯著性的效果。,那么這類的推薦是怎么得到的呢？,數(shù)據(jù)關(guān)聯(lián),關(guān)聯(lián)推薦在營(yíng)銷上被分為兩類： 向上營(yíng)銷(Up Marketing)：根據(jù)既有客戶過去的消費(fèi)喜好，提供更高價(jià)值或者其他用以加強(qiáng)其原有功能或者用途的產(chǎn)品或服務(wù)。 交叉營(yíng)銷(Cross Marketing)：從客戶的購(gòu)買行為中發(fā)現(xiàn)客戶的多種需求，向其推銷相關(guān)的產(chǎn)品或服務(wù)。,數(shù)據(jù)關(guān)聯(lián),向上營(yíng)銷是基于同類產(chǎn)品線的升級(jí)或優(yōu)化產(chǎn)品的推薦，而交叉營(yíng)銷是基于相似但不同類的產(chǎn)品的推薦。,數(shù)據(jù)關(guān)聯(lián),關(guān)聯(lián)推薦在實(shí)現(xiàn)方式上也可以分為兩種： 以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦 以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦,比如Web Analytics和Web Analytics 2.0的作者都是Avinash Kaushik，而且書名都包含Web Analytics，都是網(wǎng)站分析類的書籍，同時(shí)也可能是同一個(gè)出版社那么基于產(chǎn)品的關(guān)聯(lián)就可以向購(gòu)買了Web Analytics的用戶推薦Web Analytics 2.0。,數(shù)據(jù)關(guān)聯(lián),關(guān)聯(lián)推薦在實(shí)現(xiàn)方式上也可以分為兩種： 以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦 以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦,基于用戶分析的推薦是通過分析用戶的歷史行為數(shù)據(jù)，可能會(huì)發(fā)現(xiàn)購(gòu)買了Web Analytics的很多用戶也買了The Elements of User Experience這本書，那么就可以基于這個(gè)發(fā)現(xiàn)進(jìn)行推薦。,關(guān)聯(lián)規(guī)則,數(shù)據(jù)關(guān)聯(lián),經(jīng)典案例：沃爾瑪?shù)钠【坪湍虿嫉墓适?關(guān)聯(lián)規(guī)則,基于用戶行為分析的關(guān)聯(lián)推薦,更有利于發(fā)現(xiàn)用戶的潛在需求，幫助用戶更好的選擇它們需要的產(chǎn)品，并由用戶決定是否購(gòu)買，也就是所謂的“拉式”營(yíng)銷。通過向用戶推薦產(chǎn)品或服務(wù)，激發(fā)用戶的潛在需求，促使用戶消費(fèi)，更加符合“以用戶為中心”的理念。 以電子商務(wù)網(wǎng)站為例來(lái)說(shuō)明一下關(guān)聯(lián)規(guī)則的具體實(shí)現(xiàn): 目前大部分電子商務(wù)網(wǎng)站都提供用戶注冊(cè)的功能，而購(gòu)物的用戶一般都是基于登錄的條件下完成的，所以這里為用戶識(shí)別提供了最為有效的標(biāo)示符用戶ID；同時(shí)網(wǎng)站會(huì)把所有用戶的購(gòu)物數(shù)據(jù)儲(chǔ)存在自己的運(yùn)營(yíng)數(shù)據(jù)庫(kù)里面，這個(gè)為用戶行為分析提供了數(shù)據(jù)基礎(chǔ)用戶歷史購(gòu)物數(shù)據(jù)。,基于用戶行為分析的關(guān)聯(lián)推薦,關(guān)聯(lián)規(guī)則的實(shí)現(xiàn)原理: 從所有的用戶購(gòu)物數(shù)據(jù)中（如果數(shù)據(jù)量過大，可以選取一定的時(shí)間區(qū)間，如一年、一個(gè)季度等），尋找當(dāng)用戶購(gòu)買了A商品的基礎(chǔ)上，又購(gòu)買了B商品的人數(shù)