數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第1章課件

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘陳昕chenxin@2015.04數(shù)據(jù)倉庫與數(shù)據(jù)挖掘陳昕數(shù)據(jù)挖掘的應用—人文地理數(shù)據(jù)挖掘的應用—人文地理數(shù)據(jù)挖掘的應用—娛樂傳媒數(shù)據(jù)挖掘的應用—娛樂傳媒數(shù)據(jù)挖掘的應用—智慧城市數(shù)據(jù)挖掘的應用—智慧城市數(shù)據(jù)挖掘的應用—商業(yè)零售數(shù)據(jù)挖掘的應用—商業(yè)零售數(shù)據(jù)挖掘的應用—Web推薦數(shù)據(jù)挖掘的應用—Web推薦數(shù)據(jù)挖掘的應用—體育競技VS數(shù)據(jù)挖掘的應用—體育競技VS數(shù)據(jù)挖掘的應用—大數(shù)據(jù)應用信息安全輿情分析能效優(yōu)化數(shù)據(jù)挖掘的應用—大數(shù)據(jù)應用信息安全輿情分析能效優(yōu)化商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘功能計劃預測預算

實際

分析

沒有絕對正確的答案

依靠分析

眾多的預測方案

靈活的要求核心：數(shù)據(jù)商務智能與數(shù)據(jù)挖掘功能計劃預測預算實際分析參考書目1.《數(shù)據(jù)挖掘概念與技術》,JiaweiHanMichelineKamber著，范明、孟小峰等譯，機械工業(yè)出版社出版2.《數(shù)據(jù)倉庫》，W.H.Inmon著，王志海等譯，機械工業(yè)出版社出版3.《數(shù)據(jù)倉庫技術與聯(lián)機分析處理》，王珊等編著，科學出版社出版4.《數(shù)據(jù)挖掘?qū)嵺`》，OliviaParrRud著，朱揚勇、左子葉等譯，機械工業(yè)出版社出版參考書目1.《數(shù)據(jù)挖掘概念與技術》,Jiawei數(shù)據(jù)倉庫以及數(shù)據(jù)挖掘是目前數(shù)據(jù)庫領域最為活躍的一個方面，受到學術界與產(chǎn)業(yè)界的廣泛關注。典型應用環(huán)境如DSS，EIS，ERP。大型數(shù)據(jù)庫的數(shù)據(jù)倉庫解決方案有：

InformixMetaCubeOracleExpressSybaseQuickStartDataMartDB2DataWarehouseManagerSQLServerAnalysisservices

NCRTeradataWarehouse對各類海量數(shù)據(jù)需要自動分析、分類、匯總、發(fā)現(xiàn)和描述數(shù)據(jù)蘊涵的趨勢、標記異常等課程簡介數(shù)據(jù)倉庫以及數(shù)據(jù)挖掘是目前數(shù)據(jù)庫領域最為活躍的一個方面，受到

各類管理人員需要從大量復雜的業(yè)務數(shù)據(jù)中獲取各自權限內(nèi)的決策信息，及時把握市場變化脈搏，作出正確有效的判斷與抉擇隨著數(shù)據(jù)庫系統(tǒng)的逐日運行，數(shù)據(jù)將堆積越來越龐大數(shù)據(jù)處理的重點需要從傳統(tǒng)業(yè)務擴展到業(yè)務數(shù)據(jù)的聯(lián)機分析處理，并得到面向各種管理主題的統(tǒng)計信息和決策支持信息數(shù)據(jù)倉庫是基于大規(guī)模數(shù)據(jù)庫的DSS環(huán)境的核心課程簡介各類管理人員需要從大量復雜的業(yè)務數(shù)據(jù)中獲取各自權限內(nèi)的決策

數(shù)據(jù)倉庫的基本概念多維數(shù)據(jù)模型數(shù)據(jù)倉庫的系統(tǒng)結構數(shù)據(jù)倉庫的實現(xiàn)基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘課程簡介數(shù)據(jù)倉庫的基本概念課程簡介數(shù)據(jù)挖掘通常稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD），是自動的或方便的模式提取，這些模式代表隱藏在大型數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他大量信息存儲中的知識涉及的學科有：數(shù)據(jù)庫技術、人工智能、機器學習、神經(jīng)網(wǎng)絡、統(tǒng)計學、模式識別、知識庫、知識獲取、信息檢索、高性能計算和數(shù)據(jù)可視化課程簡介課程簡介數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘的功能數(shù)據(jù)挖掘的分類與主要問題數(shù)據(jù)挖掘系統(tǒng)的結構挖掘大型數(shù)據(jù)庫中的關聯(lián)規(guī)則分類與預測聚類分析復雜類型的數(shù)據(jù)挖掘數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的應用與發(fā)展趨勢課程簡介數(shù)據(jù)挖掘的概念課程簡介一、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述二、數(shù)據(jù)倉庫的OLAP技術三、數(shù)據(jù)預處理四、數(shù)據(jù)挖掘的系統(tǒng)結構五、挖掘大型數(shù)據(jù)庫中的關聯(lián)規(guī)則六、分類與預測七、聚類分析八、復雜類型的數(shù)據(jù)挖掘九、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的應用與發(fā)展趨勢課程結構一、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述課程結構1.什么是數(shù)據(jù)倉庫2.什么是數(shù)據(jù)挖掘3.數(shù)據(jù)挖掘的功能4.數(shù)據(jù)挖掘的分類5.數(shù)據(jù)挖掘的主要問題第一章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述1.什么是數(shù)據(jù)倉庫第一章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生當前的數(shù)據(jù)處理與數(shù)據(jù)分為兩類：操作型處理與數(shù)據(jù)分析型或信息型處理與數(shù)據(jù)第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型處理：又稱事務處理，是指對數(shù)據(jù)庫聯(lián)機的日常操作，通常是對一個或一組記錄的查詢和修改，主要為企業(yè)的特定應用服務，所關心的是響應時間，數(shù)據(jù)的安全性和完整性操作型環(huán)境是以單一數(shù)據(jù)庫為中心的數(shù)據(jù)環(huán)境第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生分析型處理：又稱信息型處理，是針對制定決策過程中管理方面的需求而進行的處理，通過瀏覽大量數(shù)據(jù)找出其中的趨勢。如DSS，EIS等分析型環(huán)境是一種新的體系化環(huán)境第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型數(shù)據(jù)（原始數(shù)據(jù)）分析型數(shù)據(jù)（導出數(shù)據(jù)）細節(jié)的綜合的，或提煉的在存取瞬間是準確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對性能要求高對性能要求寬松一個時刻操作一個單元一個時刻操作一個集合事務驅(qū)動分析驅(qū)動面向應用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求第一節(jié)什么是數(shù)據(jù)倉庫操作型數(shù)據(jù)（原始數(shù)據(jù)）分析型數(shù)據(jù)（導出數(shù)據(jù)）細節(jié)的綜合的，或第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型數(shù)據(jù)和分析型數(shù)據(jù)的不同而導致的數(shù)據(jù)分離和自然擴展過程：操作型原子/數(shù)據(jù)倉庫部門/數(shù)據(jù)集市個體第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型原子/部門第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫之父W.H.Inmon給出了定義：數(shù)據(jù)倉庫是一個面向主題的、集成的、不可更新的且隨時間不斷變化的數(shù)據(jù)集合，用來支持管理人員的決策第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義面向主題主題：是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進行分析利用的抽象，即對應企業(yè)中某一宏觀分析領域所涉及的分析對象面向主題的數(shù)據(jù)組織方式就是對分析對象的數(shù)據(jù)的一個完整、一致的描述，能完整、統(tǒng)一地刻畫各個分析對象所涉及的企業(yè)各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義面向主題每個主題在數(shù)據(jù)倉庫中都是由一組關系表實現(xiàn)的主題的實現(xiàn)基于關系數(shù)據(jù)庫在具體實現(xiàn)中，一個主題可以劃分成多個表，主題只是一個邏輯的概念基于一個主題的所有表都含有一個稱為公共鍵碼的屬性作為其主碼的一部分第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義面向主題CustomerIDFromdateTodateNameAddressPhoneSex…CustomerIDFromdateTodateNameAddressCreditratingemployerSex…CustomerIDActivitydateAmountLocationForitem…第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義Customer第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫的數(shù)據(jù)是集成的要統(tǒng)一源數(shù)據(jù)中所有矛盾之處，如同名異義、字長不一致等等進行數(shù)據(jù)綜合和計算。數(shù)據(jù)綜合可以從原有數(shù)據(jù)庫抽取數(shù)據(jù)生成，但許多是在數(shù)據(jù)倉庫內(nèi)部生成第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫數(shù)據(jù)是不可更新數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析使用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般不進行修改操作數(shù)據(jù)庫中進行聯(lián)機處理的數(shù)據(jù)經(jīng)過集成輸入到數(shù)據(jù)倉庫中，數(shù)據(jù)倉庫中的數(shù)據(jù)超過存儲期限，這些數(shù)據(jù)將從當前數(shù)據(jù)倉庫中刪去DWMS比DBMS簡單，但查詢要求高第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫數(shù)據(jù)隨時間不斷變化數(shù)據(jù)倉庫隨時間變化不斷增加新的內(nèi)容數(shù)據(jù)倉庫隨時間變化不斷刪除舊的內(nèi)容數(shù)據(jù)倉庫中包含有大量的綜合數(shù)據(jù)，這些數(shù)據(jù)隨時間變化不斷地進行重新綜合數(shù)據(jù)倉庫數(shù)據(jù)的碼鍵包含時間項，標明歷史時期第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.1組織結構元數(shù)據(jù)高度綜合級輕度綜合級當前細節(jié)級早期細節(jié)級2002~2003年每月銷售表2002~2003年每周銷售表2002~2003年銷售情況表2000~2003年銷售明細表第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織元數(shù)據(jù)高度綜第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.1組織結構數(shù)據(jù)倉庫中的不同綜合級別，稱為“粒度”。粒度越大，表示細節(jié)程度越低，綜合程度越高元數(shù)據(jù)（metadata）：關于數(shù)據(jù)的數(shù)據(jù)操作型環(huán)境向數(shù)據(jù)倉庫環(huán)境轉換而建立的元數(shù)據(jù)數(shù)據(jù)倉庫中用來與終端用戶的多維商業(yè)模型/前端工具之間建立映射，也為DSS元數(shù)據(jù)第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.2粒度與分割粒度是數(shù)據(jù)倉庫的重要概念粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細化或綜合程度的級別細化程度越高，粒度級就越小；細化程度越低粒度級就越大一般采用多重粒度級：高細節(jié)級、低細節(jié)級第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.2粒度與分割分割是數(shù)據(jù)倉庫的重要概念分割是指將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨立處理，以提高數(shù)據(jù)處理效率數(shù)據(jù)分割后的數(shù)據(jù)單元稱為分片數(shù)據(jù)分割標準依據(jù)實際情況確定，一般應包括日期項分割使數(shù)據(jù)更易重構、索引、重組、恢復、監(jiān)控第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.2粒度與分割簡單分割實例，分片以時間標準來組織：健康保險生命保險事故保險2001分片1分片2分片32002分片4分片5分片62003分片7分片8分片9第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織健康保險生命第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.3數(shù)據(jù)組織形式

簡單堆積文件：數(shù)據(jù)逐天積累輪轉綜合文件：按日、周、月、年組織數(shù)據(jù)集簡化直接文件：每隔一定時間的數(shù)據(jù)庫快照連續(xù)文件：通過比較兩個簡單直接文件不同而生成第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)挖掘是信息技術自然演化的結果數(shù)據(jù)收集、數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)管理：數(shù)據(jù)存儲和檢索，數(shù)據(jù)庫事務處理數(shù)據(jù)分析與理解：涉及數(shù)據(jù)倉庫和數(shù)據(jù)挖掘第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)庫技術的發(fā)展歷史20世紀60年代，功能強大的數(shù)據(jù)庫系統(tǒng)70年代，從網(wǎng)狀和層次到關系數(shù)據(jù)庫系統(tǒng)、建模工具、索引和數(shù)據(jù)組織技術，聯(lián)機事務處理OLTP80年代，使用先進的數(shù)據(jù)模型，如面向?qū)ο竽Ｐ?、對象關系模型、演繹模型第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)倉庫技術數(shù)據(jù)清理：文件之間轉換、存儲介質(zhì)轉移、清除過期數(shù)據(jù)、層次轉換（操作型到分析型）數(shù)據(jù)集成：從操作型環(huán)境到分析型環(huán)境聯(lián)機分析處理OLAP：是一種分析技術，具有匯總、合并和聚集功能，以及從不同角度觀察信息的能力第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)的豐富增強了對功能更強的數(shù)據(jù)分析工具的需求對海量數(shù)據(jù)的理解，遠遠超出人的能力，產(chǎn)生“數(shù)據(jù)墳墓”決策者缺乏從海量數(shù)據(jù)中提取有價值知識的工具，許多專家系統(tǒng)技術還是依賴經(jīng)驗數(shù)據(jù)挖掘工具進行數(shù)據(jù)分析，可以發(fā)現(xiàn)重要的數(shù)據(jù)模式，破除數(shù)據(jù)與信息的鴻溝第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中提取或“挖掘”知識。通常也可理解為數(shù)據(jù)庫中的知識發(fā)現(xiàn)KDD，也可以理解為KDD的一個基本步驟。還有提法：數(shù)據(jù)庫中知識挖掘知識提取數(shù)據(jù)/模式分析數(shù)據(jù)考古數(shù)據(jù)捕撈第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義知識發(fā)現(xiàn)過程7個步驟如下：1）數(shù)據(jù)清理：消除噪聲或不一致2）數(shù)據(jù)集成：多種數(shù)據(jù)源組合在一起3）數(shù)據(jù)選擇：從數(shù)據(jù)庫中檢索與分析任務相關的數(shù)據(jù)。4）數(shù)據(jù)變換：數(shù)據(jù)變換或統(tǒng)一成適合挖掘的形式，如匯總或聚集操作5）數(shù)據(jù)挖掘：使用智能方法提取數(shù)據(jù)模式第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義知識發(fā)現(xiàn)過程7個步驟如下：6）模式評估：根據(jù)某種興趣度量，識別表示知識的真正有趣的模式7）知識表示：使用可視化和知識表示技術，向用戶提供挖掘的知識第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義知識發(fā)現(xiàn)過程7個步驟如下：數(shù)據(jù)倉庫知識數(shù)據(jù)庫清理與集成選擇與變換數(shù)據(jù)挖掘模式評估與表示第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義數(shù)據(jù)倉庫知識數(shù)據(jù)第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘的廣義定義：數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中挖掘有趣知識的過程第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘3.數(shù)據(jù)挖掘系統(tǒng)的主要成分

數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器知識庫數(shù)據(jù)挖掘引擎模式評估模塊圖形用戶界面第二節(jié)什么是數(shù)據(jù)挖掘3.數(shù)據(jù)挖掘系統(tǒng)的主要成分第二節(jié)什么是數(shù)據(jù)挖掘4.數(shù)據(jù)挖掘的應用環(huán)境關系數(shù)據(jù)庫數(shù)據(jù)倉庫事務數(shù)據(jù)庫高級數(shù)據(jù)庫系統(tǒng)和高級數(shù)據(jù)庫第二節(jié)什么是數(shù)據(jù)挖掘4.數(shù)據(jù)挖掘的應用環(huán)境第二節(jié)什么是數(shù)據(jù)挖掘第二節(jié)什么是數(shù)據(jù)挖掘第三節(jié)數(shù)據(jù)挖掘功能1.數(shù)據(jù)挖掘功能數(shù)據(jù)挖掘功能用于指定數(shù)據(jù)挖掘任務中要找的模式類型。數(shù)據(jù)挖掘任務一般分為兩類：描述和預測

描述性挖掘任務刻劃數(shù)據(jù)庫中數(shù)據(jù)的一般特性預測性挖掘任務在當前數(shù)據(jù)上進行推斷，以進行預測第三節(jié)數(shù)據(jù)挖掘功能1.數(shù)據(jù)挖掘功能第三節(jié)數(shù)據(jù)挖掘功能2.概念/類描述：特征化和區(qū)分數(shù)據(jù)可以與類或概念相關聯(lián)。用匯總的、簡潔的、精確的方式描述每個類和概念稱為類/概念描述這種描述可以通過以下方法得到：數(shù)據(jù)特征化：目標類數(shù)據(jù)的一般特征或特性的匯總數(shù)據(jù)區(qū)分：將目標類對象的一般特性與一個或多個對比類對象的一般特性進行比較數(shù)據(jù)特征化和比較第三節(jié)數(shù)據(jù)挖掘功能2.概念/類描述：特征化和區(qū)分第三節(jié)數(shù)據(jù)挖掘功能3.關聯(lián)分析關聯(lián)分析發(fā)現(xiàn)關聯(lián)規(guī)則，這些規(guī)則展示屬性-值頻繁地在給定數(shù)據(jù)集中一起出現(xiàn)的條件。關聯(lián)分析適用于事務數(shù)據(jù)分析關聯(lián)規(guī)則形式化描述為，解釋為“滿足X中條件的數(shù)據(jù)庫元組也滿足Y中的條件”

多維關聯(lián)規(guī)則一個以上屬性或謂詞之間的關聯(lián)規(guī)則

單維關聯(lián)規(guī)則包含單個謂詞的關聯(lián)規(guī)則第三節(jié)數(shù)據(jù)挖掘功能3.關聯(lián)分析第三節(jié)數(shù)據(jù)挖掘功能4.分類與預測分類就是找出描述并區(qū)分數(shù)據(jù)類或概念的模型（或函數(shù)），以便能夠使用模型預測類標記未知的對象類預測是構造和使用模型評估無標號樣本類，或評估給定樣本可能具有的屬性值或值區(qū)間第三節(jié)數(shù)據(jù)挖掘功能4.分類與預測第三節(jié)數(shù)據(jù)挖掘功能4.分類與預測數(shù)據(jù)分類的基本技術有：判定樹歸納貝葉斯分類貝葉斯網(wǎng)絡神經(jīng)網(wǎng)絡第三節(jié)數(shù)據(jù)挖掘功能4.分類與預測第三節(jié)數(shù)據(jù)挖掘功能5.聚類分析將物理或抽象對象的集合分組成為由類似的對象組成的多個類的過程成為聚類（clustering）由聚類所生成的簇是一組數(shù)據(jù)對象的集合，同一簇中的對象彼此相似，而與其他簇中的對象相異通過聚類，人能夠識別密集的和稀疏的區(qū)域，因而發(fā)現(xiàn)全局的分布模式，以及數(shù)據(jù)屬性之間的有趣的相互關系聚類第三節(jié)數(shù)據(jù)挖掘功能5.聚類分析聚類第三節(jié)數(shù)據(jù)挖掘功能5.聚類分析聚類分析是數(shù)據(jù)挖掘的一個功能，能夠作為一個獨立的工具來獲得數(shù)據(jù)分布的情況，觀察每個簇的特點，集中對特定的某些簇做進一步的分析。此外，聚類分析也可以作為其他算法的預處理步驟聚類技術主要有：劃分方法、層次方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法第三節(jié)數(shù)據(jù)挖掘功能5.聚類分析第四節(jié)數(shù)據(jù)挖掘的分類1.數(shù)據(jù)挖掘受多學科的影響數(shù)據(jù)挖掘可視化其他學科機器學習統(tǒng)計學信息科學數(shù)據(jù)庫技術第四節(jié)數(shù)據(jù)挖掘的分類1.數(shù)據(jù)挖掘受多學科的影響數(shù)據(jù)可視第四節(jié)數(shù)據(jù)挖掘的分類2.數(shù)據(jù)挖掘的分類根據(jù)挖掘的數(shù)據(jù)庫類型分類：關系型、面向?qū)ο笮汀ο箨P系型、空間的、文本的或多媒體的等等根據(jù)挖掘的知識類型分類：特征化、區(qū)分、關聯(lián)、分類、聚集等等根據(jù)所用的技術分類：機器學習、統(tǒng)計學、模式識別、神經(jīng)網(wǎng)絡等等根據(jù)應用分類：金融、電信、股票市場、E-mail等等第四節(jié)數(shù)據(jù)挖掘的分類2.數(shù)據(jù)挖掘的分類第五節(jié)數(shù)據(jù)挖掘的主要問題1.挖掘方法和用戶交互的問題2.性能問題3.關于數(shù)據(jù)庫類型的多樣性問題第五節(jié)數(shù)據(jù)挖掘的主要問題1.挖掘方法和用戶交互的問題第五節(jié)數(shù)據(jù)挖掘的主要問題1.挖掘方法和用戶交互的問題在數(shù)據(jù)庫中挖掘不同類型的知識多個抽象層的交互知識挖掘綜合背景知識數(shù)據(jù)挖掘查詢語言和特定的數(shù)據(jù)挖掘數(shù)據(jù)挖掘結果的表示和顯示處理噪聲和不完全數(shù)據(jù)模式評估—興趣度問題第五節(jié)數(shù)據(jù)挖掘的主要問題1.挖掘方法和用戶交互的問題第五節(jié)數(shù)據(jù)挖掘的主要問題2.性能問題

數(shù)據(jù)挖掘算法的有效性和可伸縮性并行、分布式和增量挖掘算法第五節(jié)數(shù)據(jù)挖掘的主要問題2.性能問題第五節(jié)數(shù)據(jù)挖掘的主要問題3.關于數(shù)據(jù)庫類型的多樣性問題

關系的和復雜的數(shù)據(jù)類型的處理由異種數(shù)據(jù)庫和全球信息系統(tǒng)挖掘信息第五節(jié)數(shù)據(jù)挖掘的主要問題3.關于數(shù)據(jù)庫類型的多樣性問題思考問題：1.什么是數(shù)據(jù)倉庫？它與數(shù)據(jù)庫有何差異？2.什么是數(shù)據(jù)挖掘？3.數(shù)據(jù)挖掘的主要功能是什么？4.簡述知識發(fā)現(xiàn)的基本步驟。5.典型的數(shù)據(jù)挖掘系統(tǒng)主要是由哪些部分構成的？思考問題：1.什么是數(shù)據(jù)倉庫？它與數(shù)據(jù)庫有何差異？數(shù)據(jù)倉庫與數(shù)據(jù)挖掘陳昕chenxin@2015.04數(shù)據(jù)倉庫與數(shù)據(jù)挖掘陳昕數(shù)據(jù)挖掘的應用—人文地理數(shù)據(jù)挖掘的應用—人文地理數(shù)據(jù)挖掘的應用—娛樂傳媒數(shù)據(jù)挖掘的應用—娛樂傳媒數(shù)據(jù)挖掘的應用—智慧城市數(shù)據(jù)挖掘的應用—智慧城市數(shù)據(jù)挖掘的應用—商業(yè)零售數(shù)據(jù)挖掘的應用—商業(yè)零售數(shù)據(jù)挖掘的應用—Web推薦數(shù)據(jù)挖掘的應用—Web推薦數(shù)據(jù)挖掘的應用—體育競技VS數(shù)據(jù)挖掘的應用—體育競技VS數(shù)據(jù)挖掘的應用—大數(shù)據(jù)應用信息安全輿情分析能效優(yōu)化數(shù)據(jù)挖掘的應用—大數(shù)據(jù)應用信息安全輿情分析能效優(yōu)化商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘工具商務智能與數(shù)據(jù)挖掘功能計劃預測預算

實際

分析

沒有絕對正確的答案

依靠分析

眾多的預測方案

靈活的要求核心：數(shù)據(jù)商務智能與數(shù)據(jù)挖掘功能計劃預測預算實際分析參考書目1.《數(shù)據(jù)挖掘概念與技術》,JiaweiHanMichelineKamber著，范明、孟小峰等譯，機械工業(yè)出版社出版2.《數(shù)據(jù)倉庫》，W.H.Inmon著，王志海等譯，機械工業(yè)出版社出版3.《數(shù)據(jù)倉庫技術與聯(lián)機分析處理》，王珊等編著，科學出版社出版4.《數(shù)據(jù)挖掘?qū)嵺`》，OliviaParrRud著，朱揚勇、左子葉等譯，機械工業(yè)出版社出版參考書目1.《數(shù)據(jù)挖掘概念與技術》,Jiawei數(shù)據(jù)倉庫以及數(shù)據(jù)挖掘是目前數(shù)據(jù)庫領域最為活躍的一個方面，受到學術界與產(chǎn)業(yè)界的廣泛關注。典型應用環(huán)境如DSS，EIS，ERP。大型數(shù)據(jù)庫的數(shù)據(jù)倉庫解決方案有：

InformixMetaCubeOracleExpressSybaseQuickStartDataMartDB2DataWarehouseManagerSQLServerAnalysisservices

NCRTeradataWarehouse對各類海量數(shù)據(jù)需要自動分析、分類、匯總、發(fā)現(xiàn)和描述數(shù)據(jù)蘊涵的趨勢、標記異常等課程簡介數(shù)據(jù)倉庫以及數(shù)據(jù)挖掘是目前數(shù)據(jù)庫領域最為活躍的一個方面，受到

各類管理人員需要從大量復雜的業(yè)務數(shù)據(jù)中獲取各自權限內(nèi)的決策信息，及時把握市場變化脈搏，作出正確有效的判斷與抉擇隨著數(shù)據(jù)庫系統(tǒng)的逐日運行，數(shù)據(jù)將堆積越來越龐大數(shù)據(jù)處理的重點需要從傳統(tǒng)業(yè)務擴展到業(yè)務數(shù)據(jù)的聯(lián)機分析處理，并得到面向各種管理主題的統(tǒng)計信息和決策支持信息數(shù)據(jù)倉庫是基于大規(guī)模數(shù)據(jù)庫的DSS環(huán)境的核心課程簡介各類管理人員需要從大量復雜的業(yè)務數(shù)據(jù)中獲取各自權限內(nèi)的決策

數(shù)據(jù)倉庫的基本概念多維數(shù)據(jù)模型數(shù)據(jù)倉庫的系統(tǒng)結構數(shù)據(jù)倉庫的實現(xiàn)基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘課程簡介數(shù)據(jù)倉庫的基本概念課程簡介數(shù)據(jù)挖掘通常稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD），是自動的或方便的模式提取，這些模式代表隱藏在大型數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他大量信息存儲中的知識涉及的學科有：數(shù)據(jù)庫技術、人工智能、機器學習、神經(jīng)網(wǎng)絡、統(tǒng)計學、模式識別、知識庫、知識獲取、信息檢索、高性能計算和數(shù)據(jù)可視化課程簡介課程簡介數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘的功能數(shù)據(jù)挖掘的分類與主要問題數(shù)據(jù)挖掘系統(tǒng)的結構挖掘大型數(shù)據(jù)庫中的關聯(lián)規(guī)則分類與預測聚類分析復雜類型的數(shù)據(jù)挖掘數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的應用與發(fā)展趨勢課程簡介數(shù)據(jù)挖掘的概念課程簡介一、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述二、數(shù)據(jù)倉庫的OLAP技術三、數(shù)據(jù)預處理四、數(shù)據(jù)挖掘的系統(tǒng)結構五、挖掘大型數(shù)據(jù)庫中的關聯(lián)規(guī)則六、分類與預測七、聚類分析八、復雜類型的數(shù)據(jù)挖掘九、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的應用與發(fā)展趨勢課程結構一、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述課程結構1.什么是數(shù)據(jù)倉庫2.什么是數(shù)據(jù)挖掘3.數(shù)據(jù)挖掘的功能4.數(shù)據(jù)挖掘的分類5.數(shù)據(jù)挖掘的主要問題第一章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述1.什么是數(shù)據(jù)倉庫第一章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生當前的數(shù)據(jù)處理與數(shù)據(jù)分為兩類：操作型處理與數(shù)據(jù)分析型或信息型處理與數(shù)據(jù)第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型處理：又稱事務處理，是指對數(shù)據(jù)庫聯(lián)機的日常操作，通常是對一個或一組記錄的查詢和修改，主要為企業(yè)的特定應用服務，所關心的是響應時間，數(shù)據(jù)的安全性和完整性操作型環(huán)境是以單一數(shù)據(jù)庫為中心的數(shù)據(jù)環(huán)境第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生分析型處理：又稱信息型處理，是針對制定決策過程中管理方面的需求而進行的處理，通過瀏覽大量數(shù)據(jù)找出其中的趨勢。如DSS，EIS等分析型環(huán)境是一種新的體系化環(huán)境第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型數(shù)據(jù)（原始數(shù)據(jù)）分析型數(shù)據(jù)（導出數(shù)據(jù)）細節(jié)的綜合的，或提煉的在存取瞬間是準確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對性能要求高對性能要求寬松一個時刻操作一個單元一個時刻操作一個集合事務驅(qū)動分析驅(qū)動面向應用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求第一節(jié)什么是數(shù)據(jù)倉庫操作型數(shù)據(jù)（原始數(shù)據(jù)）分析型數(shù)據(jù)（導出數(shù)據(jù)）細節(jié)的綜合的，或第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型數(shù)據(jù)和分析型數(shù)據(jù)的不同而導致的數(shù)據(jù)分離和自然擴展過程：操作型原子/數(shù)據(jù)倉庫部門/數(shù)據(jù)集市個體第一節(jié)什么是數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的產(chǎn)生操作型原子/部門第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫之父W.H.Inmon給出了定義：數(shù)據(jù)倉庫是一個面向主題的、集成的、不可更新的且隨時間不斷變化的數(shù)據(jù)集合，用來支持管理人員的決策第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義面向主題主題：是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進行分析利用的抽象，即對應企業(yè)中某一宏觀分析領域所涉及的分析對象面向主題的數(shù)據(jù)組織方式就是對分析對象的數(shù)據(jù)的一個完整、一致的描述，能完整、統(tǒng)一地刻畫各個分析對象所涉及的企業(yè)各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義面向主題每個主題在數(shù)據(jù)倉庫中都是由一組關系表實現(xiàn)的主題的實現(xiàn)基于關系數(shù)據(jù)庫在具體實現(xiàn)中，一個主題可以劃分成多個表，主題只是一個邏輯的概念基于一個主題的所有表都含有一個稱為公共鍵碼的屬性作為其主碼的一部分第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義面向主題CustomerIDFromdateTodateNameAddressPhoneSex…CustomerIDFromdateTodateNameAddressCreditratingemployerSex…CustomerIDActivitydateAmountLocationForitem…第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義Customer第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫的數(shù)據(jù)是集成的要統(tǒng)一源數(shù)據(jù)中所有矛盾之處，如同名異義、字長不一致等等進行數(shù)據(jù)綜合和計算。數(shù)據(jù)綜合可以從原有數(shù)據(jù)庫抽取數(shù)據(jù)生成，但許多是在數(shù)據(jù)倉庫內(nèi)部生成第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫數(shù)據(jù)是不可更新數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析使用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般不進行修改操作數(shù)據(jù)庫中進行聯(lián)機處理的數(shù)據(jù)經(jīng)過集成輸入到數(shù)據(jù)倉庫中，數(shù)據(jù)倉庫中的數(shù)據(jù)超過存儲期限，這些數(shù)據(jù)將從當前數(shù)據(jù)倉庫中刪去DWMS比DBMS簡單，但查詢要求高第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫數(shù)據(jù)隨時間不斷變化數(shù)據(jù)倉庫隨時間變化不斷增加新的內(nèi)容數(shù)據(jù)倉庫隨時間變化不斷刪除舊的內(nèi)容數(shù)據(jù)倉庫中包含有大量的綜合數(shù)據(jù)，這些數(shù)據(jù)隨時間變化不斷地進行重新綜合數(shù)據(jù)倉庫數(shù)據(jù)的碼鍵包含時間項，標明歷史時期第一節(jié)什么是數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的定義第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.1組織結構元數(shù)據(jù)高度綜合級輕度綜合級當前細節(jié)級早期細節(jié)級2002~2003年每月銷售表2002~2003年每周銷售表2002~2003年銷售情況表2000~2003年銷售明細表第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織元數(shù)據(jù)高度綜第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.1組織結構數(shù)據(jù)倉庫中的不同綜合級別，稱為“粒度”。粒度越大，表示細節(jié)程度越低，綜合程度越高元數(shù)據(jù)（metadata）：關于數(shù)據(jù)的數(shù)據(jù)操作型環(huán)境向數(shù)據(jù)倉庫環(huán)境轉換而建立的元數(shù)據(jù)數(shù)據(jù)倉庫中用來與終端用戶的多維商業(yè)模型/前端工具之間建立映射，也為DSS元數(shù)據(jù)第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.2粒度與分割粒度是數(shù)據(jù)倉庫的重要概念粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細化或綜合程度的級別細化程度越高，粒度級就越?。患毣潭仍降土６燃壘驮酱笠话悴捎枚嘀亓６燃墸焊呒毠?jié)級、低細節(jié)級第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.2粒度與分割分割是數(shù)據(jù)倉庫的重要概念分割是指將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨立處理，以提高數(shù)據(jù)處理效率數(shù)據(jù)分割后的數(shù)據(jù)單元稱為分片數(shù)據(jù)分割標準依據(jù)實際情況確定，一般應包括日期項分割使數(shù)據(jù)更易重構、索引、重組、恢復、監(jiān)控第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.2粒度與分割簡單分割實例，分片以時間標準來組織：健康保險生命保險事故保險2001分片1分片2分片32002分片4分片5分片62003分片7分片8分片9第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織健康保險生命第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織3.3數(shù)據(jù)組織形式

簡單堆積文件：數(shù)據(jù)逐天積累輪轉綜合文件：按日、周、月、年組織數(shù)據(jù)集簡化直接文件：每隔一定時間的數(shù)據(jù)庫快照連續(xù)文件：通過比較兩個簡單直接文件不同而生成第一節(jié)什么是數(shù)據(jù)倉庫3.數(shù)據(jù)倉庫的數(shù)據(jù)組織第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)挖掘是信息技術自然演化的結果數(shù)據(jù)收集、數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)管理：數(shù)據(jù)存儲和檢索，數(shù)據(jù)庫事務處理數(shù)據(jù)分析與理解：涉及數(shù)據(jù)倉庫和數(shù)據(jù)挖掘第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)庫技術的發(fā)展歷史20世紀60年代，功能強大的數(shù)據(jù)庫系統(tǒng)70年代，從網(wǎng)狀和層次到關系數(shù)據(jù)庫系統(tǒng)、建模工具、索引和數(shù)據(jù)組織技術，聯(lián)機事務處理OLTP80年代，使用先進的數(shù)據(jù)模型，如面向?qū)ο竽Ｐ?、對象關系模型、演繹模型第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)倉庫技術數(shù)據(jù)清理：文件之間轉換、存儲介質(zhì)轉移、清除過期數(shù)據(jù)、層次轉換（操作型到分析型）數(shù)據(jù)集成：從操作型環(huán)境到分析型環(huán)境聯(lián)機分析處理OLAP：是一種分析技術，具有匯總、合并和聚集功能，以及從不同角度觀察信息的能力第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出數(shù)據(jù)的豐富增強了對功能更強的數(shù)據(jù)分析工具的需求對海量數(shù)據(jù)的理解，遠遠超出人的能力，產(chǎn)生“數(shù)據(jù)墳墓”決策者缺乏從海量數(shù)據(jù)中提取有價值知識的工具，許多專家系統(tǒng)技術還是依賴經(jīng)驗數(shù)據(jù)挖掘工具進行數(shù)據(jù)分析，可以發(fā)現(xiàn)重要的數(shù)據(jù)模式，破除數(shù)據(jù)與信息的鴻溝第二節(jié)什么是數(shù)據(jù)挖掘1.數(shù)據(jù)挖掘的提出第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中提取或“挖掘”知識。通常也可理解為數(shù)據(jù)庫中的知識發(fā)現(xiàn)KDD，也可以理解為KDD的一個基本步驟。還有提法：數(shù)據(jù)庫中知識挖掘知識提取數(shù)據(jù)/模式分析數(shù)據(jù)考古數(shù)據(jù)捕撈第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義知識發(fā)現(xiàn)過程7個步驟如下：1）數(shù)據(jù)清理：消除噪聲或不一致2）數(shù)據(jù)集成：多種數(shù)據(jù)源組合在一起3）數(shù)據(jù)選擇：從數(shù)據(jù)庫中檢索與分析任務相關的數(shù)據(jù)。4）數(shù)據(jù)變換：數(shù)據(jù)變換或統(tǒng)一成適合挖掘的形式，如匯總或聚集操作5）數(shù)據(jù)挖掘：使用智能方法提取數(shù)據(jù)模式第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義知識發(fā)現(xiàn)過程7個步驟如下：6）模式評估：根據(jù)某種興趣度量，識別表示知識的真正有趣的模式7）知識表示：使用可視化和知識表示技術，向用戶提供挖掘的知識第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義知識發(fā)現(xiàn)過程7個步驟如下：數(shù)據(jù)倉庫知識數(shù)據(jù)庫清理與集成選擇與變換數(shù)據(jù)挖掘模式評估與表示第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義數(shù)據(jù)倉庫知識數(shù)據(jù)第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘的廣義定義：數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中挖掘有趣知識的過程第二節(jié)什么是數(shù)據(jù)挖掘2.數(shù)據(jù)挖掘的定義第二節(jié)什么是數(shù)據(jù)挖掘3.數(shù)據(jù)挖掘系統(tǒng)的主要成分

數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器知識庫數(shù)據(jù)挖掘引擎模式評估模塊圖形用戶界面第二節(jié)什么是數(shù)據(jù)挖掘3.數(shù)據(jù)挖掘系統(tǒng)的主要成分第二節(jié)什么是數(shù)據(jù)挖掘4.數(shù)據(jù)挖掘的應用環(huán)境關系數(shù)據(jù)庫數(shù)據(jù)倉庫事務數(shù)據(jù)庫高級數(shù)據(jù)庫系統(tǒng)和高級數(shù)據(jù)庫第二節(jié)什么是數(shù)據(jù)挖掘4.數(shù)據(jù)挖掘的應用環(huán)境第二節(jié)什么是數(shù)據(jù)挖掘第二節(jié)什么是數(shù)據(jù)挖掘第三節(jié)數(shù)據(jù)挖掘功能1.數(shù)據(jù)挖掘功能數(shù)據(jù)挖掘功能用于指定數(shù)據(jù)挖掘任務中要找的模式類型。數(shù)據(jù)挖掘任務一般分為兩類：描述和預測

描述性挖掘任務刻劃數(shù)據(jù)庫中數(shù)據(jù)的一般特性預測性挖掘任務在當前數(shù)據(jù)上進行推斷，以進行預測第三節(jié)數(shù)據(jù)挖掘功能1.數(shù)據(jù)挖掘功能第三節(jié)數(shù)據(jù)挖掘功能2.概念/類描述：特征化和區(qū)分數(shù)據(jù)可以與類或概念相關聯(lián)。用匯總的、簡潔的、精確的方式描述每個類和概念稱為類/概念描述這種描述可以通過以下方法得到：數(shù)據(jù)特征化：目標類數(shù)據(jù)的一般特征或特性的匯總數(shù)據(jù)區(qū)分：將目標類對象的一般特性與一個或多個對比類對象的一般特性進行比較數(shù)據(jù)特征化和比較