數(shù)據(jù)清洗數(shù)據(jù)分析數(shù)據(jù)挖掘

1、 從多個(gè)業(yè)務(wù)系統(tǒng)因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)有的數(shù)據(jù)中抽取而來(lái)而且包含歷史數(shù)據(jù)，這樣就避 定 認(rèn)是否任務(wù)是過(guò)濾那些不符合要求的數(shù)據(jù)，將過(guò)濾的結(jié) 之后再進(jìn)行抽取。的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。數(shù)據(jù)清洗是與 期格式不正確、日期越界等。這一類數(shù)據(jù)也要分類，對(duì)于類似語(yǔ)句 的這一類錯(cuò)誤會(huì)導(dǎo)致 ETL 運(yùn)行失敗，這一類錯(cuò)誤需要去業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)用 的方 將重復(fù)數(shù)據(jù)記錄的所有特別是維表中會(huì)出現(xiàn)這種情況-對(duì)于這一類數(shù)據(jù)- 字段 只有不斷的發(fā)現(xiàn)問(wèn)題，解決問(wèn)題。對(duì)于是否過(guò)濾，是否修正一般要求客戶確認(rèn)， 可以每天向業(yè)務(wù)單位發(fā)送過(guò)濾數(shù)據(jù)的郵件，促使他們盡快地修正錯(cuò)誤,同時(shí) 數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行

2、分析， 提取有用信息和形成結(jié)論而 對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。這一過(guò)程也是質(zhì)量管理體系的支持過(guò)程。在實(shí) 用中，類型在統(tǒng)計(jì)學(xué)領(lǐng)域，有些人將數(shù)據(jù)分析劃分為描述性統(tǒng)計(jì)分析、探索性數(shù)據(jù)分析以及驗(yàn)證其中，探索性數(shù)據(jù)分析側(cè)重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特征，而驗(yàn)證性數(shù)據(jù)分析則;性數(shù)據(jù)分析 側(cè)重 于已有假設(shè)的證實(shí)或證偽。探索性數(shù)據(jù)分析是指為了形成值得假設(shè)的檢驗(yàn)而對(duì)數(shù)據(jù)進(jìn)行分析的一 種方法，是對(duì)傳 命名。統(tǒng)統(tǒng)計(jì)學(xué)假設(shè)檢驗(yàn)手段的補(bǔ)充。該方法由美國(guó)著名統(tǒng)計(jì)學(xué)家約翰 圖基 (John Tukey)，是指對(duì)諸或者質(zhì)性研究資料分析定性資料分析、 定性研究定性數(shù)據(jù)分析又稱為 或 又譯為資料探勘、數(shù)據(jù)采礦。數(shù)據(jù)挖掘(英語(yǔ)：

3、 Data mining)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是 指從大 KDD)Databases，簡(jiǎn)稱： Knowledge-Discovery in)的信 learningAssociation rule 量的數(shù)據(jù)中自動(dòng)搜索隱藏于其中的有著特殊關(guān)系性(屬于機(jī)器 科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī) 模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。 學(xué)習(xí)、專家系統(tǒng)(依靠過(guò)去的經(jīng)驗(yàn)法則) 數(shù)據(jù)挖掘的基本步折疊數(shù)據(jù)挖掘的步驟會(huì)隨不同領(lǐng)域的應(yīng)用而有所變化，每一種數(shù)據(jù)挖掘技術(shù)也會(huì)有各自的 不同領(lǐng)域中的運(yùn)用、規(guī)劃，以及流程的差異性，即使同一產(chǎn)業(yè)， 也會(huì)因?yàn)榉治黾夹g(shù)和專業(yè)知識(shí)的 涉入程

4、度不同而不同，因此對(duì)于數(shù)據(jù)挖掘過(guò)程的系統(tǒng)化、標(biāo)準(zhǔn)化就顯得格外重要。如此一來(lái)， 不僅可以較容易地跨領(lǐng)域應(yīng)用，也可以結(jié)合不同的專業(yè)知識(shí)，發(fā)揮數(shù)據(jù)挖掘的真正精神。 數(shù)據(jù)挖掘完整的步驟如下： 理解數(shù)據(jù)和數(shù)據(jù)的來(lái)源(understanding)。 獲取相關(guān)知識(shí)與技術(shù)(acquisition)。 整合與檢查數(shù)據(jù)(integration and checking)。 去除錯(cuò)誤或不一致的數(shù)據(jù)(data cleaning)。 建立模型和假設(shè)(model and hypothesis development)。 ) 。data mining 實(shí)際數(shù)據(jù)挖掘工作( 測(cè)試和驗(yàn)證挖掘結(jié)果(testing and verification)。 解釋和應(yīng)用(interpretation and use)。套數(shù) 據(jù)挖掘的過(guò)程中，有 80%的時(shí)間和精力是花費(fèi)在數(shù)據(jù)預(yù)處理