數(shù)據(jù)倉庫開發(fā)應(yīng)用過程.ppt

第3章數(shù)據(jù)倉庫開發(fā)應(yīng)用過程,數(shù)據(jù)倉庫的開發(fā)應(yīng)用像生物一樣具有其特有的、完整的生命周期，數(shù)據(jù)倉庫的開發(fā)應(yīng)用周期可以分成：數(shù)據(jù)倉庫規(guī)劃分析階段、數(shù)據(jù)倉庫設(shè)計(jì)實(shí)施階段以及數(shù)據(jù)倉庫的使用維護(hù)三個(gè)階段。 這三個(gè)階段是一個(gè)不斷循環(huán)、完善、提高的過程。在一般情況下數(shù)據(jù)倉庫系統(tǒng)不可能在一個(gè)循環(huán)過程中完成，而是經(jīng)過多次循環(huán)開發(fā)，每次循環(huán)都會(huì)為系統(tǒng)增加新的功能，使數(shù)據(jù)倉庫的應(yīng)用得到新的提高。 本章學(xué)習(xí)目標(biāo)： (1) 了解數(shù)據(jù)倉庫開發(fā)應(yīng)用的特點(diǎn) 。 (2) 掌握數(shù)據(jù)倉庫的規(guī)劃 、數(shù)據(jù)倉庫的概念模型設(shè)計(jì) 、數(shù)據(jù)倉庫的邏輯模型設(shè)計(jì) 、數(shù)據(jù)倉庫的物理模型設(shè)計(jì) 和數(shù)據(jù)倉庫的實(shí)施 。 (3) 了解數(shù)據(jù)倉庫的應(yīng)用、支持和增強(qiáng)。,數(shù)據(jù)倉庫開發(fā)應(yīng)用過程,3.1數(shù)據(jù)倉庫開發(fā)應(yīng)用過程 3.2數(shù)據(jù)倉庫的規(guī)劃 3.3數(shù)據(jù)倉庫的概念模型設(shè)計(jì) 3.4數(shù)據(jù)倉庫的邏輯模型設(shè)計(jì) 3.5數(shù)據(jù)倉庫的物理模型設(shè)計(jì) 3.6數(shù)據(jù)倉庫的實(shí)施 3.7數(shù)據(jù)倉庫的應(yīng)用、支持和增強(qiáng) 練 習(xí),3.1數(shù)據(jù)倉庫開發(fā)應(yīng)用的特點(diǎn),3.1.1 數(shù)據(jù)倉庫開發(fā)應(yīng)用的階段性 數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程劃分為： 創(chuàng)始階段 成長階段 控制階段 成熟階段,3.1.2 數(shù)據(jù)倉庫的螺旋式開發(fā)方法,規(guī)劃 分析階段 數(shù)據(jù)倉庫 開發(fā)過程 設(shè)計(jì)實(shí)施 使用維護(hù)階段 階段,3.2 數(shù)據(jù)倉庫的規(guī)劃,3.2.1 選擇數(shù)據(jù)倉庫實(shí)現(xiàn)策略,開發(fā)策略主要有： 自頂向下：實(shí)際應(yīng)用比較困難 。 自底向上：用于一個(gè)數(shù)據(jù)集市或一個(gè)部門的數(shù)據(jù)倉庫開發(fā) ，容易獲得成功 。 兩種策略的聯(lián)合使用 ：能夠快速地完成數(shù)據(jù)倉庫的開發(fā)與應(yīng)用，而且還可以建立具有長遠(yuǎn)價(jià)值的數(shù)據(jù)倉庫方案。在實(shí)際使用中難以操作 。,3.2.2 確定數(shù)據(jù)倉庫的開發(fā)目標(biāo)和實(shí)現(xiàn)范圍,首要目標(biāo)是確定所需要信息的范圍，確定數(shù)據(jù)倉庫在為用戶提供決策幫助時(shí)，在主題和指標(biāo)領(lǐng)域需要哪些數(shù)據(jù)源。 另一個(gè)重要目標(biāo)是確定利用哪些方法和工具訪問和導(dǎo)航數(shù)據(jù)？ 其它目標(biāo)是確定數(shù)據(jù)倉庫內(nèi)部數(shù)據(jù)的規(guī)模 從用戶的角度分析 從技術(shù)的角度分析,3.2.3 數(shù)據(jù)倉庫的結(jié)構(gòu),1.數(shù)據(jù)倉庫的應(yīng)用結(jié)構(gòu) 基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉庫 單純數(shù)據(jù)倉庫 單純數(shù)據(jù)集市 數(shù)據(jù)倉庫和數(shù)據(jù)集市 2.數(shù)據(jù)倉庫的技術(shù)平臺(tái)結(jié)構(gòu) 單層結(jié)構(gòu) 客戶/服務(wù)器兩層結(jié)構(gòu) 三層客戶/服務(wù)器 多層式結(jié)構(gòu),3.2.4 數(shù)據(jù)倉庫使用方案和項(xiàng)目規(guī)劃預(yù)算,實(shí)際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉庫的技術(shù)要求聯(lián)系起來 開發(fā)方案的預(yù)算進(jìn)行估計(jì) 編制數(shù)據(jù)倉庫開發(fā)說明書 ： 說明系統(tǒng)與企業(yè)戰(zhàn)略目標(biāo)的關(guān)系，系統(tǒng)與企業(yè)急需處理的、范圍相對有限的開發(fā)機(jī)會(huì)。 業(yè)務(wù)機(jī)會(huì)的說明以及任務(wù)概況說明、重點(diǎn)支持的職能部門和今后工作的建議。 計(jì)劃中需要闡明期望取得的有形和無形利益 業(yè)務(wù)價(jià)值計(jì)劃最好由目標(biāo)業(yè)務(wù)主管來完成 規(guī)劃書中要確定數(shù)據(jù)倉庫的開發(fā)目標(biāo)實(shí)現(xiàn)范圍、體系結(jié)構(gòu)和使用方案及開發(fā)預(yù)算。,3.3 數(shù)據(jù)倉庫的概念模型設(shè)計(jì),概念模型的設(shè)計(jì)可以分為以下幾個(gè)階段：用戶需求調(diào)查、模型定義、模型分析和模型設(shè)計(jì)。 3.3.1 概念模型的需求調(diào)查 數(shù)據(jù)倉庫開發(fā)的任務(wù)書 首先要明確用戶的信息需求 了解管理人員在信息需求方面的內(nèi)容 了解關(guān)于信息的來源 組織所使用的系統(tǒng)環(huán)境,3.3.2 概念模型的定義,1.數(shù)據(jù)倉庫用戶的決策分析 2.支持決策的數(shù)據(jù)需求分析 3.數(shù)據(jù)需求分析工具,3.3.2 概念模型的定義,4.CRUD矩陣,C：Create產(chǎn)生、R：Read引用、U：Update更新 D：Delete刪除。,3.3.2 概念模型的定義,5.企業(yè)業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)存儲(chǔ)表,3.3.3 概念模型的分析,3.3.4 概念模型的設(shè)計(jì),3.3.5 概念模型文檔與評審,1.概念模型設(shè)計(jì)文檔 數(shù)據(jù)倉庫開發(fā)需求分析報(bào)告 概念模型分析報(bào)告 概念模型 概念模型的評審報(bào)告。 2.概念模型的評審 3.概念模型的評審人員 4.概念模型的評審內(nèi)容 數(shù)據(jù)倉庫開發(fā)任務(wù)書；用戶決策分析信息需求調(diào)查表；數(shù)據(jù)倉庫主題；E-R圖、星型模型和雪花模型。,3.4 數(shù)據(jù)倉庫的邏輯模型設(shè)計(jì),數(shù)據(jù)倉庫的邏輯模型設(shè)計(jì)任務(wù)： 分析主題域，確定要裝載到數(shù)據(jù)倉庫的主題； 確定粒度層次劃分； 確定數(shù)據(jù)分割策略； 關(guān)系模式的定義和記錄系統(tǒng)定義、確定數(shù)據(jù)抽取模型等。 邏輯模型最終設(shè)計(jì)成果： 每個(gè)主題的邏輯定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中 粒度劃分 數(shù)據(jù)分割策略 表劃分和數(shù)據(jù)來源等。,3.4.1 分析主題域,3.4.2 粒度層次和聚集的確定,3.4.3 確定數(shù)據(jù)分割策略,數(shù)據(jù)分割標(biāo)準(zhǔn) 1.數(shù)據(jù)量 2.數(shù)據(jù)分析處理的對象 3.粒度分割的策略,3.4.4 關(guān)系模型定義,3.4.5 數(shù)據(jù)倉庫的實(shí)體定義,實(shí)體的邏輯分析 實(shí)體所有列的具體特征,3.4.5 數(shù)據(jù)倉庫的實(shí)體定義,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,F1 數(shù)據(jù)抽取規(guī)則,P2 清理數(shù)據(jù)記錄,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,2.數(shù)據(jù)倉庫的數(shù)據(jù)抽取、轉(zhuǎn)換與加載計(jì)劃 （1）影響數(shù)據(jù)抽取、轉(zhuǎn)換與加載的因素 數(shù)據(jù)格式 壞數(shù)據(jù) 系統(tǒng)的兼容性 數(shù)據(jù)源的變化 數(shù)據(jù)抽取的時(shí)間 （2）數(shù)據(jù)抽取、轉(zhuǎn)換與加載對策 全庫比較 利用程序日志 利用數(shù)據(jù)庫日志 利用時(shí)間戳或利用位圖索引,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,3.數(shù)據(jù)倉庫的數(shù)據(jù)清理轉(zhuǎn)換方法 (1)類型轉(zhuǎn)換 (2)串操作 (3)數(shù)學(xué)函數(shù) (4)參照完整性 (5)關(guān)鍵字翻譯 (6)聚集運(yùn)算 4.數(shù)據(jù)倉庫的數(shù)據(jù)抽取、清理與轉(zhuǎn)換模型,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,數(shù)據(jù)源抽取對象表,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,數(shù)據(jù)源抽取規(guī)則表,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,數(shù)據(jù)抽取的目標(biāo)列與源列對應(yīng)關(guān)系表,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,數(shù)據(jù)抽取過程的排序、概括和導(dǎo)出情況表,3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型,數(shù)據(jù)概括表與事實(shí)表對應(yīng)關(guān)系,3.4.7 數(shù)據(jù)倉庫的元數(shù)據(jù)模型建立與應(yīng)用,3.4.8 邏輯模型的評審,邏輯模型的文檔內(nèi)容：主題域分析報(bào)告，數(shù)據(jù)粒度劃分模型，數(shù)據(jù)分割策略，指標(biāo)實(shí)體、維實(shí)體與詳細(xì)類別實(shí)體的關(guān)系模式和數(shù)據(jù)抽取模型。 對邏輯模型的評審主要集中在主題域是否可以正確地反映用戶的決策分析需求。 從用戶對概括數(shù)據(jù)使用的要求，評審數(shù)據(jù)粒度的劃分和數(shù)據(jù)分割策略是否可以滿足用戶決策分析的需要。 為提高數(shù)據(jù)倉庫的運(yùn)行效率是否需要對關(guān)系模式進(jìn)行反規(guī)范化處理。 數(shù)據(jù)的抽取模型是否正確地建立了數(shù)據(jù)源與數(shù)據(jù)倉庫的對應(yīng)關(guān)系。 數(shù)據(jù)的約束條件和業(yè)務(wù)規(guī)則是否在這些模型中得到了正確的反映。,3.5 數(shù)據(jù)倉庫的物理模型設(shè)計(jì),表的數(shù)據(jù)結(jié)構(gòu)類型、索引策略、數(shù)據(jù)存放位置以及數(shù)據(jù)存儲(chǔ)分配等等。 物理模型設(shè)計(jì)因素：I/O存取時(shí)間、空間利用率和維護(hù)的代價(jià)。 工作： 全面了解所選用的數(shù)據(jù)庫管理系統(tǒng)，特別是存儲(chǔ)結(jié)構(gòu)和存取方法。 了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的使用頻率、使用方式、數(shù)據(jù)規(guī)模以及響應(yīng)時(shí)間要求等。 了解外部存儲(chǔ)設(shè)備的特征。,3.5.1 數(shù)據(jù)倉庫設(shè)計(jì)的規(guī)范,保證數(shù)據(jù)倉庫的設(shè)計(jì)、實(shí)施和管理保持穩(wěn)定，不產(chǎn)生混亂，需要對物理數(shù)據(jù)模型中的實(shí)體、表、列等進(jìn)行規(guī)范化處理。使整個(gè)數(shù)據(jù)倉庫的物理數(shù)據(jù)模型能夠保持一致。 規(guī)范化內(nèi)容主要有：完整清晰的數(shù)據(jù)定義、合適的數(shù)據(jù)格式等。 數(shù)據(jù)倉庫中的每個(gè)組件或部件都確定相應(yīng)的設(shè)計(jì)標(biāo)準(zhǔn)。,3.5.2 確定數(shù)據(jù)結(jié)構(gòu)的類型,數(shù)據(jù)非規(guī)范化處理的優(yōu)點(diǎn)有： 能減少對表聯(lián)結(jié)的需求，提高數(shù)據(jù)倉庫運(yùn)行性能。 能減少編寫專門決策支持應(yīng)用程序的工作量，因?yàn)檫\(yùn)用一些專門的查詢工具，可以更容易訪問數(shù)據(jù)。 可以讓用戶以直觀的易于理解的工具來操作數(shù)據(jù)，例如，可以利用電子報(bào)表來查看數(shù)據(jù)。,3.5.3 數(shù)據(jù)倉庫索引的創(chuàng)建,1.索引創(chuàng)建策略 建立索引時(shí)，按照索引使用的頻率，由高到低逐步添加。 按主關(guān)鍵字和大多數(shù)外部關(guān)鍵字建立索引 2.事實(shí)表索引的創(chuàng)建 事實(shí)表中一定要設(shè)置主鍵 3.維表索引的創(chuàng)建 4.數(shù)據(jù)加載索引的創(chuàng)建,3.5.4 確定數(shù)據(jù)存放位置,數(shù)據(jù)的布局原則： 不要把經(jīng)常需要連接的幾張表放在同一存儲(chǔ)設(shè)備上。 如果幾臺(tái)服務(wù)器之間的連接會(huì)造成嚴(yán)重的網(wǎng)絡(luò)業(yè)務(wù)量的問題，則要考慮服務(wù)器復(fù)制表格。 考慮把整個(gè)企業(yè)共享的細(xì)節(jié)數(shù)據(jù)放在主機(jī)或其他集中式服務(wù)器上。 別把表格和它們的索引放在同一設(shè)備上。一般可以將索引存放在高速存儲(chǔ)設(shè)備上，而表格則存放在一般存儲(chǔ)設(shè)備上，以加快數(shù)據(jù)的查詢速度。,3.5.5 確定存儲(chǔ)分配,3.5.6 數(shù)據(jù)倉庫物理模型的評審,理設(shè)計(jì)評審的目標(biāo)要確定： 物理模型在滿足數(shù)據(jù)倉庫使用的靈活性、性能、數(shù)據(jù)完整性、系統(tǒng)可用性、數(shù)據(jù)的當(dāng)前性和用戶的滿意度等,具體的評審項(xiàng)目有：表空間、分區(qū)、表格、數(shù)據(jù)壓縮、控制表和引用表、索引、數(shù)據(jù)量、數(shù)據(jù)分布、線路通信量、數(shù)據(jù)倉庫的更新、概況數(shù)據(jù)、預(yù)期變動(dòng)和數(shù)據(jù)的文檔化。,3.6 數(shù)據(jù)倉庫的實(shí)施,實(shí)施過程中需要完成的工作： 建立數(shù)據(jù)倉庫與業(yè)務(wù)處理系統(tǒng)的接口 數(shù)據(jù)倉庫的體系結(jié)構(gòu)建立 實(shí)現(xiàn)數(shù)據(jù)倉庫物理倉庫與元數(shù)據(jù)庫 進(jìn)行數(shù)據(jù)倉庫的數(shù)據(jù)初次加載 完成數(shù)據(jù)倉庫的中間件設(shè)計(jì) 進(jìn)行數(shù)據(jù)倉庫的測試。,3.6.1 數(shù)據(jù)倉庫與業(yè)務(wù)處理系統(tǒng)接口的設(shè)計(jì),接口應(yīng)該具有這樣一些功能： 從面向應(yīng)用和操作環(huán)境生成完整的數(shù)據(jù)； 數(shù)據(jù)基于時(shí)間的轉(zhuǎn)換； 數(shù)據(jù)的聚集； 對現(xiàn)有數(shù)據(jù)系統(tǒng)的有效掃描，以便今后數(shù)據(jù)倉庫的數(shù)據(jù)追加。,3.6.2 數(shù)據(jù)倉庫的創(chuàng)建,關(guān)系型數(shù)據(jù)庫、多維數(shù)據(jù)庫和對象數(shù)據(jù)庫 創(chuàng)建數(shù)據(jù)倉庫的工具： MS SQL Server2000 Oracle9i Sybase Informix Red Brick Decision Server,3.6.3 數(shù)據(jù)倉庫的數(shù)據(jù)加載、復(fù)制與發(fā)行,數(shù)據(jù)加載之前，首先需要對準(zhǔn)備加載的數(shù)據(jù)進(jìn)行清理 復(fù)制技術(shù) 復(fù)制結(jié)構(gòu)應(yīng)完成以下的復(fù)雜任務(wù)： 不會(huì)受到系統(tǒng)失敗等問題的影響，保證提供可靠的數(shù)據(jù)復(fù)制。 只傳送符合數(shù)據(jù)完整性規(guī)則的一致數(shù)據(jù)。 可以優(yōu)化傳送過程，減少在捕獲或修改數(shù)據(jù)和復(fù)制品作為結(jié)果傳送之間的等待時(shí)間。 技術(shù)和數(shù)據(jù)結(jié)構(gòu)應(yīng)保證數(shù)據(jù)發(fā)行系統(tǒng)完成以下的功能： 保證數(shù)據(jù)以適時(shí)和有效的方式發(fā)行。 保證只發(fā)送被排序的數(shù)據(jù)。 建立正確的和所需要的服務(wù)水平標(biāo)準(zhǔn)。,3.6.4 數(shù)據(jù)倉庫的中間件設(shè)計(jì),1.代碼發(fā)生器 2.數(shù)據(jù)復(fù)制工具 3.數(shù)據(jù)泵 4.廣義數(shù)據(jù)獲取工具和設(shè)備 拷貝中間件還應(yīng)該能夠進(jìn)行數(shù)據(jù)清潔工作 可對記錄或列重組、去除業(yè)務(wù)數(shù)據(jù)、供給已丟失的字段值和檢查數(shù)據(jù)的完整性和一致性 對列值的解碼和轉(zhuǎn)換 增加數(shù)據(jù)的時(shí)間戳 數(shù)據(jù)的概括或者衍生值的計(jì)算,3.6.5 數(shù)據(jù)倉庫的測試,1.單元測試 單元測試的目的是尋找出存在于單個(gè)程序、存儲(chǔ)過程和其它位于一些獨(dú)立環(huán)境中模塊的錯(cuò)誤。 2.系統(tǒng)集成測試 測試目的是驗(yàn)證每個(gè)單元與數(shù)據(jù)倉庫系統(tǒng)和子系統(tǒng)之間的接口是否完好，是否能夠正常傳遞數(shù)據(jù)與執(zhí)行系統(tǒng)的整體功能。,3.7 數(shù)據(jù)倉庫的應(yīng)用、支持和增強(qiáng),3.7.1 數(shù)據(jù)倉庫的用戶培訓(xùn)及支持 1.用戶的培訓(xùn) 向用戶解釋清楚數(shù)據(jù)倉庫的作用與原理 用各種案例向用戶說明如何使用數(shù)據(jù)倉庫 2.對數(shù)據(jù)倉庫用戶的支持 對數(shù)據(jù)倉庫應(yīng)用成功案例的推廣 初始階段的支持 技術(shù)人員、商業(yè)分析人員與用戶一起討論,3.7.2 數(shù)據(jù)倉庫的使用方式,1.信息處理 2.分析處理 3.數(shù)據(jù)挖掘,3.7.3 數(shù)據(jù)倉庫使用中的數(shù)據(jù)刷新,1.從已有數(shù)據(jù)資源中獲取更多數(shù)據(jù) 2.從單位內(nèi)部獲取新的數(shù)據(jù)源 3.獲取新的或更多的行業(yè)數(shù)據(jù)源,3.7.4 數(shù)據(jù)倉庫的增強(qiáng),1.元數(shù)據(jù)庫的局限性 2.缺乏外部數(shù)據(jù)源 3.數(shù)據(jù)倉庫數(shù)據(jù)加載性能不能滿足要求 4.數(shù)據(jù)倉庫應(yīng)用范圍的擴(kuò)大 5.數(shù)據(jù)倉庫整體性能的調(diào)整 6.數(shù)據(jù)倉庫重新規(guī)劃,練 習(xí),1.為什么說數(shù)據(jù)倉庫的開發(fā)是一個(gè)不斷循環(huán)、逐步提升的開發(fā)過程？ 2.數(shù)據(jù)倉庫的生命周期應(yīng)該包含哪