《數(shù)據(jù)倉(cāng)庫與數(shù)據(jù)挖掘》第四章 數(shù)據(jù)倉(cāng)庫系統(tǒng)的體系結(jié)構(gòu)與設(shè)計(jì)方法(51P).ppt

1,第四章 數(shù)據(jù)倉(cāng)庫系統(tǒng)的體系結(jié)構(gòu)與設(shè)計(jì)方法,數(shù)據(jù)倉(cāng)庫系統(tǒng)的體系結(jié)構(gòu) 分布式對(duì)象技術(shù) 監(jiān)控器的設(shè)計(jì) 轉(zhuǎn)換器的設(shè)計(jì) 集成器的設(shè)計(jì) 元數(shù)據(jù)管理器的設(shè)計(jì),2,數(shù)據(jù)倉(cāng)庫系統(tǒng)的結(jié)構(gòu),最終用戶,可視化工具,數(shù)據(jù)挖掘工具,多維分析工具,多維數(shù)據(jù),數(shù) 據(jù) 倉(cāng) 庫 工 具 層,數(shù) 據(jù) 倉(cāng) 庫 層,3,數(shù)據(jù)倉(cāng)庫系統(tǒng)的體系結(jié)構(gòu),4,數(shù)據(jù)倉(cāng)庫系統(tǒng)的體系結(jié)構(gòu),源數(shù)據(jù)： 數(shù)據(jù)倉(cāng)庫管理系統(tǒng)： 元數(shù)據(jù)庫及元數(shù)據(jù)管理部件： 數(shù)據(jù)轉(zhuǎn)換部件： 數(shù)據(jù)集成部件： 數(shù)據(jù)倉(cāng)庫管理部件：,5,(1)系列順序碼 (2)數(shù)值化字母順序碼 (3)層次碼 (4)特征組合碼 (5)矩陣碼 (6)復(fù)合碼,6,條碼技術(shù)的發(fā)展,20世紀(jì)20年代,西屋實(shí)驗(yàn)室,john ermode 掃描器，邊緣定位線圈，譯碼器 young 1949, norm woodland , bernard silver 1970, iterface machanisms led，微處理器，激光二極管：條碼工業(yè),7,常用條碼簡(jiǎn)介,（商品）的基礎(chǔ) （超市） 工業(yè)，圖書，票證 bar 醫(yī)療衛(wèi)生,圖書情報(bào),物資,8,數(shù)據(jù)倉(cāng)庫系統(tǒng)的體系結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫前端工具集 查詢/報(bào)表工具： olap工具： 數(shù)據(jù)挖掘工具： 前端開發(fā)工具： 數(shù)據(jù)倉(cāng)庫:,9,分布式對(duì)象技術(shù),隨著internet的廣泛應(yīng)用，將應(yīng)用擴(kuò)展到局域網(wǎng)、廣域網(wǎng)甚至internet上已成為用戶的普遍需求，分布式計(jì)算成了新的熱點(diǎn)。 分布式計(jì)算系統(tǒng)又稱為中間件。,10,分布式對(duì)象概述,程序設(shè)計(jì)方法經(jīng)歷了多次變革： 在80年代中期，國(guó)際標(biāo)準(zhǔn)化組織iso推出了rpc(remote process call)標(biāo)準(zhǔn)。到1992年，開放軟件基金會(huì)osf頒布了dce（distributed computing environment）標(biāo)準(zhǔn),是分布式計(jì)算技術(shù)發(fā)展過程中的一個(gè)里程碑。 隨著應(yīng)用系統(tǒng)對(duì)可擴(kuò)展性和可重用性的要求不斷提高，將面向?qū)ο蟮乃枷霊?yīng)用到分布式環(huán)境中，提出了分布式對(duì)象的概念。,11,分布式對(duì)象的代表性觀點(diǎn),組件對(duì)象是軟件的基本量子。 分布式對(duì)象是具有特定功能的，能夠跨越進(jìn)程的邊界、實(shí)現(xiàn)網(wǎng)絡(luò)、語言、應(yīng)用程序、開發(fā)工具和操作系統(tǒng)的”即插即用”的獨(dú)立對(duì)象。 分布式對(duì)象是指任何可被分離出來，具有標(biāo)準(zhǔn)化的，可重用的公開接口的軟件。 分布式對(duì)象通過接口對(duì)外提供服務(wù)。,12,分布式對(duì)象的工業(yè)標(biāo)準(zhǔn),分布式對(duì)象的兩種工業(yè)標(biāo)準(zhǔn)： com/dcom/com+：microsoft制定的以windows為中心的開發(fā)環(huán)境。 corba（common object request broker architecture）：由700多個(gè)廠商共同提倡的，公共對(duì)象請(qǐng)求代理體系結(jié)構(gòu)，是平臺(tái)中立的分布式技術(shù). 根據(jù)這兩種分布式技術(shù)演進(jìn)而產(chǎn)生的分布式對(duì)象技術(shù)：例如ejb（enterprise javabean）等。,13,基于分布式對(duì)象的程序設(shè)計(jì)方法,分布式對(duì)象設(shè)計(jì)方法強(qiáng)調(diào)真正的軟件重用和高度的可操作性。它側(cè)重于分布式對(duì)象的產(chǎn)生和裝配，這兩方面構(gòu)成了分布式對(duì)象程序設(shè)計(jì)的核心。 可重用的分布式對(duì)象庫不同于對(duì)象庫，分布式對(duì)象庫保存的是一些經(jīng)過測(cè)試的分布式對(duì)象。這些分布式對(duì)象遵從標(biāo)準(zhǔn)或規(guī)范，并且分布式對(duì)象庫也包括這些分布式對(duì)象的細(xì)節(jié)功能說明文檔。,14,基于可重用的分布式對(duì)象庫的軟件開發(fā)模式的過程,15,com/dcom/com+com,com：即組件對(duì)象模型，是一種以組件為發(fā)布單元的對(duì)象模型，這種模型使各軟件可以用一種統(tǒng)一的方式進(jìn)行交互。 com的實(shí)質(zhì)是這樣一種協(xié)議，它負(fù)責(zé)將一個(gè)軟件模塊同另一個(gè)連接起來，而不再參與其余的事務(wù)。,16,com應(yīng)用的組成部分,com接口：在com中，每一個(gè)接口都由一個(gè)128位的全局唯一標(biāo)識(shí)符（guid，global unique identifier）來標(biāo)識(shí)。 com服務(wù)器： com客戶：,17,interface account / 存款 void deposit(in float amount); /取款 boolean withdraw(in float amount); /查詢余額 float getbalance(); ; / 帳戶管理員 interface accountmanager / 查詢指定名字的帳戶，查無則新開帳戶 account open(in string name); ;,18,com的特性,面向?qū)ο蟮奶匦院涂蛻?服務(wù)器的特性。 語言無關(guān)性： 進(jìn)程透明性： 可重用性：,19,dcom,dcom（distribute component object model,分布式組件對(duì)象模型）：是com的擴(kuò)展，它可以支持不同計(jì)算機(jī)上組件對(duì)象與客戶程序之間或者組件對(duì)象之間的通信。 dcom在com基礎(chǔ)上增加的主要特征 創(chuàng)建遠(yuǎn)程對(duì)象的能力：客戶只需調(diào)用ole32.dll提供的庫函數(shù)cocreateinstance透明地創(chuàng)建組件，而不關(guān)心組件的位置。 跨網(wǎng)絡(luò)的數(shù)據(jù)傳送能力： 安全性和訪問控制能力。,20,com+,com+： com+倡導(dǎo)了一種新概念，把組件軟件模型建立在應(yīng)用層上，把所有組件的底層細(xì)節(jié)留給操作系統(tǒng)。,21,分布式組件對(duì)象的特性,伸縮性： 可配置性：微軟為dcom提供了一個(gè)圖形界面的配置工具程序（dcomcnfg.exe），可使客戶程序和組件程序在不改變代碼的情況下適應(yīng)不同的網(wǎng)絡(luò)環(huán)境。 安全性：,22,分布式組件對(duì)象的特性,協(xié)議無關(guān)性：tcp/ip、udp、ipx/spx以及netbios。 平臺(tái)獨(dú)立性： windows、apple macintosh以及unix的一些版本。,23,使用com技術(shù)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫的組件,數(shù)據(jù)倉(cāng)庫是針對(duì)支持整個(gè)企業(yè)范圍的主要業(yè)務(wù)來建立的。 com/dcom/com+技術(shù)能適應(yīng)數(shù)據(jù)倉(cāng)庫應(yīng)用的需要，能最大限度地提高靈活性和可擴(kuò)展能力。 數(shù)據(jù)倉(cāng)庫的系統(tǒng)設(shè)計(jì)與開發(fā)是一個(gè)動(dòng)態(tài)的反饋和循環(huán)的過程。將數(shù)據(jù)倉(cāng)庫系統(tǒng)從功能上分為若干個(gè)獨(dú)立的對(duì)象，并使用com技術(shù)實(shí)現(xiàn)，可以最大限度地重用這些對(duì)象。當(dāng)用戶的需求增加或發(fā)生變化時(shí)，只需要增加相應(yīng)的com對(duì)象或更新變化的com對(duì)象。,24,使用com技術(shù)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫的組件,通過將用戶業(yè)務(wù)邏輯以dcom對(duì)象的形式集中到中間層，系統(tǒng)就獲得了對(duì)業(yè)務(wù)邏輯的獨(dú)立性。 倉(cāng)庫是一個(gè)大規(guī)模的工程項(xiàng)目，它開發(fā)周期長(zhǎng)，而數(shù)據(jù)倉(cāng)庫的需求又是動(dòng)態(tài)的，不確定的。,25,數(shù)據(jù)倉(cāng)庫體系結(jié)構(gòu)的設(shè)計(jì)與實(shí)現(xiàn),設(shè)計(jì)思想： 客戶端通過提交描述要調(diào)用的方法和要傳遞的參數(shù)的xml文檔進(jìn)行調(diào)用。在應(yīng)用服務(wù)器端實(shí)現(xiàn)所需服務(wù)的接口，當(dāng)通信組件接收到xml文檔后，創(chuàng)建xmlservice組件并由xmlservice組件根據(jù)xml文檔調(diào)度服務(wù)，并將返回結(jié)果或錯(cuò)誤信息封裝成xml文檔傳遞給客戶端。 將數(shù)據(jù)倉(cāng)庫系統(tǒng)劃分為若干個(gè)獨(dú)立的分布式對(duì)象。,26,數(shù)據(jù)倉(cāng)庫系統(tǒng)體系結(jié)構(gòu)的設(shè)計(jì),客戶端： 可視化的用戶界面 客戶端通信組件 應(yīng)用服務(wù)器端： 服務(wù)器端通信組件 xmlservice調(diào)度組件 安全組件 元數(shù)據(jù)管理器 轉(zhuǎn)換器 集成器 數(shù)據(jù)庫服務(wù)器端 源數(shù)據(jù) 元數(shù)據(jù)庫 數(shù)據(jù)準(zhǔn)備區(qū) 數(shù)據(jù)倉(cāng)庫,27,數(shù)據(jù)倉(cāng)庫系統(tǒng)中的通信xml概述,xml（extensible markup language）是國(guó)際組織w3c制定的在web上對(duì)有格式的數(shù)據(jù)進(jìn)行描述、傳輸、操作的通用語言。 xml 是一套定義語義標(biāo)記的規(guī)則，這些標(biāo)記將文檔分成許多部件并對(duì)這些部件加以標(biāo)識(shí)。 xml定義了一套元句法，允許各種不同的專業(yè)開發(fā)與自己的特定領(lǐng)域有關(guān)的標(biāo)記語言。,28,xml通信組件示意圖,29,元數(shù)據(jù)管理器,客戶端登錄： 元數(shù)據(jù)管理器 的用戶接口： 元數(shù)據(jù)的存儲(chǔ)：,30,元數(shù)據(jù)管理器的設(shè)計(jì)與實(shí)現(xiàn),元數(shù)據(jù)基于microsoft sql server2000的關(guān)系模型并存儲(chǔ)在數(shù)據(jù)庫服務(wù)器上，同時(shí)通過metamanager組件提供了一系列接口使用戶可以在所有應(yīng)用中共享元數(shù)據(jù) 在客戶端提供圖形化界面工具。,31,轉(zhuǎn)換器的設(shè)計(jì)與實(shí)現(xiàn),轉(zhuǎn)換器的功能： 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換和數(shù)據(jù)類型轉(zhuǎn)換 結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換: 非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換: 自動(dòng)化或半自動(dòng)化的轉(zhuǎn)換器生成技術(shù): 采用互操作性標(biāo)準(zhǔn), 定義數(shù)據(jù)源與翻譯器的接口,32,連續(xù)文件,王一落 1月-今 五華區(qū)1街2號(hào) 李二進(jìn) 2月-今 盤龍區(qū)2街3號(hào) 張三豐 1月-2月 石林區(qū)4街6號(hào) 3月份顧客表 王一落 江南區(qū)9街7號(hào) 新的連續(xù)文件 王一落 1月-2月 五華區(qū)1街2號(hào) 王一落 3月-今 五華區(qū)1街2號(hào) 李二進(jìn) 2月-今 盤龍區(qū)2街3號(hào) 張三豐 1月-2月 石林區(qū)4街6號(hào) 考慮出錯(cuò)情況,33,2005/1,距離近的客戶的購(gòu)買數(shù)量占絕大部分,34,2005/7,距離遠(yuǎn)的客戶的購(gòu)買數(shù)量占絕大部分,35,36,主鍵 新地址 舊地址,37,主鍵 客戶id 當(dāng)前標(biāo)記值 住址狀況 日期,主鍵 客戶id 當(dāng)前標(biāo)記值 住址狀況 日期,38,轉(zhuǎn)換器的設(shè)計(jì)與實(shí)現(xiàn),從數(shù)據(jù)源中提取數(shù)據(jù)并轉(zhuǎn)換格式的過程：先將各類數(shù)據(jù)庫系統(tǒng)中不同格式的數(shù)據(jù)轉(zhuǎn)換成文本文件，然后再利用批拷貝命令將數(shù)據(jù)導(dǎo)入目標(biāo)系統(tǒng)中。以使數(shù)據(jù)倉(cāng)庫獲得新的數(shù)據(jù)提供決策分析使用。,39,轉(zhuǎn)換器的設(shè)計(jì)與實(shí)現(xiàn),數(shù)據(jù)準(zhǔn)備區(qū)的使用：在將數(shù)據(jù)從源數(shù)據(jù)提取到數(shù)據(jù)準(zhǔn)備區(qū)的過程中，可借助于microsoft的數(shù)據(jù)轉(zhuǎn)換服務(wù)（dts）包來實(shí)現(xiàn)。,40,貨運(yùn)通知,海關(guān),進(jìn)出口許可證,海關(guān)申報(bào)單,電子發(fā)票,定單確認(rèn),稅務(wù),保險(xiǎn),銀行,運(yùn)輸,41,源數(shù)據(jù)庫、數(shù)據(jù)準(zhǔn)備區(qū) 和數(shù)據(jù)倉(cāng)庫之間的關(guān)系,42,任務(wù)集合的任務(wù)對(duì)象,任 務(wù) 對(duì) 象 描 述 executesqltask 執(zhí)行一條或多條sql語句 datapumptask 從源數(shù)據(jù)拷貝數(shù)據(jù)并轉(zhuǎn)換成目標(biāo)數(shù)據(jù) activexscripttask 執(zhí)行activex腳本 executeprocesstask 執(zhí)行一段外部程序 bulkinserttask 執(zhí)行批量插入操作 sendmailtask 使用sql mail發(fā)送電子郵件 datadrivenquerytask 在數(shù)據(jù)存儲(chǔ)之間執(zhí)行高級(jí)轉(zhuǎn)換 transfersqlserverobjectstask 將sql server的數(shù)據(jù)對(duì)象轉(zhuǎn)換 為其他對(duì)象,43,轉(zhuǎn)換器的實(shí)現(xiàn)轉(zhuǎn)換器的流程圖,44,選擇源數(shù)據(jù)的窗體,45,集成器的設(shè)計(jì)與實(shí)現(xiàn),數(shù)據(jù)倉(cāng)庫初始化和目錄管理 接收監(jiān)控器的變化通告, 并將變化反映到數(shù)據(jù)倉(cāng)庫中 數(shù)據(jù)的存在方式與轉(zhuǎn)換算法復(fù)雜 多視圖合并和集成產(chǎn)生重復(fù)和不一致性 采用時(shí)態(tài)數(shù)據(jù)庫的歷史數(shù)據(jù)管理技術(shù),46,集成器的設(shè)計(jì)與實(shí)現(xiàn),統(tǒng)一數(shù)據(jù)編碼：本系統(tǒng)中編碼轉(zhuǎn)換主要包括： 日期格式轉(zhuǎn)換：delphi中的formatdatetime函數(shù)來統(tǒng)一日期格式。 測(cè)量單位的轉(zhuǎn)換：數(shù)據(jù)倉(cāng)庫中對(duì)于數(shù)值型字段應(yīng)保持一致的單位。在元數(shù)據(jù)