數(shù)據(jù)倉(cāng)庫(kù)2-操作數(shù)據(jù)存儲(chǔ)

1、1第第2 2講講 操作數(shù)據(jù)存儲(chǔ)操作數(shù)據(jù)存儲(chǔ)2數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的原因數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的原因數(shù)據(jù)處理的類型 操作型處理（OLTP)：數(shù)據(jù)的收集、整理、存儲(chǔ)、查詢和增、刪、改操作。 分析型處理(OLAP)：數(shù)據(jù)的再加工，往往要訪問(wèn)大量的歷史數(shù)據(jù)，進(jìn)行復(fù)雜的統(tǒng)計(jì)分析。31.1.3兩者數(shù)據(jù)處理模式的差別操作型數(shù)據(jù)操作型數(shù)據(jù)分析型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的 綜合的，或提煉的當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)更新的不可更新，只讀的生命周期符合SDLC（軟件開發(fā)生命周期）完全不同的生命周期對(duì)性能要求高 對(duì)性能要求寬松一個(gè)時(shí)刻操作一個(gè)單元一個(gè)時(shí)刻操作一個(gè)集合事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小，計(jì)算簡(jiǎn)單一次操作數(shù)據(jù)量大，計(jì)算復(fù)雜支

2、持日常操作支持管理需求4數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征：u數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是面向主題的（Subject Oriented）；u數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)集成的（Integrate）；u數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)不可更新（Non-Volatile）；u數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)隨時(shí)間不斷變化（Time Variant）的。 數(shù)據(jù)倉(cāng)庫(kù)的基本概念5數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)6v信息系統(tǒng)建設(shè)的階段性和分布性的特點(diǎn)，信息系統(tǒng)建設(shè)的階段性和分布性的特點(diǎn)， 導(dǎo)致導(dǎo)致“信息孤島信息孤島”的存在。的存在。78只讀只讀干部干部后勤后勤財(cái)務(wù)財(cái)務(wù)92 2 操作數(shù)據(jù)存儲(chǔ)操作數(shù)據(jù)存儲(chǔ)2.1 2.1 什么是什么是ODSODS2.2 DB-ODS-DW2.2 DB-ODS-

3、DW體系結(jié)構(gòu)體系結(jié)構(gòu)10v 數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)兩層體系結(jié)構(gòu)（DB-DW）并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求。v 某些應(yīng)用既不是純粹的聯(lián)機(jī)事務(wù)處理，又不是高層決策分析。2.12.1什么是什么是ODSODS11v 導(dǎo)致一種新的數(shù)據(jù)環(huán)境-操作數(shù)據(jù)存儲(chǔ)（Operational Data Store，ODS）的建立。v 是兩種處理類型之間存在的一個(gè)中間層次，從而形成了DB-ODS-DW的三層體系結(jié)構(gòu)。 2.12.1什么是什么是ODSODS122.1.1 ODS2.1.1 ODS的定義及特點(diǎn)的定義及特點(diǎn)v 定義：是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。v ODS中的數(shù)據(jù)具有4各基本特征：面向主題的、集成的、可

4、更新的、數(shù)據(jù)是當(dāng)前或接近當(dāng)前的。v ODS中只存放當(dāng)前或接近當(dāng)前的數(shù)據(jù)，并且可以進(jìn)行聯(lián)機(jī)修改，包括增、刪、改等操作。13v ODS是適應(yīng)企業(yè)級(jí)的全局應(yīng)用需求而產(chǎn)生的。全局應(yīng)用可以大致地劃分為兩類： 企業(yè)級(jí)的（OLTP）聯(lián)機(jī)事務(wù)處理 即時(shí)“OLAP”數(shù)據(jù)處理2.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制14 學(xué)校中有關(guān)教員的完整信息是被分散存放在學(xué)校的各部門DB中，現(xiàn)在若有教員因故調(diào)離，則要按規(guī)章辦理手續(xù)。在DBS中，調(diào)離手續(xù)繁瑣耗時(shí)。而在ODS系統(tǒng)中，可以開發(fā)教員調(diào)離全局應(yīng)用，這就等于將學(xué)校的有關(guān)調(diào)離手續(xù)的規(guī)章反映在應(yīng)用系統(tǒng)中，從而自動(dòng)地保證了規(guī)定的制度得以不折不扣地執(zhí)行。

5、DB人事處人事處校醫(yī)院校醫(yī)院DB財(cái)務(wù)處財(cái)務(wù)處房管處房管處DB科研處科研處ODS部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用部門應(yīng)用152.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制-OLTP-OLTP “企業(yè)級(jí)OLTP”是指在實(shí)際數(shù)據(jù)處理中，一個(gè)事務(wù)同時(shí)涉及多個(gè)部門的數(shù)據(jù)。v 在操作型DB環(huán)境中，各應(yīng)用面對(duì)的僅是企業(yè)的某個(gè)部門，這些部門應(yīng)用所處理的僅是企業(yè)的局部數(shù)據(jù)。162.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制-OLTP-OLTPv 每個(gè)面向應(yīng)用的DB中不可能包含整個(gè)企業(yè)的完整數(shù)據(jù)，某個(gè)操作型DB的數(shù)據(jù)組織中很少考慮其它

6、DB的特點(diǎn)和需求，因而數(shù)據(jù)缺乏一致性。v 在分散DB上進(jìn)行企業(yè)級(jí)事務(wù)處理代價(jià)很大。17v實(shí)現(xiàn)企業(yè)級(jí)的OLTP思路：在ODS與DB之間提供雙向映射關(guān)系，以保證雙方的一致性。2.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制-OLTP-OLTP記錄系統(tǒng)的定義定義在各DB中的記錄系統(tǒng)全局更新時(shí)應(yīng)反映到的各DB中的記錄參考表18v 定義在DB中的記錄系統(tǒng)，說(shuō)明ODS從DB的數(shù)據(jù)抽取關(guān)系，各DB系統(tǒng)上所做的修改操作都需要反映到ODS系統(tǒng)中。v ODS系統(tǒng)中還存放一些參考表，它反映的關(guān)系是ODS全局更新時(shí)所必須反映的所有DB中相關(guān)記錄信息。2.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制

7、的功能和實(shí)現(xiàn)機(jī)制-OLTP-OLTP192.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制-OLAP-OLAPv在DW上實(shí)現(xiàn)OLAP是為了進(jìn)行高層決策管理，但是由于DW中的數(shù)據(jù)量十分龐大，OLAP的運(yùn)行時(shí)間都很長(zhǎng)。v企業(yè)的日常管理中需要進(jìn)行非戰(zhàn)略性的中層決策，以實(shí)現(xiàn)企業(yè)的日常管理和控制。不需要太多歷史數(shù)據(jù)、要求較快的響應(yīng)速度。vODS的建立克服了DW系統(tǒng)過(guò)于龐大、處理時(shí)間長(zhǎng)的缺點(diǎn)。20v企業(yè)級(jí)OLTP和即時(shí)OLAP兩類數(shù)據(jù)處理有明顯的差別，又可分別稱之為“操作型”處理模式和“信息型”處理模式。v信息型處理模式就是只有查詢操作的工作模式（非排他型）v操作型處理模式指含有更新操作的

8、工作模式（排他性）。 如何協(xié)調(diào)兩種處理模式？2.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制-OLAP-OLAP21v 動(dòng)態(tài)切換在系統(tǒng)中設(shè)置一個(gè)狀態(tài)切換開關(guān)，使ODS系統(tǒng)在操作型環(huán)境和分析型環(huán)境間進(jìn)行動(dòng)態(tài)切換。以保證： 在進(jìn)行即時(shí)OLAP時(shí)獲得較快的響應(yīng)速度 在進(jìn)行操作型處理時(shí)，能保證聯(lián)機(jī)事務(wù)處理時(shí)數(shù)據(jù)的完整性，事務(wù)的原子性、一致性、隔離性和持續(xù)性。2.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制-OLAP-OLAP222.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制在ODS系統(tǒng)上開發(fā)全局應(yīng)用的優(yōu)點(diǎn)主要有兩方面：v 在進(jìn)行全局應(yīng)用時(shí)無(wú)需再進(jìn)

9、行數(shù)據(jù)集成，極大提高了全局應(yīng)用處理的效率。如教員調(diào)離事務(wù)在ODS上進(jìn)行，各部門的更新均是對(duì)ODS中有關(guān)教員的同一關(guān)系模式進(jìn)行，從而實(shí)現(xiàn)全局一致的更新。v 在各部門的DB可進(jìn)行全局應(yīng)用。如該教員在人事處辦理了調(diào)離手續(xù)，這一變化必將被ODS的感知程序捕捉到并轉(zhuǎn)發(fā)給其他部門，從而實(shí)現(xiàn)全局的更新操作，該工作由ODS系統(tǒng)自動(dòng)完成。23v ODS的作用和地位與企業(yè)性質(zhì)、經(jīng)營(yíng)業(yè)務(wù)范圍、規(guī)模大小等實(shí)際情況緊密相連。有的主要是進(jìn)行全局事務(wù)處理，有的則主要是即時(shí)OLAP。v 如果是在地理上分布的集團(tuán)公司的ODS系統(tǒng)，則可能是分層的。2.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制- -分層分層O

10、DSODS體系體系24分分ODS分分ODS分分ODS北京北京上海上海東京東京紐約紐約分層分層ODSODS示意圖示意圖總部總部ODS2.1.2 ODS2.1.2 ODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制- -分層分層ODSODS體系體系252.1.22.1.2 ODSODS的功能和實(shí)現(xiàn)機(jī)制的功能和實(shí)現(xiàn)機(jī)制- -分層分層ODSODS體系體系262 2 操作數(shù)據(jù)存儲(chǔ)操作數(shù)據(jù)存儲(chǔ)2.1 2.1 什么是什么是ODSODS2.2 DB-ODS-DW2.2 DB-ODS-DW體系結(jié)構(gòu)體系結(jié)構(gòu)272.2 DB-ODB-DW體系結(jié)構(gòu)2.2.1 ODS2.2.1 ODS與與DWDW的區(qū)別的區(qū)別2.2.2 2.2.2

11、 三層體系結(jié)構(gòu)三層體系結(jié)構(gòu)28vODS與DW的差別面向主題和集成性使得ODS的數(shù)據(jù)在靜態(tài)特征上很接近DW中的數(shù)據(jù)，但是在ODS與DW之間仍然有許多基本的、重要的差別。1.存放的數(shù)據(jù)內(nèi)容不同（最大差別）ODS：當(dāng)前或接近當(dāng)前的數(shù)據(jù)、細(xì)節(jié)數(shù)據(jù)、可聯(lián)機(jī)更新DW：歷史數(shù)據(jù)、細(xì)節(jié)數(shù)據(jù)和綜合數(shù)據(jù)、不可變快照2.2.1 ODS與DW的區(qū)別292.數(shù)據(jù)量是不同等級(jí)的DW：保存大量歷史數(shù)據(jù)ODS：只存放當(dāng)前和接近當(dāng)前的數(shù)據(jù)3.技術(shù)支持不盡相同ODS：要支持面向記錄的聯(lián)機(jī)更新，又要隨時(shí)保證數(shù)據(jù)與源數(shù)據(jù)系統(tǒng)中數(shù)據(jù)的一致性。DW：需要支持ETL技術(shù)和數(shù)據(jù)快速存取技術(shù)。2.2.1 ODS與DW的區(qū)別304.面向的需求不

12、同ODS：一是為了滿足企業(yè)進(jìn)行全局應(yīng)用的需要，二是向數(shù)據(jù)倉(cāng)庫(kù)提供一致的數(shù)據(jù)環(huán)境以供抽取。DW：主要用于高層戰(zhàn)略決策。5.使用者不同ODS：企業(yè)的中層管理人員。DW：DSS分析員或企業(yè)高級(jí)決策者。2.2.1 ODS與DW的區(qū)別31vDWDW與與ODSODS面向不同的用戶、不同的需求面向不同的用戶、不同的需求，都有，都有其其不可替代的作用不可替代的作用，彼此間不是相互包含的，彼此間不是相互包含的，同時(shí)兩者又可以相互結(jié)合、相互補(bǔ)充。同時(shí)兩者又可以相互結(jié)合、相互補(bǔ)充。DBDBDBDBDBDBODSODSDWDW應(yīng)用應(yīng)用操作型環(huán)境操作型環(huán)境分析型環(huán)境分析型環(huán)境2.2.22.2.2 三層體系結(jié)構(gòu)三層體系結(jié)

13、構(gòu)32ODS充當(dāng)充當(dāng)“承上啟下承上啟下”的角色的角色v在原來(lái)獨(dú)立的各個(gè)DB基礎(chǔ)上建立一致的、面向主題的數(shù)據(jù)環(huán)境，使原有的DBS得到改造。 v將DW和DB隔離開，使DW卸去數(shù)據(jù)集成、結(jié)構(gòu)轉(zhuǎn)換等負(fù)擔(dān)，DW的數(shù)據(jù)追加通過(guò)ODS進(jìn)行而變得異常簡(jiǎn)單，簡(jiǎn)化DW的數(shù)據(jù)傳輸接口及DW管理數(shù)據(jù)的復(fù)雜度。2.2.22.2.2 三層體系結(jié)構(gòu)三層體系結(jié)構(gòu)33ODS滿足了企業(yè)級(jí)全局應(yīng)用的需求滿足了企業(yè)級(jí)全局應(yīng)用的需求v不僅要獲得長(zhǎng)期決策信息，也要進(jìn)行日常決策，ODS系統(tǒng)的建設(shè)，彌補(bǔ)了DB-DW兩層體系結(jié)構(gòu)的不足。vODS作出的即時(shí)決策是集成性、企業(yè)級(jí)的。這對(duì)企業(yè)進(jìn)行中層管理，制訂短期決策極有幫助。但ODS不是必須的，要視分析處理的需求而定。2.2.22.2.2 三層體系結(jié)構(gòu)三層體系結(jié)構(gòu)人有了知識(shí)，就會(huì)具備各種分析能力，人有了知識(shí)，就會(huì)具備各種分析能力，明辨是非的能力。明辨是非的能力。所以我們要勤懇讀書，廣泛閱讀，所以我們要勤懇讀書，廣泛閱讀，古人說(shuō)古人說(shuō)“書中自有黃金屋。書中自有黃金屋?！蓖ㄟ^(guò)閱讀科技書籍，我們能