金融行業(yè)數(shù)據(jù)倉庫應用案例

金融行業(yè)數(shù)據(jù)倉庫應用案例內容提要（一）自我介紹（二）案例背景（三）期望的數(shù)據(jù)倉庫（四）數(shù)據(jù)倉庫建設實踐2025/3/1222025/3/123案例背景中國大型商業(yè)銀行信貸應用與分析系統(tǒng)系統(tǒng)構建了全行的信貸數(shù)據(jù)倉庫（總行）。系統(tǒng)建立了全行450個信貸數(shù)據(jù)集市?；谌珖總€地市級分行建立信貸數(shù)據(jù)分析中心。數(shù)據(jù)規(guī)模6T，數(shù)據(jù)以500G/年的數(shù)據(jù)增長。系統(tǒng)已運行八年。

系統(tǒng)用戶20,000+。系統(tǒng)累計投資5億+。系統(tǒng)采用ROLAP模型，采用BusinessObjects為分析工具，采用Informix為數(shù)據(jù)倉庫平臺，采用Domino/Notes為應用平臺。2025/3/124案例背景信貸系統(tǒng)目前的體系結構2025/3/125案例背景一個典型的ETL流程2025/3/126期望的數(shù)據(jù)倉庫大家期望的數(shù)據(jù)倉庫是什么？數(shù)據(jù)倉庫項目無法作為形象工程！數(shù)據(jù)倉庫類型的系統(tǒng)無法在短期內看到效益，無法在短期內提供有效的回報，數(shù)據(jù)倉庫類型的系統(tǒng)建成后需要一個較長的時間來使用和積累，才能發(fā)揮作用。數(shù)據(jù)倉庫不是報表系統(tǒng)！數(shù)據(jù)倉庫是面向主題的面向分析的系統(tǒng)，不是日常的報表系統(tǒng)，數(shù)據(jù)倉庫在于從業(yè)務的角度上發(fā)現(xiàn)問題，分析問題，解決問題。報表系統(tǒng)在于真實的反映日常的運行狀況，要求高效快捷，無須深入分析和挖掘。數(shù)據(jù)倉庫能干什么！數(shù)據(jù)倉庫用來分析業(yè)務數(shù)據(jù)的潛在關系，用來指導業(yè)務人員思考和分析，用來發(fā)現(xiàn)問題，指導業(yè)務的開展和改造。雖然這些成果都是以報表、圖表、圖示的方式展現(xiàn)出來，但這些展現(xiàn)方式都是表層，以這些展現(xiàn)方式來展現(xiàn)數(shù)據(jù)背后的關系才是數(shù)據(jù)倉庫的用途。根據(jù)Bill.Inmon的定義，“數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的，主要用于決策支持的數(shù)據(jù)庫系統(tǒng)”。

2025/3/127期望的數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的、分離維護的數(shù)據(jù)集合。2025/3/128期望的數(shù)據(jù)倉庫現(xiàn)實中的數(shù)據(jù)倉庫系統(tǒng)包括哪些部分？數(shù)據(jù)采集部分直接的數(shù)據(jù)采集、其他系統(tǒng)作為數(shù)據(jù)源等ETL數(shù)據(jù)整合部分數(shù)據(jù)匯總、清洗、轉換，當然還包括數(shù)據(jù)傳輸、數(shù)據(jù)匯集、分發(fā)、校驗、過濾、過程記錄等。采用工具還是自己開發(fā)。重點關注效率問題數(shù)據(jù)倉庫存儲系統(tǒng)部分大型存儲設備、高運算能力的服務器等設備數(shù)據(jù)庫軟件平臺數(shù)據(jù)倉庫與數(shù)據(jù)集市、集中數(shù)據(jù)與分布數(shù)據(jù)重點關注效率問題數(shù)據(jù)倉庫展現(xiàn)分析部分主流分析展現(xiàn)工具。定制功能的工具開發(fā)。2025/3/129期望的數(shù)據(jù)倉庫數(shù)據(jù)倉庫項目中的角色企業(yè)最高領導團隊你是否打算建設成為形象工程？這是你重大決策的原動力、而不是你的秘書。你是否有足夠的耐心和準備，來建設這個長期性的項目。數(shù)據(jù)提供部門如何解決我為別人服務的問題。如何解決數(shù)據(jù)倉庫項目成為了我的負擔。如何解決數(shù)據(jù)準確性和時效性。系統(tǒng)建設部門如何理解數(shù)據(jù)倉庫項目的建設過程。如何面對模糊的需求、巨大的數(shù)據(jù)量、異想天開的要求。如果不要陷入運行泥潭。數(shù)據(jù)使用部門數(shù)據(jù)為什么總是有問題為什么我總是無法應用系統(tǒng)為什么他什么都做不到2025/3/1210期望的數(shù)據(jù)倉庫成功的數(shù)據(jù)倉庫：面向過程的開發(fā)方法2025/3/1211期望的數(shù)據(jù)倉庫成功的數(shù)據(jù)倉庫：結構化元數(shù)據(jù)管理數(shù)據(jù)挖掘主管信息系統(tǒng)設計建模抽取清洗轉換加載數(shù)據(jù)倉庫信息展現(xiàn)業(yè)務流程物理模型邏輯模型聯(lián)機分析處理報表、即席查詢咨詢服務IntelligentInfrastructure外部數(shù)據(jù)企業(yè)信息門戶內部數(shù)據(jù)數(shù)據(jù)庫管理工具數(shù)據(jù)庫2025/3/1212期望的數(shù)據(jù)倉庫數(shù)據(jù)倉庫不僅僅是數(shù)據(jù)存儲加上一個查詢工具數(shù)據(jù)倉庫不僅僅是產品服務+產品數(shù)據(jù)倉庫的成功必須有正確的構造方法為指導數(shù)據(jù)倉庫的構造包括多方面的問題基礎架構(硬件、數(shù)據(jù)庫、網(wǎng)絡)規(guī)劃設計 數(shù)據(jù)轉移數(shù)據(jù)訪問(REPORT、OLAP、EIS、WEB)

元數(shù)據(jù)管理 數(shù)據(jù)挖掘 系統(tǒng)管理2025/3/1213數(shù)據(jù)倉庫建設實踐主要的建設階段：目標調研、需求分析確立數(shù)據(jù)倉庫系統(tǒng)的主題目標分析業(yè)務需求，制定需求框架，逐步細化系統(tǒng)設計和開發(fā)技術構架設計業(yè)務分析模型設計運行、完善機制設計系統(tǒng)開發(fā)和上線發(fā)布系統(tǒng)運行、積累和完善系統(tǒng)的使用和運行；數(shù)據(jù)、分析的積累系統(tǒng)的再完善，數(shù)據(jù)重構

2025/3/1214數(shù)據(jù)倉庫建設實踐目標調研、需求分析：確立數(shù)據(jù)倉庫的主題目標數(shù)據(jù)倉庫的目標不能包括所能想起來的所有目標，要根據(jù)企業(yè)的實施能力、分析能力、數(shù)據(jù)基礎制定合理的建設目標，建議按照目標的可實現(xiàn)度分布建設。分析業(yè)務需求、制定需求框架、逐步細化分析具體業(yè)務需求，對于無法確定的需求，要首先制定需求框架，給系統(tǒng)體系設計提供指標估算。在項目的設計和建設中可逐步細化局體需求條目。2025/3/1215數(shù)據(jù)倉庫建設實踐系統(tǒng)設計和開發(fā)技術構架設計系統(tǒng)規(guī)模評估系統(tǒng)技術構架選型系統(tǒng)存儲、服務器選型系統(tǒng)軟件平臺選型系統(tǒng)分析工具選型系統(tǒng)ETL工具選型系統(tǒng)技術實現(xiàn)確定系統(tǒng)數(shù)據(jù)分布設計業(yè)務分析模型設計業(yè)務主題設計分析模型設計運行、完善機制設計運行機制設計完善機制設計系統(tǒng)開發(fā)和上線發(fā)布系統(tǒng)開發(fā)系統(tǒng)上線數(shù)據(jù)裝載2025/3/1216數(shù)據(jù)倉庫建設實踐系統(tǒng)運行、積累和完善系統(tǒng)的使用和運行；數(shù)據(jù)、分析的積累數(shù)據(jù)準確性的反饋分析執(zhí)行效率的反饋數(shù)據(jù)模型合理性反饋分析主題的積累和反饋系統(tǒng)的再完善，數(shù)據(jù)重構系統(tǒng)的擴展和糾正元數(shù)據(jù)管理數(shù)據(jù)的重構2025/3/1217數(shù)據(jù)倉庫建設實踐環(huán)境模型設計