金融信息中心歷史數(shù)據(jù)歸檔和管理平臺建設項目技術方案_第1頁
金融信息中心歷史數(shù)據(jù)歸檔和管理平臺建設項目技術方案_第2頁
金融信息中心歷史數(shù)據(jù)歸檔和管理平臺建設項目技術方案_第3頁
金融信息中心歷史數(shù)據(jù)歸檔和管理平臺建設項目技術方案_第4頁
金融信息中心歷史數(shù)據(jù)歸檔和管理平臺建設項目技術方案_第5頁
已閱讀5頁,還剩7頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、中國人民銀行金融信息中心歷史數(shù)據(jù)歸檔和管理平臺項目技術方案(立項版)撰寫審核批準中國人民銀行科技司制二一年 十二月 十六日編 制 說 明 本文檔在項目申報單位提交項目申報材料和業(yè)務需求書后,由項目開發(fā)/建設單位編寫,并由科技司組織審核論證。審核通過后將作為項目立項和資金預算編制的依據(jù),并為項目實施時制定詳細的技術方案奠定基礎。一、技術方案(立項版)編寫應遵循以下原則: 1.技術方案(立項版)依照總行兩級數(shù)據(jù)中心的戰(zhàn)略布局,遵循資源整合和數(shù)據(jù)集中的原則,根據(jù)人民銀行信息化建設的實際情況制定。2.技術方案(立項版)應結合人民銀行已有系統(tǒng),從架構的角度進行總體規(guī)劃,盡量在現(xiàn)有系統(tǒng)框架內,通過調整、改

2、造,新增子系統(tǒng)或模塊的方式實現(xiàn)業(yè)務需求,推動系統(tǒng)整合和架構優(yōu)化。3.應統(tǒng)籌布局、調配軟硬件資源,并統(tǒng)一搭建生產(chǎn)運行平臺。4.應提出項目擬采用的標準以及項目建設過程中相關的標準化需求。二、此模板主要以應用系統(tǒng)開發(fā)類項目為例,為技術方案(立項版)的編制提供參考。其他工程類項目可根據(jù)實際需要,參考此模板自行編制。目 錄1.概述42.系統(tǒng)規(guī)劃52.1平臺與其它系統(tǒng)的關系52.2平臺的定位52.3 可行性分析63.系統(tǒng)技術方案63.1平臺設計思路63.2數(shù)據(jù)量估算73.3平臺部署83.4 數(shù)據(jù)分級存儲方案94.產(chǎn)品調研105.系統(tǒng)軟硬件需求105.1 軟件需求105.2 硬件需求116.產(chǎn)品購買計劃及部

3、署規(guī)劃1112本技術方案討論在面對人民銀行信息系統(tǒng)數(shù)據(jù)量急劇增長的現(xiàn)狀下,以數(shù)據(jù)生命周期管理的思想,利用適當?shù)募夹g手段和工具,對國庫類、貨金類、多應用加載平臺等基礎生產(chǎn)系統(tǒng)的歷史數(shù)據(jù)進行歸檔和管理,實現(xiàn)對數(shù)據(jù)從產(chǎn)生、在線使用、離線備用到失效銷毀的完整的生命周期管理過程。1 .概述生產(chǎn)系統(tǒng)所承載數(shù)據(jù)量急劇增長,快速膨脹的數(shù)據(jù)量嚴峻考驗了應用系統(tǒng)的負載能力,系統(tǒng)資源、運行效率都面臨著越來越大的壓力。為實現(xiàn)對用戶提供高可用性、連續(xù)性的信息系統(tǒng)要求,必須考慮異構環(huán)境下海量數(shù)據(jù)的歸檔和管理,探索集中模式下海量數(shù)據(jù)在跨平臺、異構數(shù)據(jù)形態(tài)環(huán)境的歸檔管理方法。面對信息管理的重要性日益顯現(xiàn)的現(xiàn)實,在保證信息共享

4、和安全的同時,如何減少數(shù)據(jù)冗余,加快信息的流轉速度,提高處理效率和信息共享程度,是實現(xiàn)管理標準化和規(guī)范化的基礎。隨著業(yè)務發(fā)展,為規(guī)范信息與數(shù)據(jù)的管理,降低成本,控制在線數(shù)據(jù)規(guī)模,保證應用系統(tǒng)健康高效運行,對應用系統(tǒng)各種信息與數(shù)據(jù)從創(chuàng)建到最終銷毀的生命周期進行全程管理顯得越來越迫切。國庫信息處理系統(tǒng)、貨幣發(fā)行管理信息系統(tǒng)、聯(lián)網(wǎng)核查公民身份信息系統(tǒng),等人民銀行重要業(yè)務系統(tǒng)隨著數(shù)據(jù)量的急劇增長,需要采用技術手段將歷史數(shù)據(jù)從生產(chǎn)系統(tǒng)中抽取,并進行壓縮歸檔。建立數(shù)據(jù)生命周期管理平臺,既能滿足業(yè)務部門對歷史數(shù)據(jù)的查詢請求,又能有效控制生產(chǎn)系統(tǒng)的數(shù)據(jù)規(guī)模,降低系統(tǒng)運行風險(圖1)。圖1:數(shù)據(jù)生命周期管理平臺

5、與多系統(tǒng)的關系在數(shù)據(jù)生命周期管理思想的驅動下,為有效管理國庫信息處理系統(tǒng)(以下簡稱“TIPS”),信管中心編制國庫信息處理系統(tǒng)(TIPS)數(shù)據(jù)生命周期技術規(guī)范(詳見附件)。該規(guī)范刻畫了國庫交易數(shù)據(jù)的特征和對應的生命周期管理辦法。本文在規(guī)范的指導下,以TIPS系統(tǒng)為例建立歷史數(shù)據(jù)歸檔管理平臺,實現(xiàn)對TIPS系統(tǒng)數(shù)據(jù)抽取、歸檔、數(shù)據(jù)加工等工作。其他重要業(yè)務系統(tǒng)可以通過橫向擴展該平臺實現(xiàn)數(shù)據(jù)的生命周期管理目標。2 .系統(tǒng)規(guī)劃2.1平臺與其它系統(tǒng)的關系歷史數(shù)據(jù)歸檔管理平臺建設定位在對生產(chǎn)系統(tǒng)數(shù)據(jù)的抽取,清理和歸檔作業(yè)。從系統(tǒng)定位的角度來看,歷史數(shù)據(jù)管理平臺具有長期保持、數(shù)據(jù)保真、控制生產(chǎn)系統(tǒng)數(shù)據(jù)增長等

6、特點。與數(shù)據(jù)備份的區(qū)別是數(shù)據(jù)備份是全部數(shù)據(jù),而數(shù)據(jù)歸檔則不包含系統(tǒng)運行的過程性數(shù)據(jù)。數(shù)據(jù)備份需要通過在特定的數(shù)據(jù)庫環(huán)境下恢復才能實現(xiàn)數(shù)據(jù)訪問,而歷史數(shù)據(jù)歸檔可以自行對數(shù)據(jù)進行歸檔和存儲,提供近線的查詢接口來實現(xiàn)對歷史數(shù)據(jù)的訪問。與ODS的區(qū)別是,ODS主要功能是數(shù)據(jù)交換和報表;而歷史數(shù)據(jù)歸檔管理平臺主要是數(shù)據(jù)保持。ODS為數(shù)據(jù)倉庫提供批量的數(shù)據(jù)傳輸,并不保存歷史數(shù)據(jù),也不對生產(chǎn)系統(tǒng)的數(shù)據(jù)進行清理工作,主要滿足歷史數(shù)據(jù)查詢和審計的需要。歷史數(shù)據(jù)歸檔管理平臺與之不同,它側重于將生產(chǎn)系統(tǒng)的數(shù)據(jù)定時抽取出來并原汁原味的轉存到歸檔平臺中。與數(shù)據(jù)倉庫的區(qū)別是,數(shù)據(jù)倉庫是面向主題的數(shù)據(jù)組織,不包含明細到每筆

7、交易的數(shù)據(jù),其目的是為了決策和分析使用;而歷史數(shù)據(jù)歸檔管理平臺是需要把某一個時點的所有事實數(shù)據(jù)保存起來,為了查詢和審計使用。歷史數(shù)據(jù)歸檔管理平臺對數(shù)據(jù)不進行重新組織,而數(shù)據(jù)倉庫往往需要對數(shù)據(jù)進行重新組織以滿足數(shù)據(jù)分析和挖掘等需要。2.2平臺的定位考慮到歷史數(shù)據(jù)歸檔查詢平臺的功能及與生產(chǎn)系統(tǒng)、ODS和數(shù)據(jù)倉庫的關系,該平臺的定位如下圖(圖2):圖2:歷史數(shù)據(jù)歸檔查詢平臺與生產(chǎn)系統(tǒng)、ODS和數(shù)據(jù)倉庫的關系可見,歷史數(shù)據(jù)歸檔查詢平臺處于相對獨立的位置。2.3 可行性分析 目前,數(shù)據(jù)庫歸檔領域(ILM, Information Lifecycle Management)已經(jīng)出現(xiàn)多個適用的商業(yè)軟件產(chǎn)品。

8、同時,人民銀行數(shù)據(jù)中心國庫類、貨金類和統(tǒng)計類業(yè)務系統(tǒng)采用IBM DB2數(shù)據(jù)庫軟件。磁帶庫和存儲設備為多系統(tǒng)共享方式使用。這些條件為建設平臺化的數(shù)據(jù)歸檔查詢系統(tǒng)提供了可能。3 .系統(tǒng)技術方案3.1平臺設計思路 歷史數(shù)據(jù)歸檔查詢平臺定位為數(shù)據(jù)中心各業(yè)務系統(tǒng)的統(tǒng)一歸檔平臺。先期完成對TIPS系統(tǒng)、貨金系統(tǒng)的歷史數(shù)據(jù)歸檔工作。 TIPS系統(tǒng)部署交易數(shù)據(jù)庫(TIPSODB)和歷史查詢庫(TIPSQDB)兩個數(shù)據(jù)庫(如圖3)。其中,TIPSODB主要處理和保存日間交易數(shù)據(jù)和3個月內交易數(shù)據(jù),TIPSODB每日日間交易結束后,將3月前數(shù)據(jù)按日定時遷移到TIPSQDB中。TIPSQDB存儲TIPS系統(tǒng)歷史交易

9、數(shù)據(jù),并提供在線歷史數(shù)據(jù)查詢功能。圖3:TIPS系統(tǒng)數(shù)據(jù)庫邏輯部署圖通過歷史數(shù)據(jù)歸檔管理平臺,TIPSQDB的業(yè)務數(shù)據(jù),如達到預定義的時間點后,按照預定策略,從在線使用狀態(tài)轉移到離線備用的狀態(tài)。同時,這些數(shù)據(jù)從活躍態(tài)(Active)轉化成非活躍態(tài)(Inactive)。處于離線備用狀態(tài)的數(shù)據(jù)不再被改變,但是不被封存,而是通過歷史數(shù)據(jù)歸檔管理平臺提供的接口繼續(xù)提供近線查詢、匯總、分析等功能。最后,根據(jù)法規(guī)和監(jiān)管的要求,當這些數(shù)據(jù)的保存時間達到規(guī)定值后,數(shù)據(jù)失效(Expired)并進入銷毀階段(圖4)。圖4:TIPS數(shù)據(jù)生命周期階段3.2數(shù)據(jù)量估算預估未來1年內,TIPSQDB數(shù)據(jù)庫每周的數(shù)據(jù)庫備份

10、規(guī)模在400GB(壓縮后)左右: TIPSQDB數(shù)據(jù)庫的備份量 = 數(shù)據(jù)庫數(shù)據(jù)全備 + 數(shù)據(jù)庫日志備份其中,數(shù)據(jù)庫日志備份規(guī)模在50G至80G,數(shù)據(jù)庫數(shù)據(jù)全備隨著業(yè)務增長態(tài)勢,將從目前的250G增長到320G左右。同時,TIPSODB數(shù)據(jù)庫存儲3個月的交易數(shù)據(jù),該數(shù)據(jù)庫全備的規(guī)模在80GB(壓縮后),預估1年后增長到130GB。假定數(shù)據(jù)歸檔操作按照每季度(3個月)進行。數(shù)據(jù)歸檔操作在以太網(wǎng)和光線網(wǎng)絡兩種環(huán)境下備份規(guī)模對比如下:以太網(wǎng)光纖網(wǎng)絡文件傳輸率10MB/s100MB/s初始數(shù)據(jù)歸檔規(guī)模250GB至320GB250GB至320GB初始歸檔時間6.9小時至8.8小時42分鐘至54分鐘小時每季

11、度數(shù)據(jù)歸檔規(guī)模80GB至130GB80GB至130GB歸檔時間2.2小時至3.6小時14分鐘至22分鐘可見,采用光纖網(wǎng)絡方式部署歷史數(shù)據(jù)歸檔管理平臺能較好的支持TIPS的數(shù)據(jù)歸檔需求。3.3平臺部署基于以上分析,部署歷史數(shù)據(jù)歸檔管理平臺后的TIPS系統(tǒng)和貨金系統(tǒng)整體結構如下(圖5)。其中,新增數(shù)據(jù)歸檔管理平臺服務器用于配置、調度和管理TIPS歸檔數(shù)據(jù)。該配置服務器通過部署在被管數(shù)據(jù)庫服務器的Agent發(fā)起歸檔作業(yè)。生產(chǎn)數(shù)據(jù)按照歸檔策略從生產(chǎn)數(shù)據(jù)庫中清理并轉移到二級存儲設備(磁帶庫或虛擬帶庫)??蛻舳送ㄟ^向數(shù)據(jù)歸檔管理平臺服務器發(fā)起查詢、瀏覽、查詢、數(shù)據(jù)漂白等操作。 圖5:TIPS數(shù)據(jù)生命周期管

12、理平臺邏輯部署圖歷史數(shù)據(jù)歸檔查詢管理平臺的物理部署圖如下。人民銀行數(shù)據(jù)中心國庫類、統(tǒng)計類系統(tǒng)的數(shù)據(jù)庫部署Agent后,就可以通過配置服務器發(fā)起數(shù)據(jù)抽取、歸檔作業(yè)??梢圆捎脧陀脭?shù)據(jù)中心現(xiàn)有磁帶庫系統(tǒng)完成數(shù)據(jù)的歸檔存儲需要。 圖6:歷史數(shù)據(jù)歸檔查詢管理平臺物理部署圖歷史數(shù)據(jù)歸檔查詢管理平臺應可以按照任意時間間隔發(fā)起數(shù)據(jù)抽取操作;歸檔數(shù)據(jù)可以以數(shù)據(jù)庫或文件格式保存;具備數(shù)據(jù)壓縮功能;需提供基本的SQL語法對歸檔數(shù)據(jù)進行操作,滿足業(yè)務系統(tǒng)近線查詢需求;應滿足數(shù)據(jù)在生命周期各階段的功能;采用代理方式與多個生產(chǎn)系統(tǒng)數(shù)據(jù)庫交互,對生產(chǎn)系統(tǒng)影響最小化;具備橫向擴展的部署結構;對異構數(shù)據(jù)庫平臺提供統(tǒng)一的配置和管

13、理視圖。 3.4 數(shù)據(jù)分級存儲方案歷史數(shù)據(jù)歸檔查詢平臺根據(jù)不同類型的數(shù)據(jù)生命周期進行劃分,使數(shù)據(jù)在高低頻訪問設備之間進行遷移。而這種遷移,會由程序根據(jù)規(guī)范自動地完成操作。圖7:分層存儲硬件基礎架構數(shù)據(jù)歸檔領域(ILM)的硬件基礎結構見上圖(圖7),每兆存儲成本從企業(yè)級的磁盤存儲,到中端光纖存儲,再到磁帶,逐步降低;與此同時,數(shù)據(jù)的服務級別也隨著成本的降低而降低。目前,人民銀行數(shù)據(jù)中心采用共享方式部署了存儲系統(tǒng)和磁帶庫系統(tǒng),通過構建的SAN網(wǎng)絡實現(xiàn)了對各業(yè)務系統(tǒng)的統(tǒng)一數(shù)據(jù)存儲服務。歷史數(shù)據(jù)歸檔查詢平臺可以利用現(xiàn)有存儲環(huán)境實現(xiàn)對歸檔數(shù)據(jù)的分級存儲模式。4 .產(chǎn)品調研目前,主流數(shù)據(jù)生命周期管理軟件有

14、IBM Optim,HP IAP和Informatica Applimation。各產(chǎn)品的功能對比表如下:功能HP IAPApplimationIBM Optim 數(shù)據(jù)源需建立特定歸檔數(shù)據(jù)庫需建立特定歸檔數(shù)據(jù)庫JDBC/ODBC數(shù)據(jù)壓縮不提供數(shù)據(jù)壓縮能力依賴于歸檔數(shù)據(jù)庫內置的數(shù)據(jù)壓縮能力采用統(tǒng)一壓縮式歸檔文件進行存儲,壓縮比較高分級存儲數(shù)據(jù)實際存儲在歸檔數(shù)據(jù)庫中,難以靈活遷移數(shù)據(jù)實際存儲在歸檔數(shù)據(jù)庫中,難以靈活遷移不依賴于存儲介質,對存儲的需求較低系統(tǒng)維護歸檔數(shù)據(jù)庫需隨著生產(chǎn)系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)結構變化而維護多個版本歸檔數(shù)據(jù)庫需隨著生產(chǎn)系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)結構變化而維護多個版本采用數(shù)據(jù)結構快照技術,無

15、需專門跟蹤生產(chǎn)系統(tǒng)數(shù)據(jù)庫的變化。操作系統(tǒng)支持性主要支持HP-UX支持所有常見操作系統(tǒng)平臺支持所有常見操作系統(tǒng)平臺數(shù)據(jù)庫支持性僅支持Oracle和Sybase主要支持Oracle支持DB2等主流數(shù)據(jù)庫產(chǎn)品數(shù)據(jù)加工不支持數(shù)據(jù)漂白支持數(shù)據(jù)漂白支持數(shù)據(jù)漂白,支持隱私數(shù)據(jù)保護,支持審計和合規(guī)性等需求根據(jù)上表,IBM Optim滿足人民銀行數(shù)據(jù)中心數(shù)據(jù)庫軟件的要求;對存儲的需求較低,數(shù)據(jù)壓縮比較高,采用JDBC/ODBC數(shù)據(jù)源方式與生產(chǎn)數(shù)據(jù)庫交互,適合靈活部署。因此,該產(chǎn)品滿足人民銀行數(shù)據(jù)中心對歷史數(shù)據(jù)歸檔管理平臺的主要需求。5 .系統(tǒng)軟硬件需求5.1 軟件需求軟件名稱數(shù)量說明數(shù)據(jù)庫歸檔領域主流產(chǎn)品1套需要采購。完成從數(shù)據(jù)中心國庫類、貨金類、統(tǒng)計類等生產(chǎn)系統(tǒng)數(shù)據(jù)庫(IBM DB2)抽取數(shù)據(jù)、歸檔、查詢、審計功能。5.2 硬件需求設備名稱設備數(shù)量說明數(shù)據(jù)庫歸檔配置服務器2臺部署歷史數(shù)據(jù)歸檔查詢配置軟件,調度歸檔作業(yè),提供歸檔數(shù)據(jù)查詢接口。歸檔數(shù)據(jù)查詢客

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論