金融信息中心歷史數(shù)據(jù)歸檔和管理平臺建設(shè)項目技術(shù)方案

1、中國人民銀行金融信息中心歷史數(shù)據(jù)歸檔和管理平臺項目技術(shù)方案（立項版）撰寫審核批準(zhǔn)中國人民銀行科技司制二一年 十二月 十六日編 制 說 明 本文檔在項目申報單位提交項目申報材料和業(yè)務(wù)需求書后，由項目開發(fā)/建設(shè)單位編寫，并由科技司組織審核論證。審核通過后將作為項目立項和資金預(yù)算編制的依據(jù)，并為項目實施時制定詳細(xì)的技術(shù)方案奠定基礎(chǔ)。一、技術(shù)方案（立項版）編寫應(yīng)遵循以下原則： 1.技術(shù)方案（立項版）依照總行兩級數(shù)據(jù)中心的戰(zhàn)略布局，遵循資源整合和數(shù)據(jù)集中的原則，根據(jù)人民銀行信息化建設(shè)的實際情況制定。2.技術(shù)方案（立項版）應(yīng)結(jié)合人民銀行已有系統(tǒng)，從架構(gòu)的角度進(jìn)行總體規(guī)劃，盡量在現(xiàn)有系統(tǒng)框架內(nèi)，通過調(diào)整、改

2、造，新增子系統(tǒng)或模塊的方式實現(xiàn)業(yè)務(wù)需求，推動系統(tǒng)整合和架構(gòu)優(yōu)化。3.應(yīng)統(tǒng)籌布局、調(diào)配軟硬件資源，并統(tǒng)一搭建生產(chǎn)運行平臺。4.應(yīng)提出項目擬采用的標(biāo)準(zhǔn)以及項目建設(shè)過程中相關(guān)的標(biāo)準(zhǔn)化需求。二、此模板主要以應(yīng)用系統(tǒng)開發(fā)類項目為例，為技術(shù)方案（立項版）的編制提供參考。其他工程類項目可根據(jù)實際需要，參考此模板自行編制。目 錄1.概述42.系統(tǒng)規(guī)劃52.1平臺與其它系統(tǒng)的關(guān)系52.2平臺的定位52.3 可行性分析63.系統(tǒng)技術(shù)方案63.1平臺設(shè)計思路63.2數(shù)據(jù)量估算73.3平臺部署83.4 數(shù)據(jù)分級存儲方案94.產(chǎn)品調(diào)研105.系統(tǒng)軟硬件需求105.1 軟件需求105.2 硬件需求116.產(chǎn)品購買計劃及部

3、署規(guī)劃1112本技術(shù)方案討論在面對人民銀行信息系統(tǒng)數(shù)據(jù)量急劇增長的現(xiàn)狀下，以數(shù)據(jù)生命周期管理的思想，利用適當(dāng)?shù)募夹g(shù)手段和工具，對國庫類、貨金類、多應(yīng)用加載平臺等基礎(chǔ)生產(chǎn)系統(tǒng)的歷史數(shù)據(jù)進(jìn)行歸檔和管理，實現(xiàn)對數(shù)據(jù)從產(chǎn)生、在線使用、離線備用到失效銷毀的完整的生命周期管理過程。1 .概述生產(chǎn)系統(tǒng)所承載數(shù)據(jù)量急劇增長，快速膨脹的數(shù)據(jù)量嚴(yán)峻考驗了應(yīng)用系統(tǒng)的負(fù)載能力，系統(tǒng)資源、運行效率都面臨著越來越大的壓力。為實現(xiàn)對用戶提供高可用性、連續(xù)性的信息系統(tǒng)要求，必須考慮異構(gòu)環(huán)境下海量數(shù)據(jù)的歸檔和管理，探索集中模式下海量數(shù)據(jù)在跨平臺、異構(gòu)數(shù)據(jù)形態(tài)環(huán)境的歸檔管理方法。面對信息管理的重要性日益顯現(xiàn)的現(xiàn)實，在保證信息共享

4、和安全的同時，如何減少數(shù)據(jù)冗余，加快信息的流轉(zhuǎn)速度，提高處理效率和信息共享程度，是實現(xiàn)管理標(biāo)準(zhǔn)化和規(guī)范化的基礎(chǔ)。隨著業(yè)務(wù)發(fā)展，為規(guī)范信息與數(shù)據(jù)的管理，降低成本，控制在線數(shù)據(jù)規(guī)模，保證應(yīng)用系統(tǒng)健康高效運行，對應(yīng)用系統(tǒng)各種信息與數(shù)據(jù)從創(chuàng)建到最終銷毀的生命周期進(jìn)行全程管理顯得越來越迫切。國庫信息處理系統(tǒng)、貨幣發(fā)行管理信息系統(tǒng)、聯(lián)網(wǎng)核查公民身份信息系統(tǒng)，等人民銀行重要業(yè)務(wù)系統(tǒng)隨著數(shù)據(jù)量的急劇增長，需要采用技術(shù)手段將歷史數(shù)據(jù)從生產(chǎn)系統(tǒng)中抽取，并進(jìn)行壓縮歸檔。建立數(shù)據(jù)生命周期管理平臺，既能滿足業(yè)務(wù)部門對歷史數(shù)據(jù)的查詢請求，又能有效控制生產(chǎn)系統(tǒng)的數(shù)據(jù)規(guī)模，降低系統(tǒng)運行風(fēng)險（圖1）。圖1：數(shù)據(jù)生命周期管理平臺

5、與多系統(tǒng)的關(guān)系在數(shù)據(jù)生命周期管理思想的驅(qū)動下，為有效管理國庫信息處理系統(tǒng)（以下簡稱“TIPS”），信管中心編制國庫信息處理系統(tǒng)（TIPS）數(shù)據(jù)生命周期技術(shù)規(guī)范（詳見附件）。該規(guī)范刻畫了國庫交易數(shù)據(jù)的特征和對應(yīng)的生命周期管理辦法。本文在規(guī)范的指導(dǎo)下，以TIPS系統(tǒng)為例建立歷史數(shù)據(jù)歸檔管理平臺，實現(xiàn)對TIPS系統(tǒng)數(shù)據(jù)抽取、歸檔、數(shù)據(jù)加工等工作。其他重要業(yè)務(wù)系統(tǒng)可以通過橫向擴展該平臺實現(xiàn)數(shù)據(jù)的生命周期管理目標(biāo)。2 .系統(tǒng)規(guī)劃2.1平臺與其它系統(tǒng)的關(guān)系歷史數(shù)據(jù)歸檔管理平臺建設(shè)定位在對生產(chǎn)系統(tǒng)數(shù)據(jù)的抽取，清理和歸檔作業(yè)。從系統(tǒng)定位的角度來看，歷史數(shù)據(jù)管理平臺具有長期保持、數(shù)據(jù)保真、控制生產(chǎn)系統(tǒng)數(shù)據(jù)增長等

6、特點。與數(shù)據(jù)備份的區(qū)別是數(shù)據(jù)備份是全部數(shù)據(jù)，而數(shù)據(jù)歸檔則不包含系統(tǒng)運行的過程性數(shù)據(jù)。數(shù)據(jù)備份需要通過在特定的數(shù)據(jù)庫環(huán)境下恢復(fù)才能實現(xiàn)數(shù)據(jù)訪問，而歷史數(shù)據(jù)歸檔可以自行對數(shù)據(jù)進(jìn)行歸檔和存儲，提供近線的查詢接口來實現(xiàn)對歷史數(shù)據(jù)的訪問。與ODS的區(qū)別是，ODS主要功能是數(shù)據(jù)交換和報表；而歷史數(shù)據(jù)歸檔管理平臺主要是數(shù)據(jù)保持。ODS為數(shù)據(jù)倉庫提供批量的數(shù)據(jù)傳輸，并不保存歷史數(shù)據(jù)，也不對生產(chǎn)系統(tǒng)的數(shù)據(jù)進(jìn)行清理工作，主要滿足歷史數(shù)據(jù)查詢和審計的需要。歷史數(shù)據(jù)歸檔管理平臺與之不同，它側(cè)重于將生產(chǎn)系統(tǒng)的數(shù)據(jù)定時抽取出來并原汁原味的轉(zhuǎn)存到歸檔平臺中。與數(shù)據(jù)倉庫的區(qū)別是，數(shù)據(jù)倉庫是面向主題的數(shù)據(jù)組織，不包含明細(xì)到每筆

7、交易的數(shù)據(jù)，其目的是為了決策和分析使用；而歷史數(shù)據(jù)歸檔管理平臺是需要把某一個時點的所有事實數(shù)據(jù)保存起來，為了查詢和審計使用。歷史數(shù)據(jù)歸檔管理平臺對數(shù)據(jù)不進(jìn)行重新組織，而數(shù)據(jù)倉庫往往需要對數(shù)據(jù)進(jìn)行重新組織以滿足數(shù)據(jù)分析和挖掘等需要。2.2平臺的定位考慮到歷史數(shù)據(jù)歸檔查詢平臺的功能及與生產(chǎn)系統(tǒng)、ODS和數(shù)據(jù)倉庫的關(guān)系，該平臺的定位如下圖（圖2）：圖2：歷史數(shù)據(jù)歸檔查詢平臺與生產(chǎn)系統(tǒng)、ODS和數(shù)據(jù)倉庫的關(guān)系可見，歷史數(shù)據(jù)歸檔查詢平臺處于相對獨立的位置。2.3 可行性分析 目前，數(shù)據(jù)庫歸檔領(lǐng)域（ILM, Information Lifecycle Management）已經(jīng)出現(xiàn)多個適用的商業(yè)軟件產(chǎn)品。

8、同時，人民銀行數(shù)據(jù)中心國庫類、貨金類和統(tǒng)計類業(yè)務(wù)系統(tǒng)采用IBM DB2數(shù)據(jù)庫軟件。磁帶庫和存儲設(shè)備為多系統(tǒng)共享方式使用。這些條件為建設(shè)平臺化的數(shù)據(jù)歸檔查詢系統(tǒng)提供了可能。3 .系統(tǒng)技術(shù)方案3.1平臺設(shè)計思路 歷史數(shù)據(jù)歸檔查詢平臺定位為數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)的統(tǒng)一歸檔平臺。先期完成對TIPS系統(tǒng)、貨金系統(tǒng)的歷史數(shù)據(jù)歸檔工作。 TIPS系統(tǒng)部署交易數(shù)據(jù)庫（TIPSODB）和歷史查詢庫（TIPSQDB）兩個數(shù)據(jù)庫（如圖3）。其中，TIPSODB主要處理和保存日間交易數(shù)據(jù)和3個月內(nèi)交易數(shù)據(jù)，TIPSODB每日日間交易結(jié)束后，將3月前數(shù)據(jù)按日定時遷移到TIPSQDB中。TIPSQDB存儲TIPS系統(tǒng)歷史交易

9、數(shù)據(jù)，并提供在線歷史數(shù)據(jù)查詢功能。圖3：TIPS系統(tǒng)數(shù)據(jù)庫邏輯部署圖通過歷史數(shù)據(jù)歸檔管理平臺，TIPSQDB的業(yè)務(wù)數(shù)據(jù)，如達(dá)到預(yù)定義的時間點后，按照預(yù)定策略，從在線使用狀態(tài)轉(zhuǎn)移到離線備用的狀態(tài)。同時，這些數(shù)據(jù)從活躍態(tài)（Active）轉(zhuǎn)化成非活躍態(tài)（Inactive）。處于離線備用狀態(tài)的數(shù)據(jù)不再被改變，但是不被封存，而是通過歷史數(shù)據(jù)歸檔管理平臺提供的接口繼續(xù)提供近線查詢、匯總、分析等功能。最后，根據(jù)法規(guī)和監(jiān)管的要求，當(dāng)這些數(shù)據(jù)的保存時間達(dá)到規(guī)定值后，數(shù)據(jù)失效（Expired）并進(jìn)入銷毀階段（圖4）。圖4：TIPS數(shù)據(jù)生命周期階段3.2數(shù)據(jù)量估算預(yù)估未來1年內(nèi)，TIPSQDB數(shù)據(jù)庫每周的數(shù)據(jù)庫備份

10、規(guī)模在400GB（壓縮后）左右： TIPSQDB數(shù)據(jù)庫的備份量 = 數(shù)據(jù)庫數(shù)據(jù)全備 + 數(shù)據(jù)庫日志備份其中，數(shù)據(jù)庫日志備份規(guī)模在50G至80G，數(shù)據(jù)庫數(shù)據(jù)全備隨著業(yè)務(wù)增長態(tài)勢，將從目前的250G增長到320G左右。同時，TIPSODB數(shù)據(jù)庫存儲3個月的交易數(shù)據(jù)，該數(shù)據(jù)庫全備的規(guī)模在80GB（壓縮后），預(yù)估1年后增長到130GB。假定數(shù)據(jù)歸檔操作按照每季度（3個月）進(jìn)行。數(shù)據(jù)歸檔操作在以太網(wǎng)和光線網(wǎng)絡(luò)兩種環(huán)境下備份規(guī)模對比如下：以太網(wǎng)光纖網(wǎng)絡(luò)文件傳輸率10MB/s100MB/s初始數(shù)據(jù)歸檔規(guī)模250GB至320GB250GB至320GB初始?xì)w檔時間6.9小時至8.8小時42分鐘至54分鐘小時每季

11、度數(shù)據(jù)歸檔規(guī)模80GB至130GB80GB至130GB歸檔時間2.2小時至3.6小時14分鐘至22分鐘可見，采用光纖網(wǎng)絡(luò)方式部署歷史數(shù)據(jù)歸檔管理平臺能較好的支持TIPS的數(shù)據(jù)歸檔需求。3.3平臺部署基于以上分析，部署歷史數(shù)據(jù)歸檔管理平臺后的TIPS系統(tǒng)和貨金系統(tǒng)整體結(jié)構(gòu)如下（圖5）。其中，新增數(shù)據(jù)歸檔管理平臺服務(wù)器用于配置、調(diào)度和管理TIPS歸檔數(shù)據(jù)。該配置服務(wù)器通過部署在被管數(shù)據(jù)庫服務(wù)器的Agent發(fā)起歸檔作業(yè)。生產(chǎn)數(shù)據(jù)按照歸檔策略從生產(chǎn)數(shù)據(jù)庫中清理并轉(zhuǎn)移到二級存儲設(shè)備（磁帶庫或虛擬帶庫）?？蛻舳送ㄟ^向數(shù)據(jù)歸檔管理平臺服務(wù)器發(fā)起查詢、瀏覽、查詢、數(shù)據(jù)漂白等操作。 圖5：TIPS數(shù)據(jù)生命周期管

12、理平臺邏輯部署圖歷史數(shù)據(jù)歸檔查詢管理平臺的物理部署圖如下。人民銀行數(shù)據(jù)中心國庫類、統(tǒng)計類系統(tǒng)的數(shù)據(jù)庫部署Agent后，就可以通過配置服務(wù)器發(fā)起數(shù)據(jù)抽取、歸檔作業(yè)?？梢圆捎脧?fù)用數(shù)據(jù)中心現(xiàn)有磁帶庫系統(tǒng)完成數(shù)據(jù)的歸檔存儲需要。 圖6：歷史數(shù)據(jù)歸檔查詢管理平臺物理部署圖歷史數(shù)據(jù)歸檔查詢管理平臺應(yīng)可以按照任意時間間隔發(fā)起數(shù)據(jù)抽取操作；歸檔數(shù)據(jù)可以以數(shù)據(jù)庫或文件格式保存；具備數(shù)據(jù)壓縮功能；需提供基本的SQL語法對歸檔數(shù)據(jù)進(jìn)行操作，滿足業(yè)務(wù)系統(tǒng)近線查詢需求；應(yīng)滿足數(shù)據(jù)在生命周期各階段的功能；采用代理方式與多個生產(chǎn)系統(tǒng)數(shù)據(jù)庫交互，對生產(chǎn)系統(tǒng)影響最小化；具備橫向擴展的部署結(jié)構(gòu)；對異構(gòu)數(shù)據(jù)庫平臺提供統(tǒng)一的配置和管

13、理視圖。 3.4 數(shù)據(jù)分級存儲方案歷史數(shù)據(jù)歸檔查詢平臺根據(jù)不同類型的數(shù)據(jù)生命周期進(jìn)行劃分，使數(shù)據(jù)在高低頻訪問設(shè)備之間進(jìn)行遷移。而這種遷移，會由程序根據(jù)規(guī)范自動地完成操作。圖7：分層存儲硬件基礎(chǔ)架構(gòu)數(shù)據(jù)歸檔領(lǐng)域（ILM）的硬件基礎(chǔ)結(jié)構(gòu)見上圖（圖7），每兆存儲成本從企業(yè)級的磁盤存儲，到中端光纖存儲，再到磁帶，逐步降低；與此同時，數(shù)據(jù)的服務(wù)級別也隨著成本的降低而降低。目前，人民銀行數(shù)據(jù)中心采用共享方式部署了存儲系統(tǒng)和磁帶庫系統(tǒng)，通過構(gòu)建的SAN網(wǎng)絡(luò)實現(xiàn)了對各業(yè)務(wù)系統(tǒng)的統(tǒng)一數(shù)據(jù)存儲服務(wù)。歷史數(shù)據(jù)歸檔查詢平臺可以利用現(xiàn)有存儲環(huán)境實現(xiàn)對歸檔數(shù)據(jù)的分級存儲模式。4 .產(chǎn)品調(diào)研目前，主流數(shù)據(jù)生命周期管理軟件有

14、IBM Optim，HP IAP和Informatica Applimation。各產(chǎn)品的功能對比表如下：功能HP IAPApplimationIBM Optim 數(shù)據(jù)源需建立特定歸檔數(shù)據(jù)庫需建立特定歸檔數(shù)據(jù)庫JDBC/ODBC數(shù)據(jù)壓縮不提供數(shù)據(jù)壓縮能力依賴于歸檔數(shù)據(jù)庫內(nèi)置的數(shù)據(jù)壓縮能力采用統(tǒng)一壓縮式歸檔文件進(jìn)行存儲，壓縮比較高分級存儲數(shù)據(jù)實際存儲在歸檔數(shù)據(jù)庫中，難以靈活遷移數(shù)據(jù)實際存儲在歸檔數(shù)據(jù)庫中，難以靈活遷移不依賴于存儲介質(zhì)，對存儲的需求較低系統(tǒng)維護(hù)歸檔數(shù)據(jù)庫需隨著生產(chǎn)系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)變化而維護(hù)多個版本歸檔數(shù)據(jù)庫需隨著生產(chǎn)系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)變化而維護(hù)多個版本采用數(shù)據(jù)結(jié)構(gòu)快照技術(shù)，無

15、需專門跟蹤生產(chǎn)系統(tǒng)數(shù)據(jù)庫的變化。操作系統(tǒng)支持性主要支持HP-UX支持所有常見操作系統(tǒng)平臺支持所有常見操作系統(tǒng)平臺數(shù)據(jù)庫支持性僅支持Oracle和Sybase主要支持Oracle支持DB2等主流數(shù)據(jù)庫產(chǎn)品數(shù)據(jù)加工不支持?jǐn)?shù)據(jù)漂白支持?jǐn)?shù)據(jù)漂白支持?jǐn)?shù)據(jù)漂白，支持隱私數(shù)據(jù)保護(hù)，支持審計和合規(guī)性等需求根據(jù)上表，IBM Optim滿足人民銀行數(shù)據(jù)中心數(shù)據(jù)庫軟件的要求；對存儲的需求較低，數(shù)據(jù)壓縮比較高，采用JDBC/ODBC數(shù)據(jù)源方式與生產(chǎn)數(shù)據(jù)庫交互，適合靈活部署。因此，該產(chǎn)品滿足人民銀行數(shù)據(jù)中心對歷史數(shù)據(jù)歸檔管理平臺的主要需求。5 .系統(tǒng)軟硬件需求5.1 軟件需求軟件名稱數(shù)量說明數(shù)據(jù)庫歸檔領(lǐng)域主流產(chǎn)品1套需要采購。完成從數(shù)據(jù)中心國庫類、貨金類、統(tǒng)計類等生產(chǎn)系統(tǒng)數(shù)據(jù)庫（IBM DB2）抽取數(shù)據(jù)、歸檔、查詢、審計功能。5.2 硬件需求設(shè)備名稱設(shè)備數(shù)量說明數(shù)據(jù)庫歸檔配置服務(wù)器2臺部署歷史數(shù)據(jù)歸檔查詢配置軟件，調(diào)度歸檔作業(yè)，提供歸檔數(shù)據(jù)查詢接口。歸檔數(shù)據(jù)查詢客