數(shù)據(jù)治理系列4主數(shù)據(jù)管理實施四部曲概論

1、數(shù)據(jù)治理系列4:主數(shù)據(jù)管理實施四部曲概論導讀：我們知道主數(shù)據(jù)項目的建設是一個循序漸進、持續(xù)優(yōu)化的過程，不可一蹴而就。個人認為主數(shù)據(jù)管理項目從咨詢規(guī)劃到落地實施再到初步見效需要經(jīng)歷四個階段，而每個階段都是必經(jīng)階段，每個階段均可獨立成章，所以這里是四部曲，不是四步曲。作者：石秀峰，多年來一直從事企業(yè)數(shù)據(jù)資源規(guī)劃、企業(yè)數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)治理，歡迎關注。主數(shù)據(jù)項目建設從方法上，分為以下四部，簡單歸結(jié)為12個字：“摸家底、建體系、接數(shù)據(jù)、抓運營”！一、摸家底摸家底需要全面調(diào)研和了解企業(yè)的數(shù)據(jù)管理現(xiàn)狀，以便做出客觀切實的數(shù)據(jù)管理評估！1、數(shù)據(jù)資源普查數(shù)據(jù)資源普查的方法常用的有兩種，一種是自頂向下的梳理和調(diào)

2、研，另一種是自底向上的梳理和調(diào)研。自頂向下的調(diào)研一般會用到IRP（信息資源規(guī)劃）和BPM（業(yè)務流程管理）兩個方法。這里重點介紹一下IRP，信息資源規(guī)劃（InformationResourcePlanning，簡稱IRP）,是指對所在單位信息的采集、處理、傳輸和使用的全面規(guī)劃。其核心是運用先進的信息工程和數(shù)據(jù)管理理論及方法，通過總體數(shù)據(jù)規(guī)劃，奠定資源管理的基礎，促進實現(xiàn)集成化的應用開發(fā)，構(gòu)建信息資源網(wǎng)。IRP是信息工程方法論、總體數(shù)據(jù)規(guī)劃和信息資源管理標準的結(jié)合體，其實現(xiàn)方法可概括為：IRP=兩個階段+兩條主線+三個模型+一套標準，如下圖所示：采用IRP方法進行數(shù)據(jù)梳理需要對職能域、業(yè)務域進行定

3、義，并對每個職能域和業(yè)務域中的業(yè)務流程進行梳理，同時需要收集各類業(yè)務單據(jù)、用戶視圖，并對每個單據(jù)和用戶視圖進行梳理和數(shù)據(jù)元素分析。該方法優(yōu)點讓企業(yè)能夠?qū)ΜF(xiàn)有數(shù)據(jù)資源有個全面、系統(tǒng)的認識。特別是通過對職能域之間交叉信息的梳理，使我們更加清晰地了解到企業(yè)信息的來龍去脈，有助于我們把握各類信息的源頭，有效地消除“信息孤島”和數(shù)據(jù)冗余、控制數(shù)據(jù)的唯一性和準確性，確保獲取信息的有效性。缺點是需要消耗較大的成本和周期。這種方法適用于包含咨詢的主數(shù)據(jù)項目建設。由底向上的主數(shù)據(jù)梳理和調(diào)研，一般先確定主數(shù)據(jù)主題域或數(shù)據(jù)范圍。在范圍確定的前提下，從企業(yè)信息系統(tǒng)入手，對已建系統(tǒng)、在建系統(tǒng)、待建系統(tǒng)的數(shù)據(jù)視圖進行梳理

4、、分析，識別出主數(shù)據(jù)在信息系統(tǒng)的分布情況，理清數(shù)據(jù)來源去向，標準情況、質(zhì)量情況。另外，還需要對系統(tǒng)未管理的數(shù)據(jù)（即，我們常說的線下數(shù)據(jù)）進行整理分析。在這個過程中，需要在既定的數(shù)據(jù)范圍內(nèi)，摸透企業(yè)主數(shù)據(jù)的管理情況、數(shù)據(jù)標準情況、數(shù)據(jù)質(zhì)量情況、數(shù)據(jù)共享情況。該方法的優(yōu)點在于針對性強，快速實施、快速見效，缺點是梳理的數(shù)據(jù)不夠全面和系統(tǒng)。一般是有了明確的項目目標和范圍的情況下采用該方法最佳。企業(yè)的數(shù)據(jù)名目繁多，千變?nèi)f化，我們不可能一次性完成對所有數(shù)據(jù)資源的梳理和分析。所以，不論使用哪種方法進行需求梳理，企業(yè)都要選擇好業(yè)務重點，優(yōu)先實施，不能胡子眉毛一把抓。明確范圍、明確范圍、明確范圍，重要的事情說三

5、遍2、主數(shù)據(jù)識別主數(shù)據(jù)的識別一般分為四個步驟：第一步，確定主數(shù)據(jù)識別指標。第二步，基于主數(shù)據(jù)識別識別，構(gòu)建評分體系，確定指標權重。第三步，根據(jù)業(yè)務調(diào)研和數(shù)據(jù)普查結(jié)果，確定主數(shù)據(jù)參評范圍。第四步，依據(jù)評分標準，識別出企業(yè)主數(shù)據(jù)。2.1. 主數(shù)據(jù)識別指標，主要從主數(shù)據(jù)的特征考量：參見之前談數(shù)據(jù)公眾號分享的：主數(shù)據(jù)的3大特征、4項超越和主數(shù)據(jù)管理的3個二八原則?業(yè)務價值。主數(shù)據(jù)具備充足的業(yè)務價值。主數(shù)據(jù)描述企業(yè)最核心的數(shù)據(jù)，是企業(yè)最有價值的數(shù)據(jù)資產(chǎn)。?數(shù)據(jù)共享性。主數(shù)據(jù)一般是不同業(yè)務部門之間、不同業(yè)務系統(tǒng)之間高度共享的數(shù)據(jù)，如果數(shù)據(jù)只在一個系統(tǒng)使用，并且未來也不會共享給其他系統(tǒng)，一般不作為主數(shù)據(jù)管理

6、。?實體獨立性。主數(shù)據(jù)是不可拆分的數(shù)據(jù)實體，如產(chǎn)品、客戶，是所有業(yè)務行為和交易的基礎。?識別唯一性。在組織范圍內(nèi)同一主數(shù)據(jù)要求具有唯一的識別標志，如物料、客戶都必須有唯一的編碼。?相對穩(wěn)定性。與交易數(shù)據(jù)相比主數(shù)據(jù)是相對穩(wěn)定的，變化頻率較低。變化頻率較低并不意味著一成不變，例如：客商更名會引起客商主數(shù)據(jù)的變動、人員調(diào)動會引起人員主數(shù)據(jù)的變動等等。?長期有效性。主數(shù)據(jù)一般具有較長的生命周期，需要長期保存。2.2. 建立評分體系，確定指標權重。2.3. 數(shù)據(jù)資源普查和參評數(shù)據(jù)準備。主要是根據(jù)前期的業(yè)務調(diào)研情況和數(shù)據(jù)普查情況，確定參評數(shù)據(jù)范圍，并準備出參評數(shù)據(jù)。2.4. 以及打分模板進行打分，識別出企

7、業(yè)主數(shù)據(jù)。該過程需要充分的VER和VAL。3、數(shù)據(jù)管理能力評估對于數(shù)據(jù)管理能力的評估，目前已經(jīng)有了比較成熟的評價模型，典型的有：?IBM數(shù)據(jù)治理成熟度評估模型。推薦閱讀：舊M的數(shù)據(jù)治理統(tǒng)一流程一書。?SEI的數(shù)據(jù)能力成熟度模型（DMM）。?EDM的數(shù)據(jù)能力成熟度模型（DCAM）。?DataFlux數(shù)據(jù)治理成熟度模型。?OracleMDM主數(shù)據(jù)管理成熟度模型。?MD3M主數(shù)據(jù)管理能力成熟度模型。?國內(nèi)，全國信息技術標準化技術委員于2014年會啟動了數(shù)據(jù)能力成熟度評價模型的制定工作。數(shù)據(jù)能力成熟度評價模型（DataCapabilityMaturityModel簡稱DCMM）是國內(nèi)關于數(shù)據(jù)能力成熟度

8、模型的一項國家標準，在制定的過程中充分吸取了國內(nèi)先進行業(yè)的發(fā)展經(jīng)驗（以金融業(yè)為主），結(jié)合了國際上DAMA（國際數(shù)據(jù)管理協(xié)會）數(shù)據(jù)管理知識體系指南DMBOK»中的內(nèi)容。注：以上評估模型這里不再展開，后續(xù)筆者會根據(jù)自己的工作和學習心得進行逐一詳解，敬請關注。筆者認為，不論國際還是國內(nèi)，其數(shù)據(jù)管理能力成熟度評估模型都大同小異，核心上都借鑒了CMMI,不限于以下幾個方面：?企業(yè)數(shù)據(jù)戰(zhàn)略?組織機構(gòu)?標準體系?制度與流程?數(shù)據(jù)質(zhì)量?數(shù)據(jù)應用體系?數(shù)據(jù)生命周期管理評估模型都是作為企業(yè)數(shù)據(jù)管理能力評估的參考，需要結(jié)合企業(yè)實際需求和發(fā)展目標，切實的、客觀的進行評價。二、建體系我國大多數(shù)企業(yè)的主數(shù)據(jù)現(xiàn)狀

9、普遍都是先污染、后治理的過程，主數(shù)據(jù)管理必然帶來新的標準、體系的確立，和舊系統(tǒng)的改造。整個主數(shù)據(jù)建設過程是一個有破有立、無破不立的過程。這一過程設計大量的跨部門、跨條線、跨系統(tǒng)的溝通協(xié)調(diào)，同時也涉及不小的投資。為了不使投入的人力物力付之東流，在項目實施前期就應該規(guī)劃好各項規(guī)章制度和組織架構(gòu)。1、組織體系有效的組織機構(gòu)是項目成功的有力保證，為了達到項目預期目標，在項目開始之前對于組織及其責任分工做出規(guī)劃是非常必要的。主數(shù)據(jù)涉及的范圍很廣，牽涉到不同的業(yè)務部門和技術部門，是企業(yè)的全局大事，如何成立和成立什么樣的組織應該依據(jù)企業(yè)本身的發(fā)展戰(zhàn)略和目標來確定。建立主數(shù)據(jù)管理組織目標是：統(tǒng)籌規(guī)劃企業(yè)的數(shù)據(jù)

10、戰(zhàn)略；建立主數(shù)據(jù)標準規(guī)范體系、數(shù)據(jù)管理制主度和流程體系、數(shù)據(jù)運營和維護體系；依托主數(shù)據(jù)管理平臺，實施主數(shù)據(jù)標準化落地、推廣和運營。在明確了組織機構(gòu)的同時，還要明確主數(shù)據(jù)管理崗位，比如：主數(shù)據(jù)系統(tǒng)管理員、主數(shù)據(jù)填報員、主數(shù)據(jù)審核員、數(shù)據(jù)質(zhì)量管理員、集成技術支持員等。主數(shù)據(jù)管理崗位可以兼職，也可以全職，根據(jù)企業(yè)實際情況而定。2、標準體系主數(shù)據(jù)分類和編碼標準化。沒有標準化就沒有信息化，主數(shù)據(jù)分類和編碼標準是主數(shù)據(jù)標準中的最基礎的標準。數(shù)據(jù)分類就是根據(jù)信息內(nèi)容的屬性或特征，將信息按一定的原則和方法進行區(qū)分和歸類，并建立起一定的分類系統(tǒng)和排列順序，以便管理和使用信息。主數(shù)據(jù)編碼就是在信息分類的基礎上，將

11、信息對象賦于有一定規(guī)律性的、易于計算機和人識別與處理的符號。主數(shù)據(jù)模型標準化，根據(jù)前期的調(diào)研、梳理和評估，定義出每個主數(shù)據(jù)的元模型。明確主數(shù)據(jù)的屬性組成、字段類型、長度、是否唯一，是否必填以及校驗規(guī)則。主數(shù)據(jù)元模型的設計不能貪大求全，要切合實際。推薦方法：抽取多系統(tǒng)、部門間的共性屬性和核心屬性，剔除掉單一業(yè)務屬性。主數(shù)據(jù)標準體系的建設要適合企業(yè)的業(yè)務，適應企業(yè)的發(fā)展。標準的建設不能“先入為主”更不能“直接照搬”。3、制度與流程體系制度章程是確保對主數(shù)據(jù)管理進行有效實施的認責制度。建立主數(shù)據(jù)管理制度和流程體系是需要明確主數(shù)據(jù)的歸口部門和崗位，明確崗位職責，明確每個主數(shù)據(jù)的申請、審批、變更、共享的

12、流程。數(shù)據(jù)從創(chuàng)建到流轉(zhuǎn)要嚴格執(zhí)行企業(yè)主數(shù)據(jù)標準和填報規(guī)范。同時，做好數(shù)據(jù)運營工作，定期檢查數(shù)據(jù)質(zhì)量，進行數(shù)據(jù)的清洗和整合。實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量的不斷優(yōu)化和提升。制度和流程體系的建設是主數(shù)據(jù)成功實施的重要保障。4、技術體系主數(shù)據(jù)管理技術體系的建設應從應用層面和技術層面兩個方面考慮。應用層面主數(shù)據(jù)管理平臺需具備元數(shù)據(jù)（數(shù)據(jù)模型管理）、數(shù)據(jù)管理、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、權限控制、數(shù)據(jù)關聯(lián)分析，以及數(shù)據(jù)的映射（mapping）/轉(zhuǎn)換（Transforming）/裝載（loading）的能力。技術層面，重點考慮系統(tǒng)架構(gòu)、接口規(guī)范、技術標準。業(yè)內(nèi)流行主數(shù)據(jù)平臺更多定位的是數(shù)據(jù)管理和集成平臺，一般采用SO

13、A架構(gòu)，提供服務總線（dataservicebus）功能。國內(nèi)外90%以上的產(chǎn)品采用的是這種技術架構(gòu)?；ヂ?lián)網(wǎng)行業(yè)的主數(shù)據(jù)則側(cè)重于主數(shù)據(jù)的微服務，每個主數(shù)據(jù)都可以發(fā)布多個微服務，例如：會員主數(shù)據(jù)，提供的微服務包括注冊、登錄、注銷、鎖定等服務。5、安全體系主數(shù)據(jù)安全體系建設包括幾個方面:網(wǎng)絡安全。尤其是混合云下的數(shù)據(jù)安全是當前客戶最關注的問題。這里建議基于混合云部署的主數(shù)據(jù)系統(tǒng)采用單向數(shù)據(jù)流控制，即只允許公有云數(shù)據(jù)向內(nèi)流入，不允許私有云數(shù)據(jù)向外流出。接口安全。即接口數(shù)據(jù)的傳輸安全。由于主數(shù)據(jù)解決的是異構(gòu)系統(tǒng)的數(shù)據(jù)一致性問題，需要保證主數(shù)據(jù)在給異構(gòu)系統(tǒng)同步數(shù)據(jù)的過程的數(shù)據(jù)安全。主數(shù)據(jù)平臺須具備接口的

14、訪問控制和加密傳輸?shù)哪芰?。應用安全。主?shù)據(jù)平臺的身份認證、訪問控制、分級授權、安全審計功能是保障系統(tǒng)應用安全的重要功能。數(shù)據(jù)安全。主數(shù)據(jù)平臺提供的數(shù)據(jù)加密存儲、加密傳輸、脫敏脫密功能，是保證主數(shù)據(jù)安全的重要措施。三、接數(shù)據(jù)接數(shù)據(jù)包括主數(shù)據(jù)的接入和接出。主數(shù)據(jù)接入是將主數(shù)據(jù)從數(shù)據(jù)源系統(tǒng)匯集到主數(shù)據(jù)平臺的過程。該過程需要對接入的數(shù)據(jù)進行清洗、轉(zhuǎn)換、映射、去重、合并、加載，通過一系列的數(shù)據(jù)加工和處理形成標準統(tǒng)一的主數(shù)據(jù)。常用的數(shù)據(jù)的匯集方式：?ETL抽取，采用ETL工具的方式從數(shù)據(jù)源系統(tǒng)將數(shù)據(jù)采集到主數(shù)據(jù)庫中。?文件傳輸，采用文件傳輸方式將文件中的數(shù)據(jù)導入到主數(shù)據(jù)庫中。?消息推送，采用消息的方式從數(shù)

15、據(jù)源系統(tǒng)將數(shù)據(jù)采集到主數(shù)據(jù)庫中，一般需要借助ESB。?接口推送，采用接口方式從數(shù)據(jù)源系統(tǒng)將主數(shù)據(jù)采集到主數(shù)據(jù)庫中，一般需要借助ESB。?內(nèi)容爬蟲，一般用于互聯(lián)網(wǎng)的數(shù)據(jù)爬取，適用于社會化主數(shù)據(jù)的匯集。主數(shù)據(jù)的接出，是將標準化的主數(shù)據(jù)分發(fā)共享給下游業(yè)務系統(tǒng)使用的過程。在主數(shù)據(jù)接出的過程中使用的技術與數(shù)據(jù)匯集技術基本一致。在企業(yè)實施主數(shù)據(jù)過程中，需要根據(jù)不同場景選擇不同的集成方式。?定期數(shù)據(jù)共享，一般采用ETL或接口方式定期將主數(shù)據(jù)抽取到業(yè)務系統(tǒng)指定的數(shù)據(jù)表中。?實時數(shù)據(jù)共享，一般采用消息訂閱的方式，通過數(shù)據(jù)接口將主數(shù)據(jù)推送給業(yè)務系統(tǒng)。四、抓運營主數(shù)據(jù)運營管理，包括：主數(shù)據(jù)管理，主數(shù)據(jù)推廣、主數(shù)據(jù)質(zhì)

16、量、主數(shù)據(jù)變現(xiàn)等。1、主數(shù)據(jù)管理數(shù)據(jù)標準和管理規(guī)范的常態(tài)化貫徹。主數(shù)據(jù)管理主要是對主數(shù)據(jù)的新增、變更、使用等過程的規(guī)范，需要配合企業(yè)主數(shù)據(jù)管理的相關制度和流程，做到定崗定責、責任到人，從源頭上控制好數(shù)據(jù)的質(zhì)量，保證數(shù)據(jù)的唯一數(shù)據(jù)源和統(tǒng)一數(shù)據(jù)視圖。2、主數(shù)據(jù)推廣主數(shù)據(jù)推廣是逐步將主數(shù)據(jù)推廣到企業(yè)的各個業(yè)務中，包括線上、線下的業(yè)務。主數(shù)據(jù)的應用不僅需要推廣各個相關的業(yè)務中，保證各業(yè)務系統(tǒng)的主數(shù)據(jù)一致性。對于線下的業(yè)務也應當與主數(shù)據(jù)保持一致。主數(shù)據(jù)推廣對于單組織企業(yè)比較容易，對于集團型企業(yè)尤其是多業(yè)態(tài)集團是有一定難度的，企業(yè)應做好相應的推廣策略和計劃表。3、主數(shù)據(jù)質(zhì)量主數(shù)據(jù)作為“黃金數(shù)據(jù)”是企業(yè)的核心數(shù)據(jù)資產(chǎn)，主數(shù)據(jù)質(zhì)量的好壞決定了數(shù)據(jù)價值的高低。整個主數(shù)據(jù)運營過程，最核心的目標就是持續(xù)提升數(shù)據(jù)質(zhì)量。主數(shù)據(jù)質(zhì)量管理包括：主數(shù)據(jù)質(zhì)量指標定義，主數(shù)據(jù)質(zhì)量模型/算法，主數(shù)據(jù)質(zhì)量核查，主數(shù)據(jù)質(zhì)量整改，主數(shù)據(jù)質(zhì)量報告，主數(shù)據(jù)質(zhì)量考評等。（此文不在詳訴）4、主數(shù)據(jù)變現(xiàn)上文我們提到：主數(shù)據(jù)是企業(yè)的“黃金數(shù)據(jù)”，是企業(yè)的核心數(shù)據(jù)資產(chǎn)。既然是“資產(chǎn)”就一定有其變現(xiàn)的能力，主數(shù)據(jù)變現(xiàn)主要有以下幾個方面：整合協(xié)同、降本增效。各系統(tǒng)主數(shù)據(jù)的標準統(tǒng)一，解決數(shù)據(jù)重復、不一致、不正確、不準確、不完整的問題，打通企業(yè)的采購、生產(chǎn)、制造、營銷、財務管理等各個環(huán)節(jié)，大大