大數據質量管理平臺解決方案

2019

中

國

數

據

智

能

管

理

峰

會大數據質量管理平臺解決方案問題與痛點城市大數據質量管理管控中，面臨著眾多問題與痛點01 數據多樣化，缺少統(tǒng)一標準02 計算邏輯理解一不致，導致統(tǒng)計結果有偏差03數據全鏈路質量問題，層次復雜、不能快速定位問題城市數字化治理問題與難點04

數據質量偏低給數據應用帶來的各種挑戰(zhàn)05

數據標準缺乏結構化管理，集成困難06

數據分散，沒有形成完整的成本管理07

數據價值的評估較為困難08

數據安全與合規(guī)保障的問題……城市大數據質量管理數據驅動-數據價值評估? 實施數據價值評估的意義? 數據價值評估的難點? 衡量業(yè)務的投入產出比? 衡量數據發(fā)揮的作用? 為產品提供運營決策依據? 衡量數據服務平臺能力水平? 行業(yè)內無統(tǒng)一標準和方法? 公司內缺乏可量化的估值體系? 數據價值存場景化差異性如何做數據資產價值評估？數據價值數據價值評估“三度”模型數據采集數據傳輸計算引擎存儲引擎價值指標數據訪問熱度數據血緣關系業(yè)務運營指標評估模型熱度評分模型依賴計算模型A/B

Test計算模型價值表現熱度評分與等級應用廣度評分業(yè)務貢獻評分熱

度廣

度研究觀察期收益度模型成熟度成熟運營期分析報表營銷活動數據挖掘業(yè)務安全精準推薦其他…城市大數據質量管理數據驅動-數據價值評估數據流數據應用城市大數據質量管理發(fā)展歷程構建城市大數據質量管理資產管理體系-歷經6年在各階段解決的關鍵問題數據集成數據治理城市大數據質量管理資產管理：通過組織、流程、制度、技術等組合手段，確保數據交付的質量、效率、成本和安全，助力業(yè)務數據價值提升?

數據孤島形成?

沒有統(tǒng)一數據平臺?

數據流轉架構混亂?

數據傳輸時延高?

數據集成效率低?

平臺組件不夠穩(wěn)定資產運營?

數據標準缺失?

質量參差不齊?

數據安全防護差?

數據血緣不完整?

數據獲取效率低數據驅動?

數據成本劇增?

指標概念不一?

數據合規(guī)存在風險?

數據生命周期不合理?

數據價值難評估?

運營效率有待提升城市大數據質量管理能力模型——“三好”“用好”數據資產“管好”數據資產“看好”數據資產產品PM產品開發(fā)產品運維數據管理人員數據字典知識圖譜線下培訓數據助手業(yè)務管理數據映射配置管理資源調度評估影響數據質量成本管理元數據管理數據審計數據追溯血緣跟蹤異常分析數據源管理數據變更數據質量數據檢索數據接入數據管理人員安全管理人員產品PM數據價值成本結算資源視圖數據應用數據血緣數據熱點數據地圖平臺指引通用模塊專屬模塊業(yè)務指標產品開發(fā)產品運維產品PM權限流程安全規(guī)范安全策略制度管理城市大數據質量管理體系架構資產管理平臺資產總覽資產治理資產服務資產安全數據增值服務可視化報表效果分析活動營銷消息推送渠道管理戰(zhàn)績查詢價值評估更多…技術元數據業(yè)務元數據元數據存儲元數據標準元數據檢索元數據開放元數據管理更多…數據集成數據整合數據傳輸數據清洗數據采集數據存儲數據治理數據質量流程制度數據標準數據共享資產運營影響評估安全管理生命周期管理成本優(yōu)化DevAIOps收益度分析廣度分析熱度分析價值評估數據開放數據血緣數據驅動更多…城市大數據質量管理資產管理體系城市大數據質量管理元數據管理元數據（Metadata）——描述數據的數據業(yè)務元數據技術元數據按服務對象劃分城市大數據發(fā)展趨勢設備輔助互聯(lián)智能出現各類機電和程控設備，開始使用計算機逐步替代部分的人工操作逐步使用智能技術替代大部分的人力投入，如無人值守、云對講、等應用出現各類簡單的計算和傳感設備輔助人進行管理需要人進行操控在原來的基礎上各子系統(tǒng)相互連接，數顯數據的碰撞，并結合業(yè)務管理和業(yè)主體驗程控輔助人工智能12345無技防、效率低、失誤率高人工管理城市大數據質量管理變化趨勢系統(tǒng)端變化PC端某著名企業(yè)端業(yè)務與管理端變化數字化集成化網絡化智能化感知理解學習深化推理分析人機交互智能感知與理解視頻、圖片等非結構化數據，進行精確的結構化數據采集匯集各域的結構化數據，基于業(yè)務規(guī)則，建立模型和關系的知識數據，進行推理、比對和分析，獲取深入的數據洞察與決策依據通過增強現實、虛擬現實等技術，以自然友好的方式進行人機交互從知識大數據中快速提取關鍵信息，基于神經網絡進行學習和認知，優(yōu)化計算模型城市大數據質量管理元數據管理異構數據源元數據采集轉換層元數據應用元數據檢索數據一體化質量監(jiān)控資源管理日志文本TDWDBMS業(yè)務系統(tǒng)外部接口NoSQL其它…模型橋接器元數據存儲數據映射橋接器技術元數據業(yè)務元數據其它元數據服務接口實時規(guī)則iDataDataMore更多…一體化圖靈用戶管理權限管理元數據管理更新管理版本管理同步管理其他管理日志管理備份恢復可視化接口管理其他應用?

異構適配，集中存儲?

業(yè)務指標，開放共享?

描述數據，理解業(yè)務?

自動構建血緣關系鏈?

擴展能力，輔助運營元數據管理體系技術架構? 元數據能力特點城市大數據質量管理元數據管理單機：

UDP：5W

qps;KCP:

9w;

TCP:10w?

單機吞吐量：180Mbps?

分布式高可用，雙方擴容互不耦合?

高可用，高可靠：擴容不丟失數據；WAL雙備數據?

完整率:

99.99~99.9999%?

多協(xié)議支持；多數據格式支持?

專業(yè)數據管理、數據運維?

周邊系統(tǒng)完善支持明文結構TCPUDPKCPHTTPRPC自定義序列化PB/TDR序列化RPC-ProtoDB-BinlogKV-JSONGWTGlog_Svr規(guī)范結構游戲客戶端游戲服務端LBTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTDBANKAGENT傳輸體

系服務發(fā)現Consul

/L5Web管理端LogX在線實時檢索布道專業(yè)運維管理元數據管理File

I/O城市大數據質量管理數據集成-數據采集架構服務特性：數據標準管理組織職責數據標準服務制度規(guī)范流程管控標準維護數據項標準業(yè)務屬性技術屬性管理屬性指標項標準指標命名指標值域生成邏輯統(tǒng)一日志規(guī)范統(tǒng)一接入流程城市大數據質量管理數據治理-數據標準管理大數據質量監(jiān)控多維覆蓋數據采集數據傳輸數據存儲+計算數據應用設備基礎監(jiān)控計算延遲監(jiān)控應用鏈路監(jiān)控設備基礎監(jiān)控傳輸配置監(jiān)控集群計算監(jiān)控設備基礎監(jiān)控數據對賬監(jiān)控采集配置監(jiān)控設備基礎監(jiān)控集群計算監(jiān)控集群存儲監(jiān)控傳輸流量監(jiān)控集群存儲監(jiān)控來源變更監(jiān)控字典變動監(jiān)控來源變更監(jiān)控字典變動監(jiān)控數據對賬監(jiān)控計算延遲監(jiān)控數據掉零監(jiān)控數據掉零監(jiān)控數據掉零監(jiān)控服務心跳監(jiān)控服務心跳監(jiān)控資源容量監(jiān)控任務狀態(tài)監(jiān)控服務可用監(jiān)控完整性一致性準確性及時性城市大數據質量管理數據治理-數據質量監(jiān)控覆蓋智慧城市數字化大數據治理全生命周期管理云平臺-數據質量監(jiān)控覆蓋基礎智慧城市數字化大數據治理基礎系統(tǒng)城市管理、物聯(lián)網、大數據、區(qū)塊鏈、業(yè)務系統(tǒng)……執(zhí)行層采集階段協(xié)同作業(yè)清洗階段協(xié)同作業(yè)……治理運行協(xié)同作業(yè)竣工移交協(xié)同作業(yè)質保售后協(xié)同作業(yè)挖掘階段協(xié)同作業(yè)應用階段協(xié)同作業(yè)現場施工協(xié)同作業(yè)支撐層智慧城市數字化治理部門城市數字知識庫管理層城市數字化大數據治理全生命周期合同管理進度管理溝通管理安全管理成本管理……治理管理信息管理……決策層規(guī)劃分析設計分析建設分析產值分析安全分析成本分析投資分析……智慧城市數字化大數據治理全生命周期管理云平臺城市治理行政辦公市容市貌道路交通城市管理工程信息機動處置動態(tài)感知……平臺支持二次開發(fā)深度學習接口流程配置接口頁面開發(fā)接口智能開發(fā)接口數據治理接口……城市大數據質量管理數據治理-血緣構建IaaS云服務器云存儲云計算IDC服務器IDC存儲IDC計算網絡私有網絡公有網絡SDK非結構化結構化業(yè)務數據跨國傳輸跨城傳輸采集集群采集傳輸PaaS數據層數據分發(fā)流式計算實時計算SparkMRHDFS離線計算PaaS計算層MQ消息中間件KV存儲在線RMDB

任務調度調度引擎iPaaSdSaaS分析報表精準推薦營銷活動安全打擊其他應用應用開發(fā)平臺?

集群負載情況?

數據消費關系?

數據指標關系?

數據存儲關系?

離線計算關系?

…..?

微服務調用跟蹤鏈?

接口使用指標關系?

集群調度信息?

接口部署信息?

…..?

數據入庫關系?

離線導入關系?

數據透傳關系?

…..?

基礎指標信息?

項目與資源關系?

…..數據與業(yè)務血緣關系鏈數據與業(yè)務血緣關系鏈構建過程數據服務流轉架構存儲引擎計算引擎成本組成存儲成本數據服務成本計算成本大數據引擎數據服務引擎成本評測成本對比資源盤點ROI評分成本優(yōu)化生命周期推薦計算邏輯優(yōu)化資源調度優(yōu)化成本報告同比環(huán)比優(yōu)化推薦增長趨勢成本預警大數據成本管理架構預算Review資源降配城市大數據質量管理資產運營-成本管理數據服務成本計算成本存儲成本成本對比業(yè)務成本平均成本頂層設計業(yè)務流程城市大腦的核心是基于萬物感知、全面互聯(lián)、數字孿生而形成數據驅動的人工智能中樞平臺。依據城市大腦的建設目標和核心功能，從城市大腦作為城市中樞神經系統(tǒng)的維度分析，城市大腦將通過三大數字化智能化閉環(huán)，面向城市的各種設施和要素，提供及時感知、處置、優(yōu)化和控制能力，提供智慧化的精準管理和精細服務。城市大腦運營智慧中心整體功能框架“數字政府”是政府適應信息時代治理和服務需求的自我改革和創(chuàng)新。過去的電子政務建設模式存在條塊分割、各自為政的問題，導致“信息孤島”和“數據煙囪”，已不能適應政府整體數字化轉型的需求。如何從機制上打破條塊分工帶來的碎片化建設模式，是“數字政府”改革建設的關鍵。以整體政府理念推進“數字政府”改革的實踐，趟出了一條可行的路徑，是化解政府數字化轉型困局的積極探索。城市大數據質量管理數據治理-面臨挑戰(zhàn)數據服務運營質量面臨三大挑戰(zhàn)：? 全鏈路數據服務環(huán)節(jié)眾多復雜，問題定位困難? 業(yè)務服務故障，回溯數據問題非常困難? 數據平臺異常，如何快速評估影響面？基于數據流構建的微服務技術架構解決方案：基于數據+業(yè)務血緣構建全鏈路質量保障體系TGlog采集數據傳輸數據透傳Kafka消息Tredis存儲微服務離線存儲離線計算數據源服務網關服務治理運營策略在線運營

(終點)(起點)Storm流式城市大數據質量管理數據治理-血緣應用效果? 構建數據與業(yè)務血緣，保障數據全鏈路服務質量SLA達99.99+%? 1min內告警并評估影響面和問題快速定位無數據生命周期管理會發(fā)生什么？數據無序增長成本快速上升

計算效率低下

數據維護困難城市大數據質量管理資產運營-數據生命周期管理?

數據生命周期管理面臨問題? 數據分類和重要等級數據在線度時間在線階段近線階段閾值2歸檔階段? 數據在線度與生命周期閾值1?

數據在線度的評估隨時間推移，數據使用價值不斷衰減，數據在線度就是反應數據的在線程度和使用衰減情況影響數據在線度的因素：數據使用價值和數據重要等級，而數據使用價值有跟數據訪問熱度和應用廣度有關，數據在線度的關聯(lián)函數為?(?)

=

?(?(?),

??)其中?(?)為數據使用價值，

??為數據重要等級數據生命周期管理策略隨在線度的變化而變化城市大數據質量管理資產運營-數據生命周期管理數據分類說明重要等級收入類充值、消費類，跟資金財產有關的數據在線類用戶注冊、登錄、登出等在線類數據狀態(tài)類游戲用戶屬性、等級等狀態(tài)類數據行為類用戶在游戲內的體驗操作等行為日志性能類服務器性能、資源容量等數據1243制定和完善《游戲用戶核心數據安全管理規(guī)范》制度規(guī)范安全管理平臺通過敏感度分級、安全審計、數據脫敏等手段，做到“事前

可管

、事中可控

、事后可查

”，防止數據非法使用。國內和出海游戲數據按各國家/組織相關法案及監(jiān)督要求合法合規(guī)采集、存儲和使用技術保障采用數據脫敏、加密技術、租戶隔離、角色授權等技術手段保障游戲數據安全傳輸、存儲和使用合法合規(guī)資產安全管理方法論：“制度先行、流程規(guī)范、技術保障、平臺支撐”游戲數據資產安全管理“四大”

關鍵舉措城市大數據質量管理資產運營-數據安全管理資產安全管理合法合規(guī)制度規(guī)范技術保障資產安全管理平臺數據使用方游戲工作室其他BG業(yè)務安全業(yè)務運維游戲研發(fā)更多…TSpiderTGLogTRedisTDW數據平臺更多…事后可查安全審計訪問記錄

下載記錄安全報告事中可控權限回收授權監(jiān)控實時告警權限管理離轉崗人員合法合規(guī)檢查敏感度分級事前可管事件處理更多…風險評估安全事件模擬敏感數據脫敏加密存儲/傳輸游戲大數據安全管理體系城市大數據質量管理資產運營-數據安全管理消息隊列Tube組織架構Receiver采集訪問/下載記錄ReceiverReceiverStormTRedis告警模塊告警結果實時計算安全審計和監(jiān)控視圖管理告警告警規(guī)則實時計算框架異常權限檢測配置和管理上報/審批/計算/視圖/告警統(tǒng)計監(jiān)控頁面運營報表審計入口數據平臺…權限管理敏感度管理數據安全實時監(jiān)控和操作審計架構城市大數據質量管理資產運營-數據安全管理? 分鐘級的數據安全實時監(jiān)控? 提供“事后”安全審計服務，回溯事件? 數據安全事故0起發(fā)生城市大數據質量管理資產運營-數據安全管理效果某業(yè)務資產安全管理視圖總覽城市大數據質量管理數據驅動-數據價值評估? 實施數據價值評估的意義? 數據價值評估的難點? 衡量業(yè)務的投入產出比? 衡量數據發(fā)揮的作用? 為產品提供運營決策依據? 衡量數據服務平臺能力水平? 行業(yè)內無統(tǒng)一標準和方法? 公司內缺乏可量化的估值體系? 數據價值存場景化差異性如何做數據資產價值評估？數據價值數據價值評估“三度”模型數據采集數據傳輸計算引擎存儲引擎價值指標數據訪問熱度數據血緣關系業(yè)務運營指標評估模型熱度評分模型依賴計算模型A/B

Test計算模型價值表現熱度評分與等級應用廣度評分業(yè)務貢獻評分熱

度廣

度研究觀察期收益度模型成熟度成熟運營期分析報表營銷活動數據挖掘業(yè)務安全精準推薦其他…城市大數據質量管理數據驅動-數據價值評估數據流數據應用?

數據熱度評估模型假設??

?

,

??

?

,

…

,

??(G)分別是數據節(jié)點?,

?,

…

,

??的被調用次數。則每個節(jié)點的熱度值通過下面公式得到：?

? =

??

? + ?

?(??)??∈?(??)其中?(??)表示??節(jié)點的所有子節(jié)點的集合，比如，數據節(jié)點A的熱度指數為?

? =

??

? +

(?

? +

?(?))可以發(fā)現，上面的模型為典型是遞歸計算模型，其特點是?

父節(jié)點

>

?

子節(jié)點ABCD E F G數據節(jié)點的依賴關系熱度等級（天）(0,10](10,200]>200冷溫熱0冰城市大數據質量管理數據驅動-數據價值評估通過數據源S的應用依賴關系發(fā)現，數據服務的種類越多，應用廣度就越大，應用廣度可表示為?

S

=

?

?

??其中?為數據服務的種類數，

??為正相關系數，表示同一個數據服務有多個功能模塊依賴數據源S，模塊越多，正相關系數??越大。其中?

???

為數據服務???的模塊個數???

=

?

?

?????=?最終應用廣度模型為??

S

=

?

?

?

?

?????=?SA1A2數據應用依賴關系A2An功能模塊 F1F2F1F1F2F1F2數據源數據服務…廣度等級（天）(10,100](100,500]>500小中大(0,10]微?

數據廣度評估模型數據驅動-數據價值評估符合條件用戶群同等用戶規(guī)模隨機抽樣數據應用干預AA/BTest評估模型上圖是用戶子群A和用戶子群B的平均用戶收入數據，同時數據干預在時

間周期11，作用于用戶子群A，那么可以通過如下的A/B

Test評估模型，來計算數據干預的貢獻收入值，活躍度\PV\UV等可采用同樣思路??

?/? =

??

??

?

??

??

?

???為數據干預時間周期，其中??為A、B兩個用戶子群的歷史平均差值??

=σ??=????(??

??????

?

)??????

數據收益度評估模型數據驅動-數據價值評估時間周期1234567891011用戶子群A4753585256646158636784用戶子群B4955565861635962655959存儲引擎計算引擎數據應用A/BTest評估模型數據應用平臺價值指標上報游戲數據資產管理平臺按指定周期，結合A/B

Test評估模型，計算數據應用平臺給產品帶來的業(yè)務價值評分V(i)為價值指標，如活躍、流水、PV、UV等P(i)為價值指標的權重??(??)為該業(yè)務指定周期內的價值綜合評分???

??

=

?

??

??

×

??(??)??=1價值評分（天）(20,60](60,80]

[80,100]中良優(yōu)[0,20]差?

基于業(yè)務價值上報—價值指標采集數據驅動-數據價值評估數據驅動-數據價值評估?

某業(yè)務數據熱度和廣度的分布視圖數據價值評估數據成本大數據投入產出比ROI數據價值推動成本優(yōu)化擴大數據價值1、投入產出比ROI計算結合數據成本與價值，計算數據服務平臺投入

產出比，為市場化數據管理運營提供直接依據2、推動數據成本優(yōu)化減少投入，推動業(yè)務方實施數據服務成本優(yōu)化3、數據深度挖掘到精細化場景落地

放大價值，橫向對比同類產品，協(xié)助業(yè)務方結

合數據服務，發(fā)掘更多業(yè)務服務場景