金融級實(shí)時(shí)數(shù)倉建設(shè)實(shí)踐

金融級實(shí)時(shí)數(shù)倉建設(shè)實(shí)踐馬年圣-螞蟻集團(tuán)-實(shí)時(shí)數(shù)倉架構(gòu)師DataFunSummit#2023CONTENT螞蟻實(shí)時(shí)數(shù)倉架構(gòu)DataFunSummit#2023圍繞實(shí)時(shí)研發(fā)流程和能力，定義其中的關(guān)鍵問題，進(jìn)行實(shí)時(shí)數(shù)倉和架構(gòu)的建設(shè)實(shí)時(shí)開發(fā)鏈路可優(yōu)化點(diǎn)!!!平臺能力參差不齊!!!資產(chǎn)復(fù)用性問題!!!代碼開發(fā)提效!!!數(shù)據(jù)內(nèi)容監(jiān)控ODPSODPS=云賬號服務(wù)………云賬號服務(wù)………客戶端 Ob…元表權(quán)限元表血緣動化研發(fā)數(shù)據(jù)源定義物理表定義SLSEXPLORERHBASE實(shí)時(shí)保障DQC質(zhì)量巡檢異源數(shù)據(jù)比對數(shù)據(jù)源定義物理表定義SLSEXPLORERHBASE實(shí)時(shí)保障DQC質(zhì)量巡檢異源數(shù)據(jù)比對主備一致性監(jiān)控場景基線保障任務(wù)運(yùn)行監(jiān)控實(shí)時(shí)壓測系統(tǒng)診斷系統(tǒng)數(shù)據(jù)服務(wù)層實(shí)時(shí)報(bào)表配置資產(chǎn)元數(shù)據(jù)打通實(shí)時(shí)數(shù)據(jù)集定義數(shù)據(jù)應(yīng)用接入實(shí)時(shí)標(biāo)簽服務(wù)實(shí)時(shí)接口定義開發(fā)效率提升數(shù)據(jù)保障增強(qiáng)開發(fā)模式復(fù)用通用能力沉淀計(jì)算邏輯定義實(shí)時(shí)任務(wù)生成計(jì)算邏輯一致解決方案拓展計(jì)算開發(fā)層統(tǒng)一資產(chǎn)服務(wù)資產(chǎn)合規(guī)管控資產(chǎn)消費(fèi)血緣資產(chǎn)復(fù)用資產(chǎn)搜索資產(chǎn)規(guī)范資產(chǎn)定義資產(chǎn)沉淀存儲層字段定義字段定義…………引擎層數(shù)據(jù)庫日志數(shù)據(jù)庫日志實(shí)時(shí)消息線上日志數(shù)據(jù)源……user1●!log5.用戶user1●!log5.用戶log4●log7/●log6基礎(chǔ)解決方案：雙流Join、維表關(guān)聯(lián)拓?fù)錁?gòu)建log1loglog3/●log2●log8 trans1/SlsSls實(shí)時(shí)數(shù)據(jù)質(zhì)量保障DataFunSummit#2023主備監(jiān)控異源核對異常巡檢差異比對任務(wù)掛載基線場景故障體系消費(fèi)血緣全任務(wù)血緣主備監(jiān)控異源核對異常巡檢差異比對任務(wù)掛載基線場景故障體系消費(fèi)血緣全任務(wù)血緣在事前和事中兩個(gè)重要的階段，通過研發(fā)卡點(diǎn)、任務(wù)監(jiān)控、數(shù)據(jù)監(jiān)控、全鏈路監(jiān)控等能力，保障任務(wù)和數(shù)據(jù)的穩(wěn)定性事中事前事中壓測+限流防降數(shù)據(jù)異常監(jiān)控?cái)?shù)值分布數(shù)據(jù)不一致記錄數(shù)波動 數(shù)據(jù)分布監(jiān)控字段選定統(tǒng)計(jì)方式時(shí)間區(qū)間對比周期閾值區(qū)間Metric采集數(shù)據(jù)統(tǒng)計(jì)統(tǒng)計(jì)周期數(shù)據(jù)波動閾值區(qū)間全鏈路基線單任務(wù)延遲末節(jié)點(diǎn)溯源全鏈路監(jiān)控基線等級基線等級保障體系保障體系DPDP任務(wù)血緣“端到端”“端到端”數(shù)據(jù)質(zhì)量面向?qū)崟r(shí)數(shù)據(jù)的全生命周期和全鏈路，從最底層的引擎到最上層的服務(wù)，構(gòu)建端到端的實(shí)時(shí)數(shù)據(jù)質(zhì)量監(jiān)控能力消費(fèi)生產(chǎn)算法場景報(bào)表場景……應(yīng)用層查詢層存儲層任務(wù)級DQC計(jì)算層數(shù)據(jù)源數(shù)據(jù)源MetricMetric注冊中心數(shù)據(jù)健康度數(shù)據(jù)健康度快排監(jiān)控分析快恢消費(fèi)切換任務(wù)DQC結(jié)果DQC結(jié)果DQCDWSSLS_DWS5DWDSLS_DWD8ODSSLS_ODS8ADM_2EXP_ADM_28DWSSLS_DWS5DWDSLS_DWD8ODSSLS_ODS8ADM_2EXP_ADM_28ODSDRC_ODS7ADM_3UCS_ADM_37DIMHBS_DIM7ADMADM_1HBS_ADM_15資產(chǎn)分類資產(chǎn)分類鏈路監(jiān)控鏈路監(jiān)控風(fēng)險(xiǎn)評估風(fēng)險(xiǎn)評估大促保障大促保障場景基線場景基線資源管理資源管理發(fā)布管控發(fā)布管控資產(chǎn)汰換資產(chǎn)汰換流批一體應(yīng)用DataFunSummit#2023離線數(shù)倉重中間層，實(shí)時(shí)數(shù)倉重應(yīng)用層，從中間層到應(yīng)用層均會進(jìn)行數(shù)據(jù)融合=>流批一體能力要能夠兼容從原始層到應(yīng)用層的邏輯對齊和引擎計(jì)算能力貼源層貼源層Flink匯總層應(yīng)用層（存儲多樣）報(bào)表場景報(bào)表場景數(shù)據(jù)融合標(biāo)簽場景數(shù)據(jù)/應(yīng)用融合特征場景流/批模型融合60%60%30%30%60%60%應(yīng)用層Odps匯總層30%30% 離線代碼研發(fā)離線代碼研發(fā)離線任務(wù)運(yùn)維例離線調(diào)度引擎離線代碼生成Dataphin元表管理“ABS“ABS”Source/SinkConnectSource/SinkConnectKubernetes原生調(diào)度/集群模式調(diào)度mix_sourcebatch_sourcemix_sourcebatch_source元表注冊bigintbigintvarcharabSink限流保護(hù)線上庫streamstream_source流VS批代碼生成代碼生成變量替換 靜態(tài)/動態(tài)分區(qū)bigintbigintvarcharabOdpsFlinkOdps離線累計(jì)匯總表Lindorm一流批一體FlinkBatchFlinkBatch優(yōu)化點(diǎn)數(shù)據(jù)湖落地展望DataFunSummit#2023ExplorerExplorerLindorm……Lindorm離線實(shí)時(shí)準(zhǔn)實(shí)時(shí)ExplorerPaimon（明細(xì)->累計(jì)匯總）Paimon（增全量明細(xì)）LindormdimODPS（hi）增量+初始化ExplorerExplorerLindorm……Lindorm離線實(shí)時(shí)準(zhǔn)實(shí)時(shí)ExplorerPaimon（明細(xì)->累計(jì)匯總）Paimon（增全量明細(xì)）LindormdimODPS（hi）增量+初始化實(shí)時(shí)元表應(yīng)用場景ADMDWSDWDODS數(shù)據(jù)源數(shù)據(jù)報(bào)表數(shù)據(jù)報(bào)表數(shù)據(jù)服務(wù)