電信行業(yè)海量實時數(shù)據(jù)技術架構

1、面向電信領域的海量實時數(shù)據(jù)技術與實踐目錄CONTENTCONTENT01電信領域實時數(shù)據(jù)處理場景1324每天凈增用戶16.6萬每秒無線上網(wǎng)流量33G每天話單數(shù)據(jù)10T每日信令數(shù)據(jù)100T電信領域實時數(shù)據(jù)處理場景2014簡單實時營銷2015+實時位置運營2016+復雜實時營銷+內容業(yè)務處理CONTENT02Patent US 1242872實時處理平臺基本架構業(yè)務輸出標簽附加數(shù)據(jù)接入平臺架構數(shù)據(jù)接入flumeagent 12，3G位置信令flume agent2，3，44G位置信令flume agent 5內容信令 Kafka分區(qū)靈活的數(shù)據(jù)源轉換Kafkatransformtransformtr

2、ansformSchema 2Schema 3SelectFilterSelect Expr 1 主被叫imsiFilter Expr 1 imsi！=0Select Expr 2Filter Expr 2Select Expr 3Filter Expr 3SelectFilterSelectFilterUniformSchema 18個字段附加標簽流程復雜計算簡單查詢Codis所在區(qū)域駐留時間往來頻次用戶姓名imsi手機號碼基站位置并發(fā)業(yè)務輸出CodisKafka標簽增強數(shù)據(jù)其他業(yè)務輸出用戶實時位置統(tǒng)計更換設備信息推送新辦卡信息推送實時旅游信息推送易用的業(yè)務定制標簽增強數(shù)據(jù)處理結束Check

3、IntervalFilterSelectOutputCodis平臺架構插件SDTP Socket SourceHDFS I/OCodis I/O系統(tǒng)I/O可視化配置界面自勱化部署部署/配置 實時處理平臺 CONTENT03性能表現(xiàn)平行擴展flumeflumeflumeflumeflumeCodisCodisCodis標簽附加Spark數(shù)據(jù)接入kafKaSpark業(yè)務輸出KafkaSpark性能表現(xiàn)平行擴展圖一 測試環(huán)境Spark Streaming執(zhí)行時間圖二 任務詳細執(zhí)行時間性能表現(xiàn)速度場景30s數(shù)據(jù)量Spark集群Codis集群KafkaPartition業(yè)務數(shù)量案例160萬條20/128G/32 core10/128G2003案例21000萬條28/512G/64 core10/512G120011附加標簽（與Codis交互）附加標簽（計算）業(yè)務輸出案例一 5秒0.5秒3秒1秒1.5秒數(shù)據(jù)轉換1秒11秒3秒2秒案例二 17秒性能表現(xiàn)HAHA ProxyFlume AgentFlume AgentCodis HACodis ProxyCodis ProxyCONTENT04演進方向更多元化的場景同時支持Spark streaming，Storm等主流計算引擎以支持不同的需求 支持啟勱多個實時處理作業(yè)，將每個作業(yè)的結果納入事