2022年大數(shù)據(jù)方案

大數(shù)據(jù)方案大數(shù)據(jù)(BigData)時代來臨新量級、新處理模式、新行業(yè)智能傳統(tǒng)模式移動互聯(lián)網(wǎng)非結(jié)構(gòu)化智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案?網(wǎng)頁內(nèi)容物聯(lián)網(wǎng)?郵件?媒體文件?及時通訊?文檔文件半結(jié)構(gòu)化?XML文檔?日志?點(diǎn)擊流量?設(shè)備、RFID標(biāo)簽結(jié)構(gòu)化?數(shù)據(jù)庫?電子表格?格式化文件2大數(shù)據(jù)PeopleApps大數(shù)據(jù)要解決的問題4V流式處理實(shí)時處理Velocity快速的數(shù)據(jù)流轉(zhuǎn)準(zhǔn)實(shí)時處理批量處理智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案結(jié)構(gòu)化價值TB非結(jié)構(gòu)化半機(jī)構(gòu)化PBEBVarietyVolume多樣的數(shù)據(jù)類型海量的數(shù)據(jù)規(guī)模巨大的數(shù)據(jù)價值大數(shù)據(jù)帶來的挑戰(zhàn)

不同“看”數(shù)據(jù)的方式

需要更高性價比的數(shù)據(jù)計(jì)算與儲存方式智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案

不同的數(shù)據(jù)管理策略

超越現(xiàn)有IT的數(shù)據(jù)解決能量不同“看”數(shù)據(jù)的方式可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案領(lǐng)導(dǎo)者看到的，其實(shí)是殘缺的…智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案DataNode升服務(wù)能力等方面發(fā)揮了重要的作用，推動了人力資源和社會保障工作向精細(xì)化、一體化、科學(xué)化、規(guī)范化智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案?網(wǎng)頁內(nèi)容智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案現(xiàn)狀：硬件管理比較詳實(shí)，但對數(shù)據(jù)的管理，業(yè)務(wù)系統(tǒng)的管理欠缺智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案架構(gòu)只能scale-up，需要更高性價比的數(shù)據(jù)計(jì)算與儲存方式如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀部、省、市三級網(wǎng)絡(luò)進(jìn)一步貫通如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀社保大數(shù)據(jù)帶來的大挑戰(zhàn)關(guān)系型數(shù)據(jù)庫采集（SQOOP）新量級、新處理模式、新行業(yè)智能數(shù)據(jù)導(dǎo)入導(dǎo)出的時間成本需要更高性價比的數(shù)據(jù)計(jì)算與儲存方式10萬GB數(shù)據(jù)庫數(shù)據(jù)倉庫智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案10萬TB計(jì)算更快存儲更省不同的數(shù)據(jù)管理策略當(dāng)想要擴(kuò)充時，才發(fā)覺：15%?scale-out不易?time-to-value受限架構(gòu)只能scale-up，結(jié)構(gòu)化的DB/DW遺憾處理時間過長，智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案?成本過高，cost-efficiency受限85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile殘缺7超越企業(yè)現(xiàn)有IT的數(shù)據(jù)解決能量Storing儲存每天幾百GB、幾TB的資料，且持續(xù)成長中Processing計(jì)算在收數(shù)據(jù)的同時做必要的前置處理(pre-processing)，并區(qū)分?jǐn)?shù)據(jù)處理的優(yōu)先等級(prioritizing)智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案Managing管理如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀Analyzing分析如何從中挖掘出所關(guān)注事件的pattern或behaviorHadoop不只是Hadoop大數(shù)據(jù)應(yīng)用Pig!智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案關(guān)系數(shù)據(jù)HIVE文本數(shù)據(jù)ZooKeeper9大數(shù)據(jù)的儲存與處理/運(yùn)算數(shù)據(jù)分享數(shù)據(jù)檢索智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案大數(shù)據(jù)儲存大數(shù)據(jù)處理數(shù)據(jù)分析橫向擴(kuò)容分布式存儲(Scale-out)架構(gòu)分布式軟件架構(gòu)并行計(jì)算框架數(shù)據(jù)展現(xiàn)大數(shù)據(jù)的部屬SwitchDataNode(1Gbabove)NameNode智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案DataNode藉由DataNode容易最小package擴(kuò)充的能力1臺NameNode可輕易滿足數(shù)據(jù)量成+長的需求3臺DataNodesDataNodeImage/Full-text/MS-Officefile智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案大數(shù)據(jù)儲存大數(shù)據(jù)處理智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案安服務(wù)接口資源目錄服務(wù)規(guī)范服務(wù)總線管智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案DataNode超越現(xiàn)有IT的數(shù)據(jù)解決能量全國統(tǒng)一的核心業(yè)務(wù)應(yīng)用軟件已在絕大部分統(tǒng)籌地區(qū)部署實(shí)施Image/Full-text/MS-Officefile如何從中挖掘出所關(guān)注事件的pattern或behavior大數(shù)據(jù)建設(shè)策略業(yè)務(wù)展示數(shù)據(jù)產(chǎn)品預(yù)測分析傳統(tǒng)BI終端用戶基礎(chǔ)工具SSRSSSAS業(yè)務(wù)支撐智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案大數(shù)據(jù)處理數(shù)據(jù)倉庫ERPCRMLOBAPPs非結(jié)構(gòu)化數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)源國家意志2015年8月19日，國務(wù)院總理李克強(qiáng)主持召開國務(wù)院常務(wù)會議，討論通過了《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動綱要》。

大數(shù)據(jù)被喻為“金礦”、“石油”，大數(shù)據(jù)的價值被業(yè)界公認(rèn)為無價，然而怎么用大數(shù)據(jù)，怎么發(fā)揮大數(shù)據(jù)的價值，業(yè)界眾口紛紜，到現(xiàn)在為止也沒見到大數(shù)據(jù)究竟產(chǎn)生了多大價值。大數(shù)據(jù)無法發(fā)揮其巨大價值，有技術(shù)、應(yīng)用、機(jī)制、法律法規(guī)等多方面的原因。大數(shù)據(jù)的發(fā)展知易行難，知道其有巨大價值，但不清晰具體可行的發(fā)展路徑，也面臨很多不

智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案知道如何解決的問題。2019/11/24人力資源社會保障信息化取得的成就

地級以上人力資源社會保障部門普遍建立了數(shù)據(jù)中心多數(shù)地區(qū)實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)在市級的集中統(tǒng)一管理部、省、市三級網(wǎng)絡(luò)進(jìn)一步貫通全國統(tǒng)一的核心業(yè)務(wù)應(yīng)用軟件已在絕大部分統(tǒng)籌地區(qū)部署實(shí)施信息化建設(shè)成果在人力資源和社會保障工作中發(fā)揮了基礎(chǔ)支撐作用，創(chuàng)新管理模式、降低行政成本、提升服務(wù)能力等方面發(fā)揮了重要的作用，推動了人力資源和社會保障工作向精細(xì)化、一體化、科學(xué)化、規(guī)范化智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案轉(zhuǎn)變?？傮w上看社保大數(shù)據(jù)帶來的大挑戰(zhàn)海量數(shù)據(jù)如何存儲數(shù)據(jù)導(dǎo)入導(dǎo)出的時間成本業(yè)務(wù)數(shù)據(jù)讀取要依靠業(yè)務(wù)系統(tǒng)查詢性能低智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案非結(jié)構(gòu)難存儲、難分析維護(hù)成本高昂無標(biāo)準(zhǔn)化規(guī)范2019/11/24舊架構(gòu)不能承受之重智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案2019/11/24社保總體規(guī)劃辦公界面管理界面服務(wù)界面數(shù)據(jù)應(yīng)用層社會保險(xiǎn)管理系統(tǒng)人力資源管理系統(tǒng)系統(tǒng)公共服務(wù)系統(tǒng)管理決策系統(tǒng)運(yùn)維應(yīng)用支撐層工作流搜索引擎報(bào)表身份認(rèn)證智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案安服務(wù)接口資源目錄服務(wù)規(guī)范服務(wù)總線管全體系數(shù)據(jù)服務(wù)層理體系數(shù)據(jù)層基礎(chǔ)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)交換數(shù)據(jù)宏觀決策數(shù)據(jù)公共服務(wù)數(shù)據(jù)支撐層硬件資源軟件資源網(wǎng)絡(luò)資源?2019/11/24大數(shù)據(jù)架構(gòu)訪問應(yīng)用門戶數(shù)據(jù)門戶管理門戶層應(yīng)用門戶對外數(shù)據(jù)支撐數(shù)據(jù)應(yīng)用層查詢工具/統(tǒng)計(jì)工具/分析工具/挖掘工具/輔助決策工具公共組件數(shù)據(jù)服務(wù)Service/File/Sdk/…規(guī)則引擎統(tǒng)計(jì)引擎查詢引擎分析引擎挖掘引擎數(shù)據(jù)服務(wù)總線數(shù)據(jù)封裝應(yīng)用層業(yè)務(wù)數(shù)據(jù)Oracle數(shù)據(jù)庫智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案數(shù)據(jù)資產(chǎn)層數(shù)據(jù)資產(chǎn)Oracle數(shù)據(jù)庫MPP數(shù)據(jù)庫HBase數(shù)據(jù)聚合層數(shù)據(jù)處理傳統(tǒng)數(shù)據(jù)處理流數(shù)據(jù)處理大數(shù)據(jù)M/RHDFS數(shù)據(jù)采集文件處理實(shí)時流數(shù)據(jù)采關(guān)系型數(shù)據(jù)庫采集（SQOOP）集基礎(chǔ)環(huán)境層終端虛擬化服務(wù)器虛擬化分布式架構(gòu)社保數(shù)據(jù)“云化”云技術(shù)是手段，管數(shù)據(jù)是目的人口數(shù)據(jù)就業(yè)數(shù)據(jù)統(tǒng)一分析智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案養(yǎng)老數(shù)據(jù)生育保險(xiǎn)統(tǒng)一規(guī)劃數(shù)據(jù)BI數(shù)據(jù)挖掘醫(yī)療數(shù)據(jù)其他數(shù)據(jù)2019/11/24大數(shù)據(jù)利用基礎(chǔ)進(jìn)階數(shù)據(jù)共享，數(shù)據(jù)交換，業(yè)務(wù)聯(lián)動查詢，統(tǒng)計(jì)，分析智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案高階數(shù)據(jù)挖掘,決策支持2019/11/24查詢實(shí)例現(xiàn)狀：系統(tǒng)經(jīng)過一段使用后，效率低，不能滿足業(yè)務(wù)發(fā)展目前對策：半夜跑任務(wù)思考：越來越多如何搞？對策：數(shù)據(jù)剝離。統(tǒng)計(jì)、查詢、報(bào)表從業(yè)務(wù)部門剝離。形成統(tǒng)一的數(shù)據(jù)統(tǒng)計(jì)、統(tǒng)計(jì)、報(bào)表平臺。智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案人口數(shù)據(jù)就業(yè)數(shù)據(jù)統(tǒng)一分析統(tǒng)一規(guī)劃數(shù)據(jù)BI數(shù)據(jù)挖掘養(yǎng)老數(shù)據(jù)生育保險(xiǎn)查詢、統(tǒng)計(jì)、報(bào)表醫(yī)療數(shù)據(jù)其他數(shù)據(jù)2019/11/24ESB服務(wù)標(biāo)準(zhǔn)智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案智慧小區(qū)云服務(wù)平臺整體解決方案數(shù)據(jù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)2019/11/24統(tǒng)一桌面現(xiàn)狀：系統(tǒng)眾多，用戶系統(tǒng)間的切換，系統(tǒng)的管理不全面目前對策：暫缺思考：業(yè)務(wù)越來越多如何搞？對策：統(tǒng)一用戶管