工業(yè)大數(shù)據(jù)平臺介紹v2.0

1、工業(yè)大數(shù)據(jù)平臺簡介目錄什么是大數(shù)據(jù)及發(fā)展趨勢平臺簡介1什么是大數(shù)據(jù)及發(fā)展趨勢什么是大數(shù)據(jù)大數(shù)據(jù)指的是所涉及的數(shù)據(jù)量及數(shù) 據(jù)范圍規(guī)模巨大到無法通過 目前主流軟件工具，在合理 時間內(nèi)達到截取、管理、處 理、并整理成為幫助企業(yè)經(jīng) 營決策更積極目的的信息。4什么是大數(shù)據(jù)大數(shù)據(jù)處理技術(shù)代表了新T弋的技 架構(gòu)，這種架構(gòu)通過高速獲 取數(shù)據(jù)并進行分析和挖掘， 從海那式各異的皺居源中 更有效地抽取出富含價值的 信息。深度挖掘數(shù)據(jù)加工分析：形成決策處gj數(shù)據(jù)大數(shù)據(jù)加載：導入海寧攵據(jù)5#結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)日E結(jié)構(gòu)化數(shù)據(jù)云計算信息交易數(shù)據(jù) 融合敎據(jù) 行為記錄數(shù)據(jù) 物聯(lián)網(wǎng)互聯(lián)網(wǎng)通信網(wǎng)移動互聯(lián)網(wǎng)智能終端6什么是大數(shù)據(jù)

2、數(shù)據(jù)可以廣泛獲取,所稀缺的是如何從中挖掘出有價值的信息, 為社會提供智慧和觀點BIG KoatA 有價值的咖主要被用于分析和決策，企業(yè)用以分析的婁媚越全面,分析的結(jié)果也就越接近于真實，意思著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個細節(jié)相融合，對企業(yè)產(chǎn)生新的價值。大數(shù)據(jù)發(fā)展歷史8平臺簡介平臺的目標構(gòu)架及定位數(shù)據(jù)采集Is負責源數(shù)據(jù)采集、清洗、轉(zhuǎn)換.把 原始數(shù)據(jù)力蹴到Hadoop平臺2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫 和主數(shù)據(jù)庫主數(shù)據(jù)倉庫存儲指標觀KPI數(shù)Hadoop 平臺分布式數(shù)據(jù)庫存儲加工、關(guān)聯(lián)、匯總 后的業(yè)務(wù)數(shù)據(jù)，并提供 分布式計算,支撐數(shù)據(jù) 深度分幀數(shù)據(jù)即能 力向主數(shù)據(jù)

3、倉庫輸出 KPI和高魔匚總數(shù)據(jù)提供并行的計 算和結(jié)構(gòu)化數(shù) 據(jù)的處理能力， 實現(xiàn)低成本的 存倚Q低時延、 咼并發(fā)的直詢 能力數(shù)據(jù)開放接口向大數(shù)據(jù)應(yīng)用方提彳刪據(jù)接口 r給社會 進行使用（實現(xiàn)眾創(chuàng)）Hadoop EcosystemPig 2Hive 命 egoo。Sqoop |MapReduce曰日即冃列Elr計蚯111 HbaseHBASEAvroHDFS11HadoopHDFSHadoop Distributed Fi-e SystemHDFS 也Ns虺回訓5e=ab 二 17駁$ 楚MJ君(daarbockss炯西(rephcas) 3斗wdia召(comp&e nodes)、MapReduc

4、e工業(yè)大數(shù)據(jù)平臺12#大數(shù)據(jù) 管理平臺建模、算法(Noah : Lifelong Machine Learning/Human Computation etc)#流處理I非、半結(jié)構(gòu)化處理I結(jié)構(gòu)化處理Native Api / SQL / App Engine服務(wù)封裝存儲密集類：I計算密集類：MVX集中存儲與歸檔I服務(wù)器帶本地硬盤工業(yè)大數(shù)據(jù)平臺-整體技術(shù)架構(gòu)14#UI展現(xiàn)終端展現(xiàn)終端數(shù)據(jù)模型數(shù)據(jù)集成韶告警腳空A.HtmlB.Html統(tǒng)一數(shù)據(jù)中心數(shù)據(jù) Adaptor通知模板業(yè)務(wù)規(guī)則引擎實時數(shù)據(jù)ETL集成企業(yè)A系統(tǒng)企業(yè)B系統(tǒng)XXX系統(tǒng)CPCEA.HtmlB.Html展示組件（圖表I圖庫I儀表盤I交叉表）二維業(yè)務(wù)爭件分析實時多維分析引拏告雲(yún)渠道15生產(chǎn)數(shù)據(jù)來源商務(wù)HRCADEAME&AWMSI SCM舷側(cè)!塗亍毓嚴品客戶側(cè)從企業(yè)生產(chǎn)管理系統(tǒng)中獲取數(shù)據(jù)大數(shù)據(jù)分析謝謝!工業(yè)大數(shù)據(jù)平臺的核心是大數(shù)據(jù)，如果沒有行之有效的數(shù)據(jù)獲取方式，那么平臺永遠都沒有價值獲取數(shù)據(jù)的方式和手段，直接影響到平臺的商業(yè)模式所以，政府最好通過第三方購買數(shù)據(jù)的方式來獲