大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案 課件

大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案大數(shù)據(jù)分析平臺技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點大數(shù)據(jù)可視化挖掘1）新型內(nèi)存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開發(fā)平臺3）房地產(chǎn)、金融、電信等機器學(xué)習(xí)模型研究1）基于內(nèi)存計算的機器學(xué)習(xí)算法2）行業(yè)大數(shù)據(jù)深度機器學(xué)習(xí)模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內(nèi)存計算1）基于內(nèi)存的迭代算法研究2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計分析技術(shù)1）基于大數(shù)據(jù)內(nèi)存的計算技術(shù)2）國內(nèi)產(chǎn)品領(lǐng)先大數(shù)據(jù)語義分析1）大數(shù)據(jù)自然語言識別2）非結(jié)構(gòu)化數(shù)據(jù)的知識發(fā)現(xiàn)、集成技術(shù)大數(shù)據(jù)平臺的可視化集成目前是空白領(lǐng)域大數(shù)據(jù)云計算技術(shù)1）大數(shù)據(jù)云計算平臺技術(shù)2）商業(yè)智能云平臺技術(shù)1）云BI技術(shù)及大數(shù)據(jù)平臺的核心技術(shù)研究2）大數(shù)據(jù)云BI在國內(nèi)應(yīng)用是未來趨勢，有望建成國內(nèi)第一家云BI平臺-技術(shù)基礎(chǔ)研究方向技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點大數(shù)據(jù)1）新型內(nèi)存迭代開創(chuàng)了基于人類視覺智能的動態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國內(nèi)外雜志、會議發(fā)表了多篇高水平論文。獲得視頻識別，知識學(xué)習(xí)與推理相關(guān)發(fā)明專利2項，申請發(fā)明專利7項。大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤大數(shù)據(jù)技術(shù)，解決視頻領(lǐng)域的知識識別，知識發(fā)現(xiàn)，知識集成與跟蹤，推理等關(guān)鍵技術(shù)問題。多項國家自然科學(xué)基金開創(chuàng)了基于人類視覺智能的動態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，大數(shù)據(jù)技術(shù)來實現(xiàn)國家經(jīng)濟免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識推理系統(tǒng)疑點數(shù)據(jù)審計數(shù)據(jù)中心審計跨12個行業(yè)，跨地區(qū)數(shù)據(jù)源傳統(tǒng)審計大數(shù)據(jù)審計無法跨地區(qū)、跨行業(yè)審計跨行業(yè)、跨區(qū)域?qū)徲嬍潞髮徲嫛⒅芷谛詫徲嬤B續(xù)審計復(fù)雜性隱蔽問題難以發(fā)現(xiàn)智能化，具有預(yù)測功能依據(jù)小樣本經(jīng)驗地毯式排查大數(shù)據(jù)分析，建立抵御和預(yù)防手段審計行業(yè)大數(shù)據(jù)知識推理系統(tǒng)大數(shù)據(jù)技術(shù)來實現(xiàn)國家經(jīng)濟免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識推理系統(tǒng)疑房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實現(xiàn)房地產(chǎn)價格指數(shù)、房地產(chǎn)評估模型房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實現(xiàn)房地產(chǎn)價格指數(shù)、房地產(chǎn)評碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計量監(jiān)測體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評估體系，形成滿足碳排放計量關(guān)系方程和參數(shù)碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計量監(jiān)測體系的數(shù)據(jù)體目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例目錄聯(lián)合實驗室數(shù)據(jù)挖掘越來越多的應(yīng)用到了各個領(lǐng)域中，主要包括與客戶關(guān)系管理相關(guān)的模型、與風(fēng)險控制相關(guān)的模型、與生產(chǎn)銷售預(yù)測相關(guān)的模型等數(shù)據(jù)挖掘應(yīng)用領(lǐng)域數(shù)據(jù)挖掘越來越多的應(yīng)用到了各個領(lǐng)域中，主要包括與客戶關(guān)系管理產(chǎn)品名產(chǎn)品ETHINK可視化挖掘概要通過在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評估、圖形以及結(jié)果輸出特點通過視覺工作方式輕松獲得此界面可以保障操作的靈活性在最短的時間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快產(chǎn)品通過在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評關(guān)系型數(shù)據(jù)庫數(shù)據(jù)挖掘模型算法庫/語義分析Hbase/Hive/Hdfs

可視化數(shù)據(jù)挖掘平臺多維自助分析調(diào)度管理SQL接口JDBC/ODBC內(nèi)存計算服務(wù)Scala/Java/PythonOLAPServer手機平板電腦批處理實時流處理交互式查詢統(tǒng)計分析平臺ETHINK產(chǎn)品架構(gòu)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)挖掘模型算法庫/語義分析Hbase/Hiv特點一豐富建模方法特點可拖拽式建模JDBCWebServicesRestfulapi可擴展性強自定義模型，擴充組件特點傳統(tǒng)的關(guān)系型數(shù)據(jù)(mysql、Oracle等)列式數(shù)據(jù)庫(Hbase)非結(jié)構(gòu)化數(shù)據(jù)(Hdfs、文件系統(tǒng))大數(shù)據(jù)（Hbase、Hive）特點一豐富建模方法特點可拖拽式建模JDBC可擴展性強特點傳統(tǒng)特點二大數(shù)據(jù)處理特點開放型平臺BS結(jié)構(gòu)，一站式建模、評估、部署基于Spark平臺內(nèi)存計算運算速度快特點GBPB特點二大數(shù)據(jù)處理特點開放型平臺BS結(jié)構(gòu)，一站式建模、評估、部特點三大數(shù)據(jù)處理能力特點基于Spark平臺內(nèi)存計算執(zhí)行數(shù)據(jù)挖掘時，方法論非常重要.因為準(zhǔn)確的方法論能夠提高作業(yè)速度,能系統(tǒng)地減少各種進展?fàn)顩r，所以選擇正確的方法論是很重要的.CRISP-DM方法論是全球認(rèn)可的數(shù)據(jù)挖掘的標(biāo)準(zhǔn)執(zhí)行方法論.特點三大數(shù)據(jù)處理能力特點基于Spark平臺執(zhí)行數(shù)據(jù)挖掘時，方功能模塊金融電信行業(yè)1.信用卡用戶流失預(yù)測2.基于客戶分群的精準(zhǔn)智能營銷3.基于公司價值評價的證券策略投資電力行業(yè)1.電力負(fù)荷預(yù)測2.自適應(yīng)防竊漏電實時診斷互聯(lián)網(wǎng)行業(yè)1.電子商務(wù)網(wǎng)站用戶行為分析2.基于用戶行為分析的定向廣告投放3.企業(yè)信息系統(tǒng)用戶服務(wù)感知評估

制造業(yè)行業(yè)1.制造設(shè)備生命周祺管理2.制造業(yè)投入產(chǎn)出預(yù)測公共服務(wù)業(yè)

1.空氣質(zhì)量預(yù)測2.卷煙消費者購買行為分析3.納稅人偷稅漏稅評估場景應(yīng)用（實驗室模擬實驗課題）功能模塊1.信用卡用戶流失預(yù)測電力行業(yè)1.電力負(fù)目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例目錄聯(lián)合實驗室交互式查詢實時在線處理實時流處理

批處理基于spark內(nèi)存的計算模型，同時支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案-要解決的問題交互式查詢實時實時技術(shù)架構(gòu)解決方案-分布式內(nèi)存計算批處理應(yīng)用（分鐘級別~小時級別）OLTP/在線事務(wù)處理應(yīng)用（毫秒~秒級別）OLAP/在線交互式分析應(yīng)用（秒級別）實時流處理（持續(xù)不斷）技術(shù)架構(gòu)解決方案-分布式內(nèi)存計算批處理應(yīng)用OLTP/在線事務(wù)技術(shù)架構(gòu)解決方案-交互式查詢通常的時間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進行統(tǒng)計、聚合根據(jù)歷史數(shù)據(jù)進行擬合和預(yù)測計算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線分析服典型應(yīng)用場景政府各部門數(shù)據(jù)證券交易銀行保險企業(yè)ERP/CRM等適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析技術(shù)架構(gòu)解決方案-交互式查詢通常的時間跨度在數(shù)十秒到數(shù)分鐘之技術(shù)架構(gòu)解決方案-實時在線處理通常的時間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來源多、高并發(fā)、數(shù)據(jù)處理量達分析結(jié)果快速響應(yīng)典型應(yīng)用場景社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶分類、用戶行為預(yù)測高并發(fā)查詢按主鍵毫秒級檢索按多維度秒級檢索按照關(guān)鍵字秒級檢索技術(shù)架構(gòu)解決方案-實時在線處理通常的時間跨度在數(shù)百毫秒到數(shù)秒事件驅(qū)動計算模型，系統(tǒng)處于持續(xù)不斷計算之中，事件響應(yīng)延遲在毫秒~秒級。流式計算系統(tǒng)處理應(yīng)用的處理邏輯是由源源不斷的數(shù)據(jù)流驅(qū)動。典型應(yīng)用場景有金融在線欺詐預(yù)警廣告CTR推薦系統(tǒng)技術(shù)架構(gòu)解決方案-實時流處理事件驅(qū)動計算模型，系統(tǒng)處于持續(xù)不斷計算之中，事件響應(yīng)延遲在毫技術(shù)架構(gòu)解決方案-批處理及離線挖掘時間跨度在數(shù)十分鐘到數(shù)小時之間。離線挖掘主要用于，多維統(tǒng)計預(yù)測，準(zhǔn)實時分析以及對客戶進行聚類、分類等數(shù)據(jù)挖掘應(yīng)用。典型應(yīng)用場景電子商務(wù)推薦引擎流失客戶預(yù)測挽留日志清洗、ETL用戶行為分析技術(shù)架構(gòu)解決方案-批處理及離線挖掘時間跨度在數(shù)十分鐘到數(shù)小時目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例目錄聯(lián)合實驗室項目需求將總行下發(fā)的數(shù)據(jù)及核心業(yè)務(wù)數(shù)據(jù)，經(jīng)過數(shù)據(jù)整理、加載到省級數(shù)據(jù)中心，并進行各項業(yè)務(wù)快速應(yīng)用開發(fā)數(shù)據(jù)源某省公積金中心，近五年的操作、交易記錄，共10億條左右。系統(tǒng)環(huán)境4臺X86架構(gòu)的PC服務(wù)器，共128G內(nèi)存單臺服務(wù)器，8核CPU,32G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢可視化設(shè)計、可視化報表實現(xiàn)了數(shù)據(jù)的實時分析行業(yè)應(yīng)用案例-金融

項目需求行業(yè)應(yīng)用案例-金融行業(yè)應(yīng)用案例-金融系統(tǒng)由對公客戶綜合積分子系統(tǒng)、展業(yè)通客戶綜合收益分析子系統(tǒng)、授信客戶資金結(jié)算子系統(tǒng)、對公柜面交易流水分析子系統(tǒng)等組成行業(yè)應(yīng)用案例-金融系統(tǒng)由對公客戶綜合積分子系統(tǒng)、展業(yè)通客戶綜行業(yè)應(yīng)用案例-金融項目需求整合第三方支付數(shù)據(jù)資源，分析挖掘客戶交易、反饋信息、交易行等數(shù)據(jù)，實現(xiàn)精準(zhǔn)營銷，最大限度地提升產(chǎn)品價值數(shù)據(jù)源某第三方支付平臺交易、反饋數(shù)據(jù)，月交易記錄量1億條。系統(tǒng)環(huán)境６臺X86架構(gòu)的PC服務(wù)器，共96G內(nèi)存單臺服務(wù)器，8核CPU,16G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢Hive對歷史交易數(shù)據(jù)進行分析可視化設(shè)計、可視化報表實現(xiàn)數(shù)據(jù)的實時分析基于ETHINK可視化挖掘平臺，完成精準(zhǔn)營銷建模行業(yè)應(yīng)用案例-金融項目需求持卡客戶多維分析：持卡客戶人口統(tǒng)計特征分析持卡客戶交易行為模式分析持卡客戶應(yīng)用場景分析特約商戶多維分析：商戶基本信息分析/商戶業(yè)務(wù)收益分析商戶價值貢獻度評估／商戶收單風(fēng)險分析持卡客戶和特約商戶雙向分析特定特征客戶特定時間消費商戶分布分析特定時間在特定商戶消費的客戶特征分析行業(yè)應(yīng)用案例-金融持卡客戶多維分析：行業(yè)應(yīng)用案例-金融項目需求煙草工業(yè)企業(yè)目前積累了大量的數(shù)據(jù)信息，管理方式由粗放式管理轉(zhuǎn)為精細(xì)化管理，產(chǎn)生了利用大數(shù)據(jù)技術(shù)收集、管理和展示分析結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)和信息的訴求，于是如何利用這些數(shù)據(jù)創(chuàng)造更大的價值、為領(lǐng)導(dǎo)決策和企業(yè)精益管理提供有力支撐成為重要的課題。數(shù)據(jù)存儲近1年數(shù)據(jù)，每秒鐘10000個數(shù)據(jù)采集點系統(tǒng)環(huán)境硬件環(huán)境：數(shù)據(jù)庫服務(wù)器1臺+4臺分布式pcserver單臺4核，16G內(nèi)存解決方案流處理模塊處理設(shè)備實時數(shù)據(jù)流事件預(yù)警開發(fā)平臺，實現(xiàn)問題預(yù)警基于ETHINK數(shù)據(jù)挖掘建模分析平臺,實現(xiàn)疑點挖掘建?？梢暬瘓蟊碓O(shè)計，完成大數(shù)據(jù)精益管理行業(yè)應(yīng)用案例-煙草項目需求行業(yè)應(yīng)用案例-煙草設(shè)備健康指數(shù)模型：利用數(shù)據(jù)聚類分析、特征分析、變化和偏差分析等數(shù)據(jù)挖掘方法分析工廠生產(chǎn)、質(zhì)量、設(shè)備健康狀況，實現(xiàn)指標(biāo)關(guān)聯(lián)分析及問題挖掘目的。行業(yè)應(yīng)用案例-煙草設(shè)備健康指數(shù)模型：利用數(shù)據(jù)聚類分析、特征分析、變化和偏差分析大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案大數(shù)據(jù)分析平臺技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點大數(shù)據(jù)可視化挖掘1）新型內(nèi)存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開發(fā)平臺3）房地產(chǎn)、金融、電信等機器學(xué)習(xí)模型研究1）基于內(nèi)存計算的機器學(xué)習(xí)算法2）行業(yè)大數(shù)據(jù)深度機器學(xué)習(xí)模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內(nèi)存計算1）基于內(nèi)存的迭代算法研究2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計分析技術(shù)1）基于大數(shù)據(jù)內(nèi)存的計算技術(shù)2）國內(nèi)產(chǎn)品領(lǐng)先大數(shù)據(jù)語義分析1）大數(shù)據(jù)自然語言識別2）非結(jié)構(gòu)化數(shù)據(jù)的知識發(fā)現(xiàn)、集成技術(shù)大數(shù)據(jù)平臺的可視化集成目前是空白領(lǐng)域大數(shù)據(jù)云計算技術(shù)1）大數(shù)據(jù)云計算平臺技術(shù)2）商業(yè)智能云平臺技術(shù)1）云BI技術(shù)及大數(shù)據(jù)平臺的核心技術(shù)研究2）大數(shù)據(jù)云BI在國內(nèi)應(yīng)用是未來趨勢，有望建成國內(nèi)第一家云BI平臺-技術(shù)基礎(chǔ)研究方向技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點大數(shù)據(jù)1）新型內(nèi)存迭代開創(chuàng)了基于人類視覺智能的動態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國內(nèi)外雜志、會議發(fā)表了多篇高水平論文。獲得視頻識別，知識學(xué)習(xí)與推理相關(guān)發(fā)明專利2項，申請發(fā)明專利7項。大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤大數(shù)據(jù)技術(shù)，解決視頻領(lǐng)域的知識識別，知識發(fā)現(xiàn)，知識集成與跟蹤，推理等關(guān)鍵技術(shù)問題。多項國家自然科學(xué)基金開創(chuàng)了基于人類視覺智能的動態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，大數(shù)據(jù)技術(shù)來實現(xiàn)國家經(jīng)濟免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識推理系統(tǒng)疑點數(shù)據(jù)審計數(shù)據(jù)中心審計跨12個行業(yè)，跨地區(qū)數(shù)據(jù)源傳統(tǒng)審計大數(shù)據(jù)審計無法跨地區(qū)、跨行業(yè)審計跨行業(yè)、跨區(qū)域?qū)徲嬍潞髮徲?、周期性審計連續(xù)審計復(fù)雜性隱蔽問題難以發(fā)現(xiàn)智能化，具有預(yù)測功能依據(jù)小樣本經(jīng)驗地毯式排查大數(shù)據(jù)分析，建立抵御和預(yù)防手段審計行業(yè)大數(shù)據(jù)知識推理系統(tǒng)大數(shù)據(jù)技術(shù)來實現(xiàn)國家經(jīng)濟免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識推理系統(tǒng)疑房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實現(xiàn)房地產(chǎn)價格指數(shù)、房地產(chǎn)評估模型房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實現(xiàn)房地產(chǎn)價格指數(shù)、房地產(chǎn)評碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計量監(jiān)測體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評估體系，形成滿足碳排放計量關(guān)系方程和參數(shù)碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計量監(jiān)測體系的數(shù)據(jù)體目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例目錄聯(lián)合實驗室數(shù)據(jù)挖掘越來越多的應(yīng)用到了各個領(lǐng)域中，主要包括與客戶關(guān)系管理相關(guān)的模型、與風(fēng)險控制相關(guān)的模型、與生產(chǎn)銷售預(yù)測相關(guān)的模型等數(shù)據(jù)挖掘應(yīng)用領(lǐng)域數(shù)據(jù)挖掘越來越多的應(yīng)用到了各個領(lǐng)域中，主要包括與客戶關(guān)系管理產(chǎn)品名產(chǎn)品ETHINK可視化挖掘概要通過在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評估、圖形以及結(jié)果輸出特點通過視覺工作方式輕松獲得此界面可以保障操作的靈活性在最短的時間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快產(chǎn)品通過在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評關(guān)系型數(shù)據(jù)庫數(shù)據(jù)挖掘模型算法庫/語義分析Hbase/Hive/Hdfs

可視化數(shù)據(jù)挖掘平臺多維自助分析調(diào)度管理SQL接口JDBC/ODBC內(nèi)存計算服務(wù)Scala/Java/PythonOLAPServer手機平板電腦批處理實時流處理交互式查詢統(tǒng)計分析平臺ETHINK產(chǎn)品架構(gòu)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)挖掘模型算法庫/語義分析Hbase/Hiv特點一豐富建模方法特點可拖拽式建模JDBCWebServicesRestfulapi可擴展性強自定義模型，擴充組件特點傳統(tǒng)的關(guān)系型數(shù)據(jù)(mysql、Oracle等)列式數(shù)據(jù)庫(Hbase)非結(jié)構(gòu)化數(shù)據(jù)(Hdfs、文件系統(tǒng))大數(shù)據(jù)（Hbase、Hive）特點一豐富建模方法特點可拖拽式建模JDBC可擴展性強特點傳統(tǒng)特點二大數(shù)據(jù)處理特點開放型平臺BS結(jié)構(gòu)，一站式建模、評估、部署基于Spark平臺內(nèi)存計算運算速度快特點GBPB特點二大數(shù)據(jù)處理特點開放型平臺BS結(jié)構(gòu)，一站式建模、評估、部特點三大數(shù)據(jù)處理能力特點基于Spark平臺內(nèi)存計算執(zhí)行數(shù)據(jù)挖掘時，方法論非常重要.因為準(zhǔn)確的方法論能夠提高作業(yè)速度,能系統(tǒng)地減少各種進展?fàn)顩r，所以選擇正確的方法論是很重要的.CRISP-DM方法論是全球認(rèn)可的數(shù)據(jù)挖掘的標(biāo)準(zhǔn)執(zhí)行方法論.特點三大數(shù)據(jù)處理能力特點基于Spark平臺執(zhí)行數(shù)據(jù)挖掘時，方功能模塊金融電信行業(yè)1.信用卡用戶流失預(yù)測2.基于客戶分群的精準(zhǔn)智能營銷3.基于公司價值評價的證券策略投資電力行業(yè)1.電力負(fù)荷預(yù)測2.自適應(yīng)防竊漏電實時診斷互聯(lián)網(wǎng)行業(yè)1.電子商務(wù)網(wǎng)站用戶行為分析2.基于用戶行為分析的定向廣告投放3.企業(yè)信息系統(tǒng)用戶服務(wù)感知評估

制造業(yè)行業(yè)1.制造設(shè)備生命周祺管理2.制造業(yè)投入產(chǎn)出預(yù)測公共服務(wù)業(yè)

1.空氣質(zhì)量預(yù)測2.卷煙消費者購買行為分析3.納稅人偷稅漏稅評估場景應(yīng)用（實驗室模擬實驗課題）功能模塊1.信用卡用戶流失預(yù)測電力行業(yè)1.電力負(fù)目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例目錄聯(lián)合實驗室交互式查詢實時在線處理實時流處理

批處理基于spark內(nèi)存的計算模型，同時支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案-要解決的問題交互式查詢實時實時技術(shù)架構(gòu)解決方案-分布式內(nèi)存計算批處理應(yīng)用（分鐘級別~小時級別）OLTP/在線事務(wù)處理應(yīng)用（毫秒~秒級別）OLAP/在線交互式分析應(yīng)用（秒級別）實時流處理（持續(xù)不斷）技術(shù)架構(gòu)解決方案-分布式內(nèi)存計算批處理應(yīng)用OLTP/在線事務(wù)技術(shù)架構(gòu)解決方案-交互式查詢通常的時間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進行統(tǒng)計、聚合根據(jù)歷史數(shù)據(jù)進行擬合和預(yù)測計算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線分析服典型應(yīng)用場景政府各部門數(shù)據(jù)證券交易銀行保險企業(yè)ERP/CRM等適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析技術(shù)架構(gòu)解決方案-交互式查詢通常的時間跨度在數(shù)十秒到數(shù)分鐘之技術(shù)架構(gòu)解決方案-實時在線處理通常的時間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來源多、高并發(fā)、數(shù)據(jù)處理量達分析結(jié)果快速響應(yīng)典型應(yīng)用場景社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶分類、用戶行為預(yù)測高并發(fā)查詢按主鍵毫秒級檢索按多維度秒級檢索按照關(guān)鍵字秒級檢索技術(shù)架構(gòu)解決方案-實時在線處理通常的時間跨度在數(shù)百毫秒到數(shù)秒事件驅(qū)動計算模型，系統(tǒng)處于持續(xù)不斷計算之中，事件響應(yīng)延遲在毫秒~秒級。流式計算系統(tǒng)處理應(yīng)用的處理邏輯是由源源不斷的數(shù)據(jù)流驅(qū)動。典型應(yīng)用場景有金融在線欺詐預(yù)警廣告CTR推薦系統(tǒng)技術(shù)架構(gòu)解決方案-實時流處理事件驅(qū)動計算模型，系統(tǒng)處于持續(xù)不斷計算之中，事件響應(yīng)延遲在毫技術(shù)架構(gòu)解決方案-批處理及離線挖掘時間跨度在數(shù)十分鐘到數(shù)小時之間。離線挖掘主要用于，多維統(tǒng)計預(yù)測，準(zhǔn)實時分析以及對客戶進行聚類、分類等數(shù)據(jù)挖掘應(yīng)用。典型應(yīng)用場景電子商務(wù)推薦引擎流失客戶預(yù)測挽留日志清洗、ETL用戶行為分析技術(shù)架構(gòu)解決方案-批處理及離線挖掘時間跨度在數(shù)十分鐘到數(shù)小時目錄聯(lián)合實驗室大數(shù)據(jù)分析平臺產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例目錄聯(lián)合實驗室項目需求將總行下發(fā)的數(shù)據(jù)及核心業(yè)務(wù)數(shù)據(jù)，經(jīng)過數(shù)據(jù)整理、加載到省級數(shù)據(jù)中心，并進行各項業(yè)務(wù)快速應(yīng)用開發(fā)數(shù)據(jù)源某省公積金中心，近五年的操作、交易記錄，共10億條左右。系統(tǒng)環(huán)境4臺X86架構(gòu)的PC服務(wù)器，共128G內(nèi)存單臺服務(wù)器，8核CPU,32G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢可視化設(shè)計、可視化報表實現(xiàn)了數(shù)據(jù)的實時分析行業(yè)應(yīng)用案例-金融

項目需求行業(yè)應(yīng)用案例-金融行業(yè)應(yīng)用案例-金融系統(tǒng)由對公客戶綜合積分子系統(tǒng)、展業(yè)通客戶綜合收益分析子系統(tǒng)、授信客戶資金結(jié)算子系統(tǒng)、對公柜面交易流水分析子系統(tǒng)等組成行業(yè)應(yīng)用案例-金融系統(tǒng)由對公客戶綜合積分子系統(tǒng)、