HDS統(tǒng)一計算平臺的大數(shù)據(jù)解決方案

1、 Hitachi Data Systems Corporation 2014. All rights reserved.1 Hitachi Data Systems Corporation 2014. All rights reserved.1HDS 統(tǒng)一計算平臺的統(tǒng)一計算平臺的大數(shù)據(jù)解決方案大數(shù)據(jù)解決方案HDS channel enablement TeamCicean Wang Hitachi Data Systems Corporation 2014. All rights reserved.2議程 Hitachi Data Systems Corporation 2014. All r

2、ights reserved.33它真正的含義是什么？ Hitachi Data Systems Corporation 2014. All rights reserved.4大數(shù)據(jù)及大數(shù)據(jù)時代“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)力增長和消費者盈余浪潮的到來”麥肯錫您將會面對的是16.416.4ExabytesIn 20103535ZxabytesIn 2020IDC做出估算30倍 Hitachi Data Systems Corporation 2014. All rights reserved.5大數(shù)據(jù)的定義（4

3、V）海量（Volume）多樣（Variety）快速（Velocity）價值（Value）3億用戶，每天上億條微博中型城市每月數(shù)十億智能電表數(shù)據(jù)2015年全球移動終端產(chǎn)生的數(shù)據(jù)量6300PB衛(wèi)星圖像個人信息M2M 日志文件傳感圖像視頻音頻非結構化數(shù)據(jù)將占到75%-85%增長速度快用戶基數(shù)龐大設備數(shù)量眾多實時海量數(shù)據(jù)數(shù)據(jù)指數(shù)級別增長單條數(shù)據(jù)并無太多價值，但龐大的數(shù)據(jù)量蘊含巨大財富 Hitachi Data Systems Corporation 2014. All rights reserved.6存儲理解控制大數(shù)據(jù)最終的目的大數(shù)據(jù)可以從根本上提高洞察力獲得洞察力！跨越鴻溝輸入數(shù)據(jù)$ $ $ Hi

4、tachi Data Systems Corporation 2014. All rights reserved.7大數(shù)據(jù)-第三次浪潮的華彩樂章2012年3 月份美國奧巴馬政府發(fā)布了大數(shù)據(jù)研究和發(fā)展倡議(Big Data Research and Development Initiative)，投資2 億以上美元，正式啟動“大數(shù)據(jù)發(fā)展計劃”。計劃在科學研究、環(huán)境、生物醫(yī)學等領域利用大數(shù)據(jù)技術進行突破。奧巴馬政府的這一計劃被視為美國政府繼信息高速公路(Information Highway)計劃之后在信息科學領域的又一重大舉措。與2013年12月 貫徹落實廣東省信息化發(fā)展規(guī)劃綱要（2013-20

5、20年），加快物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等新一代信息技術創(chuàng)新應用，推進我省智慧城市建設，打造珠三角世界級智慧城市群，全面提升全省信息化發(fā)展水平。廣東省委副書記朱小丹廣東省經(jīng)濟和信息化委員會副主任，黨組副書記鄒生 Hitachi Data Systems Corporation 2014. All rights reserved.8我們?yōu)槭裁葱枰髷?shù)據(jù) 在沒有大數(shù)據(jù)技術之前，無論是機器，還是人工方式，無法獲得全量樣本。以人口普查為例，如果挨家挨戶調研，甚至隨機抽取做調研，都非常耗時，費力，很多國家甚至做不到每年發(fā)布一次 在沒有大數(shù)據(jù)技術之前，大量海量數(shù)據(jù)中非結構化數(shù)據(jù)，分析與計算，幾乎是一個不可能逾

6、越的鴻溝，更別說挖掘價值了。 在沒有大數(shù)據(jù)技術之前，分析數(shù)據(jù)僅作為參考目前現(xiàn)狀的理論依據(jù)，也就是經(jīng)驗說話，數(shù)據(jù)無法實時展現(xiàn)價值。 在沒有大數(shù)據(jù)技術之前，有原因所以有結果，維度由于分析能力有限，無法表現(xiàn)其真正意義，相關而非因果。 Hitachi Data Systems Corporation 2014. All rights reserved.99將大數(shù)據(jù)承諾轉化為巨大的價值 Hitachi Data Systems Corporation 2014. All rights reserved.1010從“谷歌流感趨勢”工具看大數(shù)據(jù)應用跟蹤搜索詞相關數(shù)據(jù)來判斷全美地區(qū)的流感情況這個工具工作的原理

7、大致是這樣的：設計人員置入了一些關鍵詞（比如溫度計、流感癥狀、肌肉疼痛、胸悶等），只要用戶輸入這些關鍵詞，系統(tǒng)就會展開跟蹤分析，創(chuàng)建地區(qū)流感圖表和流感地圖。谷歌多次把測試結果（藍線）與美國疾病控制和預防中心的報告（黃線）做比對，從圖可知，兩者結論存在很大相關性。 Hitachi Data Systems Corporation 2014. All rights reserved.11以銀行信貸審批決策為例 Hitachi Data Systems Corporation 2014. All rights reserved.12用戶移動軌跡和精準用戶群集分析應用 Hitachi Data Sys

8、tems Corporation 2014. All rights reserved.13實時精準營銷-只給最近的你 Hitachi Data Systems Corporation 2014. All rights reserved.1414支撐大數(shù)據(jù)應用的IT架構實例 Hitachi Data Systems Corporation 2014. All rights reserved.15 新的大數(shù)據(jù)技術傳統(tǒng)數(shù)據(jù)庫處理方式 池塘捕魚新的大數(shù)據(jù)處理方式 大海捕魚數(shù)據(jù)規(guī)模數(shù)據(jù)類型模式和數(shù)據(jù)關系處理對象處理工具 Hitachi Data Systems Corporation 2014. All

9、 rights reserved.16數(shù)據(jù)的自由度和性能矛盾。數(shù)據(jù)的自由度和性能矛盾。固定字段、維度的表結構，限制固定字段、維度的表結構，限制了數(shù)據(jù)的入庫和拓展。了數(shù)據(jù)的入庫和拓展。數(shù)據(jù)處理數(shù)據(jù)處理數(shù)據(jù)庫數(shù)據(jù)庫中間件中間件索引及應用開發(fā)索引及應用開發(fā)J2EEStorageFilesytem/LUNDatabaseJ2EEJ2EEWebWebWebWebWeb數(shù)據(jù)索引方式的瓶頸，依賴文件目錄結構（數(shù)據(jù)索引方式的瓶頸，依賴文件目錄結構（NASNAS）或私）或私有的位圖塊表結構（有的位圖塊表結構（BlockBlock）。）。非結構數(shù)據(jù)還需要上層數(shù)據(jù)庫或文件系統(tǒng)提供索引；非結構數(shù)據(jù)還需要上層數(shù)據(jù)庫或文

10、件系統(tǒng)提供索引；面對大數(shù)據(jù)傳統(tǒng)IT的架構的瓶頸存儲成本（TB）20,000 rmb數(shù)據(jù)庫和中間件（TB） 15,000 rmb計算（TB）30,000 rmb技術服務（TB）10,000 rmb應用服務 依賴合作伙伴總體擁有成本（TB） 75,000 rmb Hitachi Data Systems Corporation 2014. All rights reserved.17后期維護后期維護成本成本低下的低下的數(shù)據(jù)管理性能數(shù)據(jù)管理性能存儲擴容成本存儲擴容成本面對大數(shù)據(jù)傳統(tǒng)IT的架構帶來的問題 Hitachi Data Systems Corporation 2014. All rights

11、 reserved.18新的大數(shù)據(jù)處理技術-Hadoop核心思想：分布式+經(jīng)濟Hadoop : 分布式，大數(shù)據(jù)集，延時，離線計算 NoSQL : 分布式，小數(shù)據(jù)集，靈活，實時，快速讀寫 Hitachi Data Systems Corporation 2014. All rights reserved.19天云&HDS大數(shù)據(jù)混合計算一體機J2EEWebHDS CR 220SHadoop DistributionsStreamingSearchingIndexMemDBBDP (BeagleData Platform)Integration/Autumation/Monitoring/S

12、cheduling/MaintainanceData Mgnt: DataView EasyFail sensedata zip/data lifescycleDR（Optional）BDA (Beagle Data Accelerator) 機器學習組件包 （Optional）BDF (Beagle Data Flow)大數(shù)據(jù)中間件SaaS/DaaS Hitachi Data Systems Corporation 2014. All rights reserved.20天云&HDS提供混合計算的能力HDS CR 220SHadoop DistributionsStreamingSe

13、archingIndexMemDBBDP (BeagleData Platform)Integration/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt: DataView EasyFail sensedata zip/data lifescycleDR大數(shù)據(jù)儲存大數(shù)據(jù)處理數(shù)據(jù)分享數(shù)據(jù)分享數(shù)據(jù)檢索數(shù)據(jù)檢索數(shù)據(jù)數(shù)據(jù)分析分析數(shù)據(jù)數(shù)據(jù)展現(xiàn)展現(xiàn) Hitachi Data Systems Corporation 2014. All rights reserved.21基于事件的可視化管理快速就緒的大數(shù)據(jù)平臺天云大數(shù)據(jù)平臺:BDPHadoop

14、集群部署與管理 Hitachi Data Systems Corporation 2014. All rights reserved.22管理控制臺 HA管理 集群性能監(jiān)控 節(jié)點性能監(jiān)控 集群磁盤監(jiān)控告警類型可視化的運維管理天云大數(shù)據(jù)平臺:BDP Hitachi Data Systems Corporation 2014. All rights reserved.23天云&HDS解決方案產(chǎn)品配置規(guī)格型號大數(shù)據(jù)一體機 滿配大數(shù)據(jù)一體機 半配管理服務器2臺CR220S服務器，每服務器配置：2*IntelXeonE5-247064G內存2*300GB硬盤，12*3.5寸3T硬盤1個4端口高性

15、能千兆以太網(wǎng)卡2臺CR220S服務器，每服務器配置：2*IntelXeonE5-247064G內存2*300GB硬盤，12*3.5寸3T硬盤1個4端口高性能千兆以太網(wǎng)卡數(shù)據(jù)服務器14臺CR220S服務器，每節(jié)點配置：2*IntelXeonE5-247064G內存2*300GB硬盤，12*3.5寸3T硬盤2個高性能千兆以太網(wǎng)卡6臺CR220S服務器，每節(jié)點配置：2*IntelXeonE5-247064G內存2*300GB硬盤，12*3.5寸3T硬盤2個高性能千兆以太網(wǎng)卡網(wǎng)絡與交換2臺可管理全千兆以太網(wǎng)交換機2臺可管理全千兆以太網(wǎng)交換機其他選配硬件附加硬件組件：1U機架式KVM標準42U機柜外置U

16、PS供電設施（選配）附加硬件組件：1U機架式KVM標準42U機柜外置UPS供電設施（選配）大數(shù)據(jù)軟件BeagleDataPlatformV1.516節(jié)點License授權BeagleDataPlatformV1.58節(jié)點License授權升級與擴展使用交換機堆疊方式連接多個一體機可升級至大數(shù)據(jù)一體機滿配支持服務提供軟硬一體化整體支持硬件：三年保修服務軟件：一年維保服務（可續(xù)訂）提供軟硬一體化整體支持硬件：三年保修服務軟件：一年維保服務（可續(xù)訂） Hitachi Data Systems Corporation 2014. All rights reserved.24天云&HDS大數(shù)據(jù)一

17、體機方案優(yōu)勢總結更低的成本更低的成本更高的性能更高的性能由全新分布式架構帶來由全新分布式架構帶來混合的架構混合的架構存儲存儲和計算的能力同時具和計算的能力同時具備備軟硬件軟硬件結合的方案結合的方案強大的計算能力強大的計算能力分布式計算分布式計算NoSQLNoSQL數(shù)據(jù)管理應用更數(shù)據(jù)管理應用更加靈活加靈活高可擴展和高可用高可擴展和高可用線性擴展，性能線性提升線性擴展，性能線性提升多節(jié)點多副本帶來高可用多節(jié)點多副本帶來高可用性性 Hitachi Data Systems Corporation 2014. All rights reserved.25天云&HDS大數(shù)據(jù)一體機賣點總結 強大強

18、大數(shù)據(jù)存儲能力數(shù)據(jù)存儲能力 先進的硬件架構先進的硬件架構 一流的大數(shù)據(jù)平臺軟件一流的大數(shù)據(jù)平臺軟件 業(yè)界領先的性能業(yè)界領先的性能 就緒的軟件最佳實踐就緒的軟件最佳實踐單機柜提供1PB的存儲能力 Hitachi Data Systems Corporation 2014. All rights reserved.2626大數(shù)據(jù)落地的經(jīng)驗（天云科技） Hitachi Data Systems Corporation 2014. All rights reserved.27大量用戶無法精準識別重復電話銷售產(chǎn)生的抱怨對品牌形象產(chǎn)生傷害通過統(tǒng)一用戶視圖進行理財產(chǎn)品推薦實現(xiàn)精準客戶營銷避免傳統(tǒng)轟炸式電話營銷對品牌的負面影響人數(shù)占比 年齡年收入（元）累計標保和繳付保費合計件均標保壽險繳付金額兩全繳付金額年金繳付金額萬能繳付金額意外繳付金額醫(yī)療繳付金額重疾繳付金額投連繳付金額0.60%474820026900804001900050050007670025001002004004001.37%512940015000966001070050090400580011600100800220030000.84%4018060010800213007800110038001