LSI Nytro Hadoop

1、快速、智能、簡捷 Nytro PCIe閃存加速方案2Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. LSI 艾薩華公司簡介艾薩華公司簡介艾艾薩薩華是華是一一家半家半導(dǎo)體和軟件領(lǐng)先供應(yīng)商，其主要產(chǎn)品包括：導(dǎo)體和軟件領(lǐng)先供應(yīng)商，其主要產(chǎn)品包括：RAID控制器、控制器、SSD控制器控制器、Axxia網(wǎng)絡(luò)處理器和定制網(wǎng)絡(luò)處理器和定制ASIC等，為加速數(shù)據(jù)存儲中心與移動等，為加速數(shù)據(jù)存儲中心與移動網(wǎng)絡(luò)性能提供了許多領(lǐng)先的解決方案網(wǎng)絡(luò)性能提供了許多領(lǐng)先的解決方案公司基本

2、信息公司基本信息創(chuàng)立創(chuàng)立1981年，年， 1989年上市年上市2012 銷售額：銷售額：25億美元億美元2012 現(xiàn)金流：現(xiàn)金流：6.8億美元億美元全球全球5000名員工名員工1998 在華建立分公司，主要從事研在華建立分公司，主要從事研發(fā)。發(fā)。 目前共有目前共有500員工員工企業(yè)成就企業(yè)成就 100% 服務(wù)服務(wù)器廠商集成器廠商集成LSI芯片芯片 100% IBM, Dell, Lenovo, 浪潮，曙光浪潮，曙光 集集成成LSI MegaRAID卡卡 100% 甲骨甲骨文文Exadata一體機集成一體機集成LSI Nytro IO加速卡加速卡 100% 移動網(wǎng)絡(luò)基站集成移動網(wǎng)絡(luò)基站集成LSI

3、網(wǎng)絡(luò)芯片網(wǎng)絡(luò)芯片 #1 RAID 控制芯控制芯片市場占有率片市場占有率 #1 HBA 控制芯片市場占有率控制芯片市場占有率 #1 SSD 控制芯片市場占有率控制芯片市場占有率3Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 大數(shù)據(jù)浪潮VIRTUALIZATIONMOBILITYCLOUDANALYTICSBYODBPMBIG DATAPREDICTIVEBPMBIG DATAVIRTUALIZATIONBYODCEPCLOUDSOCIALSOCIAL1990

4、19922000199819961994200220062004200920124Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 閃存技術(shù)填補處理器和磁盤的延遲差距閃存技術(shù)填補處理器和磁盤的延遲差距企企業(yè)級業(yè)級系系統(tǒng)統(tǒng)的的設(shè)計設(shè)計效率低效率低服務(wù)器的低利用率(更多的軟件許可）低應(yīng)用性能高性能（高功耗）的機械式硬盤閃閃存在企存在企業(yè)級業(yè)級系系統(tǒng)統(tǒng)中的中的優(yōu)勢優(yōu)勢 2x - 4x 效率提高（較少的軟件許可） 5x - 10 x 減少的應(yīng)用級延遲 低功耗T1 St

5、orageT2 StorageNear LineProcessorL1 CacheL2 CacheMain Memory1 ns10 ns100 ns10,000,000ns (10 ms)20,000,000ns (20 ms)20,000,000ns (20 ms)巨大的延巨大的延遲遲差距差距100,000 x內(nèi)存內(nèi)存/存存儲儲的延的延遲遲差距差距(企企業(yè)級業(yè)級)企業(yè)級閃存解決方案企業(yè)級閃存解決方案SSDsPCIe Flash Adapters and Solutions5Accelerating Innovation Summit | LSI Corporation 2013. All

6、rights reserved. LSI Proprietary. 正在到來的企業(yè)級閃存解決方案演進 目標(biāo)應(yīng)用MGDC、數(shù)據(jù)庫、OLTP、Web 2.0、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘 基于SAN的企業(yè)級方案、虛擬化環(huán)境、VDIVDI、Hadoop、VSA、DAS 加速、數(shù)據(jù)庫、SOHO、ROBO用于主存儲的大容量PCIe閃存搭配無縫緩存/加速軟件的中等容量閃存搭配無縫緩存/加速軟件的小容量閃存閃存細(xì)分市場Nytro MegaRAID產(chǎn)品針對主流市場6Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LS

7、I Proprietary. SAN/DAS緩存: Nytro XD純閃存DAS: Nytro WarpDriveDAS緩存: Nytro MegaRAIDLSI Nytro應(yīng)用加速解決方案SAS FC iSCSI應(yīng)用操作系統(tǒng)Nytro XD軟件I/OI/O智能緩存存儲熱數(shù)據(jù)熱數(shù)據(jù)冷數(shù)據(jù)I/O應(yīng)用數(shù)據(jù)冷數(shù)據(jù)Nytro MegaRAID8Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Nytro MegaRAID結(jié)構(gòu)圖結(jié)構(gòu)圖SAS/SATA 接口用于閃存連接4

8、個內(nèi)置SAS接口SAS ROC 2208 (Thunderbolt)服務(wù)于閃存模塊的電容組兩個SandForce閃存模塊無需 BBU電池加速rebuild完整的應(yīng)用程序加速方案完整的應(yīng)用程序加速方案9Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Nytro MegaRAID型號型號SKUsHost InterfaceFlashUser data set size support (recommended)*NMR 8100-4ix8 PCIe 3.0100

9、GUp to 1TBNMR 8110-4ix8 PCIe 3.0200G1TB 2TBNMR 8120-4ix8 PCIe 3.0800G2TB 8TB* LSI estimate: Use LSI Nytro Predictor to assess your dataset size and workloadNytro 加速解決方案及應(yīng)用案例11Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Hadoop 大數(shù)據(jù)分布式處理大數(shù)據(jù)分布式處理 大數(shù)據(jù)的三個維度

10、：大數(shù)據(jù)量，類型多樣性，加速增長。 傳統(tǒng)的集中式存儲無法解決大數(shù)據(jù)面臨的問題，開放式的分布式架構(gòu)面臨廣闊發(fā)展前景。 Hadoop， 開源分布式軟件架構(gòu)支撐大數(shù)據(jù)量的應(yīng)用程序。 Hadoop包括3個部分：1.HDFS文件系統(tǒng)2.MapReduce 執(zhí)行3.Hadoop 內(nèi)核（允許多臺主機為同一任務(wù)工作的架構(gòu)） 利用廉價的普通硬件平臺Hadoop兩大性能瓶頸： 網(wǎng)絡(luò)帶寬和本地存儲訪問12Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Hadoop大數(shù)據(jù)的應(yīng)用架構(gòu)

11、大數(shù)據(jù)的應(yīng)用架構(gòu)數(shù)據(jù)倉庫 MPP數(shù)據(jù)庫業(yè)務(wù)分析OLAPETL數(shù)據(jù)源2數(shù)據(jù)源1報表查詢.數(shù)據(jù)接口層數(shù)據(jù)接口層數(shù)據(jù)處理層數(shù)據(jù)處理層數(shù)據(jù)應(yīng)用層數(shù)據(jù)應(yīng)用層13Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. LSI Nytro在Hadoop大數(shù)據(jù)下的應(yīng)用Hadoop 數(shù)據(jù)流數(shù)據(jù)流1231. Map2. Shuffle, Sort & Merge3. Reduce Hadoop的Map/Reduce算法產(chǎn)生大量臨時的本地磁盤讀寫 服務(wù)器本地存儲來處理這些數(shù)據(jù) 高

12、磁盤I/O以及高網(wǎng)絡(luò)帶寬要求 Nytro MegaRAID卡可以有效甄別臨時數(shù)據(jù)熱點，并顯著提高本地磁盤的I/O能力14Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Nytro 加速產(chǎn)品在大數(shù)據(jù)下的應(yīng)用 客戶：客戶： 全球最大的投資銀行之一全球最大的投資銀行之一 應(yīng)用類型：金融交易信息量巨大，采用應(yīng)用類型：金融交易信息量巨大，采用Hadoop方案進行大數(shù)據(jù)分析方案進行大數(shù)據(jù)分析 面臨挑戰(zhàn)：面臨挑戰(zhàn)：目前只能購買更多的Hadoop存儲服務(wù)器提升性能，整體擁有

13、成本高面臨的選擇面臨的選擇購買更多服務(wù)器購買更多服務(wù)器（本地存儲）（本地存儲）購買購買SSD盤盤購買購買Nytro MegaRAID性能低高高可用容量高低高機房空間占用高中低電能消耗高中低安裝/維護成本高高低整體擁有成本(TCO)高高低15Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 客戶Hadoop的測試環(huán)境q 12x coresq 32GB RAMq 7x 500GB SAS Disksq Mirrored boot drivesq 10 GigE n

14、etworking引導(dǎo)盤HDFS 7 個RAID0卷 (1 per disk)Map/reduce 本地 7 R0 Volumes (1 per disk)Nytro MegaRAID 配置配置200G Flash緩存(read/write, R0 cache)本地硬盤用于Map/Reduce目錄和HDFS每個硬盤配置為RAID0卷16Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 在Hadoop環(huán)境下的測試結(jié)果關(guān)閉緩存加速:18 分鐘23秒開啟緩存加速:

15、12 分鐘15秒7 Disks7 Disks7 Disks33% Faster17Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Hadoop環(huán)境下的TCO對比分析Nytro MegaRAID 優(yōu)勢: 33%服務(wù)器數(shù)量減少 $858K 初始硬件投資減少 $7.3M 三年的整體擁有成本減少傳統(tǒng)配置傳統(tǒng)配置配置配置NytroMegaRAID卡卡服務(wù)器數(shù)量1,000667平均每節(jié)點成本$6,500$6,500服務(wù)器成本$6,500,000$4,335,500Nytro MegaRAID cards (MSRP of $1799)$0$1,206,000整體服務(wù)器成本$6,500,000$5,641,6003年的機架空間、電能、散熱、安裝維護和管理成本$19,610,000