大數(shù)據(jù)實時分析平臺

Vertica-大數(shù)據(jù)實時分析平臺大數(shù)據(jù)趨勢重要特點:數(shù)據(jù)量大、增長迅速、變化多樣性、單個低價值、復雜什么是大數(shù)據(jù)?匹配分析模型VelocityComplexity多目標導向與互動上下文關(guān)系BIGDATA社交媒體視頻音頻電子郵件文本移動電話交易數(shù)據(jù)設(shè)備數(shù)據(jù)文檔收索引擎圖片VolumeVariety大數(shù)據(jù)量(Volume)信令數(shù)據(jù)、網(wǎng)管數(shù)據(jù)、網(wǎng)優(yōu)數(shù)據(jù)海量的話單信息（語音話單、短信話單、GPRS話單）海量信令信息（用戶位置信息、開關(guān)機信息、異常斷線信息）互聯(lián)網(wǎng)網(wǎng)關(guān)信息（URL信息、查詢關(guān)鍵詞)社交媒體、M2M數(shù)據(jù)、用戶行為內(nèi)容增長迅速(Velocity)信令數(shù)據(jù)、話單信息、互聯(lián)網(wǎng)數(shù)據(jù)增長速度很快業(yè)務(wù)上需要能夠?qū)?shù)據(jù)實時訪問和處理多樣性(Variety)短信文本信息CallCenter投訴信息WAP日志/WEB日志用戶行為內(nèi)容營業(yè)廳影像或票據(jù)等價值(Value)單條低價值復雜(Complexity)非常難處理，包括上下文關(guān)聯(lián)、多格式匹配、多目標互動大數(shù)據(jù)指的是數(shù)據(jù)集的大小和復雜度使得無法通過常用技術(shù)以合理的成本并在可接受的時限內(nèi)對其進行捕獲、管理和處理的數(shù)據(jù)。BigData市場玩家業(yè)界最優(yōu)秀的MPP列式數(shù)據(jù)倉庫:HPVertica

-出自數(shù)據(jù)之父的Stonebraker

-數(shù)據(jù)庫先驅(qū):MichaelMichaelStonebrakerVerticaCo-Founder伯克利加州分校–1971–2000Ingres,1973年，第一個關(guān)系數(shù)據(jù)庫，最早運行于DECUnix，80年代，以BSD許可免費發(fā)行，應(yīng)用發(fā)展迅速，2005年成立獨立公司，其中項目成員RobertEpstein基于Ingres的代碼開發(fā)了Sybase,隨后，Sybase代碼作為MicrosoftSQLServer基礎(chǔ).Postgres,80年代Ingres之后，BSD-like許可，支持面向objectrelationalprogrammingmodel，支持optimizer,querylanguage,runtime,andindexingframeworks，從PostgreSQL發(fā)展過來的數(shù)據(jù)庫產(chǎn)品有EnterpriseDB,andGreenplum.也包括Illustra

，后被Informix收購。MIT–2000~VERTICA,分布式MPP列式數(shù)據(jù)庫SCIDB，2008，用于科學研究計算Vertica歷程：快速發(fā)展，持續(xù)創(chuàng)新

客戶數(shù)幾何級數(shù)增長

7月，0.9發(fā)布,Benchmark比SybaseIQ和Oracle快10倍以上.12月，第一個客戶(Streambase)5月發(fā)布3.0,專注SQL-99,易用性，分析函數(shù)，并行加載。11月發(fā)布3.5版本，實現(xiàn)FLEXSTORE，支持mapReduce20062007200820092010201116541163281發(fā)布1.1–1.4,專注性能和穩(wěn)定性的提高首次發(fā)布和HP及REAHD合作的打包產(chǎn)品發(fā)布2.0–2.5,專注SQL,易用性，監(jiān)控和可管理性。5月發(fā)布基于云平臺運行的產(chǎn)品5月發(fā)布4.0,支持高級SQL分析函數(shù)，新的優(yōu)化器和執(zhí)行引擎，優(yōu)化資源和數(shù)據(jù)加載管理等功能。3月，HP收購Vertica。6月份發(fā)布版本5.0，專注查詢性能提高，增強了內(nèi)在分析處理功能和集群管理和使用的簡易性400+201212月，HPVertica最新版本6.1BullDozer發(fā)布客戶量猛增2000+20133月，HPAppSystem

forVertica發(fā)布，進入一體機市場7.0也即將發(fā)布2500+近實時的數(shù)據(jù)分析，是傳統(tǒng)架構(gòu)的50-1000倍極快的數(shù)據(jù)分析高速、可擴展、開放與低成本HPVertica分析平臺高新能大數(shù)據(jù)分析平臺HPVertica實時分析平臺無限的擴展，線性的性能提升大規(guī)?？蓴U展性開放的架構(gòu)，能與多種開放工具集成，包括Hadoop,R,ETL和BI工具開放架構(gòu)優(yōu)化的存儲方式，能提供10x-30x存儲能力優(yōu)化的數(shù)據(jù)存儲Vertica——高效能、低成本的海量數(shù)據(jù)實時分析數(shù)據(jù)庫標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP提高在BI,ETL,Hadoop上的投資效益自動設(shè)置、優(yōu)化、數(shù)據(jù)庫管理內(nèi)置式冗余可提高查詢速度基于低成本的x86Linux服務(wù)器群集通過12+算法獲得高達90%的空間節(jié)省無磁盤I/O瓶頸;可同時進行數(shù)據(jù)加載和查詢50x–1000x性能提升TBs~PBs高可擴展性與現(xiàn)有ETL和BI解決方案可輕松整合在工業(yè)標準x86服務(wù)器上具有超強性能快速靈活部署

列式數(shù)據(jù)庫——大幅降低磁盤I/O范例：計算1天中某支股票的平均價格SELECTAVG(price)FROMtickstoreWHEREsymbol=‘AAPL’ANDdate=‘5/06/09’

AAPLNYASENYAASENYSENYASENGGYSENYGGGSENYSENYSENYSE143.74

NYSENYSENYSE

5/05/09

AAPLNYASENYAASENYSENYASENGGYSENYGGGSENYSENYSENYSE143.74

NYSENYSENYSE

5/06/09

BBYNYASENYAASENYSENYASENGGYSENYGGGSENYSENYSENYSE37.03

NYSENYSENYSE

5/05/09

BBYNYASENYAASENYSENYASENGGYSENYGGGSENYSENYSENYSE37.13

NYSENYSENYSE

5/06/09列式數(shù)據(jù)庫-讀取3列行式數(shù)據(jù)庫-讀取所有列NQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSNYSENYSENYSENQDSAAPLAAPLBBYBBY143.74143.7537.0337.135/05/095/06/095/05/095/06/09標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP對于OLAP數(shù)據(jù)分析而言，最大性能瓶頸是磁盤IO，通常絕大部分數(shù)據(jù)分析的時間都花費在磁盤上，如何最小化磁盤IO是數(shù)據(jù)倉庫的關(guān)鍵點強大的數(shù)據(jù)主動壓縮根據(jù)數(shù)據(jù)類型、基數(shù)、排序自動進行數(shù)據(jù)壓縮，支持12+壓縮算法壓縮比通?？蛇_10:1以上支持直接訪問編碼數(shù)據(jù)的數(shù)據(jù)值，大大節(jié)省在數(shù)據(jù)查詢期間的CPU開銷EncodingMechanismJust-In-TimeDecodingEngine:EncodedblocksBufferPool:De-compressonlyNetwork:Encodedblocks+OptionalLZOTransactionDateCustomerIDTrade5/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/2009000000100000010000003000000300000050000011000001100000200000026000005000000510000052Fewvaluessorted5/05/2009,16RLE000000102241010192549DeltaValManyvaluesintegerRawDataCompressedDataDisk:Encoding+CompressionManyOthers…Results100.25302.43991.2373.45134.09843.11208.13114.2983.0743.98229.76ManydistinctvaluesLZOTì?p:±?+?>Hì&ì￥Y??×￥?éa??50óJ標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP無共享大規(guī)模并行處理(MPP)架構(gòu)標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP并行設(shè)計，通過projections來實現(xiàn)分布式存儲和分布式負載“活動的”冗余設(shè)計自動復制、切換和恢復標準的Shared-nothing、網(wǎng)格基礎(chǔ)架構(gòu)，使得通過廉價的設(shè)備也能搭建出高性能的集群簡單的添加節(jié)點就能實現(xiàn)容量和性能的擴展ClientNetworkPrivateDataNetwork8

TB8

TB8

TBNode12x6-8Core64+GBRAMNode22x6-8Core64+GBRAMNode32x6-8Core64+GBRAMNodesarePeers無特殊節(jié)點所有節(jié)點對等可通過任意節(jié)點查詢或加載數(shù)據(jù)實時加載與查詢同步進行革命性的高可用性數(shù)據(jù)庫內(nèi)類似RAID的功能SmartK-安全性加載/查詢持續(xù)可用“活”的冗余：服務(wù)于更多的查詢Segment1集群網(wǎng)絡(luò)客戶端網(wǎng)絡(luò)Segment2SegmentN-1SegmentNSegmentNSegment3Segment2Segment1標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP高可用性13在數(shù)據(jù)庫內(nèi)部實現(xiàn)RAID類似的冗余功能Projections在其它節(jié)點上的的拷貝能保證當某個節(jié)點宕機時，數(shù)據(jù)仍然可用可按照不同的排序模式冗余數(shù)據(jù)，提高查詢性能在查詢和加載時始終保持可用無需手工日志恢復當有節(jié)點down時，查詢和加載仍然可以繼續(xù)可通過查詢其它節(jié)點恢復數(shù)據(jù)A3B3C3A2B2C2B1A1C1B2A2C2B1A1C1A3B3C3A1B1C1B3A3C3標準SQL接口與現(xiàn)有BI以及ETL工具輕松無縫地整合Vertica數(shù)據(jù)庫支持SQL、ODBC、JDBC、ADO.NET和主流ETL以及BI展現(xiàn)工具等產(chǎn)品提升現(xiàn)有投資價值同時降低TCOSQL,ODBC,JDBC,ADO.net批量與微量加載ETL、復制與數(shù)據(jù)質(zhì)量分析、報告標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP自動優(yōu)化設(shè)計最優(yōu)數(shù)據(jù)布局(物理模式)最優(yōu)性能用戶提供邏輯模式范例數(shù)據(jù)集典型查詢數(shù)據(jù)庫設(shè)計器（DBD）生成數(shù)據(jù)布局建議:優(yōu)化查詢性能優(yōu)化數(shù)據(jù)讀取吞吐量最小化存儲空間負載分析器基于DataCollector系統(tǒng)收集的歷史負載情況，提供優(yōu)化建議標準SQL接口高可用自動優(yōu)化設(shè)計高級主動壓縮列式數(shù)據(jù)庫無共享MPP數(shù)據(jù)分析的實時性：數(shù)據(jù)分析和數(shù)據(jù)加載的并行支持

-來源于獨有的數(shù)據(jù)管理模式(Projection)Vertica不提供索引和物化視圖，通過Projection提供高效率查詢同一張表的多個Projection可按不同排序方式、壓縮模式以及數(shù)據(jù)分布滿足查詢的多樣性可通過Pre-joinProjection提升Join的查詢效率排序可提升Groupby和數(shù)據(jù)定位的效率多個Projection分布在多個節(jié)點上，提升查詢的并行效率不同于傳統(tǒng)表+索引的存儲架構(gòu)，在數(shù)據(jù)導入時，projection一直可用=>數(shù)據(jù)分析一直可用靈活的數(shù)據(jù)分布-提升海量數(shù)據(jù)處理性能Partition垂直分區(qū)在每個節(jié)點內(nèi)對表再拆分可提高大批量數(shù)據(jù)刪除性能Segmentation數(shù)據(jù)水平分布到多個node可指定數(shù)據(jù)分布的節(jié)點支持hash和range分布均勻分布，減少數(shù)據(jù)熱點ABCABCABCABCABCABCABCABCABCPartitionSegment分布式查詢18客戶端連接到任一節(jié)點發(fā)起查詢客戶端連接節(jié)點變?yōu)閕nitiator節(jié)點其它節(jié)點成為executor節(jié)點Initiator節(jié)點負責解析SQL語句并挑選執(zhí)行計劃Initiator節(jié)點將最優(yōu)的執(zhí)行計劃發(fā)布到executor節(jié)點上所有節(jié)點執(zhí)行查詢，然后將結(jié)果數(shù)據(jù)送回到initiator節(jié)點Initiator節(jié)點匯總，然后返回最終結(jié)果集給用戶實時分析小數(shù)據(jù)量頻繁加載混合存儲架構(gòu)實現(xiàn)了低延時載入事務(wù)處理模型支持并行數(shù)據(jù)裝載和查詢新提交事務(wù)不修改現(xiàn)有數(shù)據(jù)文件：Insert—追加，Delete—標記刪除，Update—Delete+Insert通過事務(wù)號或時間點可查詢?nèi)我鈺r間點上的歷史數(shù)據(jù)事務(wù)處理模型異步數(shù)據(jù)遷移數(shù)據(jù)移動

磁盤式

已排序/已壓縮

已分段大量數(shù)據(jù)直接裝載(ABC|A)ABC寫優(yōu)化存儲

(WOS)在內(nèi)存中未排序/未壓縮已分段低延時/少量快速插入讀優(yōu)化存儲

(ROS)已提交事務(wù)插入、刪除、更新與查詢I歷史查詢（無鎖）未提交事務(wù)當前事務(wù)最近提交事務(wù)混合存儲架構(gòu)和數(shù)據(jù)裝載大數(shù)據(jù)量批量加載ATTIME'timestamp''

SELECT*

混合負載支持20基于查詢的模式自動調(diào)節(jié)資源分配小查詢只利用部分節(jié)點來擴展查詢性能當對小數(shù)據(jù)集操作時，只使用單線程利用metadata中的信息，只訪問必要的數(shù)據(jù)塊自動控制查詢的優(yōu)先級分析查詢

/大查詢利用MPP架構(gòu)中的所有節(jié)點來進行運算多線程執(zhí)行自動連接聚合壓縮數(shù)據(jù)tacticalanalytictacticalTacticalGeneralAnalyticUser1并發(fā)與負載管理21無主節(jié)點瓶頸!查詢被自動均勻分布到每個集群節(jié)點并發(fā)能力會隨著節(jié)點數(shù)的增加而提高配置資源管理不同類型的查詢可設(shè)定不同的資源池限制并保證查詢所需資源可按每個資源池設(shè)置優(yōu)先級別、并發(fā)數(shù)、運行時間和資源分配概要資源限制可設(shè)置在資源池、用戶或session級別實時負載管理實時調(diào)整查詢的優(yōu)先級Kill掉超時查詢tacticaltacticalanalyticAnalyticUser2UDx框架用戶定義函數(shù)的框架基于C++/R的并行計算擴展框架未來還會支持Java語言靈活性:進行多種類型的計算數(shù)據(jù)分析/匯總多階段分析處理（類M/R）數(shù)據(jù)裝載把Vertica作為大規(guī)模并行計算平臺用戶自定義SQL函數(shù)用戶自定義C++程序和分析函數(shù)用戶自定義數(shù)據(jù)導入函數(shù)融合的結(jié)構(gòu)化/非結(jié)構(gòu)數(shù)據(jù)分析Vertica提供HadoopConnector,支持Map任務(wù)并發(fā)讀取數(shù)據(jù)，Reduce任務(wù)保存數(shù)據(jù)可直接使用HadoopStreaming接口在Vertica與HDFS之間同步數(shù)據(jù)Hadoop/Vertica:AdvancedAnalyticsComputerClusterDFSBlock1DFSBlock1DFSBlock1DFSBlock2DFSBlock2DFSBlock2DFSBlock3DFSBlock3MapMapMapReduceVerticaDatadatadatadatadatadadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadatadataComputerClusterDFSBlock1DFSBlock1DFSBlock1DFSBlock2DFSBlock2DFSBlock2DFSBlock3DFSBlock3MapMapMapReduceVerticaVerticaHadoop/Vertica:ETL靈活的備份與恢復24基于文件的備份恢復工具全量與增量備份相結(jié)合只備份上次以來變化的數(shù)據(jù)熱備份在線備份時無鎖競爭可配置的備份方式MappingVertica節(jié)點到備份服務(wù)器在數(shù)據(jù)庫和備份位置直接的傳輸加密配置多個恢復點對象級別的備份與恢復配置按應(yīng)用、用戶、Schema級別的備份策略，滿足各種不同SLA的需求HPAppSystemforVertica通用配置:HPDL380pGen825-SFFwith:(2)Intel?Xeon?E5-26702.6GHz/8-core128GB1600MHzMemoryHigh-performanceSASArrayController2GBFlash