華為OceanStor9000技術(shù)主打膠片課件_第1頁
華為OceanStor9000技術(shù)主打膠片課件_第2頁
華為OceanStor9000技術(shù)主打膠片課件_第3頁
華為OceanStor9000技術(shù)主打膠片課件_第4頁
華為OceanStor9000技術(shù)主打膠片課件_第5頁
已閱讀5頁,還剩103頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

OceanStor9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)主打膠片

融合擴(kuò)展簡(jiǎn)單高效OceanStor9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)主打膠片打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)Volume:數(shù)據(jù)量巨大Velocity:分析處理速度快Variety:種類和來源多樣化集中儲(chǔ)存/集中計(jì)算已經(jīng)無法處理巨大的數(shù)據(jù)量日志/圖片/視頻/文檔/地理位置…

海量數(shù)據(jù)的及時(shí)有效分析Value:價(jià)值密度低,商業(yè)價(jià)值高大量的不相關(guān)信息進(jìn)行復(fù)雜深度分析,深挖價(jià)值什么是大數(shù)據(jù)Source:IDC32%

63%

年增長(zhǎng)率結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)80%60%40%20%0%非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)視頻網(wǎng)站每天上傳百TB數(shù)據(jù)終端用戶每天產(chǎn)生數(shù)十TB日志數(shù)據(jù)每分鐘290萬封郵件電子商務(wù)實(shí)施翻譯,以促成訂單,增強(qiáng)用戶黏性移動(dòng)互聯(lián)網(wǎng)廣告迅速調(diào)整,實(shí)現(xiàn)對(duì)于廣告需求的精確滿足社交網(wǎng)絡(luò)快速分析用戶行為,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷物聯(lián)網(wǎng)日本大地震后9分鐘發(fā)出海嘯預(yù)警Volume:數(shù)據(jù)量巨大Velocity:分析處理速度快Va…業(yè)務(wù)1服務(wù)器存儲(chǔ)業(yè)務(wù)2服務(wù)器存儲(chǔ)業(yè)務(wù)3服務(wù)器存儲(chǔ)…服務(wù)器存儲(chǔ)網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)云化IT系統(tǒng)服務(wù)器存儲(chǔ)服務(wù)器存儲(chǔ)服務(wù)器存儲(chǔ)網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)容量擴(kuò)展和信息孤島的問題帶來管理池化的需求并行運(yùn)算、云計(jì)算帶來的性能擴(kuò)展問題擴(kuò)容、維護(hù)工程的復(fù)雜性帶來的管理問題傳統(tǒng)技術(shù)面臨大數(shù)據(jù)的擴(kuò)展困境知易行難,大數(shù)據(jù)的挑戰(zhàn)一…業(yè)務(wù)1服務(wù)器存儲(chǔ)業(yè)務(wù)2服務(wù)器存儲(chǔ)業(yè)務(wù)3服務(wù)器存儲(chǔ)…服務(wù)性能成本數(shù)據(jù)按照熱、溫、冷分級(jí)管理,帶來數(shù)據(jù)割裂,自動(dòng)化程度低,數(shù)據(jù)遷移代價(jià)高,時(shí)效性差,管理復(fù)雜大數(shù)據(jù)處理中需要高性能系統(tǒng)的支撐,而性能的提升往往帶來成本的壓力傳統(tǒng)技術(shù)面臨大數(shù)據(jù)生命周期管理的挑戰(zhàn)知易行難,大數(shù)據(jù)的挑戰(zhàn)二性能成本數(shù)據(jù)按照熱、溫、冷分級(jí)管理,帶來數(shù)據(jù)割裂,自動(dòng)化程度SANNASorNASSAN結(jié)構(gòu)化非結(jié)構(gòu)化非結(jié)構(gòu)化結(jié)構(gòu)化對(duì)于結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的處理需要采用分離式系統(tǒng),購置多套設(shè)備,分散管理存儲(chǔ)系統(tǒng)分析系統(tǒng)數(shù)據(jù)源中間數(shù)據(jù)分析結(jié)果數(shù)據(jù)導(dǎo)入數(shù)據(jù)分析存儲(chǔ)和分析系統(tǒng)分離,需要大規(guī)模數(shù)據(jù)遷移和裝載,降低處理效率傳統(tǒng)技術(shù)面臨多種數(shù)據(jù)類型的挑戰(zhàn)知易行難,大數(shù)據(jù)的挑戰(zhàn)三SANNASorNASSAN結(jié)構(gòu)化非結(jié)構(gòu)化非結(jié)構(gòu)化結(jié)構(gòu)化對(duì)于打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)OceanStor9000—專為大數(shù)據(jù)設(shè)計(jì)的存儲(chǔ)系統(tǒng)OceanStor9000大數(shù)據(jù)存儲(chǔ)以融合替代割裂以規(guī)則應(yīng)對(duì)不規(guī)則以簡(jiǎn)單化解繁瑣以融合的系統(tǒng)架構(gòu)替代高代價(jià)的數(shù)據(jù)遷移以規(guī)則的橫向擴(kuò)展應(yīng)對(duì)不可預(yù)期的數(shù)據(jù)增量以極簡(jiǎn)的配置部署化解繁瑣的系統(tǒng)管理OceanStor9000—專為大數(shù)據(jù)設(shè)計(jì)的存儲(chǔ)系統(tǒng)OceOceanStor9000存儲(chǔ)系統(tǒng)架構(gòu)應(yīng)用層數(shù)據(jù)處理層硬件節(jié)點(diǎn)層P系列節(jié)點(diǎn)C系列節(jié)點(diǎn)InfoTier(動(dòng)態(tài)分級(jí))InfoAllocator(配額)InfoLocker(WORM)InfoReplicator(遠(yuǎn)程復(fù)制)InfoStamper(快照)I系列節(jié)點(diǎn)數(shù)據(jù)分析HPC視頻監(jiān)控媒體與娛樂精準(zhǔn)營(yíng)銷文件存儲(chǔ)備份、歸檔軟件與Hadoop生態(tài)系統(tǒng)對(duì)接分布式數(shù)據(jù)庫備份、歸檔商業(yè)推廣OceanStorDFS(WushanFS)FTPNFSCIFSJDBCODBCHDFSNDMPSecureVideo(視頻圖像修復(fù))OceanStor9000存儲(chǔ)系統(tǒng)架構(gòu)應(yīng)用層數(shù)據(jù)處理層硬件業(yè)界最大的擴(kuò)展能力容量系統(tǒng)容量業(yè)界第一1.2倍華為VS業(yè)界最高60PB50PB(EMCisilon)擴(kuò)展能力業(yè)界第一2倍華為VS288個(gè)業(yè)界最高144個(gè)

(EMCisilon)60PB…容量288節(jié)點(diǎn)業(yè)界最大的擴(kuò)展能力容量系統(tǒng)容量業(yè)界第一1.2倍華為VS業(yè)界OceanStor9000關(guān)鍵能力-簡(jiǎn)單復(fù)雜簡(jiǎn)單傳統(tǒng)NAS存儲(chǔ)OceanStor9000管理不同文件系統(tǒng)<100TB管理單一文件系統(tǒng)60PB復(fù)雜簡(jiǎn)單安裝(11步)擴(kuò)展(9步)管理(7步)上架及連線上架及連線管理HBA配置HBA規(guī)劃RAID管理RAID,熱備盤規(guī)劃RAID,熱備盤配置RAID,熱備盤管理LUN配置RAID,熱備盤規(guī)劃LUN,熱備盤管理文件系統(tǒng)規(guī)劃LUN配置LUN創(chuàng)建目錄配置LUN格式化卷數(shù)據(jù)共享格式化卷安裝文件系統(tǒng)調(diào)整各FS數(shù)據(jù)量安裝文件系統(tǒng)數(shù)據(jù)共享網(wǎng)絡(luò)配置調(diào)整各FS數(shù)據(jù)量數(shù)據(jù)共享調(diào)整各FS數(shù)據(jù)量安裝(4步)擴(kuò)展(2步)管理(2步)上架及連線上架及連線創(chuàng)建目錄網(wǎng)絡(luò)配置點(diǎn)擊擴(kuò)容按鈕數(shù)據(jù)共享創(chuàng)建目錄數(shù)據(jù)共享OceanStor9000關(guān)鍵能力-簡(jiǎn)單復(fù)雜簡(jiǎn)單傳統(tǒng)NAS夯實(shí)的基礎(chǔ)架構(gòu)Scale-up架構(gòu)專用硬件后端SAS專用網(wǎng)絡(luò)Scale-out架構(gòu)X86通用硬件全I(xiàn)P組網(wǎng)控制器硬盤框存儲(chǔ)節(jié)點(diǎn)夯實(shí)的基礎(chǔ)架構(gòu)Scale-up架構(gòu)Scale-out架構(gòu)控制全分布式架構(gòu),高可靠數(shù)據(jù)保護(hù)+1+2+3+4傳統(tǒng)RAID5傳統(tǒng)RAID6分布式ErasureCode硬盤故障容忍數(shù)1241TB數(shù)據(jù)恢復(fù)時(shí)間9.5小時(shí)10小時(shí)1小時(shí)以熱備容量替代專門獨(dú)立熱備盤以數(shù)據(jù)重構(gòu)替代磁盤重構(gòu)數(shù)據(jù)恢復(fù)速度1TB/h,是傳統(tǒng)RAID的10倍減少維護(hù)錯(cuò)誤,降低誤操作風(fēng)險(xiǎn)InfoProtector全分布式架構(gòu),高可靠數(shù)據(jù)保護(hù)+1+2+3+4傳統(tǒng)傳統(tǒng)RAID自動(dòng)訪問負(fù)載均衡,無需人工干預(yù)輪詢節(jié)點(diǎn)連接數(shù)節(jié)點(diǎn)吞吐量節(jié)點(diǎn)綜合負(fù)載CPU利用率多種均衡策略,靈活匹配各種業(yè)務(wù)模型性能自動(dòng)均衡,消除熱點(diǎn),資源利用最大化單節(jié)點(diǎn)擴(kuò)容60秒完成InfoEqualizer自動(dòng)訪問負(fù)載均衡,無需人工干預(yù)輪詢節(jié)點(diǎn)連接數(shù)節(jié)點(diǎn)吞吐量節(jié)點(diǎn)綜多種分級(jí)策略,多樣化策略模板P25C36SATASASSSD創(chuàng)建時(shí)間文件大小文件名修改時(shí)間I/O熱度I/O次數(shù)訪問時(shí)間用戶自定義數(shù)據(jù)價(jià)值決定存儲(chǔ)位置,實(shí)現(xiàn)資源最優(yōu)配置數(shù)據(jù)自由流動(dòng),對(duì)應(yīng)用透明豐富的策略構(gòu)建精準(zhǔn)分級(jí)InfoTier多種分級(jí)策略,多樣化策略模板P25C36SATASASSSD秒級(jí)快照,系統(tǒng)性能“0”影響InfoStamper目錄級(jí),秒級(jí)快照快照數(shù)無限制無I/O掛起,系統(tǒng)性能“0”影響手動(dòng)快照、定時(shí)快照(支持按天、按周、按月)OceanStor900019:00快照數(shù)據(jù)19:10快照數(shù)據(jù)按天按周按月19:10刪除file3file2file3file2file3file2秒級(jí)快照,系統(tǒng)性能“0”影響InfoStamperOcean遠(yuǎn)程復(fù)制,高效數(shù)據(jù)容災(zāi)保護(hù)InfoReplicator目錄級(jí)別復(fù)制支持一對(duì)多、多對(duì)一復(fù)制支持全量、增量復(fù)制復(fù)制任務(wù)實(shí)時(shí)監(jiān)控主站點(diǎn)備站點(diǎn)OceanStor9000OceanStor9000/a/b/c/d/h/jWAN遠(yuǎn)程復(fù)制,高效數(shù)據(jù)容災(zāi)保護(hù)InfoReplicator目錄級(jí)企業(yè)級(jí)WORM,可靠安全的數(shù)據(jù)保護(hù)已經(jīng)處于保護(hù)狀態(tài)的數(shù)據(jù),不可修改和刪除,只能讀取過期文件可以刪除不可修改支持單獨(dú)的WORM時(shí)鐘,設(shè)置成功后不允許修改子目錄自動(dòng)獲取父目錄的WORM屬性只讀權(quán)限自定義WORM時(shí)鐘管理員權(quán)限WORM軟時(shí)鐘WORM目錄配置WORM日志保護(hù)方式(手動(dòng)或自動(dòng))企業(yè)級(jí)WORM,可靠安全的數(shù)據(jù)保護(hù)已經(jīng)處于保護(hù)狀態(tài)的數(shù)據(jù),多種配額策略,靈活空間管理總經(jīng)理財(cái)務(wù)部人事部員工a員工b員工c員工d20TB40TB40TB10TB10TB10TB10TB存儲(chǔ)100TB軟配額文件數(shù)配額容量配額硬配額用戶配額目錄配額用戶組配額匹配復(fù)雜的“組織架構(gòu)”,空間靈活分配多種配額策略,存儲(chǔ)空間精打細(xì)算InfoAllocator多種配額策略,靈活空間管理總經(jīng)理財(cái)務(wù)部人事部員工a員工b員工優(yōu)化存儲(chǔ)方式,提升檢索效率Node1NFS/CIFS/POSIX/HDFS/SQL應(yīng)用同步元數(shù)據(jù)、建立索引文件接口訪問數(shù)據(jù)SQL接口快速檢索分布式文件系統(tǒng)分布式數(shù)據(jù)庫元數(shù)據(jù)Node2元數(shù)據(jù)NodeN元數(shù)據(jù)Node3準(zhǔn)實(shí)時(shí)檢索:打通文件系統(tǒng)與分布式數(shù)據(jù)庫的通道,實(shí)現(xiàn)基于元數(shù)據(jù)的快速檢索批量/可編程檢索接口:支持SQL規(guī)范,利用腳本/函數(shù)實(shí)現(xiàn)批量/復(fù)雜條件數(shù)據(jù)檢索InfoExplorer比傳統(tǒng)文件系統(tǒng)查找效率提升10萬倍以上優(yōu)化存儲(chǔ)方式,提升檢索效率Node1NFS/CIFS/PO便捷管理,輕松上手1套管理軟件:存儲(chǔ)、分析、歸檔統(tǒng)一管理1分鐘上手,3分鐘熟練2種系統(tǒng)資源:物理資源和邏輯資源3類管理終端:PC/Phone/Pad4種告警方式:

E-mail/聲音/短信/指示燈短信Email聲音PCPhone

指示燈物理資源管理邏輯資源管理Pad便捷管理,輕松上手1套管理軟件:存儲(chǔ)、分析、歸檔統(tǒng)一管理1分優(yōu)化資源配置,降低采購成本吞吐能力每TB成本大容量歸檔節(jié)點(diǎn)C系列高性能存儲(chǔ)節(jié)點(diǎn)P系列C72C36P36P12多種節(jié)點(diǎn)類型組合,性能、容量與成本完美平衡I節(jié)點(diǎn)P25優(yōu)化資源配置,降低采購成本吞吐能力每TB成本大容量歸檔節(jié)點(diǎn)C靈活開放的接口協(xié)議,適配多業(yè)務(wù)場(chǎng)景NFSRESTfulAPIJBDCCIFSOBDCFTPHDFSS3傳統(tǒng)接口:NFS、CIFS、FTPHDFS:無縫對(duì)接Hadoop,高效率存儲(chǔ)+高效率分析多種訪問接口開放的架構(gòu)標(biāo)準(zhǔn)X86服務(wù)器平臺(tái)廣泛的接口定義,幾乎適用所有半結(jié)構(gòu)化,非結(jié)構(gòu)化數(shù)據(jù)處理靈活開放的接口協(xié)議,適配多業(yè)務(wù)場(chǎng)景NFSRESTfulAP打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4媒體娛樂行業(yè)打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)媒體廣電應(yīng)用場(chǎng)景——電視臺(tái)場(chǎng)景介紹磁帶/云存儲(chǔ)存儲(chǔ)歸檔媒資庫大容量低TCO上下載媒資管理/在線媒資庫編目檢索高效檢索快速獲取……采集系統(tǒng)編輯包裝合成編輯系統(tǒng)穩(wěn)定寫帶寬穩(wěn)定讀帶寬低讀取時(shí)延播出系統(tǒng)播出強(qiáng)穩(wěn)定高可靠備播傳統(tǒng)方案基于業(yè)務(wù)系統(tǒng)的煙囪式架構(gòu)資源難共享,架構(gòu)難擴(kuò)展,部署時(shí)間長(zhǎng)媒體廣電應(yīng)用場(chǎng)景——電視臺(tái)場(chǎng)景介紹磁帶/云存儲(chǔ)存儲(chǔ)歸檔媒資庫融合生產(chǎn)存儲(chǔ)解決方案存儲(chǔ)資源池收錄制作媒資庫備播

低碼工作站編輯/渲染/合成衛(wèi)星/攝像/DVD高碼工作站編輯/渲染/合成編目/檢索/轉(zhuǎn)碼/web播出、播控網(wǎng)絡(luò)層IP

OceanStor9000高性能資源池(第一級(jí))大容量資源池(第二級(jí))方案亮點(diǎn)融合:采、編、播、管、存多業(yè)務(wù)共享存儲(chǔ)資源池,按需部署,動(dòng)態(tài)調(diào)配;數(shù)據(jù)分級(jí)存放,內(nèi)部智能遷移和生命周期管理彈性:全分布式架構(gòu)、全I(xiàn)P互聯(lián);存儲(chǔ)資源池可擴(kuò)展至60PB,支持新業(yè)務(wù)快速接入高效:統(tǒng)一命名空間,性能隨節(jié)點(diǎn)增加線性增長(zhǎng),輕松滿足上層制作業(yè)務(wù)>10GB/s的帶寬需求高清制作新聞制作媒資管理融合生產(chǎn)融合生產(chǎn)存儲(chǔ)解決方案存儲(chǔ)資源池收錄制作媒資庫備播2-25分鐘2分鐘0.5分鐘2.5分鐘排隊(duì)等待定位抓取磁帶加載文件傳輸在線媒資庫近線帶庫在線存儲(chǔ)0-5分鐘2.5分鐘排隊(duì)等待文件傳輸7分鐘-30分鐘2.5分鐘-7.5分鐘OceanStor9000統(tǒng)一命名空間Tier1Tier2Tier3現(xiàn)場(chǎng)低并發(fā)處理<1分鐘:基于分級(jí)的跳躍式回遷傳統(tǒng)分散存儲(chǔ)存儲(chǔ)資源池化磁帶型號(hào)標(biāo)稱容量(壓縮比2:1)native容量網(wǎng)上參考價(jià)格(人民幣)每TB的native容量的價(jià)格IBMLTO53TB1.5TB420元280元/TBIBMLTO41.6TB0.8TB320元400元/TBIBMLTO3800GB0.4TB240元600元/TB每年約15%降幅LTO標(biāo)準(zhǔn)磁帶每2年更新1代,價(jià)格呈降低趨勢(shì)。以IBM磁帶為例:每年約20%降幅如沒有創(chuàng)新性技術(shù),2017年磁盤和磁帶價(jià)格持平,2018年將磁盤價(jià)格低于磁帶;SMR技術(shù)的使用,磁盤和磁帶價(jià)格持平的時(shí)間會(huì)提前,推測(cè)為2015~2016年。磁盤的成本逆襲(更快的價(jià)格降幅)冷數(shù)據(jù)資產(chǎn)無帶化,在線應(yīng)用,瞬間回遷2-25分鐘2分鐘0.5分鐘2.5分鐘排隊(duì)等待定位抓取磁帶加開放協(xié)作與聯(lián)合創(chuàng)新應(yīng)用層文件系統(tǒng)層網(wǎng)絡(luò)層系統(tǒng)集成開放協(xié)作與聯(lián)合創(chuàng)新應(yīng)用層文件系統(tǒng)層網(wǎng)絡(luò)層系統(tǒng)集成打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼見,行業(yè)深度剖析3行以見效,華為應(yīng)用實(shí)踐4視頻監(jiān)控行業(yè)打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼平安城市視頻云中心解決方案視頻云中心智能分析實(shí)時(shí)調(diào)閱圖像偵查人臉對(duì)比GIS系統(tǒng)共享分析歸檔聯(lián)網(wǎng)

存儲(chǔ)池OceanStor9000業(yè)務(wù)系統(tǒng)地鐵商業(yè)道路小區(qū)視頻采集融合匯聚,更大范圍快速高效,更快響應(yīng)數(shù)據(jù)安全,更可信賴開放架構(gòu),海量空間,簡(jiǎn)單易接入保證各種來源的視頻數(shù)據(jù)融合并行架構(gòu),彈性能力,多處理模式保證各種類型的數(shù)據(jù)視頻高效分析分布RAID,彈性冗余,自動(dòng)容災(zāi)保證關(guān)鍵視頻的持久可信賴平安城市視頻云中心解決方案視頻云中心智能分析實(shí)時(shí)調(diào)閱圖像偵查統(tǒng)一命名空間,按需使用,融合保證數(shù)據(jù)匯聚S/video最大60PB單一命名空間開放的架構(gòu),可提供最大60PB的統(tǒng)一的存儲(chǔ)資源池,各種攝像頭視頻都可以集中進(jìn)行存儲(chǔ)和管理;系統(tǒng)擴(kuò)容時(shí),擴(kuò)充的容量可直接被納入資源池使用,避免維護(hù)多套存儲(chǔ)設(shè)備的困難。統(tǒng)一命名空間,按需使用,融合保證數(shù)據(jù)匯聚S/v可靠保證數(shù)據(jù)安全,線索可回溯分布式數(shù)據(jù)冗余

數(shù)據(jù)分散校驗(yàn)存儲(chǔ)多個(gè)節(jié)點(diǎn),多個(gè)節(jié)點(diǎn)故障數(shù)據(jù)不丟失,業(yè)務(wù)不停頓關(guān)鍵視頻4級(jí)冗余

關(guān)鍵視頻最高可達(dá)4級(jí)冗余,可實(shí)現(xiàn)4份冗余校驗(yàn)容災(zāi)保護(hù)

關(guān)鍵視頻自動(dòng)容災(zāi)備份,關(guān)鍵視頻0丟失容災(zāi)保護(hù)關(guān)鍵視頻彈性冗余分布式數(shù)據(jù)冗余+1+2+3+4彈性冗余快速恢復(fù)多層視頻安全技術(shù)可靠保證數(shù)據(jù)安全,線索可回溯分布式數(shù)據(jù)冗余容災(zāi)保護(hù)關(guān)鍵視頻彈打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼見,行業(yè)深度剖析3行以見效,華為應(yīng)用實(shí)踐4高性能計(jì)算行業(yè)打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼模擬地震波地震資料處理油藏模擬成像可視化地震資料收集石油勘探業(yè)務(wù)分析地震資料處理過程計(jì)算能力數(shù)據(jù)處理隨著處理精度的增加、算法復(fù)雜度的增加,對(duì)計(jì)算能力的需求持續(xù)增加隨著勘探面積的擴(kuò)大和數(shù)據(jù)采集密度的增加,對(duì)數(shù)據(jù)處理能力的需求急劇增加常規(guī)處理疊前時(shí)間/深度偏移處理疊后常規(guī)處理

石油勘探業(yè)務(wù)流程:反射波數(shù)據(jù)采集:野外人工模擬地震波,通過儀器收集反射波情況。地震資料處理:把采集所獲得的地震波在地層中傳播的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)信息進(jìn)行去偽存真處理,轉(zhuǎn)化為地質(zhì)信息。油藏模擬:經(jīng)過計(jì)算分析,反推出地下的生油、儲(chǔ)油、蓋層的地質(zhì)構(gòu)造特點(diǎn)。模擬地震波地震資料處理油藏模擬成像可視化地震資料收集石油勘探性能大量的地質(zhì)數(shù)據(jù)需要計(jì)算、處理和分析,要求存儲(chǔ)系統(tǒng)提供5GB/s以上的數(shù)據(jù)吞吐率需要提供PB級(jí)單一命名空間,存儲(chǔ)原始地震數(shù)據(jù)和計(jì)算中間數(shù)據(jù)石油勘探對(duì)存儲(chǔ)的關(guān)鍵訴求支持空間配額管理,存儲(chǔ)資源可以靈活的劃分給不同的計(jì)算任務(wù)(計(jì)算節(jié)點(diǎn))可靠性擴(kuò)展性易用性原始地震資料和過程數(shù)據(jù)需要長(zhǎng)期保存,要求存儲(chǔ)高可靠,數(shù)據(jù)不丟失性能大量的地質(zhì)數(shù)據(jù)需要計(jì)算、處理和分析,要求存儲(chǔ)系統(tǒng)提供5G基因測(cè)序的業(yè)務(wù)流程介紹基因測(cè)序的業(yè)務(wù)流程:基因測(cè)序(454):DNA文庫制備、PCR擴(kuò)增和焦磷酸測(cè)序,中間數(shù)據(jù)保存月半年左右,一年后歸檔;數(shù)據(jù)分析:測(cè)序得到的原始數(shù)據(jù)是長(zhǎng)度只有幾十個(gè)堿基的序列,將這些短的序列組裝或者比對(duì)到已有的基因組或者相近物種基因組序列,分析得到有生物學(xué)意義的結(jié)果;基因庫保存:儲(chǔ)存和管理本國(guó)特有的遺傳資源、生物信息和基因數(shù)據(jù)?;驍?shù)據(jù)庫Trace數(shù)據(jù)庫/SRA數(shù)據(jù)庫基因測(cè)序分析結(jié)果數(shù)據(jù)分析基因庫保存自然生物國(guó)家級(jí)基因庫基因序列基因組學(xué)研究產(chǎn)生的海量數(shù)據(jù)正以每12-18個(gè)月10倍的速度增長(zhǎng),已遠(yuǎn)超越著名的摩爾定律,這使得眾多生物企業(yè)和科研機(jī)構(gòu)面臨強(qiáng)大的數(shù)據(jù)分析和存儲(chǔ)需求。人類健康動(dòng)植物研究微生物研究藥物研發(fā)基因測(cè)序的業(yè)務(wù)流程介紹基因測(cè)序的業(yè)務(wù)流程:基因數(shù)據(jù)庫Trac基因測(cè)序?qū)Υ鎯?chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至數(shù)10GB/s的吞吐,滿足上百個(gè)計(jì)算節(jié)點(diǎn)并行處理I/O需求需要數(shù)PB甚至數(shù)10PB的存儲(chǔ)容量,以應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)過快的壓力需要智能的歸檔策略,以便將歷史數(shù)據(jù)歸檔至高性價(jià)比的存儲(chǔ)介質(zhì)基因測(cè)序?qū)Υ鎯?chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至衛(wèi)星測(cè)繪的業(yè)務(wù)流程介紹衛(wèi)星測(cè)繪的業(yè)務(wù)流程:衛(wèi)星信號(hào)處理:將獲取的高頻載波信號(hào)進(jìn)行編解碼處理,過濾出需要的影像數(shù)據(jù);衛(wèi)星影像數(shù)據(jù)處理:對(duì)影像數(shù)據(jù)進(jìn)行去“云霧”、邏輯分景、立體圖像等處理;天地圖應(yīng)用:衛(wèi)星測(cè)繪應(yīng)用中心對(duì)外提供的在線地圖應(yīng)用,涉及到大量的地圖縮影文件;離線存檔:每隔七天,將處理完的邏輯分景及立體圖像等數(shù)據(jù)離線歸檔到磁帶系統(tǒng)中;數(shù)字地形產(chǎn)品應(yīng)用:分析某時(shí)間段內(nèi)行政區(qū)域的地形變化,涉及到從離線磁盤系統(tǒng)導(dǎo)入數(shù)據(jù)到分析系統(tǒng)中。編解碼處理衛(wèi)星信號(hào)處理…數(shù)字地形產(chǎn)品應(yīng)用在線高端存儲(chǔ)…天地圖應(yīng)用…WEB服務(wù)器群LAN

Free離線磁帶庫分析存儲(chǔ)分析工作站ETL衛(wèi)星影像數(shù)據(jù)處理分布式文件系統(tǒng)衛(wèi)星信號(hào)接收與處理離線存檔Oracle數(shù)據(jù)庫編輯工作站衛(wèi)星測(cè)繪的業(yè)務(wù)流程介紹衛(wèi)星測(cè)繪的業(yè)務(wù)流程:編解碼處理衛(wèi)星信號(hào)衛(wèi)星測(cè)繪對(duì)存儲(chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至數(shù)10GB/s的吞吐,以便及時(shí)處理超大的衛(wèi)星影像數(shù)據(jù)文件需要數(shù)PB甚至數(shù)10PB的存儲(chǔ)容量,以便永久保存超大的衛(wèi)星影像數(shù)據(jù)文件需要智能的歸檔策略,以便將歷史數(shù)據(jù)歸檔至廉價(jià)的存儲(chǔ)介質(zhì)中衛(wèi)星測(cè)繪對(duì)存儲(chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至HPC行業(yè)對(duì)存儲(chǔ)的需求數(shù)據(jù)增長(zhǎng)迅速,如何與業(yè)務(wù)相匹配?多套系統(tǒng),分散的數(shù)據(jù),如何簡(jiǎn)化管理?數(shù)據(jù)如何快速流動(dòng),有效裝載?50%數(shù)據(jù)需要長(zhǎng)期保存,如何智能歸檔?生產(chǎn)系統(tǒng)分析系統(tǒng)歸檔系統(tǒng)HPC行業(yè)對(duì)存儲(chǔ)的需求數(shù)據(jù)增長(zhǎng)迅速,如何與業(yè)務(wù)相匹配?多套系HPC存儲(chǔ)解決方案,助力創(chuàng)新發(fā)展計(jì)算頭節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)隊(duì)列1計(jì)算節(jié)點(diǎn)隊(duì)列2計(jì)算節(jié)點(diǎn)隊(duì)列3…核心交換機(jī)(萬兆或InfiniBand交換機(jī))千兆GE交換機(jī)數(shù)據(jù)采集用戶查詢?cè)L問萬兆以太網(wǎng)絡(luò)或InfiniBand網(wǎng)絡(luò)千兆以太網(wǎng)絡(luò)…OceanStor9000萬兆或InfiniBand交換機(jī)HPC存儲(chǔ)解決方案,助力創(chuàng)新發(fā)展計(jì)算頭節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)隊(duì)列1華為方案優(yōu)勢(shì)匯總?cè)蝾I(lǐng)先的讀寫性能,單節(jié)點(diǎn)1.6GB/s吞吐,超過500萬+OPS,400GB/s帶寬,充分滿足高性能應(yīng)用的需求高性能彈性擴(kuò)展高可用簡(jiǎn)單易用3~288節(jié)點(diǎn)線性擴(kuò)展,單一文件系統(tǒng)容量可達(dá)60PB,滿足未來業(yè)務(wù)發(fā)展整體性能隨存儲(chǔ)節(jié)點(diǎn)數(shù)量線性增長(zhǎng)全對(duì)稱架構(gòu),采用節(jié)點(diǎn)間分布式RAID技術(shù),系統(tǒng)無單點(diǎn)故障,長(zhǎng)時(shí)間穩(wěn)定運(yùn)行,數(shù)據(jù)更安全實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理全方位可視化統(tǒng)一資源管理,自動(dòng)化統(tǒng)計(jì)及分析,管理更簡(jiǎn)單華為方案優(yōu)勢(shì)匯總?cè)蝾I(lǐng)先的讀寫性能,單節(jié)點(diǎn)1.6GB/s吞吐打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼見,行業(yè)深度剖析3行以見效,華為應(yīng)用實(shí)踐4海量文件存檔打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼票據(jù)影像歸檔解決方案分行票據(jù)影像存儲(chǔ)系統(tǒng)ECM集群銀行業(yè)務(wù)系統(tǒng)索引數(shù)據(jù)庫后督系統(tǒng)稽查系統(tǒng)配置管理庫ECM集群數(shù)據(jù)清理Hadoop分析集群業(yè)務(wù)系統(tǒng)ECM前置緩存ECM及分析系統(tǒng)銀行歸檔平臺(tái)柜員集中作業(yè)系統(tǒng)遠(yuǎn)程集中授權(quán)系統(tǒng)票據(jù)影像集中歸檔存儲(chǔ)集群NFSCIFSSQLHDFS……OceanStor9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)以彈性擴(kuò)展的存儲(chǔ)架構(gòu),滿足百億級(jí)文件管理并提升歸檔查詢效率票據(jù)影像歸檔解決方案分行票據(jù)影像存儲(chǔ)系統(tǒng)ECM集群銀行業(yè)務(wù)系數(shù)億級(jí)海量文件,秒級(jí)查找效率比傳統(tǒng)文件系統(tǒng)查找效率提升10萬倍以上創(chuàng)新的索引查找文件路徑變形金剛.avi/娛樂/電影/變形金剛3.avi卷珠簾.mp3/娛樂/音樂/流行/卷珠簾.mp3……時(shí)間都去哪兒了.mp3/娛樂/音樂/流行/時(shí)間都去哪兒了.mp3….…./娛樂電影變形金剛3.avi工作程序流行時(shí)間都去哪兒了.mp3卷珠簾.mp3古典驅(qū)動(dòng)Word.exeExcel.exePPT.exe文檔Sogoupinyin.exe辦公系統(tǒng)傳統(tǒng)逐級(jí)遍歷時(shí)間都去哪兒了.mp3音樂/資料娛樂電影變形金剛3.avi工作程序流行卷珠簾.mp3古典驅(qū)動(dòng)Word.exeExcel.exePPT.exe文檔Sogoupinyin.exe辦公系統(tǒng)音樂資料(以1億文件為基準(zhǔn))20小時(shí)

VS

0.1秒數(shù)億級(jí)海量文件,秒級(jí)查找效率比傳統(tǒng)文件系統(tǒng)查找效率提升10萬按需配置,可自定義的歸檔策略高性能存儲(chǔ)節(jié)點(diǎn)大容量歸檔節(jié)點(diǎn)SATASASSSD業(yè)界獨(dú)有的可編程歸檔策略存儲(chǔ)區(qū)歸檔區(qū)SELECTfid,filepath

FROM

file_meta_data

WHERE

owner=“金庸”ANDtype=“小說”ANDcompileage<“1970s”(歸檔金庸在1970年以前創(chuàng)作的小說)數(shù)據(jù)價(jià)值決定存儲(chǔ)位置,自動(dòng)實(shí)現(xiàn)資源最優(yōu)按需配置,可自定義的歸檔策略高性能存儲(chǔ)節(jié)點(diǎn)大容量歸檔節(jié)點(diǎn)SA打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)華為OceanStor存儲(chǔ)應(yīng)用于中央電視臺(tái)高清制作島在提供大容量的前提下,能夠提供超過2.4GB/s的吞吐量;可持續(xù)擴(kuò)展的存儲(chǔ)架構(gòu),滿足未來業(yè)務(wù)高速增長(zhǎng)的擴(kuò)展需求。業(yè)務(wù)挑戰(zhàn)部署一套華為OceanStor9000存儲(chǔ),結(jié)合業(yè)務(wù)與上層應(yīng)用“中科大洋編輯軟件”適配,滿足實(shí)際業(yè)務(wù)2.4GB/s的吞吐量需求,可支撐40臺(tái)精編工作站同時(shí)實(shí)時(shí)編輯;支撐多臺(tái)打包、傳輸、配音工作站工作以及島間數(shù)據(jù)交換等。解決方案高可靠,24小時(shí)不間斷運(yùn)行,為央視編輯業(yè)務(wù)提供持續(xù)支撐;運(yùn)維和擴(kuò)容簡(jiǎn)單,橫向擴(kuò)展,支持性能及容量在線平滑擴(kuò)容。客戶收益關(guān)鍵點(diǎn):分布式架構(gòu),高性能,高可靠華為OceanStor存儲(chǔ)應(yīng)用于中央電視臺(tái)高清制作島在提供大OceanStor9000助力深圳廣電集團(tuán)建設(shè)融合新聞中心建成一個(gè)大型虛擬化存儲(chǔ)資源池,實(shí)現(xiàn)資源共享,按需分配調(diào)度,減少媒體數(shù)據(jù)在各獨(dú)立存儲(chǔ)間的流動(dòng);要求總帶寬13.375GB/s,總有效存儲(chǔ)容量1,100TB,系統(tǒng)性能和容量能夠靈活擴(kuò)容業(yè)務(wù)挑戰(zhàn)10GE組網(wǎng),配置30個(gè)存儲(chǔ)節(jié)點(diǎn)(在線20節(jié)點(diǎn),歸檔10節(jié)點(diǎn))在線和歸檔相結(jié)合的整體架構(gòu),在線存儲(chǔ)采用高性能配置,歸檔存儲(chǔ)采用大容量配置,對(duì)媒體以及其它非媒體文件進(jìn)行分級(jí)存儲(chǔ)擴(kuò)展能力強(qiáng),可擴(kuò)展到288節(jié)點(diǎn)解決方案全I(xiàn)P組網(wǎng),高吞吐、大容量和資源共享,滿足當(dāng)前業(yè)務(wù)需求架構(gòu)先進(jìn),性能和容量隨節(jié)點(diǎn)數(shù)增加呈線性增長(zhǎng),滿足未來業(yè)務(wù)發(fā)展需求全冗余部署,N+M數(shù)據(jù)保護(hù),保障客戶業(yè)務(wù)的可靠性客戶收益“華為OceanStor9000存儲(chǔ),存儲(chǔ)帶寬線性增長(zhǎng),每多增加一個(gè)節(jié)點(diǎn)性能增加1倍,不像其他廠家增加節(jié)點(diǎn)漲量不漲性能?!?---趙為綱,深圳廣電集團(tuán)技術(shù)中心主任OceanStor9000助力深圳廣電集團(tuán)建設(shè)融合新聞中心俄羅斯圣彼得堡選擇華為OceanStor構(gòu)建平安城市各行政區(qū)域分散建設(shè),無法統(tǒng)一管理和調(diào)度,資源使用不均;網(wǎng)絡(luò)化、高清化轉(zhuǎn)型,需要對(duì)現(xiàn)有前端系統(tǒng)升級(jí)改造;根據(jù)業(yè)務(wù)規(guī)劃,未來需要對(duì)高清圖像進(jìn)行智能分析和預(yù)警識(shí)別業(yè)務(wù)挑戰(zhàn)華為視頻云存儲(chǔ)解決方案,為12,000路攝像頭提供存儲(chǔ)空間一期配置2PBOceanStor9000,未來會(huì)擴(kuò)容至15PB容量配置N+2:1的冗余算法,在磁盤利用率和可靠性之間取得最佳平衡解決方案構(gòu)建統(tǒng)一的資源池供全市業(yè)務(wù)系統(tǒng)使用,提升資源利用率高達(dá)288節(jié)點(diǎn)的擴(kuò)展能力,滿足未來數(shù)據(jù)存儲(chǔ)容量的增長(zhǎng)需求面向未來,具備向視頻分析的平滑演進(jìn)能力客戶收益關(guān)鍵點(diǎn):分布式架構(gòu),擴(kuò)展性,單一命名空間俄羅斯圣彼得堡選擇華為OceanStor構(gòu)建平安城市各行政區(qū)華為OceanStor存儲(chǔ)云服務(wù)助力新疆克拉瑪依平安城市需對(duì)現(xiàn)網(wǎng)的1,500路攝像頭進(jìn)行高清化改造,并新建3000路攝像頭對(duì)視頻數(shù)據(jù)實(shí)時(shí)查閱和聯(lián)網(wǎng)共享需求集中建設(shè)模式,需具備專業(yè)存儲(chǔ)設(shè)備可靠性,保障關(guān)鍵數(shù)據(jù)業(yè)務(wù)挑戰(zhàn)華為視頻云存儲(chǔ)解決方案,總計(jì)容量超過25PB視頻存儲(chǔ):供4,500路高清攝像頭使用,保存時(shí)間30天實(shí)時(shí)顯示:部分?jǐn)z像頭數(shù)據(jù)經(jīng)數(shù)據(jù)中心直接在中心大屏顯示支持針對(duì)歷史視頻調(diào)閱,支持在政務(wù)平臺(tái)平臺(tái)取閱解決方案良好的彈性,未來攝像頭擴(kuò)容后,存儲(chǔ)系統(tǒng)仍具備良好的容量擴(kuò)展能力,減少采購成本;專業(yè)存儲(chǔ)技術(shù):視頻修復(fù),數(shù)據(jù)恢復(fù),關(guān)鍵視頻容災(zāi)等技術(shù),提升設(shè)備可靠性,保障關(guān)鍵數(shù)據(jù)安全客戶收益關(guān)鍵點(diǎn):集中建設(shè)方案,擴(kuò)展性,三大專業(yè)存儲(chǔ)關(guān)鍵技術(shù)華為OceanStor存儲(chǔ)云服務(wù)助力新疆克拉瑪依平安城市需對(duì)OceanStor9000成功應(yīng)用于建設(shè)銀行會(huì)計(jì)檔案管理系統(tǒng)寫入壓力:

每天需歸檔38個(gè)分行和總行約2,000萬筆交易影像數(shù)據(jù)查詢壓力:3年歸檔的交易紀(jì)錄達(dá)到100億條,15年達(dá)400億條,在線系統(tǒng)查詢反應(yīng)速度要求秒級(jí),現(xiàn)有光盤塔無法滿足歸檔要求存儲(chǔ)壓力:歸檔數(shù)據(jù)需保存15年,預(yù)測(cè)數(shù)據(jù)量將超過60PB,需要海量存儲(chǔ)及在線擴(kuò)容能力業(yè)務(wù)挑戰(zhàn)根據(jù)業(yè)務(wù)量劃分4個(gè)分區(qū),共部署38套OceanStor9000,用于存儲(chǔ)歸檔數(shù)據(jù)采用N+M冗余配置,充分保障數(shù)據(jù)的可靠性解決方案效率提升:采用NAS存儲(chǔ)替代光盤歸檔,有效提升數(shù)據(jù)的檢索和查詢速度,消除了手工查找光盤塔的困擾;管理簡(jiǎn)單:采用單一文件系統(tǒng),并且實(shí)現(xiàn)設(shè)備集中統(tǒng)一管理,使用和管理都很簡(jiǎn)單;面向未來:OceanStor9000采用全分布式架構(gòu),具備良好的彈性擴(kuò)展能力,性能容量線性增長(zhǎng),能滿足建行長(zhǎng)達(dá)15年的存儲(chǔ)需求??蛻羰找嫒A為OceanStor9000采用先進(jìn)的Scale-out全分布式架構(gòu),在可靠性、可擴(kuò)展性、性能和可維護(hù)性上處于業(yè)界領(lǐng)先水平,多個(gè)節(jié)點(diǎn)并發(fā)訪問,可提供高并發(fā)、高帶寬、低時(shí)延的存儲(chǔ)性能,滿足建行的應(yīng)用需求。----

中國(guó)建設(shè)銀行OceanStor9000成功應(yīng)用于建設(shè)銀行會(huì)計(jì)檔案管理華為OceanStor存儲(chǔ)為沃達(dá)豐加納子公司構(gòu)建高效備份歸檔系統(tǒng)沃達(dá)豐加納子公司沒有專門的歸檔系統(tǒng),急需獲取擴(kuò)展性強(qiáng)的存儲(chǔ)設(shè)施,保存2個(gè)月到3年的歸檔數(shù)據(jù),并滿足未來3-5年業(yè)務(wù)發(fā)展規(guī)劃;需要高效和經(jīng)濟(jì)的集中備份解決方案,替代當(dāng)前兼容性差的備份系統(tǒng);系統(tǒng)能夠保證業(yè)務(wù)數(shù)據(jù)安全的同時(shí),簡(jiǎn)化管理維護(hù)。業(yè)務(wù)挑戰(zhàn)全I(xiàn)P組網(wǎng),在原有系統(tǒng)上改造,新增備份、歸檔解決方案;部署1套OceanStor9000存儲(chǔ)、3臺(tái)RH2288V2服務(wù)器和Simpana備份軟件;數(shù)據(jù)集中統(tǒng)一備份和歸檔,統(tǒng)一視圖。解決方案彈性擴(kuò)展,性能、容量線性增長(zhǎng),充分適應(yīng)業(yè)務(wù)3-5年發(fā)展規(guī)劃;領(lǐng)先的數(shù)據(jù)保護(hù)技術(shù)和高可靠設(shè)計(jì),保障數(shù)據(jù)永不丟失;統(tǒng)一管理,系統(tǒng)狀態(tài)一目了然,減少運(yùn)維管理難度,降低運(yùn)維成本;大幅減少了新建設(shè)備數(shù)量,TCO節(jié)約20%以上??蛻羰找妗叭A為提供的解決方案簡(jiǎn)單而有效,完美的解決了我們的問題。整個(gè)方案全I(xiàn)P組網(wǎng),在不改變?cè)邢到y(tǒng)組網(wǎng)架構(gòu)的基礎(chǔ)上,部署了統(tǒng)一可視化的備份歸檔系統(tǒng),這正是我們所需要的?!?---沃達(dá)豐加納首席執(zhí)行官哈里斯·布羅米狄斯(HarisBroumidis)華為OceanStor存儲(chǔ)為沃達(dá)豐加納子公司構(gòu)建高效備份歸檔華為OceanStor9000技術(shù)主打膠片課件OceanStor9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)主打膠片

融合擴(kuò)展簡(jiǎn)單高效OceanStor9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)主打膠片打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)Volume:數(shù)據(jù)量巨大Velocity:分析處理速度快Variety:種類和來源多樣化集中儲(chǔ)存/集中計(jì)算已經(jīng)無法處理巨大的數(shù)據(jù)量日志/圖片/視頻/文檔/地理位置…

海量數(shù)據(jù)的及時(shí)有效分析Value:價(jià)值密度低,商業(yè)價(jià)值高大量的不相關(guān)信息進(jìn)行復(fù)雜深度分析,深挖價(jià)值什么是大數(shù)據(jù)Source:IDC32%

63%

年增長(zhǎng)率結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)80%60%40%20%0%非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)視頻網(wǎng)站每天上傳百TB數(shù)據(jù)終端用戶每天產(chǎn)生數(shù)十TB日志數(shù)據(jù)每分鐘290萬封郵件電子商務(wù)實(shí)施翻譯,以促成訂單,增強(qiáng)用戶黏性移動(dòng)互聯(lián)網(wǎng)廣告迅速調(diào)整,實(shí)現(xiàn)對(duì)于廣告需求的精確滿足社交網(wǎng)絡(luò)快速分析用戶行為,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷物聯(lián)網(wǎng)日本大地震后9分鐘發(fā)出海嘯預(yù)警Volume:數(shù)據(jù)量巨大Velocity:分析處理速度快Va…業(yè)務(wù)1服務(wù)器存儲(chǔ)業(yè)務(wù)2服務(wù)器存儲(chǔ)業(yè)務(wù)3服務(wù)器存儲(chǔ)…服務(wù)器存儲(chǔ)網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)云化IT系統(tǒng)服務(wù)器存儲(chǔ)服務(wù)器存儲(chǔ)服務(wù)器存儲(chǔ)網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)容量擴(kuò)展和信息孤島的問題帶來管理池化的需求并行運(yùn)算、云計(jì)算帶來的性能擴(kuò)展問題擴(kuò)容、維護(hù)工程的復(fù)雜性帶來的管理問題傳統(tǒng)技術(shù)面臨大數(shù)據(jù)的擴(kuò)展困境知易行難,大數(shù)據(jù)的挑戰(zhàn)一…業(yè)務(wù)1服務(wù)器存儲(chǔ)業(yè)務(wù)2服務(wù)器存儲(chǔ)業(yè)務(wù)3服務(wù)器存儲(chǔ)…服務(wù)性能成本數(shù)據(jù)按照熱、溫、冷分級(jí)管理,帶來數(shù)據(jù)割裂,自動(dòng)化程度低,數(shù)據(jù)遷移代價(jià)高,時(shí)效性差,管理復(fù)雜大數(shù)據(jù)處理中需要高性能系統(tǒng)的支撐,而性能的提升往往帶來成本的壓力傳統(tǒng)技術(shù)面臨大數(shù)據(jù)生命周期管理的挑戰(zhàn)知易行難,大數(shù)據(jù)的挑戰(zhàn)二性能成本數(shù)據(jù)按照熱、溫、冷分級(jí)管理,帶來數(shù)據(jù)割裂,自動(dòng)化程度SANNASorNASSAN結(jié)構(gòu)化非結(jié)構(gòu)化非結(jié)構(gòu)化結(jié)構(gòu)化對(duì)于結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的處理需要采用分離式系統(tǒng),購置多套設(shè)備,分散管理存儲(chǔ)系統(tǒng)分析系統(tǒng)數(shù)據(jù)源中間數(shù)據(jù)分析結(jié)果數(shù)據(jù)導(dǎo)入數(shù)據(jù)分析存儲(chǔ)和分析系統(tǒng)分離,需要大規(guī)模數(shù)據(jù)遷移和裝載,降低處理效率傳統(tǒng)技術(shù)面臨多種數(shù)據(jù)類型的挑戰(zhàn)知易行難,大數(shù)據(jù)的挑戰(zhàn)三SANNASorNASSAN結(jié)構(gòu)化非結(jié)構(gòu)化非結(jié)構(gòu)化結(jié)構(gòu)化對(duì)于打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)OceanStor9000—專為大數(shù)據(jù)設(shè)計(jì)的存儲(chǔ)系統(tǒng)OceanStor9000大數(shù)據(jù)存儲(chǔ)以融合替代割裂以規(guī)則應(yīng)對(duì)不規(guī)則以簡(jiǎn)單化解繁瑣以融合的系統(tǒng)架構(gòu)替代高代價(jià)的數(shù)據(jù)遷移以規(guī)則的橫向擴(kuò)展應(yīng)對(duì)不可預(yù)期的數(shù)據(jù)增量以極簡(jiǎn)的配置部署化解繁瑣的系統(tǒng)管理OceanStor9000—專為大數(shù)據(jù)設(shè)計(jì)的存儲(chǔ)系統(tǒng)OceOceanStor9000存儲(chǔ)系統(tǒng)架構(gòu)應(yīng)用層數(shù)據(jù)處理層硬件節(jié)點(diǎn)層P系列節(jié)點(diǎn)C系列節(jié)點(diǎn)InfoTier(動(dòng)態(tài)分級(jí))InfoAllocator(配額)InfoLocker(WORM)InfoReplicator(遠(yuǎn)程復(fù)制)InfoStamper(快照)I系列節(jié)點(diǎn)數(shù)據(jù)分析HPC視頻監(jiān)控媒體與娛樂精準(zhǔn)營(yíng)銷文件存儲(chǔ)備份、歸檔軟件與Hadoop生態(tài)系統(tǒng)對(duì)接分布式數(shù)據(jù)庫備份、歸檔商業(yè)推廣OceanStorDFS(WushanFS)FTPNFSCIFSJDBCODBCHDFSNDMPSecureVideo(視頻圖像修復(fù))OceanStor9000存儲(chǔ)系統(tǒng)架構(gòu)應(yīng)用層數(shù)據(jù)處理層硬件業(yè)界最大的擴(kuò)展能力容量系統(tǒng)容量業(yè)界第一1.2倍華為VS業(yè)界最高60PB50PB(EMCisilon)擴(kuò)展能力業(yè)界第一2倍華為VS288個(gè)業(yè)界最高144個(gè)

(EMCisilon)60PB…容量288節(jié)點(diǎn)業(yè)界最大的擴(kuò)展能力容量系統(tǒng)容量業(yè)界第一1.2倍華為VS業(yè)界OceanStor9000關(guān)鍵能力-簡(jiǎn)單復(fù)雜簡(jiǎn)單傳統(tǒng)NAS存儲(chǔ)OceanStor9000管理不同文件系統(tǒng)<100TB管理單一文件系統(tǒng)60PB復(fù)雜簡(jiǎn)單安裝(11步)擴(kuò)展(9步)管理(7步)上架及連線上架及連線管理HBA配置HBA規(guī)劃RAID管理RAID,熱備盤規(guī)劃RAID,熱備盤配置RAID,熱備盤管理LUN配置RAID,熱備盤規(guī)劃LUN,熱備盤管理文件系統(tǒng)規(guī)劃LUN配置LUN創(chuàng)建目錄配置LUN格式化卷數(shù)據(jù)共享格式化卷安裝文件系統(tǒng)調(diào)整各FS數(shù)據(jù)量安裝文件系統(tǒng)數(shù)據(jù)共享網(wǎng)絡(luò)配置調(diào)整各FS數(shù)據(jù)量數(shù)據(jù)共享調(diào)整各FS數(shù)據(jù)量安裝(4步)擴(kuò)展(2步)管理(2步)上架及連線上架及連線創(chuàng)建目錄網(wǎng)絡(luò)配置點(diǎn)擊擴(kuò)容按鈕數(shù)據(jù)共享創(chuàng)建目錄數(shù)據(jù)共享OceanStor9000關(guān)鍵能力-簡(jiǎn)單復(fù)雜簡(jiǎn)單傳統(tǒng)NAS夯實(shí)的基礎(chǔ)架構(gòu)Scale-up架構(gòu)專用硬件后端SAS專用網(wǎng)絡(luò)Scale-out架構(gòu)X86通用硬件全I(xiàn)P組網(wǎng)控制器硬盤框存儲(chǔ)節(jié)點(diǎn)夯實(shí)的基礎(chǔ)架構(gòu)Scale-up架構(gòu)Scale-out架構(gòu)控制全分布式架構(gòu),高可靠數(shù)據(jù)保護(hù)+1+2+3+4傳統(tǒng)RAID5傳統(tǒng)RAID6分布式ErasureCode硬盤故障容忍數(shù)1241TB數(shù)據(jù)恢復(fù)時(shí)間9.5小時(shí)10小時(shí)1小時(shí)以熱備容量替代專門獨(dú)立熱備盤以數(shù)據(jù)重構(gòu)替代磁盤重構(gòu)數(shù)據(jù)恢復(fù)速度1TB/h,是傳統(tǒng)RAID的10倍減少維護(hù)錯(cuò)誤,降低誤操作風(fēng)險(xiǎn)InfoProtector全分布式架構(gòu),高可靠數(shù)據(jù)保護(hù)+1+2+3+4傳統(tǒng)傳統(tǒng)RAID自動(dòng)訪問負(fù)載均衡,無需人工干預(yù)輪詢節(jié)點(diǎn)連接數(shù)節(jié)點(diǎn)吞吐量節(jié)點(diǎn)綜合負(fù)載CPU利用率多種均衡策略,靈活匹配各種業(yè)務(wù)模型性能自動(dòng)均衡,消除熱點(diǎn),資源利用最大化單節(jié)點(diǎn)擴(kuò)容60秒完成InfoEqualizer自動(dòng)訪問負(fù)載均衡,無需人工干預(yù)輪詢節(jié)點(diǎn)連接數(shù)節(jié)點(diǎn)吞吐量節(jié)點(diǎn)綜多種分級(jí)策略,多樣化策略模板P25C36SATASASSSD創(chuàng)建時(shí)間文件大小文件名修改時(shí)間I/O熱度I/O次數(shù)訪問時(shí)間用戶自定義數(shù)據(jù)價(jià)值決定存儲(chǔ)位置,實(shí)現(xiàn)資源最優(yōu)配置數(shù)據(jù)自由流動(dòng),對(duì)應(yīng)用透明豐富的策略構(gòu)建精準(zhǔn)分級(jí)InfoTier多種分級(jí)策略,多樣化策略模板P25C36SATASASSSD秒級(jí)快照,系統(tǒng)性能“0”影響InfoStamper目錄級(jí),秒級(jí)快照快照數(shù)無限制無I/O掛起,系統(tǒng)性能“0”影響手動(dòng)快照、定時(shí)快照(支持按天、按周、按月)OceanStor900019:00快照數(shù)據(jù)19:10快照數(shù)據(jù)按天按周按月19:10刪除file3file2file3file2file3file2秒級(jí)快照,系統(tǒng)性能“0”影響InfoStamperOcean遠(yuǎn)程復(fù)制,高效數(shù)據(jù)容災(zāi)保護(hù)InfoReplicator目錄級(jí)別復(fù)制支持一對(duì)多、多對(duì)一復(fù)制支持全量、增量復(fù)制復(fù)制任務(wù)實(shí)時(shí)監(jiān)控主站點(diǎn)備站點(diǎn)OceanStor9000OceanStor9000/a/b/c/d/h/jWAN遠(yuǎn)程復(fù)制,高效數(shù)據(jù)容災(zāi)保護(hù)InfoReplicator目錄級(jí)企業(yè)級(jí)WORM,可靠安全的數(shù)據(jù)保護(hù)已經(jīng)處于保護(hù)狀態(tài)的數(shù)據(jù),不可修改和刪除,只能讀取過期文件可以刪除不可修改支持單獨(dú)的WORM時(shí)鐘,設(shè)置成功后不允許修改子目錄自動(dòng)獲取父目錄的WORM屬性只讀權(quán)限自定義WORM時(shí)鐘管理員權(quán)限WORM軟時(shí)鐘WORM目錄配置WORM日志保護(hù)方式(手動(dòng)或自動(dòng))企業(yè)級(jí)WORM,可靠安全的數(shù)據(jù)保護(hù)已經(jīng)處于保護(hù)狀態(tài)的數(shù)據(jù),多種配額策略,靈活空間管理總經(jīng)理財(cái)務(wù)部人事部員工a員工b員工c員工d20TB40TB40TB10TB10TB10TB10TB存儲(chǔ)100TB軟配額文件數(shù)配額容量配額硬配額用戶配額目錄配額用戶組配額匹配復(fù)雜的“組織架構(gòu)”,空間靈活分配多種配額策略,存儲(chǔ)空間精打細(xì)算InfoAllocator多種配額策略,靈活空間管理總經(jīng)理財(cái)務(wù)部人事部員工a員工b員工優(yōu)化存儲(chǔ)方式,提升檢索效率Node1NFS/CIFS/POSIX/HDFS/SQL應(yīng)用同步元數(shù)據(jù)、建立索引文件接口訪問數(shù)據(jù)SQL接口快速檢索分布式文件系統(tǒng)分布式數(shù)據(jù)庫元數(shù)據(jù)Node2元數(shù)據(jù)NodeN元數(shù)據(jù)Node3準(zhǔn)實(shí)時(shí)檢索:打通文件系統(tǒng)與分布式數(shù)據(jù)庫的通道,實(shí)現(xiàn)基于元數(shù)據(jù)的快速檢索批量/可編程檢索接口:支持SQL規(guī)范,利用腳本/函數(shù)實(shí)現(xiàn)批量/復(fù)雜條件數(shù)據(jù)檢索InfoExplorer比傳統(tǒng)文件系統(tǒng)查找效率提升10萬倍以上優(yōu)化存儲(chǔ)方式,提升檢索效率Node1NFS/CIFS/PO便捷管理,輕松上手1套管理軟件:存儲(chǔ)、分析、歸檔統(tǒng)一管理1分鐘上手,3分鐘熟練2種系統(tǒng)資源:物理資源和邏輯資源3類管理終端:PC/Phone/Pad4種告警方式:

E-mail/聲音/短信/指示燈短信Email聲音PCPhone

指示燈物理資源管理邏輯資源管理Pad便捷管理,輕松上手1套管理軟件:存儲(chǔ)、分析、歸檔統(tǒng)一管理1分優(yōu)化資源配置,降低采購成本吞吐能力每TB成本大容量歸檔節(jié)點(diǎn)C系列高性能存儲(chǔ)節(jié)點(diǎn)P系列C72C36P36P12多種節(jié)點(diǎn)類型組合,性能、容量與成本完美平衡I節(jié)點(diǎn)P25優(yōu)化資源配置,降低采購成本吞吐能力每TB成本大容量歸檔節(jié)點(diǎn)C靈活開放的接口協(xié)議,適配多業(yè)務(wù)場(chǎng)景NFSRESTfulAPIJBDCCIFSOBDCFTPHDFSS3傳統(tǒng)接口:NFS、CIFS、FTPHDFS:無縫對(duì)接Hadoop,高效率存儲(chǔ)+高效率分析多種訪問接口開放的架構(gòu)標(biāo)準(zhǔn)X86服務(wù)器平臺(tái)廣泛的接口定義,幾乎適用所有半結(jié)構(gòu)化,非結(jié)構(gòu)化數(shù)據(jù)處理靈活開放的接口協(xié)議,適配多業(yè)務(wù)場(chǎng)景NFSRESTfulAP打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4媒體娛樂行業(yè)打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)媒體廣電應(yīng)用場(chǎng)景——電視臺(tái)場(chǎng)景介紹磁帶/云存儲(chǔ)存儲(chǔ)歸檔媒資庫大容量低TCO上下載媒資管理/在線媒資庫編目檢索高效檢索快速獲取……采集系統(tǒng)編輯包裝合成編輯系統(tǒng)穩(wěn)定寫帶寬穩(wěn)定讀帶寬低讀取時(shí)延播出系統(tǒng)播出強(qiáng)穩(wěn)定高可靠備播傳統(tǒng)方案基于業(yè)務(wù)系統(tǒng)的煙囪式架構(gòu)資源難共享,架構(gòu)難擴(kuò)展,部署時(shí)間長(zhǎng)媒體廣電應(yīng)用場(chǎng)景——電視臺(tái)場(chǎng)景介紹磁帶/云存儲(chǔ)存儲(chǔ)歸檔媒資庫融合生產(chǎn)存儲(chǔ)解決方案存儲(chǔ)資源池收錄制作媒資庫備播

低碼工作站編輯/渲染/合成衛(wèi)星/攝像/DVD高碼工作站編輯/渲染/合成編目/檢索/轉(zhuǎn)碼/web播出、播控網(wǎng)絡(luò)層IP

OceanStor9000高性能資源池(第一級(jí))大容量資源池(第二級(jí))方案亮點(diǎn)融合:采、編、播、管、存多業(yè)務(wù)共享存儲(chǔ)資源池,按需部署,動(dòng)態(tài)調(diào)配;數(shù)據(jù)分級(jí)存放,內(nèi)部智能遷移和生命周期管理彈性:全分布式架構(gòu)、全I(xiàn)P互聯(lián);存儲(chǔ)資源池可擴(kuò)展至60PB,支持新業(yè)務(wù)快速接入高效:統(tǒng)一命名空間,性能隨節(jié)點(diǎn)增加線性增長(zhǎng),輕松滿足上層制作業(yè)務(wù)>10GB/s的帶寬需求高清制作新聞制作媒資管理融合生產(chǎn)融合生產(chǎn)存儲(chǔ)解決方案存儲(chǔ)資源池收錄制作媒資庫備播2-25分鐘2分鐘0.5分鐘2.5分鐘排隊(duì)等待定位抓取磁帶加載文件傳輸在線媒資庫近線帶庫在線存儲(chǔ)0-5分鐘2.5分鐘排隊(duì)等待文件傳輸7分鐘-30分鐘2.5分鐘-7.5分鐘OceanStor9000統(tǒng)一命名空間Tier1Tier2Tier3現(xiàn)場(chǎng)低并發(fā)處理<1分鐘:基于分級(jí)的跳躍式回遷傳統(tǒng)分散存儲(chǔ)存儲(chǔ)資源池化磁帶型號(hào)標(biāo)稱容量(壓縮比2:1)native容量網(wǎng)上參考價(jià)格(人民幣)每TB的native容量的價(jià)格IBMLTO53TB1.5TB420元280元/TBIBMLTO41.6TB0.8TB320元400元/TBIBMLTO3800GB0.4TB240元600元/TB每年約15%降幅LTO標(biāo)準(zhǔn)磁帶每2年更新1代,價(jià)格呈降低趨勢(shì)。以IBM磁帶為例:每年約20%降幅如沒有創(chuàng)新性技術(shù),2017年磁盤和磁帶價(jià)格持平,2018年將磁盤價(jià)格低于磁帶;SMR技術(shù)的使用,磁盤和磁帶價(jià)格持平的時(shí)間會(huì)提前,推測(cè)為2015~2016年。磁盤的成本逆襲(更快的價(jià)格降幅)冷數(shù)據(jù)資產(chǎn)無帶化,在線應(yīng)用,瞬間回遷2-25分鐘2分鐘0.5分鐘2.5分鐘排隊(duì)等待定位抓取磁帶加開放協(xié)作與聯(lián)合創(chuàng)新應(yīng)用層文件系統(tǒng)層網(wǎng)絡(luò)層系統(tǒng)集成開放協(xié)作與聯(lián)合創(chuàng)新應(yīng)用層文件系統(tǒng)層網(wǎng)絡(luò)層系統(tǒng)集成打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼見,行業(yè)深度剖析3行以見效,華為應(yīng)用實(shí)踐4視頻監(jiān)控行業(yè)打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼平安城市視頻云中心解決方案視頻云中心智能分析實(shí)時(shí)調(diào)閱圖像偵查人臉對(duì)比GIS系統(tǒng)共享分析歸檔聯(lián)網(wǎng)

存儲(chǔ)池OceanStor9000業(yè)務(wù)系統(tǒng)地鐵商業(yè)道路小區(qū)視頻采集融合匯聚,更大范圍快速高效,更快響應(yīng)數(shù)據(jù)安全,更可信賴開放架構(gòu),海量空間,簡(jiǎn)單易接入保證各種來源的視頻數(shù)據(jù)融合并行架構(gòu),彈性能力,多處理模式保證各種類型的數(shù)據(jù)視頻高效分析分布RAID,彈性冗余,自動(dòng)容災(zāi)保證關(guān)鍵視頻的持久可信賴平安城市視頻云中心解決方案視頻云中心智能分析實(shí)時(shí)調(diào)閱圖像偵查統(tǒng)一命名空間,按需使用,融合保證數(shù)據(jù)匯聚S/video最大60PB單一命名空間開放的架構(gòu),可提供最大60PB的統(tǒng)一的存儲(chǔ)資源池,各種攝像頭視頻都可以集中進(jìn)行存儲(chǔ)和管理;系統(tǒng)擴(kuò)容時(shí),擴(kuò)充的容量可直接被納入資源池使用,避免維護(hù)多套存儲(chǔ)設(shè)備的困難。統(tǒng)一命名空間,按需使用,融合保證數(shù)據(jù)匯聚S/v可靠保證數(shù)據(jù)安全,線索可回溯分布式數(shù)據(jù)冗余

數(shù)據(jù)分散校驗(yàn)存儲(chǔ)多個(gè)節(jié)點(diǎn),多個(gè)節(jié)點(diǎn)故障數(shù)據(jù)不丟失,業(yè)務(wù)不停頓關(guān)鍵視頻4級(jí)冗余

關(guān)鍵視頻最高可達(dá)4級(jí)冗余,可實(shí)現(xiàn)4份冗余校驗(yàn)容災(zāi)保護(hù)

關(guān)鍵視頻自動(dòng)容災(zāi)備份,關(guān)鍵視頻0丟失容災(zāi)保護(hù)關(guān)鍵視頻彈性冗余分布式數(shù)據(jù)冗余+1+2+3+4彈性冗余快速恢復(fù)多層視頻安全技術(shù)可靠保證數(shù)據(jù)安全,線索可回溯分布式數(shù)據(jù)冗余容災(zāi)保護(hù)關(guān)鍵視頻彈打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼見,行業(yè)深度剖析3行以見效,華為應(yīng)用實(shí)踐4高性能計(jì)算行業(yè)打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼模擬地震波地震資料處理油藏模擬成像可視化地震資料收集石油勘探業(yè)務(wù)分析地震資料處理過程計(jì)算能力數(shù)據(jù)處理隨著處理精度的增加、算法復(fù)雜度的增加,對(duì)計(jì)算能力的需求持續(xù)增加隨著勘探面積的擴(kuò)大和數(shù)據(jù)采集密度的增加,對(duì)數(shù)據(jù)處理能力的需求急劇增加常規(guī)處理疊前時(shí)間/深度偏移處理疊后常規(guī)處理

石油勘探業(yè)務(wù)流程:反射波數(shù)據(jù)采集:野外人工模擬地震波,通過儀器收集反射波情況。地震資料處理:把采集所獲得的地震波在地層中傳播的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)信息進(jìn)行去偽存真處理,轉(zhuǎn)化為地質(zhì)信息。油藏模擬:經(jīng)過計(jì)算分析,反推出地下的生油、儲(chǔ)油、蓋層的地質(zhì)構(gòu)造特點(diǎn)。模擬地震波地震資料處理油藏模擬成像可視化地震資料收集石油勘探性能大量的地質(zhì)數(shù)據(jù)需要計(jì)算、處理和分析,要求存儲(chǔ)系統(tǒng)提供5GB/s以上的數(shù)據(jù)吞吐率需要提供PB級(jí)單一命名空間,存儲(chǔ)原始地震數(shù)據(jù)和計(jì)算中間數(shù)據(jù)石油勘探對(duì)存儲(chǔ)的關(guān)鍵訴求支持空間配額管理,存儲(chǔ)資源可以靈活的劃分給不同的計(jì)算任務(wù)(計(jì)算節(jié)點(diǎn))可靠性擴(kuò)展性易用性原始地震資料和過程數(shù)據(jù)需要長(zhǎng)期保存,要求存儲(chǔ)高可靠,數(shù)據(jù)不丟失性能大量的地質(zhì)數(shù)據(jù)需要計(jì)算、處理和分析,要求存儲(chǔ)系統(tǒng)提供5G基因測(cè)序的業(yè)務(wù)流程介紹基因測(cè)序的業(yè)務(wù)流程:基因測(cè)序(454):DNA文庫制備、PCR擴(kuò)增和焦磷酸測(cè)序,中間數(shù)據(jù)保存月半年左右,一年后歸檔;數(shù)據(jù)分析:測(cè)序得到的原始數(shù)據(jù)是長(zhǎng)度只有幾十個(gè)堿基的序列,將這些短的序列組裝或者比對(duì)到已有的基因組或者相近物種基因組序列,分析得到有生物學(xué)意義的結(jié)果;基因庫保存:儲(chǔ)存和管理本國(guó)特有的遺傳資源、生物信息和基因數(shù)據(jù)?;驍?shù)據(jù)庫Trace數(shù)據(jù)庫/SRA數(shù)據(jù)庫基因測(cè)序分析結(jié)果數(shù)據(jù)分析基因庫保存自然生物國(guó)家級(jí)基因庫基因序列基因組學(xué)研究產(chǎn)生的海量數(shù)據(jù)正以每12-18個(gè)月10倍的速度增長(zhǎng),已遠(yuǎn)超越著名的摩爾定律,這使得眾多生物企業(yè)和科研機(jī)構(gòu)面臨強(qiáng)大的數(shù)據(jù)分析和存儲(chǔ)需求。人類健康動(dòng)植物研究微生物研究藥物研發(fā)基因測(cè)序的業(yè)務(wù)流程介紹基因測(cè)序的業(yè)務(wù)流程:基因數(shù)據(jù)庫Trac基因測(cè)序?qū)Υ鎯?chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至數(shù)10GB/s的吞吐,滿足上百個(gè)計(jì)算節(jié)點(diǎn)并行處理I/O需求需要數(shù)PB甚至數(shù)10PB的存儲(chǔ)容量,以應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)過快的壓力需要智能的歸檔策略,以便將歷史數(shù)據(jù)歸檔至高性價(jià)比的存儲(chǔ)介質(zhì)基因測(cè)序?qū)Υ鎯?chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至衛(wèi)星測(cè)繪的業(yè)務(wù)流程介紹衛(wèi)星測(cè)繪的業(yè)務(wù)流程:衛(wèi)星信號(hào)處理:將獲取的高頻載波信號(hào)進(jìn)行編解碼處理,過濾出需要的影像數(shù)據(jù);衛(wèi)星影像數(shù)據(jù)處理:對(duì)影像數(shù)據(jù)進(jìn)行去“云霧”、邏輯分景、立體圖像等處理;天地圖應(yīng)用:衛(wèi)星測(cè)繪應(yīng)用中心對(duì)外提供的在線地圖應(yīng)用,涉及到大量的地圖縮影文件;離線存檔:每隔七天,將處理完的邏輯分景及立體圖像等數(shù)據(jù)離線歸檔到磁帶系統(tǒng)中;數(shù)字地形產(chǎn)品應(yīng)用:分析某時(shí)間段內(nèi)行政區(qū)域的地形變化,涉及到從離線磁盤系統(tǒng)導(dǎo)入數(shù)據(jù)到分析系統(tǒng)中。編解碼處理衛(wèi)星信號(hào)處理…數(shù)字地形產(chǎn)品應(yīng)用在線高端存儲(chǔ)…天地圖應(yīng)用…WEB服務(wù)器群LAN

Free離線磁帶庫分析存儲(chǔ)分析工作站ETL衛(wèi)星影像數(shù)據(jù)處理分布式文件系統(tǒng)衛(wèi)星信號(hào)接收與處理離線存檔Oracle數(shù)據(jù)庫編輯工作站衛(wèi)星測(cè)繪的業(yè)務(wù)流程介紹衛(wèi)星測(cè)繪的業(yè)務(wù)流程:編解碼處理衛(wèi)星信號(hào)衛(wèi)星測(cè)繪對(duì)存儲(chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至數(shù)10GB/s的吞吐,以便及時(shí)處理超大的衛(wèi)星影像數(shù)據(jù)文件需要數(shù)PB甚至數(shù)10PB的存儲(chǔ)容量,以便永久保存超大的衛(wèi)星影像數(shù)據(jù)文件需要智能的歸檔策略,以便將歷史數(shù)據(jù)歸檔至廉價(jià)的存儲(chǔ)介質(zhì)中衛(wèi)星測(cè)繪對(duì)存儲(chǔ)的關(guān)鍵訴求性能擴(kuò)展性智能歸檔需要數(shù)GB/s甚至HPC行業(yè)對(duì)存儲(chǔ)的需求數(shù)據(jù)增長(zhǎng)迅速,如何與業(yè)務(wù)相匹配?多套系統(tǒng),分散的數(shù)據(jù),如何簡(jiǎn)化管理?數(shù)據(jù)如何快速流動(dòng),有效裝載?50%數(shù)據(jù)需要長(zhǎng)期保存,如何智能歸檔?生產(chǎn)系統(tǒng)分析系統(tǒng)歸檔系統(tǒng)HPC行業(yè)對(duì)存儲(chǔ)的需求數(shù)據(jù)增長(zhǎng)迅速,如何與業(yè)務(wù)相匹配?多套系HPC存儲(chǔ)解決方案,助力創(chuàng)新發(fā)展計(jì)算頭節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)隊(duì)列1計(jì)算節(jié)點(diǎn)隊(duì)列2計(jì)算節(jié)點(diǎn)隊(duì)列3…核心交換機(jī)(萬兆或InfiniBand交換機(jī))千兆GE交換機(jī)數(shù)據(jù)采集用戶查詢?cè)L問萬兆以太網(wǎng)絡(luò)或InfiniBand網(wǎng)絡(luò)千兆以太網(wǎng)絡(luò)…OceanStor9000萬兆或InfiniBand交換機(jī)HPC存儲(chǔ)解決方案,助力創(chuàng)新發(fā)展計(jì)算頭節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)隊(duì)列1華為方案優(yōu)勢(shì)匯總?cè)蝾I(lǐng)先的讀寫性能,單節(jié)點(diǎn)1.6GB/s吞吐,超過500萬+OPS,400GB/s帶寬,充分滿足高性能應(yīng)用的需求高性能彈性擴(kuò)展高可用簡(jiǎn)單易用3~288節(jié)點(diǎn)線性擴(kuò)展,單一文件系統(tǒng)容量可達(dá)60PB,滿足未來業(yè)務(wù)發(fā)展整體性能隨存儲(chǔ)節(jié)點(diǎn)數(shù)量線性增長(zhǎng)全對(duì)稱架構(gòu),采用節(jié)點(diǎn)間分布式RAID技術(shù),系統(tǒng)無單點(diǎn)故障,長(zhǎng)時(shí)間穩(wěn)定運(yùn)行,數(shù)據(jù)更安全實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理全方位可視化統(tǒng)一資源管理,自動(dòng)化統(tǒng)計(jì)及分析,管理更簡(jiǎn)單華為方案優(yōu)勢(shì)匯總?cè)蝾I(lǐng)先的讀寫性能,單節(jié)點(diǎn)1.6GB/s吞吐打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼見,行業(yè)深度剖析3行以見效,華為應(yīng)用實(shí)踐4海量文件存檔打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)12目錄真知灼票據(jù)影像歸檔解決方案分行票據(jù)影像存儲(chǔ)系統(tǒng)ECM集群銀行業(yè)務(wù)系統(tǒng)索引數(shù)據(jù)庫后督系統(tǒng)稽查系統(tǒng)配置管理庫ECM集群數(shù)據(jù)清理Hadoop分析集群業(yè)務(wù)系統(tǒng)ECM前置緩存ECM及分析系統(tǒng)銀行歸檔平臺(tái)柜員集中作業(yè)系統(tǒng)遠(yuǎn)程集中授權(quán)系統(tǒng)票據(jù)影像集中歸檔存儲(chǔ)集群NFSCIFSSQLHDFS……OceanStor9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)以彈性擴(kuò)展的存儲(chǔ)架構(gòu),滿足百億級(jí)文件管理并提升歸檔查詢效率票據(jù)影像歸檔解決方案分行票據(jù)影像存儲(chǔ)系統(tǒng)ECM集群銀行業(yè)務(wù)系數(shù)億級(jí)海量文件,秒級(jí)查找效率比傳統(tǒng)文件系統(tǒng)查找效率提升10萬倍以上創(chuàng)新的索引查找文件路徑變形金剛.avi/娛樂/電影/變形金剛3.avi卷珠簾.mp3/娛樂/音樂/流行/卷珠簾.mp3……時(shí)間都去哪兒了.mp3/娛樂/音樂/流行/時(shí)間都去哪兒了.mp3….…./娛樂電影變形金剛3.avi工作程序流行時(shí)間都去哪兒了.mp3卷珠簾.mp3古典驅(qū)動(dòng)Word.exeExcel.exePPT.exe文檔Sogoupinyin.exe辦公系統(tǒng)傳統(tǒng)逐級(jí)遍歷時(shí)間都去哪兒了.mp3音樂/資料娛樂電影變形金剛3.avi工作程序流行卷珠簾.mp3古典驅(qū)動(dòng)Word.exeExcel.exePPT.exe文檔Sogoupinyin.exe辦公系統(tǒng)音樂資料(以1億文件為基準(zhǔn))20小時(shí)

VS

0.1秒數(shù)億級(jí)海量文件,秒級(jí)查找效率比傳統(tǒng)文件系統(tǒng)查找效率提升10萬按需配置,可自定義的歸檔策略高性能存儲(chǔ)節(jié)點(diǎn)大容量歸檔節(jié)點(diǎn)SATASASSSD業(yè)界獨(dú)有的可編程歸檔策略存儲(chǔ)區(qū)歸檔區(qū)SELECTfid,filepath

FROM

file_meta_data

WHERE

owner=“金庸”ANDtype=“小說”ANDcompileage<“1970s”(歸檔金庸在1970年以前創(chuàng)作的小說)數(shù)據(jù)價(jià)值決定存儲(chǔ)位置,自動(dòng)實(shí)現(xiàn)資源最優(yōu)按需配置,可自定義的歸檔策略高性能存儲(chǔ)節(jié)點(diǎn)大容量歸檔節(jié)點(diǎn)SA打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)深度剖析23目錄行以見效,華為應(yīng)用實(shí)踐4打破陳規(guī),華為應(yīng)對(duì)之道知易行難,大數(shù)據(jù)的挑戰(zhàn)1真知灼見,行業(yè)華為OceanStor存儲(chǔ)應(yīng)用于中央電視臺(tái)高清制作島在提供大容量的前提下,能夠提供超過2.4GB/s的吞吐量;可持續(xù)擴(kuò)展的存儲(chǔ)架構(gòu),滿足未來業(yè)務(wù)高速增長(zhǎng)的擴(kuò)展需求。業(yè)務(wù)挑戰(zhàn)部署一套華為OceanStor9000存儲(chǔ),結(jié)合業(yè)務(wù)與上層應(yīng)用“中科大洋編輯軟件”適配,滿足實(shí)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論