OceanStorN8500集群NAS存儲系統產品技術白皮書

1、OceaanSttor N85500集集群NAAS存儲系統統產品技技術白皮皮書IssuueV2.11Datee DATE yyyy-MM-dd * MERGEFORMAT 20222-099-044DOCPROPERTY Confidential華為技術術有限公公司OceanStor N8500 集群NAS存儲系統技術白皮書 DATE yyyy-MM-dd * MERGEFORMAT 2022-09-04版權所有 華為技術有限公司第頁版權所有有 華為技技術有限限公司 20112。 保留一一切權利利。非經本公公司書面面許可，任何單單位和個個人不得得擅自摘摘抄、復復制本文文檔內容容的部分分或全部部

2、，并不不得以任任何形式式傳播。商標聲明明和其他華華為商標標均為華華為技術術有限公公司的商商標。本文檔提提及的其其他所有有商標或或注冊商商標，由由各自的的所有人人擁有。注意您購買的的產品、服務或或特性等等應受華華為公司司商業(yè)合合同和條條款的約約束，本本文檔中中描述的的全部或或部分產產品、服服務或特特性可能能不在您您的購買買或使用用范圍之之內。除除非合同同另有約約定，華華為公司司對本文文檔內容容不做任任何明示示或默示示的聲明明或保證證。由于產品品版本升升級或其其他原因因，本文文檔內容容會不定定期進行行更新。除非另另有約定定，本文文檔僅作作為使用用指導，本文檔檔中的所所有陳述述、信息息和建議議不構成

3、成任何明明示或暗暗示的擔擔保。華為技術術有限公公司為客客戶提供供全方位位的技術術支持，用戶可可與就近近的華為為辦事處處聯系，也可直直接與公公司總部部聯系。華為技術術有限公公司地址：深圳市龍龍崗區(qū)坂坂田華為為總部辦辦公樓郵郵編：55181129網址： HYPERLINK 客戶服務務電話：07555-28856000000 4000833021118客戶服務務傳真：07555-28856001111客戶服務務郵箱： HYPERLINK mailto:Support Suppportthuuaweei.ccom目錄TOC o 3-3 h z t 標題 1,1,標題 2,2,樣式 標題 2headin

4、g 2 + 非加粗,2 HYPERLINK l _Toc344122737 1 概述述 PAGEREF _Toc344122737 h 5 HYPERLINK l _Toc344122738 2 N885000集群NAAS存儲儲系統架架構 PAGEREF _Toc344122738 h 6 HYPERLINK l _Toc344122739 2.1 產品邏邏輯結構構 PAGEREF _Toc344122739 h 6 HYPERLINK l _Toc344122740 2.2 集群NNAS軟軟件 PAGEREF _Toc344122740 h 6 HYPERLINK l _Toc3441227

5、41 2.3 集群NNAS引引擎 PAGEREF _Toc344122741 h 7 HYPERLINK l _Toc344122742 2.4 交換設設備配置置 PAGEREF _Toc344122742 h 8 HYPERLINK l _Toc344122743 2.5 存儲單單元配置置 PAGEREF _Toc344122743 h 8 HYPERLINK l _Toc344122744 2.6 管理子子系統 PAGEREF _Toc344122744 h 88 HYPERLINK l _Toc344122745 3 組網網以及環(huán)環(huán)境要求求 PAGEREF _Toc344122745 h

6、 9 HYPERLINK l _Toc344122746 3.1 集群NNAS存存儲系統統 PAGEREF _Toc344122746 h 9 HYPERLINK l _Toc344122747 3.2 NASS/SAAN一體體化典型型組網 PAGEREF _Toc344122747 h 110 HYPERLINK l _Toc344122748 3.3 數據備備份組網網PAGEREF _Toc344122748 h 10 HYPERLINK l _Toc344122749 3.4 系統運運行環(huán)境境 PAGEREF _Toc344122749 h 12 HYPERLINK l _Toc3441

7、22750 4 軟件件特性 PAGEREF _Toc344122750 h 113 HYPERLINK l _Toc344122751 4.1 集群文文件系統統 PAGEREF _Toc344122751 h 13 HYPERLINK l _Toc344122752 4.1.1 技技術背景景 PAGEREF _Toc344122752 h 13 HYPERLINK l _Toc344122753 4.1.2 技技術原理理 PAGEREF _Toc344122753 h 13 HYPERLINK l _Toc344122754 4.1.3 技技術特點點 PAGEREF _Toc344122754

8、 h 19 HYPERLINK l _Toc344122755 4.2 快照技技術 PAGEREF _Toc344122755 h 199 HYPERLINK l _Toc344122756 4.2.1 技技術背景景 PAGEREF _Toc344122756 h 19 HYPERLINK l _Toc344122757 4.2.2 技技術原理理 PAGEREF _Toc344122757 h 19 HYPERLINK l _Toc344122758 4.2.3 技技術特點點 PAGEREF _Toc344122758 h 21 HYPERLINK l _Toc344122759 4.3 動態(tài)

9、分分級存儲儲技術 PAGEREF _Toc344122759 h 222 HYPERLINK l _Toc344122760 4.3.1 技技術背景景 PAGEREF _Toc344122760 h 22 HYPERLINK l _Toc344122761 4.3.2 技技術原理理 PAGEREF _Toc344122761 h 22 HYPERLINK l _Toc344122762 4.3.3 技技術特點點 PAGEREF _Toc344122762 h 26 HYPERLINK l _Toc344122763 4.4 遠程復復制技術術 PAGEREF _Toc344122763 h 26

10、 HYPERLINK l _Toc344122764 4.4.1 技技術背景景 PAGEREF _Toc344122764 h 26 HYPERLINK l _Toc344122765 4.4.2 技技術原理理 PAGEREF _Toc344122765 h 27 HYPERLINK l _Toc344122766 4.4.3 技技術特點點 PAGEREF _Toc344122766 h 28 HYPERLINK l _Toc344122767 4.5 配額管管理技術術 PAGEREF _Toc344122767 h 29 HYPERLINK l _Toc344122768 4.5.1 技技術

11、背景景 PAGEREF _Toc344122768 h 29 HYPERLINK l _Toc344122769 4.5.2 技技術原理理 PAGEREF _Toc344122769 h 29 HYPERLINK l _Toc344122770 4.5.3 技技術特點點 PAGEREF _Toc344122770 h 31圖目錄TOC c 圖圖 1 產品邏邏輯結構構圖 PAGEREF _Toc344122771 h 6圖 2 軟件件及應用用架構示示意圖 PAGEREF _Toc344122772 h 77圖 3 N85500集集群NAAS存儲儲系統關關系圖 PAGEREF _Toc344122

12、773 h 99圖 4 SANN、NASS一體化化典型組組網 PAGEREF _Toc344122774 h 100圖 5 使用NBBU客戶戶端備份份方式組組網 PAGEREF _Toc344122775 h 111圖 6 使用NDDMP備備份組網網 PAGEREF _Toc344122776 h 11圖 7 數據通通道全互互聯技術術 PAGEREF _Toc344122777 h 14圖 8 通信通通道全互互聯技術術 PAGEREF _Toc344122778 h 14圖 9 全局存存儲空間間管理技技術 PAGEREF _Toc344122779 h 166圖 100 高效效的集群群鎖技術術

13、 PAGEREF _Toc344122780 h 17圖 111 對稱稱式元數數據處理理技術 PAGEREF _Toc344122781 h 117圖 122 全局局名字空空間技術術 PAGEREF _Toc344122782 h 18圖 133 集群群多節(jié)點點并發(fā)訪訪問技術術 PAGEREF _Toc344122783 h 18圖 144 主文文件系統統及其快快照文件件集 PAGEREF _Toc344122784 h 200圖 155 新生生成快照照 PAGEREF _Toc344122785 h 20圖 166 主文文件系統統數據更更新 PAGEREF _Toc344122786 h 2

14、11圖 177 對快快照進行行數據更更新 PAGEREF _Toc344122787 h 222圖 188 N885000多卷文文件系統統示意圖圖 PAGEREF _Toc344122788 h 23圖 199 N885000遠程復復制技術術實現步步驟 PAGEREF _Toc344122789 h 277圖 200 N885000遠程復復制技術術實現機機制 PAGEREF _Toc344122790 h 288圖29 配額管管理邏輯輯架構 PAGEREF _Toc344122791 h 330圖30 配額管管理執(zhí)行行方式 PAGEREF _Toc344122792 h 331概 述傳統NAA

15、S系統統存在擴擴展性差差、可靠靠性差等等缺陷。為了克克服傳統統NASS系統的的缺陷，集群NNAS技技術應運運而生。集群NNAS系系統具有有高擴展展、高性性能、高高可用等等特點。本文檔檔介紹華華為N885000集群NNAS存存儲系統統軟件和和技術的的相關細細節(jié)。N85000集群群NASS存儲系系統架構構產品邏輯輯結構N85000集群群NASS存儲系系統（以以下簡稱稱N85500或或N85500系系統）由由集群NNAS引引擎（由由集群NNAS引引擎硬件件+集群群NASS軟件組組成）、交換設設備、存存儲單元元以及管管理子系系統組成成，其中中集群NNAS軟軟件包含含定制化化的操作作系統，不需要要額外選

16、選擇操作作系統平平臺。圖 SEQ 圖 * ARABIC1 產品邏邏輯結構構圖集群NAAS軟件件集群NAAS軟件件作為整整個N885000集群NNAS存存儲系統統的核心心部件，其作用用除了管管理存儲儲并提供供NASS服務外外，還包包括對集集群系統統自身的的管理以以及相關關的故障障處理。N85000的集集群NAAS軟件件基于商商用的CCFS開開發(fā)，通通過在專專用644位存儲儲系統上上安裝CCFS軟軟件，并并配置NNFS和和sammba等等服務以以對外提提供NAAS訪問問接口。N85000集群群NASS軟件的的核心部部件CFFS提供供了大量量的增值值功能，如快照照、動態(tài)態(tài)分級存存儲等功功能。軟軟件及

17、應應用架構構示意圖圖如下圖圖所示。軟件由由核心層層的CFFS、CCVM軟軟件和用用戶層的的各類NNAS服服務應用用組成。軟件部部署于集集群NAAS引擎擎節(jié)點（Nodde）上上，集群群NASS引擎節(jié)節(jié)點可通通過集群群方式擴擴展，提提供全AActiive的的集群架架構。所所有節(jié)點點可訪問問同一個個共享存存儲空間間，對外外可通過過以太網網向上層層應用提提供NAAS業(yè)務務。圖 SEQ 圖 * ARABIC2 軟件件及應用用架構示示意圖集群NAAS引擎擎NAS引引擎是集集群軟件件運行的的硬件平平臺，通通過與軟軟件的配配合，將將后端存存儲提供供的卷以以NASS方式提提供給客客戶使用用，需要要較好的的I/O

18、O處理能能力、網網絡帶寬寬和可靠靠性。交換設備備配置在N85500集集群NAAS軟件件中，集集群節(jié)點點間的通通訊通過過專用的的心跳網網絡來實實現，同同時，連連接多套套存儲單單元時需需要光纖纖交換設設備。心心跳網絡絡對交換換機的帶帶寬要求求低，光光纖交換換設備要要求支持持8Gbb接口。當選擇擇的節(jié)點點數超過過2個時時，需要要額外配配置2臺臺以太網網交換機機，作為為集群NNAS的的心跳鏈鏈路使用用。存儲單元元配置支持S226000T、S555000T、SS56000T、S58800TT、S668000T存儲儲系統。上述所所有類型型的存儲儲單元，均可以以向下細細分為兩兩個組件件，即控控制框和和硬盤框

19、框，其中中控制框框包含了了控制器器及控制制軟件，硬盤框框用于磁磁盤容量量擴展。在N85500集集群NAAS存儲儲系統中中，將控控制框稱稱之為存存儲單元元控制框框，將硬硬盤框稱稱之為存存儲單元元硬盤框框。存儲儲單元控控制框前前可增加加型號的的描述區(qū)區(qū)分各種種型號，如S55x000T存儲儲單元控控制框。管理子系系統N85000集群群NASS存儲系系統提供供GUII和CLLI兩種種管理方方式。GGUI支支持NAAS引擎擎和存儲儲單元統統一管理理，CLLI僅支支持NAAS引擎擎和存儲儲單元獨獨立管理理。另外外有些高高級功能能及部分分系統配配置功能能僅適用用CLII支持，面向高高級管理理維護人人員。組網

20、以及及環(huán)境要要求集群NAAS存儲儲系統圖 SEQ 圖 * ARABIC3NN85000集群群NASS存儲系系統關系系圖NAS/SANN一體化化典型組組網圖 SEQ 圖 * ARABIC4 SANN、NAAS一體體化典型型組網組網說明明：N85000系統統的NAAS、SSAN一一體化體體現為從從后端單單元直接接提供FFC或iiSCSSI接口口，提供供FC-SANN和IPP-SAAN的組組網方式式供用戶戶業(yè)務使使用，使使用S226000T、S555000T、SS56000T、S58800TT或S668000T時，由于后后端單元元可提供供較多的的接口，在提供供N85500集集群節(jié)點點使用之之余，其其

21、余接口口可作為為SANN接口使使用。在N85500系系統中，僅使用用了存儲儲單元的的部分端端口，此此外，在在引擎節(jié)節(jié)點數量量比較少少或使用用交換形形態(tài)的情情況下，可以根根據需要要配置110Gbbps iSCCSI扣扣卡，從從而為用用戶提供供萬兆IIP SSAN；若用戶戶有SAAN的需需求，則則可以在在陣列上上將未使使用的磁磁盤空間間（以LLUN為為單位）通過空空閑的FFC端口口或iSSCSII/100Gbpps iiSCSSI端口口提供給給用戶使使用，達達到NAAS/SSAN一一體化的的效果，在這種種組網下下，用戶戶的具體體網絡環(huán)環(huán)境可能能為無域域的環(huán)境境、ADD域環(huán)境境、NIIS域環(huán)環(huán)境或L

22、LDAPP域環(huán)境等等。數據備份份組網N85000集群群NASS存儲系系統支持持兩種備備份方式式，一是是通過集集成的NNetBBackkup客客戶端進進行備份份；二是是通過NNDMPP協議進進行備份份。兩種種備份方方式的組組網如圖圖示：圖 SEQ 圖 * ARABIC5 使用NNBU客客戶端備備份方式式組網組網說明明：使用NBBU客戶戶端進行行備份時時，需要要環(huán)境中中包含NNBU服服務器(包括MMastter Serrverr和Meediaa Seerveer)，如果使使用DNNS，則則要求DDNS服服務器能能對NBBU服務務器進行行正確解解析，網網絡連接接好后在在N85500系系統上配配置NB

23、BU服務務器相關關的信息息，然后后在NBBU MMastter Serrverr上進行行備份策策略等配配置后，備份即即可按照照設置的的策略正正常進行行，數據據流從NN85000引擎擎經Meediaa Seerveer后備備份到后后端介質質，無需需再進行行干預。圖 SEQ 圖 * ARABIC6 使用NNDMPP備份組組網組網說明明：使用NDDMP協協議進行行備份時時，當前前版本支支持通過過LANN進行備備份的方方式，即即備份數數據通過過IP網網絡進行行傳輸，備份采采用的協協議為標標準的NNDMPP協議。在采用用基于IIP網絡絡的NDDMP備備份時，同樣需需要有備備份服務務器（如如NBUU），由

24、由備份服服務器連連接備份份介質（磁帶庫庫設備），根據據備份軟軟件的不不同，可可能需要要相應的的選件支支持，如如使用NNBU時時需要備備份服務務器上安安裝有遠遠程NDDMP選選件，在在進行備備份時，NDMMP控制制信息由由備份服服務器下下發(fā)到NN85000系統統，N885000系統根根據控制制命令進進行備份份，將備備份數據據通過IIP網絡絡傳送到到備份服服務器的的相關模模塊（如如NBUU的Meediaa Seerveer）再再由該模模塊寫入入備份介介質。系統運行行環(huán)境N85000集群群NASS存儲系系統通過過SANN共享技技術將存存儲陣列列提供的的卷虛擬擬成可同同時供多多個集群群節(jié)點使使用的邏邏

25、輯卷，在此基基礎上，通過NNFS共共享、CCIFSS共享、FTPP等方式式為用戶戶提供文文件服務務。對最終用用戶來說說，N885000集群NNAS存存儲系統統就是一一個文件件服務器器，用戶戶通過該該文件服服務器存存取文件件。用戶戶所在的的環(huán)境可可能是比比較復雜雜的，如如AD域域、NIIS域、LDAAP等環(huán)環(huán)境，需需要N885000系統也也能支持持這些環(huán)環(huán)境，因因此，在在N85500中中也提供供了這些些域環(huán)境境的支持持，用戶戶只需要要進行相相應的配配置即可可將N885000在現有有的域環(huán)環(huán)境中運運行起來來供應用用主機訪訪問。軟件特性性集群文件件系統技術背景景N85000系統統的集群群架構，采用全

26、全互聯的的組網機機制，對對稱式集集群設計計，實現現集群節(jié)節(jié)點的全全局命名名空間，從而允允許集群群任何節(jié)節(jié)點并發(fā)發(fā)訪問任任何文件件系統的的任何文文件；并并且支持持文件內內的細粒粒度的全全局鎖，提供從從多個節(jié)節(jié)點并發(fā)發(fā)訪問相相同文件件的不同同區(qū)域，實現高高并發(fā)讀讀寫，最終終達到高高性能訪訪問系統統。技術原理理數據通道道全互聯聯技術原原理N85000系統統分為引引擎單元元和存儲儲單元，存儲單單元處理理數據塊塊的存儲儲，引擎擎單元提提供集群群文件系系統的邏邏輯功能能。引擎擎單元和和存儲單單元通過過直連全全互聯，或者交交換網絡絡實現全全互聯，從任何何一個引引擎節(jié)點點都能夠夠訪問到到任何一一個存儲儲單元，

27、從而保保證數據據通道的的暢通無無阻，并并且提供供冗余路路徑實現現高可靠靠性，如如下圖所所示。圖 SEQ 圖 * ARABIC7 數據通通道全互互聯技術術對于N88500系系統的典典型配置置，兩個引擎擎節(jié)點連連接到存存儲單元元，每個個節(jié)點都都有路徑徑連接到到陣列的的雙控端端口中，從而實實現全互互聯，并并且提高高冗余鏈鏈路；對對于N885000系統的的典型配配置，引引擎節(jié)點點通過冗冗余的交交換機連連接到存存儲單元元，每個個存儲單單元也分分別連接接到冗余余交換機機，從而而形成全全冗余的的組網。通信通道道全互聯聯技術原原理N85000系統統的引擎擎節(jié)點之之間需要要相互通通信，提提供集群群節(jié)點的的統一視

28、視圖，保保證元數數據/數數據處理理的一致致性。節(jié)節(jié)點之間間采用雙雙通道連連圖，冗冗余互聯聯，保證證通信通通道的高高效可靠靠。圖 SEQ 圖 * ARABIC8 通信通通道全互互聯技術術N85000系統統的2引引擎節(jié)點點典型配配置下，每個節(jié)節(jié)點提供供2條鏈鏈路到另另外一個個節(jié)點，從而即即使一條條鏈路故故障時，也能保保證通信信鏈路的的可靠性性。N885000系統的的多引擎擎節(jié)點，則是連連接到22個交換換機上面面，從而而提供冗冗余通信信平面，保證可可靠性。全局存儲儲空間管管理技術術原理N85000系統統在數據據通道和和通信通通道實現現全互聯聯的基礎礎上，采采用集群群卷管理理技術，提供了了全局的的存儲

29、空空間管理理。也就就是說，在集群群中的任任何節(jié)點點能夠以以相同的的卷設備備名字訪訪問同一一存儲空空間，保保證塊設設備訪問問的一致致性，如如圖9。圖SEQ 圖 * ARABIC9 全全局存儲儲空間管管理技術術高效的集集群鎖技技術原理理N85000系統統需要在在節(jié)點之之間傳遞遞元數據據/數據據，而為為了保證證數據的的一致性性，提供供了GLLM(GGlobbal locck mmanaagerr)集群群鎖技術術，如圖圖10所示示。圖 SEQ 圖 * ARABIC100 高效效的集群群鎖技術術N85000系統統的GLLM集群群技術是是構建在在LLTT(Loow LLateencyy Trransspo

30、rrt)/GABB(Grroupp Meembeershhip andd Attomiic BBroaadcaast)底層通通信基礎礎上，該該通信層層直接構構建在以以太網二二層協議議上，而而不是TTCP/IP層層上?？伎紤]到集集群通信信主要傳傳送的鎖鎖信息，通常幀幀都比較較小，而而TCPP/IPP包會帶帶來額外外的大幀幀頭開銷銷；同時時集群通通信主要要在私有有網絡內內傳遞，對TCCP/IIP在廣廣域網的的超時重重傳、滑滑動窗口口沒有太太多需求求。所以，LLLT針針對集群群鎖通信信需求，直接利利用以太太網幀傳傳送包，從而達達到提高高利用率率的目的的，并且且設計自自己的流流量控制制、超時時重傳、以

31、及重重復幀處處理，實實現高效效傳輸。同時，針針對集群群多引擎擎節(jié)點通通信的原原子要求求，設計計了GAAB模塊塊，它保保證通信信的原子子性；也也就是說說，保證證在集群群多引擎擎節(jié)點中中，消息息要么被被所有引引擎節(jié)點點受到并并確認，要么所所有引擎擎節(jié)點都都丟棄該該消息，從而不不會出現現部分確確認消息息、部分分丟棄消消息的中中間狀態(tài)態(tài)。對稱式元元數據處處理技術術原理N85000系統統中，元元數據分分為了不不同的類類型，比比如：超超級塊、日志區(qū)區(qū)、分配配單元(AU, Allloccatiion Uniit)、INOODE。這些元元數據具具有不同同的屬性性，分別別對不同同的數據據管理負負責，比比如，超超

32、級塊對對整個集集群文件件系統的的數據負負責，而而INOODE則則是針對對單獨的的那個文文件負責責。圖 SEQ 圖 * ARABIC111 對稱稱式元數數據處理理技術在元數據據分類的的基礎上上，N885000系統的的每個引引擎節(jié)點點就可以以擔當不不同元數數據處理理的責任任主體。如圖-11所示示，第一一個引擎擎節(jié)點負負責超級級塊的更更新修改改，其他他節(jié)點需需要對元元數據的的處理，都把請請求發(fā)送送給他；第二個個引擎節(jié)節(jié)點負責責文件FF1的IINODDE元數數據更新新修改，其它節(jié)節(jié)點需要要操作FF1文件件，都需需要把請請求發(fā)送送給該引引擎節(jié)點點。同時，在在任何引引擎節(jié)點點故障后后，都可可以把該該節(jié)點負

33、負責的元元數據處處理轉移移到其他他任何引引擎節(jié)點點上，從從而實現現對稱式式的元數數據處理理，實現現元數據據處理的的負載均均衡，提提高元數數據處理理的效率率。全局名字字空間技技術原理理N85000系統統采用對對稱式的的設計架架構，每每個節(jié)點點都可以以參與處處理元數數據，從從而很容容易形成成全局名名字空間間，讓系系統的每每個處理理節(jié)點都都能夠讀讀寫相同同的文件件系統，實現節(jié)節(jié)點之間間的并發(fā)發(fā)訪問，如圖112所示示。圖 SEQ 圖 * ARABIC122 全局局名字空空間技術術根據元數數據的分分類、分分片，讓讓每個節(jié)節(jié)點都能能參與元元數據的的處理，減少節(jié)節(jié)點之間間轉發(fā)元元數據/數據請請求的通通信量，

34、實現負負載均衡衡。集群多節(jié)節(jié)點并發(fā)發(fā)訪問技技術原理理N85000系統統提供了了全局的的命名空空間，從從而實現現了多個個節(jié)點可可以并發(fā)發(fā)訪問同同一個文文件系統統。除此此之外，N85500系系統還提提供全局局鎖機制制，保證證不同節(jié)節(jié)點訪問問相同文文件系統統相同文文件并發(fā)發(fā)訪問的的一致性性，通過過細粒度度的鎖設設計，保保證系統統的并發(fā)發(fā)性，如如圖133所示。圖 SEQ 圖 * ARABIC133 集群群多節(jié)點點并發(fā)訪訪問技術術當不同節(jié)節(jié)點訪問問文件FF1的不不同區(qū)域域時，通通過該文文件的所所有者(Ownner)進行仲仲裁，如如果沒有有其他節(jié)節(jié)點訪問問對應區(qū)區(qū)域，則則允許該該節(jié)點讀讀寫數據據；如果果發(fā)

35、現有有其他節(jié)節(jié)點訪問問該區(qū)域域，則出出現沖突突，該所所有者就就會讓新新請求等等待，直直到讀寫寫該區(qū)域域的請求求完成，然后通通知等待待該區(qū)域域的節(jié)點點競爭鎖鎖。通過過此機制制，實現現了集群群多節(jié)點點范圍內內的一致致鎖所處處理；同同時，通通過細粒粒度的區(qū)區(qū)域鎖設設計，保保證高并并發(fā)。技術特點點N85000集群群存儲系系統采用用全Acctivve、全全共享設設計。文文件系統統為所有有引擎節(jié)節(jié)點共享享而不是是與特定定節(jié)點綁綁定，所所有引擎擎節(jié)點可可以并發(fā)發(fā)訪問同同一文件件系統，不存在在負荷熱熱點問題題。N885000所有引引擎節(jié)點點互為備備份，某某一節(jié)點點故障時時，故障障節(jié)點原原來承擔擔的應用用可以切

36、切到其它它在線節(jié)節(jié)點。N85500所所有節(jié)點點提供業(yè)業(yè)務，互互為備用用，具有有更高的的系統可可靠性和和資源利利用率?？煺占夹g術技術背景景N85000集群群NASS存儲系系統中的的文件系系統快照照，支持持生成源源文件系系統在某某個時間間點上的的一致性性映像，在不中中斷正常常業(yè)務的的前提下下，快速速得到一一份與源源文件系系統一致致的數據據副本。副本生生成之后后立即可可用，并并且對副副本的讀讀寫操作作不再影影響源文文件系統統中的數數據。因因此通過過文件系系統快照照技術就就可以解解決如在在線備份份、數據據分析、應用測測試等難難題。用用戶可以以通過多多種方法法使用存存儲檢查查點。例例如，它它們可用用于：

37、 創(chuàng)建建可以備備份到磁磁帶的文文件系統統的穩(wěn)定定映像。 提供供源文件件系統的的磁盤備備份，在在意外刪刪除情況況下，最最終用戶戶可以恢恢復自己己的文件件。 在安安裝修補補程序之之前，創(chuàng)創(chuàng)建應用用程序的的二進制制副本，以允許許出現問問題時進進行還原原。 創(chuàng)建建文件系系統的磁磁盤備份份，可用用作傳統統的基于于磁帶備備份的補補充，從從而提供供更快的的備份和和恢復功功能。技術原理理N85000的文文件系統統快照采采用了寫寫前拷貝貝（coopy-on-wriite）技術方方式來實實現，其其實現原原理如下下：在文件系系統未進進行任何何快照前前，數據據寫入動動作與未未創(chuàng)建快快照的文文件系統統一樣：對數據據的任

38、何何修改操操作，會會直接寫寫入文件件系統中中對原有有數據進進行覆蓋蓋，原有有數據不不會被保保留。為文件系系統創(chuàng)建建快照時時，首先先會凍結結該文件件系統，創(chuàng)建一一個沒有有任何實實際數據據的快照照文件集集，快照照文件集集僅包含含指向主主文件系系統的一一組指針針。由于于不需要要拷貝數數據，因因此整個個過程耗耗時極少少，從一一秒以內內到數秒秒不等，與文件件系統中中的文件件數量有有關。NN85000中的的快照文文件集與與主文件件系統共共同使用用文件系系統空間間，無需需單獨為為快照分分配特定定的空間間。圖 SEQ 圖 * ARABIC144主文件件系統及及其快照照文件集集剛創(chuàng)建的的快照不不包含任任何實際際

39、數據，只包含含指向主主文件系系統的一一組指針針，當用用戶訪問問快照時時，實際際上訪問問的是主主文件系系統中的的數據。當主文文件系統統的數據據發(fā)生變變化后，首先舊舊數據被被拷貝到到快照文文件集中中，然后后新數據據才會寫寫到主文文件系統統中（即即coppy-oon wwritte）。圖 SEQ 圖 * ARABIC155新生成成快照圖 SEQ 圖 * ARABIC166主文件件系統數數據更新新隨著主文文件系統統不斷被被更新，原有的的數據塊塊會逐漸漸的拷貝貝到快照照文件集集中，但但如果需需要更新新的塊已已經被快快照文件件集保存存過一次次，這時時就不會會發(fā)生拷拷貝操作作，只更更新主文文件系統統即可，因

40、為快快照文件件集所映映像的只只是生成成快照時時刻的主主文件系系統映像像。當用戶需需要恢復復出快照照點時刻刻的數據據時，可可通過快快照數據據的回滾滾快速實實現，通通過回滾滾，文件件系統可可將數據據恢復到到快照點點時刻，從而避避免了快快照點后后因為人人為的錯錯誤或者者病毒的的入侵等等引起的的源文件件系統損損壞造成成的數據據丟失。需要說說明的是是，快照照的回滾滾是不可可逆的，回滾只只能將數數據恢復復到某一一特定的的時間點點，但該該時間點點到故障障點之間間的數據據將會丟丟失。如如果僅僅僅是特定定的幾個個文件被被損壞、誤修改改、誤刪刪除，則則無需進進行整個個文件系系統的回回滾，直直接從特特定時間間的快照

41、照文件集集中將這這些文件件恢復到到主文件件系統中中即可。當快照被被刪除后后，指向向主文件件系統的的指針和和寫入時時拷貝數數據都將將被清空空，快照照創(chuàng)建時時間點的的數據變變?yōu)椴豢煽捎?。從上面的的過程可可以看到到，當快快照創(chuàng)建建后，無無論后續(xù)續(xù)的數據據怎樣的的讀寫和和改變，只要快快照不被被刪除，我們均均能夠及及時的獲獲取到快快照創(chuàng)建建時間點點的數據據。技術特點點可寫快照照N85000中的的文件系系統快照照可以為為用戶提提供讀寫寫業(yè)務，用戶可可通過創(chuàng)創(chuàng)建快照照方便的的重定義義數據用用途，實實現諸如如測試、備份、歸檔等等各類操操作。對對快照的的修改操操作，需需要說明明的是，如果對對某一快快照執(zhí)行行了寫

42、操操作，那那么該快快照將不不再是快快照創(chuàng)建建時間點點的一致致性映像像，不能能使用該該快照進進行文件件系統回回滾。圖 SEQ 圖 * ARABIC177對快照照進行數數據更新新快速數據據恢復對于傳統統的離線線備份，備份數數據無法法直接在在線讀取取，必須須經過較較長時間間的數據據恢復過過程才能能夠獲得得原數據據在備份份時間點點的可用用副本，從而實實現數據據的還原原。N885000的文件件系統快快照可以以直接從從快照中中恢復出出快照時時間點的的數據，從而實實現了方方便的數數據回滾滾。循環(huán)定時時快照，實現持持續(xù)數據據保護N85000對同同一文件件系統支支持多個個時間點點的快照照，用戶戶可以定定制策略略

43、定時自自動進行行快照的的創(chuàng)建操操作。當當多個時時間點的的快照采采用循環(huán)環(huán)的方式式沿時間間軸向前前推進自自動操作作時，就就非常方方便且低低成本的的實現了了持續(xù)數數據保護護?？煺諏π孕阅艿挠坝绊懺谖募迪到y中使使用快照照并非對對系統性性能沒有有影響。在文件件系統中中創(chuàng)建快快照后，讀操作作的性能能不會受受到影響響，但卻卻增加了了寫操作作的復雜雜度。當當原文件件系統數數據更新新較大時時，寫操操作增加加，系統統性能有有一定的的降低。動態(tài)分級級存儲技技術技術背景景N85000動態(tài)態(tài)分級存存儲特性性的主要要價值是是降低平平均聯機機存儲硬硬件成本本，而又又不會相相應地增增加管理理的復雜雜性。重重要的文文件放置

44、置在高可可用性、高性能能（相應應地，成成本也非非常高）的存儲儲設備上上；不太太重要的的文件放放置在成成本較低低的、性性能和可可用性規(guī)規(guī)格較低低的設備備上。N85000動態(tài)態(tài)分級存存儲特性性可自動動將文件件重定位位到正確確類型的的存儲設設備上，而不更更改它們們在文件件系統命命名空間間中的邏邏輯位置置。由于于物理重重定位的的文件保保留在相相同的邏邏輯位置置上，因因此使用用動態(tài)分分級存儲儲特性可可以不需需要對應應用程序序配置和和操作步步驟進行行更改。對于應應用程序序和用戶戶而言，動態(tài)分分級存儲儲中的文文件重定定位是透透明的。N85500動動態(tài)分級級存儲包包括兩部部分：支支持多卷卷文件系系統，以以及在

45、由由文件系系統管理理的存儲儲內基于于策略自自動遷移移文件。技術原理理多卷文件件系統的的屬性N85000可以以構建多多個文件件系統，并讓這這些文件件系統的的邏輯命命名空間間分布在在多個存存儲卷上上。構建建文件系系統所使使用的各各個卷被被稱作該該文件系系統的卷卷集。卷卷集中的的各個卷卷是從單單個存儲儲單元中中的 LLUN 配置的的。事實實上，占占用多個個卷的文文件系統統對于應應用程序序是透明明的。該該文件系系統中的的所有文文件都是是同一命命名空間間的一部部分，在在訪問和和處理這這些文件件時就如如同它們們全部占占用單個個卷一樣樣?；谖募到y的的卷存儲儲層相對對于基于于硬件的的多層存存儲方法法有一

46、個個重要的的優(yōu)點。與基于于硬件的的解決方方案（它它的各個個層都基基于由磁磁盤陣列列提供的的 LUUN）不不同的是是，N885000卷可以以是任何何需要的的容量和和配置，如果有有 I/O 性性能或容容錯需要要，甚至至可以跨跨接多個個N85500存存儲單元元。N85000動態(tài)態(tài)分級存存儲特性性所使用用的文件件系統必必定是多多卷文件件系統。使用放置置級別以以管理文文件位置置多卷文件件系統的的管理員員可以通通過定義義文件放放置策略略（可控控制初始始文件位位置和重重定位現現有文件件的環(huán)境境）來控控制卷集集內的文文件位置置。文件件放置策策略由一一些規(guī)則則組成，這些規(guī)規(guī)則將文文件的位位置限制制為由管管理員定

47、定義的、文件系系統卷集集中各個個卷的子子集。這這些子集集被稱為為放置級級別。通通常，用用存儲層層來標識識放置級級別。根根據策略略規(guī)則，將在指指定的放放置級別別中創(chuàng)建建和擴展展一些文文件，并并當這些些文件滿滿足某些些與命名名、活動動、訪問問率以及及大小相相關的限限定條件件時，將將它們重重定位到到其他放放置級別別。例如，下下圖中表表示一個個N85500多多卷文件件系統，該系統統的卷集集由兩個個分別名名為 ttierr1、tieer2 的放置置級別組組成。這這樣的卷卷集可用用于包含含重要文文件 (tieer1)，以及及大量非非活動的的文件 (tiier22) 的文文件系統統。圖 SEQ 圖 * AR

48、ABIC188N85500多多卷文件件系統示示意圖文件放置置策略根據文件件系統的的活動文文件放置置策略，可將文文件動態(tài)態(tài)放置在在文件系系統卷集集的各個個卷之間間。文件件放置策策略由用用來管理理文件的的初始位位置和隨隨后的重重定位的的各個規(guī)規(guī)則組成成。這些些規(guī)則定定義了三三方面的的內容，一是文文件寫入入文件系系統時的的初始位位置，用用戶可以以自定義義文件寫寫入時放放置于哪哪一個卷卷集中；二是文文件如何何從存放放熱點數數據的卷卷集重定定位到存存放非活活動文件件的卷集集，N885000系統中中，該規(guī)規(guī)則設定定為指定定時間長長度內，未進行行訪問的的文件則則需進行行重定位位；三是是文件如如何從非非活動文

49、文件的卷卷集重定定位至存存放熱點點數據的的卷集，N85500系系統中，該規(guī)則則設定為為若文件件平均訪訪問熱度度超過指指定值，則將這這些文件件進行重重定位。策略規(guī)則則將初始始分配目目標和重重定位目目標指定定為按優(yōu)優(yōu)先順序序排列的的放置級級別的列列表。如如果空閑閑空間允允許，則則在列表表中的第第一個放放置級別別中分配配文件；如果在在第一個個放置級級別中沒沒有可用用的空閑閑空間，則在列列表中的的第二個個放置級級別中分分配文件件，依此此類推。執(zhí)行文件件放置策策略執(zhí)行文件件放置策策略時將將實施文文件重定定位，可可按需手手動進行行重定位位操作，也可通通過一個個時間表表策略定定期進行行，此操操作與初初始分配

50、配類似。如果有有可用的的空間，則將文文件重定定位到規(guī)規(guī)則中列列出的第第一個放放置級別別中，如如果第一一個放置置級別中中沒有可可用的空空間，則則將文件件重定位位到第二二個放置置級別中中。文件件重定位位基于一一些必要要的限制制條件，例如：在一段段指定的的文件是是否未被被訪問、文件的的訪問熱熱度。若若文件放放置策略略未能執(zhí)執(zhí)行，那那么，即即使某些些文件已已經滿足足重定位位的條件件，重定定位操作作也不會會實施。只有當當文件放放置策略略執(zhí)行時時，文件件系統才才會對這這些限制制條件的的滿足情情況進行行判斷，并且對對符合條條件的文文件實施施重定位位。計算文件件的訪問問熱度動態(tài)分級級存儲特特性的重重要應用用是

51、將非非活動文文件從高高性能存存儲區(qū)自自動重定定位到低低成本存存儲區(qū)，或是將將熱點文文件從低低成本存存儲區(qū)自自動重定定位到高高性能存存儲區(qū)。N85500系系統通過過平均訪訪問熱度度來判定定文件是是否為熱熱點文件件。文件的平平均訪問問熱度是是在指定定數量的的時間段內內文件的的讀取或或寫入請請求數除除以時間間段數。與 II/O 熱度不不同，訪訪問熱度度與文件件大小無無關；一一個在 2 天天的時間間段內有有 200 次 I/OO 請求求的大文文件與一一個在 2 天天的時間間段內被被訪問過過 200 次的的小文件件具有相相同的平平均訪問問熱度。數據的自自動遷移移N85000的DDST策策略制定定中，可可

52、基于文文件訪問問頻率策策略，自自動將文文件從一一級存儲儲遷移至至二級存存儲，或或將文件件自動從從二級存存儲回遷遷至一級級存儲，對業(yè)務務主機透透明。卷的可訪訪問性：分級存存儲的重重要假定定動態(tài)分級級存儲特特性背后后存在一一個通常常未表述述出來的的重要假假定，即即：系統統正常工工作時并并不要求求所有存存儲設備備總是可可訪問的的。企業(yè)業(yè)通過將將數據存存儲在容容錯功能能較低的的設備上上，默認認表示這這些數據據對企業(yè)業(yè)運營的的重要性性不及存存儲在容容錯能力力較高的的設備上上的數據據。極端端情況下下，如果果企業(yè)將將數據存存儲在沒沒有容錯錯能力的的設備上上，則默默認表示示即使沒沒有這些些數據企企業(yè)也能能夠正

53、常常運營，至少在在安裝替替換存儲儲設備并并從備份份副本中中恢復這這些數據據所需的的時間段段內是這這樣的。如果常規(guī)規(guī)數據中中心內的的某個存存儲設備備不可用用，則無無法裝入入該存儲儲設備上上的文件件系統，而且使使用該文文件系統統的應用用程序也也無法運運行。不不過，對對于多卷卷文件系系統，要要使文件件系統正正常工作作，只需需要最關關鍵的數數據必須須是可訪訪問的；包含非非關鍵數數據的存存儲設備備不必是是可訪問問的。與任何商商業(yè)文件件系統類類似，VVxFSS 多卷卷文件系系統必須須可以訪訪問其所所有元數數據才能能正常工工作。但但是 VVxFSS 文件件系統不不需訪問問任何特特殊用戶戶文件的的數據就就可以

54、裝裝入和運運行。例例如，如如果由于于包含某某些文件件的數據據的卷出出現故障障，導致致這些數數據不可可訪問，則需要要這些文文件的應應用程序序無法運運行，但但是文件件系統可可以像往往常一樣樣工作。由此可可以得出出一個結結論：應應將多卷卷文件系系統的元元數據放放置在其其卷集中中容錯能能力最好好的卷上上，而用用戶文件件的數據據可以放放置在與與該文件件的商業(yè)業(yè)價值相相稱的卷卷上。元數據放放置VxFSS 為文文件系統統卷集中中的每個個卷都提提供了一一個 ddataaonlly 標標記，從從而可以以對元數數據的放放置進行行管理控控制。如如果已為為某個卷卷設置 dattaonnly 標記，則 VVxFSS 僅

55、在在其上存存儲用戶戶文件數數據，而而不存儲儲元數據據。未設設置 ddataaonlly 標標記的卷卷可以存存儲元數數據和用用戶數據據。VxFSS 文件件系統卷卷集中的的第一個個卷必定定可以存存儲元數數據（名名為 mmetaadattaokk 的屬屬性）。默認情情況下，VxFFS 在在文件系系統創(chuàng)建建時或在在向卷集集中添加加卷時，設置所所有其他他卷的 dattaonnly 標記。通過將卷卷指定為為 daataoonlyy，管理理員可以以阻止 VxFFS 在在該卷上上存儲任任何文件件系統元元數據。僅應使使文件系系統的容容錯功能能最好的的卷有資資格存儲儲元數據據。N85000動態(tài)態(tài)分級存存儲特性性默

56、認將將分級存存儲文件件系統的的第一個個放置級級別定義義為高性性能存儲儲區(qū)，該該存儲區(qū)區(qū)所使用用的卷默默認擁有有mettadaataook屬性性；而第第二個放放置級別別定義為為低成本本存儲區(qū)區(qū)，該存存儲區(qū)所所使用的的卷默認認設置ddataaonlly標記記。因此此文件系系統元數數據將全全部存放放于第一一個放置置級別中中?？刹糠衷L訪問的文文件系統統即使多卷卷文件系系統中的的某些甚甚至全部部 daataoonlyy 卷不不可訪問問，仍可可以裝入入和訪問問VxFFS 多多卷文件件系統。盡管仍仍可以對對不可訪訪問的卷卷進行純純粹的元元數據操操作（如如所有權權或權限限更改），但存存儲在這這些卷上上的文件件

57、中的數數據是無無法訪問問的。不不過，其其數據位位于可用用卷上的的文件是是可訪問問的，VVxFSS 可以以處理所所有文件件系統元元數據。新文件的的空間分分配操作作會因沒沒有可用用于元數數據的空空閑空間間而失敗敗，即使使在 ddataaonlly卷上上有足夠夠的可用用空間也也無濟于于事。因因此，管管理員應應在 mmetaadattaokk 卷上上分配足足夠的空空間以滿滿足預期期需求，并應持持續(xù)監(jiān)視視這些卷卷上的空空閑空間間。指定 ddataaonlly 僅僅在文件件系統級級別上有有意義。它是與與文件放放置級別別完全不不同的屬屬性。由由于在進進行初始始分配和和重定位位決定時時，VxxFS 會將放放置

58、級別別中的所所有卷視視為等同同的，因因此給定定放置級級別中的的所有卷卷應具有有相似的的容錯能能力和 I/OO 性能能，并應應具有相相同的ddataaonlly 或或 meetaddataaok 屬性。技術特點點文件遷移移策略可可以定制制，數據據在各級級存儲間間自動遷遷移。數數據遷移移過程對對用戶和和管理員員透明，無需人人工干預預。由于于多卷文文件系統統的使用用，文件件遷移完完成后，不會在在原址保保存文件件相關鏈鏈接信息息，沒有有額外的的空間開開銷。遠程復制制技術技術背景景N85000集群群NASS存儲系系統中，遠程復復制技術術建立在在VxFFS文件件系統基基礎上，利用了了文件系系統的兩兩項功能

59、能，文件件改變日日志（FFCL）和存儲儲檢查點點（Sttoraage Cheeckppoinnt），可基于于用戶定定制的周周期性時時間策略略在不同同的N885000系統間間進行數數據復制制。我們們通常將將復制的的數據源源稱為源源系統，將復制制的目的的地稱為為目標系系統。文件改變變日志（FCLL）技術術該技術能能夠跟蹤蹤文件系系統中數數據更改改的時間間并記錄錄更改類類型，可可記錄多多種文件件系統更更改操作作，例如如文件的的創(chuàng)建、附加數數據，覆覆蓋數據據、截短短數據、擴展屬屬性修改改、打孔孔、鏈接接、取消消鏈接、重命名名等。遠遠程復制制利用這這項技術術可迅速速識別給給定周期期時間范范圍內，哪些文文

60、件中發(fā)發(fā)生了數數據改變變，但該該項技術術無法識識別被改改變的數數據塊。存儲檢查查點技術術該技術可可在任意意時間點點快速創(chuàng)創(chuàng)建文件件系統持持久映像像。映像像生成時時只包括括指向文文件系統統的一組組指針，當文件件系統的的數據發(fā)發(fā)生變化化后，舊舊數據被被拷貝到到映像中中，然后后新數據據才會寫寫到主文文件系統統中，即即寫入時時復制方方式。每每一個存存儲檢查查點映像像均可以以獨立進進行讀寫寫操作，因此，遠程復復制的整整個過程程可基于于文件系系統存儲儲檢查點點提供，這樣即即使在復復制過程程中，有有持續(xù)的的寫操作作存在，復制過過程也能能夠順利利進行，且用戶戶業(yè)務不不會受到到任何影影響。技術原理理N85000