（計算機軟件與理論專業(yè)論文）數(shù)據(jù)分層備份的研究與實現(xiàn).pdf

中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 數(shù)據(jù)分層備份的研究與實現(xiàn) 計算機軟件與理論 碩士生 胡波 指導教師 湯庸教授 摘要 隨著信息的爆炸性增長 中小型企業(yè)也需要有存儲容量可擴展而價格成本相 對低廉的存儲解決方案來保證業(yè)務系統(tǒng)的j 下常運行 避免自然災害和人為災難給 企業(yè)造成重大損失 本文結合中小企業(yè)數(shù)據(jù)備份現(xiàn)狀 在比較了各種存儲架構和 方案的基礎上 設計了一種新的存儲架構并初步實現(xiàn)了相關系統(tǒng)功能 d a s 存儲架構仍然是眾多中小企業(yè)的主流備份方案 其最大的缺點是容量的 可擴展性 而n a s 是針對容量可擴展性而提出的一種存儲架構 本文正是在綜 合了這兩種架構特點的基礎上 整合出了一種可以滿足中小企業(yè)在成本 容量擴 展性 方便性甚至性能等各方面需求的存儲解決方案 通過研究當前主流存儲發(fā)展方向 將流行的虛擬化技術和數(shù)據(jù)遷移技術引進 到存儲解決方案中 使得用戶可以在不更改現(xiàn)有方案的基礎上輕松構建數(shù)據(jù)分層 存儲解決方案 用戶只需添加一臺備份管理服務器 并在應用服務器上安裝中間 件 普通用戶無需安裝客戶端 即可在任意地點實施數(shù)據(jù)的備份 虛擬化技術使 得用戶可以統(tǒng)一管理各種資源 實現(xiàn)數(shù)據(jù)的集中管理 極大地方便了用戶 數(shù)據(jù) 遷移實現(xiàn)了分層存儲 在充分利用各種存儲資源的同時從另一個角度實現(xiàn)了容量 的可擴展 應用服務器保留有自己的存儲設備 這就不會導致由于引進虛擬化技 術而使系統(tǒng)性能有明顯的下降 關鍵詞 備份 數(shù)據(jù)分層 虛擬化 數(shù)據(jù)遷移 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) r e s e a r c ha n d i m p l e m e n t a t i o no ft i e r e dd a t ab a c k u p c o m p u t e rs o 脅a r ea i l dt h e o 巧 n a m e h ub o s u p e r v i s o r p r o f e s s o rt 缸gy r o n g a b s t r a c t f o rm ee x p l o s i v ei n c r e a s eo fi n f o 冊a t i o n s m a l lc o m p a j l yn e e das t o r 雒r e r e s o l u t i o nt oe n s u r et h eb u s i n e s ss y s t e mc o u l dn l np r o p 礎yw r h e i lt h e r ei sa n u n e x p e c t e dd i s a s t 甌t h a tm e t h o dm u s tn o t t o oe x p 肌s i v e 觚dc o u l de x t e i l dm e v o l 啪ew h e l l e v e rw ew a i l t t h i sp a p c re x 鋤i n e dt l l ec u r r e n ts t o r a g ec o n d i t i o no f s m a l lc o m p a n ya 1 1 dt l l ep r e v a l e n ts t o r a g ea r c h i t e c t u r e a i l d 也e nd e s i g n e dan e w s t o r a g ea r c h i t e c t l l r es a t i s 匆 l er e q u i r e i i l e n t d i r e c ta t t a c h e ds t o m g em e m o di ss t i l lt 1 1 em a i nb a c k u pr e s o l u t i o no fs m a l l c o m p a n y a l t h o u g l li t h a sv o l 啪ep r o b l e m n e t w o 訂 a t t a c h e ds t o m g e h o w e v e r a p p e a r e dj u s t t or e s o l v e l a tp r o b l e m w bm e r g e dm et w oa r c h i t e c t u r e sa r e r e x a m i n e dt h e i rs t r o n g p o i n tt og e tar i 曲to b j e c tm a th a v e 仃a d e o f ro np r i c e v o l u m e c o n v e i l i e n c ea n ds oo n n i sp 印e rf i r s ti n 仃o d u c e dt h ed e v e l o p m e l l to fs t o r a g ei n d u s n y t 1 1 e 1 1a d d 錒o p r e v a l e i l tt e c h n 0 1 0 舀e s 一 r t u a l i z a t i o na n dd a t am i 黟a t i o nt om a tn e wa r c h i t e c t u r e a n dg e tm eo b j e c t 砸e r e dd a t ab a c k u pr e s 0 1 u t i o n a un e e df o ru s e rt os e tu pt i e r e d d a t ab a c k u ps y s t e mi sj u s tab a c k u pm a j l a g p l u sa 訂9 1 1 tm i d d l e w a r ef o re a c h a p p l i c a t i o ns e r v e r n oo t h e rc h a n g e sn e e d e dt oa n yo fm e ta r c m t e c t u r e r t u a l i z a t i o nm a k e st l l ed a t ac e n t r a l i z a t i o np o s s i b l e a n du s e rc o u l db a c l a l pa i l d m a n a g e 廿l es y s t e mw h e r e v e rm e yw a n t d a t am i 黟a t i o ne x t e i d st h ev o l 啪ea n d m a l e se a c hd e v i c ef h l l yu s e d f i n a l l y s i n c ee a c ha p p l i c a t i o ns e e rh a sm e i ro w n s t o r a g ed e v i c e v i r t u a l i z a t i o nw o u l dn o ta f r e c ts y s t e mp c r f o n n c ed i s t i n c n y k e y w o r d s b a c l u p d a t ah i c r a 洳y v i r t u a l i z a t i o n d a t am i g 陽t i o n i i i 論文原創(chuàng)性聲明 本人鄭重聲明 所呈交的學位論文 是本人在導師的指導下 獨立進行研究 工作所取得的成果 除文中已經注明引用的內容外 本論文不包含任何其他個人 或集體已經發(fā)表或撰寫過的作品成果 對本文的研究做出重要貢獻的個人和集 體 均已在文中以明確方式標明 本人完全意識到本聲明的法律結果由本人承擔 學位論文作者簽名 1 桶韌留 日期 q 略年j 月易日 學位論文使用授權聲明 本人完全了解中山大學有關保留 使用學位論文的規(guī)定 即 學校有權保留 學位論文并向國家主管部門或其指定機構送交論文的電子版和紙質版 有權將學 位論文用于非贏利目的的少量復制并允許論文進入學校圖書館 院系資料室被查 閱 有權將學位論文的內容編入有關數(shù)據(jù)庫進行檢索 可以采用復印 縮印或其 他方法保存學位論文 學位論文作者簽名 咕龠私7 哆 日期 砂蝣3 月乃日 引鬲竹掃 僅碭 導師簽名 u 一尸 日期 幺年j 月君日 中山人學碩 卜論文數(shù)據(jù)分層備份的研究與實現(xiàn) 1 1 研究背景 第1 章緒論 當今企業(yè)每天都可能面對各種自然災害和人為災難 當這些災難降臨時 對 于企業(yè)的關鍵業(yè)務來說 哪怕是幾分鐘的業(yè)務中斷或者數(shù)據(jù)丟失所帶來的損失也 常常是難以估量的 在數(shù)據(jù)變得越來越舉足輕重的今天 一套穩(wěn)定的備份系統(tǒng)已 經成為保障系統(tǒng)正常運行的關鍵環(huán)節(jié) 對中小企業(yè)來說 i t 系統(tǒng)首先必須是能夠節(jié)約成本的有效工具 將有限的 資金投入到實用 方便的系統(tǒng)功能上 中小企業(yè)用戶雖然企業(yè)規(guī)模較小 但用戶 對數(shù)據(jù)存儲的要求相比大型企業(yè)卻一點不低 1 2 他們的資金有限 因此要求存 儲產品有很高的性能價格比 他們的i t 經驗不足 因此要求存儲產品要有簡便 的管理特性 他們的數(shù)據(jù)同樣掌握著企業(yè)的發(fā)展命脈 因此要求存儲產品要有很 強安全性和可靠性 在企業(yè)紛紛壓縮預算開支 客戶對產品價格更為關注的時候 更高的擴展性 更低的t c o 更簡便的管理以及完善的服務 是中小企業(yè)i t 系 統(tǒng)的命脈所在 然而中小企業(yè)的存儲與大企業(yè)相比有本質的不同 中小型企業(yè)由于財力的限 制以及對所需備份數(shù)據(jù)的特需要求 其存儲的需求與大企業(yè)相較有著明顯的差 別 中小企業(yè)的磁盤存儲主要是用于存儲電子郵件和數(shù)字內容 而大型企業(yè)的磁 盤存儲主要是用于備份與恢復 中小企業(yè)最希望的是增加存儲容量 而大型企業(yè) 最希望的是改善災難恢復 有一個美國的小企業(yè)c e o 說 我想得到與企業(yè)級產品一樣的功能 但是我 不想付同樣的價錢 如果只能選擇其一 我寧愿放棄功能 具體點來說 操作簡 單 使用方便 最好不需要i t 人員維護 即便它缺少一些高端產品的管理 快 照和復制功能 對我們小企業(yè)來說 只要擁有海量存儲和備份功能 它足夠了 在有限的預算下 中小型企業(yè)通常無法一次性投入大量的資金來購買一款能 夠滿足企業(yè)所有未來需求的存儲解決方案 所以 他們需要從小規(guī)模 簡單易用 型的存儲系統(tǒng)開始 然后隨著業(yè)務的發(fā)展來進行擴展 那些能夠使他們得以充分 利用原有資源和舊設備的模塊化存儲解決方案是他們的最佳選擇 很多廠商僅通 中山人學碩 t 論文數(shù)據(jù)分層備份的研究與實現(xiàn) 過削減其高端產品的某些功能并進行重新打包提供給中小企業(yè)用戶 他們很快就 發(fā)現(xiàn)這種解決方案完全無法滿足這一類型客戶的要求 1 2 存儲行業(yè)的現(xiàn)狀 1 2 1 存儲行業(yè)現(xiàn)狀 數(shù)據(jù)已經成為信息生活中不可缺少的部分 現(xiàn)代社會是一個以數(shù)據(jù)為中心的 數(shù)字化社會 數(shù)據(jù)是信息的符號 數(shù)據(jù)的價值取決于信息的價值 作為信息資源 的最終載體 存儲以其迅猛的發(fā)展成為亮點 存儲行業(yè)的增長率一直保持在2 0 以上 遠遠超過i t 業(yè)的平均增長率 據(jù)i d c 最新一期的報告顯示 存儲市場在2 0 0 7 年第四季度表現(xiàn)不錯 3 l 而 且出現(xiàn)了近兩年來最佳的表現(xiàn) 在去年第四季度 全球外部磁盤存儲系統(tǒng)的總體 市場收入較上年同期的5 3 億美元增長了9 8 根據(jù)i d c 全球磁盤存儲系統(tǒng)季度 跟蹤報告顯示 之前最好的季度增長已經是兩年前的2 0 0 6 年第一季度的1 0 6 的增長幅度了 盡管目前全球經濟有著極大的不確定性 但是數(shù)據(jù)的存儲仍然是一個企業(yè)能 夠成功執(zhí)行企業(yè)業(yè)務的關鍵組成部分 技術的進步如i p 存儲以及虛擬化 數(shù)據(jù) 遷移等技術的出現(xiàn)和應用 也極大地改善了存儲系統(tǒng)的相關指標 使得存儲產品 的重要性有增無減 相關數(shù)據(jù)顯示 存儲系統(tǒng)市場正受益于各種各樣不同的存儲 需求 從簡單的僅需要存儲的中小企業(yè) 到每天有大量業(yè)務數(shù)據(jù)產生的大企業(yè) 以及其他更多更先進的存儲目標 1 2 2 主流備份系統(tǒng) 隨著數(shù)據(jù)存儲規(guī)模的增大和安全要求的不斷提高 存儲設備的應用管理成本 也將大大超過設備本身 1v e r i t a s n e t b a c k u p 5 v 舐t a sn e t l 3 a c k u p6 5 為企業(yè)級用戶提供完整的高性能數(shù)據(jù)保護方案 它可 以進行擴展以保護龐大的u n w i i l d o w n u 和n e t 毗鵬環(huán)境 保障其關 鍵應用數(shù)據(jù)的高可用性以及系統(tǒng)的高性能 n e t b a c k u p 6 5 可以為遠程辦公室到數(shù) 2 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 據(jù)中心乃至存儲庫提供全面防護 它提供單個控制臺來完成所有備份和恢復操 作 n e t b a c k u p6 5 的新功能包括廣泛的基于磁盤的備份功能 重復數(shù)據(jù)刪除 面向 v l w a r e 的粒度恢復 與智能備份設備和虛擬磁帶庫的深度集成 異構快照 管理和創(chuàng)新的定價和授權計劃 n e t b a c k u p6 5 綜合磁盤管理功能優(yōu)化了基于磁盤的數(shù)據(jù)保護部署 從而提 高了備份操作 加速恢復并減少備份窗口 為用戶提供單一備份與面向v m w a r e 備份重復數(shù)據(jù)刪除的文件級和圖形級粒度恢復 為虛擬環(huán)境 關鍵應用程序 數(shù) 據(jù)庫和服務器提供集成的數(shù)據(jù)保護和恢復能力 基于容量的定價模式提供更多選 擇和靈活性 這種以容量為依據(jù)的方法簡化使用n e t b a c k u p 中的全套數(shù)據(jù)保護 方法 使客戶能夠更加輕松地根據(jù)內部策略或服務水平選用適當?shù)谋Ｗo和恢復方 法 作為目前業(yè)界速度最快的數(shù)據(jù)保護解決方案 它不僅承襲了n e t b a c k u p 軟 件一貫的領先技術 能為各種復雜的i j l v 礬n d o w s l i n u x 和n e t w a r e 環(huán) 境提供完整的數(shù)據(jù)保護 而且其基于磁盤備份及合成備份的技術創(chuàng)新使之在功能 上也較以前版本有了更大的提升 2i b mt s m 6 t i v o l is t o r a g em a l l a g e r 簡稱t s m 是i b mt i v 0 1 i 軟件家族中的旗艦產品之 一 t i v 0 1 i 軟件主要定位于為用戶提供企業(yè)級管理軟件 如系統(tǒng)管理 安全管理 和存儲管理 t s m 能夠為用戶提供企業(yè)級的存儲數(shù)據(jù)管理解決方案 包括備份 歸檔 空間管理以及災難恢復管理等功能 t s m 不僅僅是一個數(shù)據(jù)備份軟件 它能夠提供以數(shù)據(jù)備份為主的更多的數(shù)據(jù)管理功能 從數(shù)據(jù)管理功能角度來看 t s m 主要包括以下四部分功能 集中的數(shù)據(jù)備份與恢復管理 t s m 存儲管理軟件為用戶提供專業(yè)的數(shù)據(jù)備 份功能 能夠提供多種級別的數(shù)據(jù)備份 如文件系統(tǒng)備份 應用系統(tǒng)備份 數(shù)據(jù) 庫備份 郵件系統(tǒng)備份 操作系統(tǒng)備份等不同的備份類別 專業(yè)的數(shù)據(jù)歸檔管理 功能 t s m 提供獨立的歸檔策略 能夠為不同的數(shù)據(jù)對象指定不同的歸檔保存 時間 并能夠在歸檔時提供文件本地保留或從本地刪除的不同選擇 高效的分級 存儲功能 將磁帶等存儲設備作為文件系統(tǒng)的二級存儲 定制策略將訪問較少的 文件從服務器的文件系統(tǒng)遷移到t s m 所管理的磁帶庫中 并在本地保留一個存 根文件 整個過程可以自動完成 也可以手動遷移 分級存儲功能能夠大大擴展 3 中山大學碩士論文 數(shù)據(jù)分層備份的研究與實現(xiàn) 硬盤的有效空間 流程化的災難恢復管理 t s m 內置一個災難恢復管理模塊 d i 蝴 通過d i 蝴能夠對災難恢復進行規(guī)范的流程管理 包括離線磁帶的跟 蹤和回收 能夠對磁帶狀態(tài)進行自動設置更新 并能夠對整個恢復流程提供所需 要的配置信息 t s m 軟件主要包含以下幾個模塊 t s mf o rd b 提供數(shù)據(jù)庫的在線備份功 能 包括o r a c l e s q ls e r v e r i n f o r n l i x 等數(shù)據(jù)庫的在線備份支持 t s mf o rm a i l 提供郵件系統(tǒng)的在線備份 支持d o m i n o e x c h a n g e 郵件系統(tǒng) t s mf o rs a n 提 供 闌 f r e e 備份方式支持 t s mf o ra d v a n t a g ec o p ys e r v i c e s 與磁盤陣列的 f l a s h c o p y 技術相結合 提供s e l e s s 備份方式支持 t s mf o rs y s t e mb a c l 唧 a i l dr e c o v e 巧提供a 操作系統(tǒng)的裸機備份與快速恢復功能支持 t s mf o rs p a c e m a n a g e m e n t 提供u 1 1 i x 與l i n u x 平臺的分級存儲功能支持 t s mh s m f o rw i n d o w s 提供w i n d o w s 平臺的分級存儲功能支持 3l e g a t on e t v r k e r 吲 l e g a t o 公司在被全球信息存儲領域領導廠商e m c 收購以后 作為e m c 公 司的一個軟件部門來進行運作 在數(shù)據(jù)存儲領域 l e g a t o 公司提供了一些在業(yè) 界具有廣泛影響的領先技術 它的o p 嘶ef o m a t 數(shù)據(jù)存儲格式標準成為國際 采用的事實標準 使得不同平臺的存儲介質可以通用 它為自己獨一無二的并行 流技術申請了專利 使存儲設備和服務器能最充分地發(fā)揮其最高速度 解決了大 數(shù)據(jù)量集中備份所需要的效率要求 它提供的s m a n m e d i a 專利技術成為各存儲 設備廠商檢測其產品自動化程度和可靠性的工具 在分布式網絡數(shù)據(jù)存儲管理領 域 e m c 的n e t w 6 r k e r 產品一直穩(wěn)穩(wěn)地占有約2 3 的世界市場 n e t w r o r k e r 提供了分布式網絡體系結構下數(shù)據(jù)存儲管理解決方案 它通過在 網絡中選定一臺機器作為數(shù)據(jù)管理的備份服務器 在其它機器上安裝客戶端軟 件 從而將整個網絡的數(shù)據(jù)自動地備份到與備份服務器相連的存儲設備上 并在 備份服務器上為各個備份客戶端建立相應的備份數(shù)據(jù)的索引表 利用索引表自動 驅動存儲介質來實現(xiàn)數(shù)據(jù)的全自動恢復 由于n e t w b r k e r 提供了從小型辦公到高 要求的數(shù)據(jù)中心和大型復雜的計算機環(huán)境的完整數(shù)據(jù)保護方案 一些大型應用的 產品中涉及到備份的部分都會率先考慮與n e t w b r k e r 的接口問題 像o r a c l e 等 一些數(shù)據(jù)庫應用則干脆內置集成了l e g a t 0 公司的備份引擎 4b a k b o n en e t v a u l t 8 4 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) b a l b o n e 軟件公司備份和恢復軟件n e t 細l t 的模塊化設計 支持靈活的執(zhí) 行策略 充分利用了網絡資源 提高了軟件性能 是一種真正可升級的 模塊化 的 高性能的備份和恢復存儲管理解決方案 n e t v a u l t b a c k u p8 o 提供了對 l i l n l x w i n d o w s 和s o l 撕s 等平臺的廣泛支持 并繼續(xù)秉承其易用性 靈活性 和可擴展性的特點 n e t v i a u l t b a c k u p8 o 版本新增了實時 真正的持續(xù)數(shù)據(jù)保 護功能 增強了操作效率 降低了系統(tǒng)宕機時間 提高了數(shù)據(jù)的可獲取性和支持 業(yè)務持續(xù)增長的高安全性 n e t l u l t 產品線對任何規(guī)模的復雜異構環(huán)境提供企業(yè) 級數(shù)據(jù)保護 能夠滿足目前和將來的數(shù)據(jù)保護需求 靈活的模塊化設計在降低了 配置成本和t c o 的同時 使得用戶在執(zhí)行n e t v a u l t 解決方案時可以充分利用其 當前的各種資源 n e t v a u l t b a c l 1 l p8 o 集成了共享虛擬帶庫 有效地適應不斷增長的存儲數(shù) 據(jù) 添加了對附加集群管理軟件的支持 如s u nc 1 u s t f u j i t s up r i m e c l u s t e r 和 s i i l a n t e c 矧t a sc 1 u s t e rm 鋤a g e r 增強的集中管理性能更有效的滿足業(yè)務目標 新的8 o 版本增加支持了n e t a p p ss h a d o t l p e 和重啟備份 提升了安全性和一 致性 使用口令變化操作來提升安全性并遵循相應法規(guī) 使用加密拷貝來提高磁 盤到磁盤的備份效率 5f a l c o n s t o ri p s t o r 9 f a l c o n s t o r 公司的i p s t o r 采用了一個集中管理接口來將光纖通道f c 和i p 以及眾多的生產廠商和不同平臺 通過企業(yè)級存儲服務這樣一個綜合性的套件完 美的結合起來 將s a n 和n a s 集成到統(tǒng)一的平臺 從而提高了數(shù)據(jù)可用性 數(shù) 據(jù)恢復性 存儲容量的控制和性能的優(yōu)化 i p s t o r 是業(yè)界第一個集成并虛擬化存 儲資源 為基于i p 的s a n 和n a s 提供服務的開放式 高性能的軟件架構 它在一個通用的管理界面上統(tǒng)一了s a n 和n a s 通過c s 和n f s 共享企 業(yè)文件 最大限度的利用存儲資源 將s a n 和n a s 合成一個公用的存儲池 從中分配磁盤塊 從而提供n a s 和s a n 設備為用戶使用 在企業(yè)中建立一個 基于策略的集中管理方案 這種統(tǒng)一的存儲解決方案同時大大簡化了管理員的工作 因為它同時為 s a n 和n a s 提供了諸如虛擬化 鏡像 快照 同步復制 備份和恢復等存儲 服務 由于是純軟件產品 他可輕松地整合至現(xiàn)有的i t 基礎架構 充分保護用 戶的現(xiàn)有存儲投資 5 中山人學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 1 3 基于i p 的存儲網絡 隨著網絡的高速發(fā)展 網絡已經滲入人類社會的各個領域 網絡將原有的獨 立的數(shù)據(jù)孤島聯(lián)結在一起 不僅加速了數(shù)據(jù)的流動性 也加速了數(shù)據(jù)的衍生 網 絡作為數(shù)據(jù)流動的承載體 每一次網絡傳輸技術的革新都伴隨著數(shù)據(jù)的暴發(fā)性增 長 數(shù)據(jù)的增長和資源的充分利用 共享對網絡化和智能化的存儲方法提出了要 求 通過提高存儲自身的數(shù)據(jù)管理能力 獨立于主機系統(tǒng)之外 以網絡方式連接 主機和存儲系統(tǒng) 以設備資源透明的方式為計算提供數(shù)據(jù)服務 i p 存儲的優(yōu)勢 1 9 9 7 年f c 協(xié)議的標準公布開始 以s a n 的建設為代表 i t 行業(yè)開始了計 算與存儲分離的探索 過去1 0 年在以f c 協(xié)議為主的s a n 存儲系統(tǒng)建設中 人 們逐漸發(fā)現(xiàn)f c 協(xié)議雖然基本解決了傳輸速度和擴大容量的問題 卻難以完全承 擔起存儲系統(tǒng)獨立化的重任 與此同時 i p 和以太網技術在網絡領域突飛猛進 已經成為整個i t 行業(yè)中最成熟 最開放 發(fā)展最迅速 成本最低 管理最方便 的數(shù)據(jù)通訊方式 2 0 0 3 年 i b m 等公司共同發(fā)起的i s c s i h t e n l e ts c s i 協(xié)議 通過i e t f 組織的審議 公布為r f c 標準 從此拉開了i p 存儲廣泛應用的序幕 由于f c 存在互操作性不便 價格昂貴 技術發(fā)展緩慢等等原因 而i p 在 局域網和廣域網上應用廣泛并有良好的技術支持 i p 網絡也可實現(xiàn)遠距離的數(shù) 據(jù)塊級存儲 以i p 協(xié)議替代光纖通道協(xié)議 形成了基于i p 的s a n 存儲 基于 i p 的存儲網有很多優(yōu)勢 1 0 1 l 1 由于i p 及以太網技術和產品的發(fā)展普及 大大 降低用于建立和管理基于i p 的存儲網費用 2 由于以太網的速度比光纖通道的 速度提升得快 目前萬兆以太網已經漸漸入主網絡市場 2 0 0 6 年底i e e e8 0 2 3 h i 曲e rs p e e ds t u d yg r o u p 票選通過開始定制十萬兆以太網標準 意味著十萬兆以 太網即將誕生 3 i p 技術打破了距離限制 這對企業(yè)業(yè)務的連續(xù)性和災難恢復 十分有利 4 光纖通道與口交換機間的互連可解決互操作性方面的問題 2 2 2i p 存儲的發(fā)展 針對f c s a n 技術的局限性 i p 存儲 s t o r a g e o v e r i p 得到了學術界和工 業(yè)界的眾多關注 其主要思想是通過i p 技術來構建存儲網絡系統(tǒng) 其代表技術 有i s c s i f c i p i f c p m f c p 等 1 2 1 3 1 i s c s i i n t e m e ts c s i 定義的是s c s i 到t c p i p 的映射 即將主機的s c s i 6 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 命令封裝成口數(shù)據(jù)包 在i p 網絡上傳輸 到達目的節(jié)點后 再恢復成封裝前的 s c s i 命令 從而實現(xiàn)s c s i 命令在i p 網絡上的直接 透明傳輸 1 4 1 i e t f i n t e n l e t e n 百n e e r i n g 佻kf o r c e 國際互聯(lián)網工程任務組 通過了i s c s i 協(xié)議標準 并發(fā)布 了i s c s i 協(xié)議的i 心c r e q u e s t f o rc o m m e n t s 草案 采用i s c s i 技術實現(xiàn)的s a n 比采用f c 光纖通道 技術實現(xiàn)的s a n 具有更高的投資收益比例 一般可以 達到高出5 1 0 倍 因為i s c s i 技術基于完全成熟的以太網標準 可以與傳統(tǒng)以 太網絡共用管理平臺和管理人員 f c i p f i b r ec h 鋤e lo v e ri p 技術是2 0 0 0 年由c i s c o 等提出 f c 口是一種隧 道技術 主要是針對f c s a n 跨域距離有限等缺點 f c i p 可以為兩個f c 存儲 區(qū)域網絡孤島之間提供口連接 f c i p 將f c 幀封裝到i p 數(shù)據(jù)包中 再通過口 網絡傳輸 到達目的s a n 之后 再解封裝 恢復封裝前的f c 幀 這樣使得多 個s a n 看起來像一個規(guī)模更大的s a n 從而突破單個s a n 地理范圍的限制 l5 1 由于其專用性的特點 使得這種技術實現(xiàn)起來成本較高 缺乏通用性 而且數(shù)據(jù) 的轉換會帶來較大的延遲對性能造成一定影響 f c i p 協(xié)議最大的優(yōu)勢在于 可以將現(xiàn)有孤立的網絡連接起來 但是錯誤恢 復也是該協(xié)議不得不提的問題 對于嵌入i p 數(shù)據(jù)包中的光纖通道協(xié)議幀 i p 網 絡智能管理工具不能識別這些數(shù)據(jù) 這使得一些很好的管理控制機制無法應用于 這種技術 如目錄服務 流量監(jiān)控 q o s 等 因此 企業(yè)i t 部門的系統(tǒng)維護人 員 幾乎不可能對包含存儲隧道的網絡環(huán)境 進行單一界面的統(tǒng)一集中化管理 目前的f c i p 存儲隧道產品還有待完善 與光纖通道s a n 相比 只能提供很小 的數(shù)據(jù)傳輸帶寬 總之 f c i p 存儲隧道技術 借用了一些i p 網絡的成熟性優(yōu) 勢 但是并沒有擺脫復雜而昂貴的光纖通道產品 i f c p 1 6 被定義為網關對網關的協(xié)議 目的是更好的利用現(xiàn)有硬件投資 在 i f c p 協(xié)議中 f c p 協(xié)議映射到t c p i p 協(xié)議 因此i f c p 的i p 包可以像其他 i p 包一樣在網絡中路由 其目的是利用基于口的互聯(lián)設備 包括交換機和路 由器等 來代替基于f c 的互聯(lián)設備構建一個基于口的存儲網絡 n 1 f c p 除了用u d p 代替t c p 外 m f c p 和i f c p 是相同的 切 p 是無 連接的 其可靠性更低 但其效率更高 1 1 1 f c p 主要用于數(shù)據(jù)中心 i f c p 主要 用于長距離傳輸 2 2 3i p s a n 面臨的問題 7 中山大學碩士論文數(shù)據(jù)分層備份的研究 i 實現(xiàn) 從目前情況看 i ps a n 在與基于光纖通道的f cs a n 的交鋒中仍處于一些 劣勢 因為雖然口s a n 有諸多的優(yōu)勢 但它的劣勢也不可回避 首先是t c p 協(xié)議的冗余性 t c p i p 傳輸效率不高 又經過了i s c s i 協(xié)議的 打包拆包過程 在傳輸效率上與f c 相比還是有欠缺的 標準的以太網技術在流 控 q o s 容錯等方面有突出的表現(xiàn) 但是也正因為這些造成了網絡性能的下降 另外 用戶對i p 存儲技術的認知度還不夠 i p 存儲并不是在現(xiàn)有的i p 網絡上連 接一個帶網卡的存儲設備那樣簡單 同樣需要一些專門的驅動和設備 最后是安 全問題 對于用戶來講 存儲設備內的數(shù)據(jù)安全和保密性是最為關心的 一旦把 這些數(shù)據(jù)放置在i p 網絡上 安全問題將變得異常突出 雖然仍然存在問題 但i ps a n 不可阻擋地在朝前邁進 在設備方面 a d a p t e c 等傳統(tǒng)光纖通道適配器廠商都發(fā)布了i s c s ih b a 在安全方面 i s c s i 規(guī)范包含 了i i l i t i a t o r 和目標驗證來防止未經授權的訪問 并限制只允許可信賴的節(jié)點訪問 s s l 也可以作為補充提供安全保證 無論未來會是光纖通道 i s c s i 或者兩者結合的一種情況 所有存儲系統(tǒng)客 戶的共同需求都是相同的 降低成本 管理方式流水化 系統(tǒng)簡單化 1 4 研究目的與意義 本文以中山大學國家1 i n u x 技術推廣中心與廣州銘源電子科技有限公司的合 作項目 p d m 數(shù)據(jù)管理器 為基礎 同時結合考慮中小企業(yè)數(shù)據(jù)備份具體要求 簡單 方便 低成本 以及企業(yè)數(shù)據(jù)的增長對存儲容量可擴展性需求的客觀事實 提出了一個面向中小型企業(yè)的數(shù)據(jù)分層備份系統(tǒng) 首先 從成本的角度 中小企業(yè)擁有各種不同速度和性能的存儲設備 與其 相對應的 企業(yè)的數(shù)據(jù)也可以按重要性或訪問的頻率分成不同的級別 將處于不 同重要性層次的數(shù)據(jù)存儲在不同速度和性能的設備上 以有效的利用企業(yè)現(xiàn)有資 源 節(jié)省企業(yè)成本 又不會對業(yè)務產生較大的影響 從服務的角度 不同的用戶 群體對服務需求的層次要求也不盡相同 這也要求系統(tǒng)能夠實現(xiàn)數(shù)據(jù)的分層存 儲 其次 考慮到當前數(shù)據(jù)的迅速增長 新的存儲系統(tǒng)架構也應能適應對存儲容 量擴展的需求 數(shù)據(jù)遷移技術讓用戶得以實現(xiàn)分層存儲的同時 也為系統(tǒng)存儲容 量的擴展提供了可能 數(shù)據(jù)的分層存儲和容量的動態(tài)擴展對用戶來說是完全透明 8 中山大學碩士論文 數(shù)據(jù)分層備份的研究與實現(xiàn) 的 數(shù)據(jù)遷移技術的提出主要是針對數(shù)據(jù)的價值變化而言 用戶數(shù)據(jù)的價值可能 會隨著時間的變化而發(fā)生變化 進而要求改變數(shù)據(jù)所處的位置 如某些數(shù)據(jù)頻繁 訪問 而某些數(shù)據(jù)在生成后就基本上不會再被使用 最后 為方便系統(tǒng)的實施 我們采用虛擬化技術融合了d a s 和n a s 兩種現(xiàn)有的存儲架構 虛擬化技術的應 用使得數(shù)據(jù)實現(xiàn)集中管理的同時大大的方便了用戶 數(shù)據(jù)遷移實現(xiàn)了數(shù)據(jù)在不同 級別設備上的存儲 而虛擬化則實現(xiàn)了對數(shù)據(jù)的集中管理 從而分層的備份系統(tǒng) 將滿足用戶對低成本 容量可擴展以及方便性等各方面的要求 本文第一章主要介紹了相關背景以及研究的目的 第二章介紹了流行的存儲 系統(tǒng)架構以及相關的數(shù)據(jù)備份知識 并對融合了d a s 和n a s 兩種存儲結構而得 到的新架構進行了相關說明 第三章在對數(shù)據(jù)的分層進行了適當分析后 主要介 紹了虛擬化和數(shù)據(jù)遷移技術 以及分層存儲與其二者間的關系 第四章主要是對 系統(tǒng)的相關分析設計 分模塊介紹了相關功能 第五章主要對實現(xiàn)系統(tǒng)時采用的 主要數(shù)據(jù)結構進行了相關說明 并對測試結果進行了適當分析 第六章對全文進 行了總結 9 中山人學碩 j 二論文數(shù)據(jù)分層備份的研究與實現(xiàn) 第2 章存儲系統(tǒng)相關分析 企業(yè)數(shù)據(jù)的急劇增長 使得數(shù)據(jù)的存儲 管理 維護變得越來越復雜 進而 也推動了各種存儲設備和存儲結構的飛速發(fā)展 如何有效的管理 利用設備 并 在需要時經濟方便地擴充存儲容量 是推動存儲技術發(fā)展的源動力 面對高速膨 脹的數(shù)據(jù)存儲需求 存儲技術已由傳統(tǒng)的直接連接存儲 d a s 發(fā)展到已被普遍 接受的網絡存儲 n a s i s c s i 和s a n 等 2 1 三種典型存儲體系結構 存儲是備份的基礎 按照存儲設備的連接方式 有以下三種存儲結構 2 0 d a s d i r e c ta t t a c h e ds t o r a g e 直連存儲 n a s n e t l o r ka t t a c h e ds t o m g e 附 網存儲 和s a n s t o r a g ea r e an e t w o r k 存儲區(qū)域網 直聯(lián)存儲和存儲區(qū)域網 都是數(shù)據(jù)塊級的存儲系統(tǒng) 不過直聯(lián)存儲與存儲設備是通過計算機總線連接 而 存儲區(qū)域網是通過存儲網絡連接存儲設備 附網存儲提供給用戶的是文件級的存 儲系統(tǒng) 2 1 1 直聯(lián)存儲d a s d a s 將存儲設備直接與服務器相連 以服務器 主機 為中心 存儲設備 可以是磁盤 磁帶 磁盤陣列或磁帶庫 在這種方式中 存儲設備是通過d e s c s i 等i o 總線直接到服務器 i o 請求也是通過服務器發(fā)送到存儲設備 d a s 是比較常用的結構 許多中小企業(yè)和部門配置的文件和存儲服務器都還是 在采用這種拓撲結構 如圖2 1 郵件服務器 圖2 1d a s 存儲結構 1 0 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 由于存儲系統(tǒng)附屬于服務器 受服務器總線技術的限制 并且當客戶連接數(shù) 增多時 服務器將成為整個系統(tǒng)的性能瓶頸 這種直連式存儲結構也導致容量的 擴展性問題 缺乏動態(tài)可擴展性 傳統(tǒng)上為其擴充存儲容量的方法是增加新的 更快速的磁盤 如果服務器上可供掛接的驅動器接口已滿 如u l t r as c s i 3 最多 可以接1 5 個磁盤 就只有考慮另外購買一臺昂貴的服務器來擴容 由于數(shù)據(jù) 存儲在多個獨立服務器上 每個服務器又都帶有各自的存儲系統(tǒng) 數(shù)據(jù)就被人為 的分割成獨立的部分存在 不能提供跨平臺文件共享 相同的數(shù)據(jù)可能在不同的 服務器中保留有多個副本 極大地浪費了存儲空間 此外 為每臺服務器進行單 獨的數(shù)據(jù)維護需要管理員耗費大量的時間 d a s 存儲體系結構適用于沒有大型數(shù)據(jù)庫應用的情形 例如個人級的網站 小型醫(yī)療系統(tǒng) 小型檔案系統(tǒng)等 這些系統(tǒng)數(shù)據(jù)基本上都是以文件形式存在 沒 有復雜的數(shù)據(jù)庫結構 數(shù)據(jù)保存時間一般比較長 而且停機進行數(shù)據(jù)備份完全是 可以允許的 然而由于數(shù)據(jù)的迅速增長使得d a s 存儲體系結構越來越不適應現(xiàn)代存儲 應用的發(fā)展 也無法滿足企業(yè)的各種各樣的存儲需求 如何確保數(shù)據(jù)的一致性 安全性和可靠性 如何實現(xiàn)網絡數(shù)據(jù)的集中訪問 如何實現(xiàn)異構環(huán)境下的數(shù)據(jù)存 儲和管理 面對這些問題 傳統(tǒng)的d a s 存儲架構 已經無能為力 網絡存儲架 構順應這一需求而產生 它將訪問模式由傳統(tǒng)的以服務器為中心轉化為以數(shù)據(jù)和 網絡為中心 導致網絡存儲 n a s 和s a n 的蓬勃發(fā)展 2 1 2 附網存儲n a s 附網存儲 n e 帆o r ka t t a c h e ds t o r a g e n a s 是一種可以直接連接數(shù)據(jù)到任 何網絡上的存儲設備 存儲網絡工業(yè)協(xié)會 s n 認 定義為 n a s 是可以直接聯(lián)到 網絡上向用戶提供文件級服務的存儲設備 2 與d a s 存儲系統(tǒng)架構相比 附網存儲 如圖2 2 采用t c p i p 網絡進行數(shù)據(jù) 交換 各種產品只要滿足協(xié)議標準就能夠實現(xiàn)互連 很容易實現(xiàn)異構平臺下的文 件共享 網絡文件系統(tǒng)的采用也使n a s 擺脫了服務器和異構化構架對兼容性問 題的困擾 有效保障原有設備的同時 又具有較好的擴展性 為提高n a s 設備 與網絡之間的數(shù)據(jù)傳輸效率 n a s 部件一般都專門優(yōu)化了系統(tǒng)硬件和軟件體系 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 結構 采用多線程 多任務的網絡操作系統(tǒng)內核來處理網絡的i o 請求 由于 數(shù)據(jù)不再通過服務器內存轉發(fā) 而直接在客戶機和存儲設備間傳送 服務器僅起 到控制管理的作用 因而不僅響應速度快 而且數(shù)據(jù)傳輸速率也很高 目前十萬 兆以太網 1 0 0 0 0 0 m b p s 的出現(xiàn) 也大大提高了n a s 存儲的性能 n a s 在解決 足夠的存儲和擴展空間的同時 還提供極高的性價比 這都是d a s 和s a n 所無 法比擬的 因而其成為多數(shù)企業(yè) 尤其是中小型企業(yè)的最佳選擇 站 圖2 2n a s 存儲結構 n a s 實際上是一個帶有瘦服務器的存儲設備 它舍棄了通用服務器的大多 數(shù)計算功能 將硬件和軟件有機地集成在一起 通過優(yōu)化i o 性能 將數(shù)據(jù)處理 從總線i o 瓶頸中解放出來 是一種配有大量的存儲能力 僅僅作為專用i o 文件服務器來使用的瘦服務器 2 3 1 在n a s 結構中 存儲系統(tǒng)直接通過網絡接 口與網絡直接相連 由用戶通過網絡和文件存取協(xié)議 例如n f s 附e t w o r kf i l e s y s t e m c i f s c o 舢 i l o ni n t e m e tf i l es y s t e m 等對n a s 設備發(fā)出文件i o 請 求 對于收到的每一個文件請求都會被封裝成網絡報文的形式并傳送到相應的網 絡層 報文組裝成完整的n f s 或c i f s 請求之后 請求會傳送給相應的n f s c i f s 驅動程序 在提交給文件系統(tǒng)之后 文件系統(tǒng)會根據(jù)該請求通過磁盤驅動程序讀 取對應的文件 磁盤驅動程序再將文件傳回文件系統(tǒng) 再接著傳給n f s c i f s 驅 動程序 這些驅動程序隨之將數(shù)據(jù)傳送給網絡層 網絡層再創(chuàng)建必要的報文 將 報文通過網絡發(fā)送回去 文件系統(tǒng)的通用性使得n a s 獨立于操作系統(tǒng)實現(xiàn)了跨 平臺的使用 可以直接將其掛接到網絡上 實現(xiàn)即插即用 如圖2 3 為n a s 收 到文件請求后獲取文件的內部流程 不可否認 n a s 體系結構也存在一些不可忽視的缺點 n a s 的數(shù)據(jù)傳送 機制必不可少的具有巨大的網絡協(xié)議開銷 在數(shù)據(jù)備份過程中將會消耗大量的帶 1 2 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 寬 使其無法完成大容量的存儲備份應用 這影響了它在企業(yè)級存儲中的地位 另一方面 文件i o 的速度要遠低于塊存儲的速度 這些特點注定了n a s 存儲 技術是解決存儲容量不足問題的好方案 而在存儲超大容量的信息時難有滿意的 性能 2 1 3 存儲區(qū)域網s a n 設備驅動程序 t n a s 文件系統(tǒng) t n f s c i f s 驅動程序 毒t t c p i p 數(shù)據(jù)請求 圖2 3n a s 中數(shù)據(jù)請求流程 存儲網絡工業(yè)協(xié)會s n i a 對存儲區(qū)域網絡s a n s t o r a g e 心e an e t l o r k 的 定義是 在主機與存儲設備之間以及各存儲設備之間傳遞數(shù)據(jù)的網絡 它包括通 訊構架 管理層 連接設備 存儲設備和主機 或者說s a n 是一種利用f i b r e c h a n n e l 等專用存儲協(xié)議連接起來的可以在存儲資源和服務器之間建立直接的 數(shù)據(jù)連接的高速計算機網絡 2 4 1 s a n 采用可擴展的網絡拓撲結構連接服務器和 存儲設備 所有的存儲設備都可以在全部的網絡服務器之間作為對等資源共享 如圖2 4s a n 存儲結構示意圖 流媒體服務器 圖2 4s a n 存儲結構 1 3 中山大學碩士論文數(shù)據(jù)分層備份的研究與實現(xiàn) 根據(jù)所采用的傳輸協(xié)議以及傳輸介質的不同 s a n 有很多種實現(xiàn)方式 主 要有f c s a n 和i p s a n 兩種 f c s a n 采用高速的光纖通道構架存儲網絡 并用f c p f i b r ec h a n n e lp r o t o c 0 1 協(xié)議傳輸s c s i 命令和數(shù)據(jù) s a n 的體系 結構和以光纖通道交換機和光纖通道協(xié)議為主要特征的本質決定了它的諸多優(yōu) 點 2 5 首先 在一些關鍵應用中 可以有效地傳送爆發(fā)性的塊數(shù)據(jù) s a n 的性 能以及可靠性能夠得到充分發(fā)揮 其次 s a n 可以實現(xiàn)遠程災難恢復 第三 目前光纖通道可提供4 g b p s 帶寬的高速存取 第四 通過整合各種不同的存儲 設備形成一個統(tǒng)一的存儲池 存儲設備和服務器都可以很方便的添加到網絡中 去 存儲容量可以很容易地擴充 第五 存儲設備與服務器分離 存儲設備上的 數(shù)據(jù)容易被其它服務器共享 存儲設備之間的數(shù)據(jù)遷移也變得很容易 第六 數(shù) 據(jù)的備份 恢復 遷移都是通過存儲區(qū)域網本身來完成 不占用l a n 帶寬真正 實現(xiàn)了l a n f r e e s e r v e r f r e eb a c k u p s a n 性能高 但是其成本也高 存儲區(qū)域網采用的光纖通道網絡互連設備 都非常昂貴 管理也復雜 且其技術尚未完全成熟 兼容性和互操作性等問題還 未有效解決 s a n 系統(tǒng)的互操作性問題一直是困擾其發(fā)展的重要問題 不同廠 家的存儲設備很難互聯(lián)到一個統(tǒng)一的s a n 中 在異構環(huán)境下的文件共享很難 s a n 中存儲資源的共享一般指的是不同平臺下的存儲空間的共享 而不是數(shù)據(jù) 文件的共享 構建和維護s a n 需要有經驗豐富的 并接受過專業(yè)訓練的管理人 員 大大增加了企業(yè)成本 這都在一定程度上阻礙了s a n 技術的普及應用和推 廣 也限制了其在中小型企業(yè)中的應用 2 2 分層存儲系統(tǒng)架構 盡管s a n 有著諸多優(yōu)勢 但是調查顯示許多中小企業(yè)和部門當前所采用的 存儲架構主要還是d a s 拓撲結構 d a s 自身存在的缺陷意味著它無法滿足隨著 企業(yè)規(guī)模的擴大數(shù)據(jù)迅速增加 而對存儲容量的擴展提出的需求 數(shù)據(jù)的增長將 會成為企業(yè)發(fā)展的瓶頸 考慮到n a s 存儲架構正是為解決存儲容量動態(tài)擴展的 問題而做出的改進 為進一步降低企業(yè)存儲成本 充分利用已有的設備資源 本 文將對這兩種存儲架構進行適當?shù)恼?在保證低成本的同時使得存儲容量能夠 根據(jù)企業(yè)的需要隨時進行擴展 如圖2 5 為d a s 與n a s 兩種體系架構整合后的 1 4 中 i j 人學碩 j 論文數(shù)據(jù)分層備份的研究與實現(xiàn) 分層存儲系統(tǒng)架構 磁帶機 圖2 5 分層系統(tǒng)架構 在圖2 5 所示的體系結構中 保留了現(xiàn)今中小企業(yè)流行的d a s 架構 應用 服務器或者數(shù)撓 庫服務器等仍然直接與存儲介質 目連 與傳統(tǒng)d a s 結構不同的 是 我們在企業(yè)網絡中增加了n a s 部件來實現(xiàn)存儲容量的擴展 同時為了方便 用 管理企業(yè)資源 實現(xiàn)數(shù)據(jù)的集中管理 我們在原有的剛絡中添加了一臺專用 的備份管理服務器 用于處理所有的數(shù)據(jù)備份請求 并管理氽業(yè)各種存儲資源和 備份數(shù)據(jù) 用 的任何數(shù)據(jù)備份i o 請求一般均會提交給存儲管理服務器 存儲 管理服務器驗證用 1 的權限 查詢核心數(shù)據(jù)庫 確定用戶請求數(shù)據(jù)所在的設備位 置后 管理服務器會將陔請求重定陽給相應的n a s 部件 相對而言 普通用戶 的數(shù)據(jù)備份量一般比較少 因而允許數(shù)據(jù)通過管理服務器的中轉 而數(shù)據(jù)的遷移 則在用戶客戶端和n a s 設備問直接傳輸 無需通過存儲管理服務器中轉 系統(tǒng)用戶包括普通用戶和駐留在應用服務器上的備份中間件代理 普通用 通過終端界面實施數(shù)據(jù)備份與恢復 管理員還可以通過類似的界面管理企業(yè)的各 種資源以及相關備份任務 用戶