虛擬機遷移技術漫談.doc

虛擬機遷移技術漫談如何在虛擬機和物理機以及虛擬機和虛擬機之間的遷移系統(tǒng)前言系統(tǒng)的遷移是指把源主機上的操作系統(tǒng)和應用程序移動到目的主機，并且能夠在目的主機上正常運行。在沒有虛擬機的時代，物理機之間的遷移依靠的 是系統(tǒng)備份和恢復技術。在源主機上實時備份操作系統(tǒng)和應用程序的狀態(tài)，然后把存儲介質連接到目標主機上，最后在目標主機上恢復系統(tǒng)。隨著虛擬機技術的發(fā) 展，系統(tǒng)的遷移更加靈活和多樣化。本系列文章全面介紹了虛擬機遷移的三種方式 P2V、V2V 和 V2P，及他們在內核虛擬機 KVM 上的實現方法，分成五個部分。第一部分，介紹虛擬機遷移的各種方法和相應的遷移工具，并且著重分析 Linux 平臺上開源的虛擬化工具 KVM 和 XEN 實時遷移中的的內存預拷貝技術；第二部分介紹 KVM 虛擬機之間的 V2V 遷移技術，包括離線遷移和在線遷移；第三部分介紹基于 VMware 或 XEN 的虛擬機如何遷移到基于 KVM 的虛擬機；第四部分介紹物理機到虛擬機遷移 P2V 和虛擬機到物理機遷移 V2P 在 KVM 虛擬機上的實現；第五部分介紹和虛擬機遷移密切相關的虛擬機克隆、快照和備份技術。回頁首虛擬機遷移簡介為什么要遷移服務器遷移服務器可以為用戶節(jié)省管理資金、維護費用和升級費用。以前的 x86 服務器，體積比較“龐大”；而現在的服務器，體積已經比以前小了許多，遷移技術使得用戶可以用一臺服務器來同時替代以前的許多臺服務器，這樣就節(jié)省了用戶 大量的機房空間。另外，虛擬機中的服務器有著統(tǒng)一的“虛擬硬件資源”，不像以前的服務器有著許多不同的硬件資源（如主板芯片組不同，網卡不同，硬 盤，RAID 卡，顯卡不同）。遷移后的服務器，不僅可以在一個統(tǒng)一的界面中進行管理，而且通過某些虛擬機軟件，如 VMware 提供的高可用性工具，在這些服務器因為各種故障停機時，可以自動切換到網絡中另外相同的虛擬服務器中，從而達到不中斷業(yè)務的目的?？傊w移的優(yōu)勢在于簡 化系統(tǒng)維護管理， 提高系統(tǒng)負載均衡，增強系統(tǒng)錯誤容忍度和優(yōu)化系統(tǒng)電源管理。虛擬機遷移的性能指標一個優(yōu)秀的遷移工具，目標是最小化整體遷移的時間和停機時間，并且將遷移對于被遷移主機上運行服務的性能造成的影響降至最低。當然，這幾個因 素互相影響，實施者需要根據遷移針對的應用的需求在其中進行衡量，選用合適的工具軟件。虛擬機遷移的性能指標包括以下三個方面：1. 整體遷移時間：從源主機開始遷移到遷移結束的時間2. 停機時間：遷移過程中，源主機、目的主機同時不可用的時間3. 對應用程序的性能影響：遷移對于被遷移主機上運行服務性能的的影響程度?；仨撌滋摂M機遷移的分類及原理物理機到虛擬機的遷移（Physical- to-Virtual）P2V 指遷移物理服務器上的操作系統(tǒng)及其上的應用軟件和數據到 VMM（Virtual Machine Monitor）管理的虛擬服務器中。這種遷移方式，主要是使用各種工具軟件，把物理服務器上的系統(tǒng)狀態(tài)和數據“鏡像”到 VMM 提供的虛擬機中，并且在虛擬機中“替換”物理服務器的存儲硬件與網卡驅動程序。只要在虛擬服務器中安裝好相應的驅動程序并且設置與原來服務器相同的地址 （如 TCP/IP 地址等），在重啟虛擬機服務器后，虛擬服務器即可以替代物理服務器進行工作。P2V 遷移方法 手動遷移：手動完成所有遷移操作，需要對物理機系統(tǒng)和虛擬機環(huán)境非常了解。i. 關閉原有的物理機上的服務和操作系統(tǒng)，并且從其他媒質上啟動一個新的系統(tǒng)。比如從 LiveCD 上啟動一個新的光盤系統(tǒng)。大部分的發(fā)行版都會帶有 LiveCD。ii. 把物理機系統(tǒng)的磁盤做成虛擬機鏡像文件，如有多個磁盤則需要做多個鏡像，并且拷貝鏡像到虛擬主機上。iii. 為虛擬機創(chuàng)建虛擬設備，加載鏡像文件iv. 啟動虛擬機，調整系統(tǒng)設置，并開啟服務。 半自動遷移：利用專業(yè)工具輔助 P2V 的遷移，把某些手動環(huán)節(jié)進行自動化。比如將物理機的磁盤數據轉換成虛擬機格式，這一向是相當耗時的工作，你可以選擇專業(yè)的工具來完成這個步驟。這里有大量 的工具可以使用，如 RedHat 的開源工具 virt-p2v，Microsoft Virtual Server Migration Toolkit 等。 P2V 熱遷移：遷移中避免宕機 。大部分 P2V 工具也有一個很大的限制：在整個遷移過程中，物理機不可用。在運行關鍵任務的環(huán)境或有 SLA（服務水平協議）的地方，這種工具不可選。幸運的是隨著 P2V 技術的發(fā)展，VMware vCenter Converter 和 Microsoft Hyper-V 已經能夠提供熱遷移功能，避免宕機。目前，P2V 熱遷移僅在 Windows 物理服務器可用，未來將添加對 Linux 的支持。虛擬機到虛擬機的遷移（Virtual-to- Virtual）V2V 遷移是在虛擬機之間移動操作系統(tǒng)和數據，照顧主機級別的差異和處理不同的虛擬硬件。虛擬機從一個物理機上的 VMM 遷移到另一個物理機的 VMM，這兩個 VMM 的類型可以相同，也可以不同。如 VMware 遷移到 KVM， KVM 遷移到 KVM?？梢酝ㄟ^多種方式將虛擬機從一個 VM Host 系統(tǒng)移動到另一個 VM Host 系統(tǒng)。V2V 離線遷移離線遷移（offline migration）：也叫做常規(guī)遷移、靜態(tài)遷移。在遷移之前將虛擬機暫停，如果共享存儲，則只拷貝系統(tǒng)狀態(tài)至目的主機，最后在目的主機重建虛擬機狀態(tài)， 恢復執(zhí)行。如果使用本地存儲，則需要同時拷貝虛擬機鏡像和狀態(tài)到目的主機。到這種方式的遷移過程需要顯示的停止虛擬機的運行。從用戶角度看，有明確的一段 服務不可用的時間。這種遷移方式簡單易行，適用于對服務可用性要求不嚴格的場合。V2V 在線遷移在線遷移（online migration)：又稱為實時遷移 (live migration)。是指在保證虛擬機上服務正常運行的同時，虛擬機在不同的物理主機之間進行遷移，其邏輯步驟與離線遷移幾乎完全一致。不同的是，為了 保證遷移過程中虛擬機服務的可用，遷移過程僅有非常短暫的停機時間。遷移的前面階段，服務在源主機運行，當遷移進行到一定階段，目的主機已經具備了運行系 統(tǒng)的必須資源，經過一個非常短暫的切換，源主機將控制權轉移到目的主機，服務在目的主機上繼續(xù)運行。對于服務本身而言，由于切換的時間非常短暫，用戶感覺 不到服務的中斷，因而遷移過程對用戶是透明的。在線遷移適用于對服務可用性要求很高的場景。目前主流的在線遷移工具，如 VMware 的 VMotion，XEN 的 xenMotion，都要求物理機之間采用 SAN（storage area network）， NAS（network-attached storage）之類的集中式共享外存設備，因而在遷移時只需要考慮操作系統(tǒng)內存執(zhí)行狀態(tài)的遷移，從而獲得較好的遷移性能。另外，在某些沒有使用共享存儲的場合，可以使用存儲塊在線遷移技術來實現 V2V 的虛擬機在線遷移。相比較基于共享存儲的在線遷移，數據塊在線遷移的需要同時遷移虛擬機磁盤鏡像和系統(tǒng)內存狀態(tài)，遷移性能上打了折扣。但是他使得在采用分 散式本地存儲的環(huán)境下，仍然能夠利用遷移技術轉移計算機環(huán)境，并且保證遷移過程中操作系統(tǒng)服務的可用性，擴展了虛擬機在線遷移的應用范圍。V2V 在線遷移技術消除了軟硬件相關性，是進行軟硬件系統(tǒng)升級，維護等管理操作的有力工具。V2V 內存遷移技術對于 VM 的內存狀態(tài)的遷移，XEN 和 KVM 都采用了主流的的預拷貝（pre-copy）的策略。遷移開始之后，源主機 VM 仍在運行，目的主機 VM 尚未啟動。遷移通過一個循環(huán)，將源主機 VM 的內存數據發(fā)送至目的主機 VM。循環(huán)第一輪發(fā)送所有內存頁數據，接下來的每一輪循環(huán)發(fā)送上一輪預拷貝過程中被 VM 寫過的臟頁內存 dirty pages。直到時機成熟，預拷貝循環(huán)結束，進入停機拷貝階段，源主機被掛起，不再有內存更新。最后一輪循環(huán)中的臟頁被傳輸至目的主機 VM。預拷貝機制極大的減少了停機拷貝階段需要傳輸的內存數據量，從而將停機時間大大縮小。然而，對于更新速度非?？斓膬却娌糠?，每次循環(huán)過程都會變臟，需要重復 pre-copy，同時也導致循環(huán)次數非常多，遷移的時間變長。針對這種情況，KVM 虛擬機建立了三個原則：集中原則，一個循環(huán)內的 dirty pages 小于等于 50；不擴散原則， 一個循環(huán)內傳輸的 dirty pages 少于新產生的；有限循環(huán)原則，循環(huán)次數必須少于 30。在實現上，就是采取了以下措施： 有限循環(huán)：循環(huán)次數和效果受到控制，對每輪 pre-copy 的效果進行計算，若 pre-copy 對于減少不一致內存數量的效果不顯著，或者循環(huán)次數超過了上限，循環(huán)將中止，進入停機拷貝階段。 在被遷移 VM 的內核設置一個內存訪問的監(jiān)控模塊。在內存 pre-copy 過程中，VM 的一個進程在一個被調度運行的期間，被限制最多執(zhí)行 40 次內存寫操作。這個措施直接限制了 pre-copy 過程中內存變臟的速度，其代價是對 VM 上的進程運行進行了一定的限制。KVM 的預拷貝在線遷移過程詳解：1. 系統(tǒng)驗證目標服務器的存儲器和網絡設置是否正確，并預保留目標服務器虛擬機的資源。 圖 1. 源服務器和目標服務器簡圖2. 當虛擬機還在源服務器上運轉時，第一個循環(huán)內將全部內存鏡像復制到目標服務器上。在這個過程中，KVM 依然會監(jiān)視內存的任何變化。 圖 2. 內存鏡像復制示意圖3. 以后的循環(huán)中，檢查上一個循環(huán)中內存是否發(fā)生了變化。 假如發(fā)生了變化，那么 VMM 會將發(fā)生變化的內存頁即 dirty pages 重新復制到目標服務器中，并覆蓋掉先前的內存頁。在這個階段，VMM 依然會繼續(xù)監(jiān)視內存的變化情況。 圖 3. 進行有變化的內存復制4. VMM 會持續(xù)這樣的內存復制循環(huán)。隨著循環(huán)次數的增加，所需要復制的 dirty pages 就會明顯減少，而復制所耗費的時間就會逐漸變短，那么內存就有可能沒有足夠的時間發(fā)生變化。最后，當源服務器與目標服務器之間的差異達到一定標準時，內存 復制操作才會結束，同時暫停源系統(tǒng)。 圖 4. 所需復制的數據在減少5. 在源系統(tǒng)和目標系統(tǒng)都停機的情況下，將最后一個循環(huán)的 dirty-pages 和源系統(tǒng)設備的工作狀態(tài)復制到目標服務器。 圖 5. 狀態(tài)信息的復制6. 然后，將存儲從源系統(tǒng)上解鎖，并鎖定在目標系統(tǒng)上。啟動目標服務器，并與存儲資源和網絡資源相連接。 圖 6. 停止源服務器，啟動目標服務器Virtual-to-Physical 虛擬機到物理機的遷移V2P 指把一個操作系統(tǒng)、應用程序和數據從一個虛擬機中遷移到物理機的主硬盤上，是 P2V 的逆操作。它可以同時遷移虛擬機系統(tǒng)到一臺或多臺物理機上。盡管虛擬化的基本需求是整合物理機到虛擬機中，但這并不是虛擬化的唯一的應用。比如有時虛擬機 上的應用程序的問題需要在物理機上驗證，以排除虛擬環(huán)境帶來的影響。另外，配置新的工作站是件令 IT 管理者頭痛的事情，但虛擬化的應用可以幫助他解決這個難題。先配置好虛擬機，然后運用硬盤克隆工具復制數據至工作站硬件，比如賽門鐵克的 Save & Restore (Ghost)。不過這種克隆方法有兩個局限：一個鏡像只能運用在同種硬件配置的機器上；要想保存配置的修改，只能重做新的鏡像。V2P 的遷移可以通過確定目標的物理環(huán)境來手動完成，如把一個特定的硬盤加載到虛擬系統(tǒng)中，然后在虛擬環(huán)境中安裝操作系統(tǒng)、應用程序和數據，最后手動修改系統(tǒng)配 置和驅動程序。這是一個乏味且不確定的過程，特別是在新的環(huán)境比舊的環(huán)境包含更多大量不同的硬件的情況下。為了簡化操作，我們可以利用專門的遷移工具以自 動的方式來完成部分或全部遷移工作。目前支持 V2P 轉換的工具有 PlateSpin Migrate 和 EMC HomeBase。使用這樣的工具使得 V2P 轉換過程更簡易，并且比使用第三方磁盤鏡像工具更快捷。V2P 遷移方法V2P 的不確定性導致自動化工具不多，目前主要有以下幾種解決方案： VMware 官方推薦的是使用 Ghost+sysprep 來實現半自動化的遷移。 基于備份和恢復操作系統(tǒng)的解決方案。這個方案利用了現成的系統(tǒng)備份恢復工具，沒有體現虛擬機和物理機的差別，類似于 P2P（Physical-to-Physical 物理機到物理機遷移）。注意備份工具能夠恢復系統(tǒng)到異構硬件平臺上。 開源工具的解決方案。適合 Linux/Unix 系統(tǒng)，使用開源工具和腳本，手動遷移系統(tǒng)。這個方案難度較大，適合有經驗的管理員。回頁首Linux 系統(tǒng)在虛擬機遷移中的技術難點通常我們期望虛擬機的遷移能夠全部自動化或者部分自動化完成，但實際上 Linux 系統(tǒng)在 P2V 和 V2V 的遷移中可能遇到一些困難。本節(jié)列舉了 Linux 遷移中需要注意的地方。a. 磁盤分區(qū)名被硬編碼。當我們做磁盤虛擬化時，可能會使用不同類型的虛擬磁盤設備，這將會導致磁盤名字的變化。比如 Xen 虛擬機中的半虛擬化設備使用 /dev/xvda 而標準的 Linux 半虛擬化設備使用 /dev/vda。準備遷移的 Linux 系統(tǒng)中存在對 /dev/hd* 和 /dev/sd* 磁盤分區(qū)名分散的關聯，比如在 /etc/fstab 文件，啟動初始化文件系統(tǒng) ramfs 和一些解析磁盤設備的開機啟動腳本文件中。V2V 遷移工具需要在整個磁盤上查找并修改這些關聯。有一個簡單的方法來避免這種情況： Linux 系統(tǒng)上主流的文件系統(tǒng)和交換分區(qū)類型可以使用 Lables 或 UUID 作為分區(qū)名。遷移時這些信息是被重點保護的，系統(tǒng)應該小心使用這些信息，一定不要使用設備作為分區(qū)名。另外，LVM 分區(qū)名和設備無關，在遷移中也不受影響。b. 網絡硬件設備的改變。當系統(tǒng)遷移時，網絡設備很可能產生變化。比如虛擬網絡設備和物理網絡設備的轉化或者不同類型的網絡設備之間的轉變。但是是他們的 MAC 地址沒有變化。MAC 地址是 IEEE 分配給物理設備制造商的，兩個物理設備不會有相同的 MAC 地址；然而虛擬網絡設備可能出現這種情況。所以在做虛擬機遷移時，你必須記錄每一個網絡設備的 MAC 地址，保證 MAC 地址和網絡設備的對應關系。c. 內核不支持某些虛擬設備。某些 Linux 發(fā)行版沒有 virtio 虛擬設備的驅動，可能是因為 Linux 發(fā)行版早于虛擬設備發(fā)布了；或者虛擬設備的驅動是閉源的；或者是在系統(tǒng)編譯時去掉了。因此，有時我們另外需要一個完全不同的內核（比如 Xen 早期的版本就是這樣的）。無論如何，在客戶機上安裝一個新的內核并且使之可以啟動是一個很大的冒險，最好避免這樣做。d. Xwindow 需要重新配置。與磁盤、網絡設備一樣，系統(tǒng)遷移后顯示設備也會變化。理想的情況是 Xwindow 會自動處理這個的變化，探測所有的顯示設備并且使用它發(fā)現的第一個設備。但是這不意味著所有的 Linux 發(fā)行版都會以這種方式工作。e. 網絡環(huán)境的變化。靜態(tài) IP 地址和靜態(tài) DNS 解析在虛擬機遷移中 是一個麻煩的事情。盡管不是必須的，但是最好配置系統(tǒng) 從 DHCP 服務器自動獲得所有的網絡配置信息。f. CPU 的擴展指令集發(fā)生變化。遷移后的系統(tǒng)中，新的虛擬 CPU 或主板和舊的會有一些不同。CPU 的擴展指令集如 SSE，Vectors, NX 可能被加入或去掉。CPU 的型號和制造商信息可能被改變。因此，如果你想要優(yōu)化虛擬系統(tǒng)上的軟件，這可能是浪費時間并且導致系統(tǒng)崩潰。最好是使用通用的軟件，讓程序在每次啟動的時 候檢查運行環(huán)境和是否需要優(yōu)化。實際上，實時遷移的狀況比這個還要復雜，因為處理器可能在程序的運行的過程中被改變。目前為止還沒有一個方案能很好的解決 這個問題。如你所見，P2V 和 V2V 最大的問題在于硬件的改變。Linux 發(fā)行版本身應該可以處理所有的硬件變化：在系統(tǒng)啟動的時候去檢查所有的硬件，操作系統(tǒng)內核識別新的設備并尋找新的驅動處理它們 ，所有應用軟件都不要和硬件綁定，設計一個很好的模式來應對突然的環(huán)境變化?；仨撌啄壳傲餍械奶摂M機軟件的遷移特性介紹P2V 遷移工具虛擬機所呈現出來的虛擬硬件通常與原始服務器上的物理硬件不同。P2V 遷移工具是這樣解決這個問題的： VMware vCenter Converter：支持從諸如物理機、VMware 和 Microsoft 虛擬機格式以及某些第三方磁盤映像格式的源進行轉換。他替代了舊的遷移工具 VMware Workstation Importer 和 VMware P2V Assistant。VMware vCenter Converter 可以支持和識別大多數服務器硬件類型。VMware vCenter Converter 提供以下兩種克隆機制：熱克隆（實時遷移）和冷克?。ㄊ褂?BootCD 的克隆）。使用熱克隆時，VMware vCenter Converter 直接與源物理機上運行的操作系統(tǒng)通信，因此沒有直接的硬件級別依賴性；使用冷克隆時，VMware vCenter Converter BootCD 提供一個可支持最新硬件的 Windows PE 引導環(huán)境，因此可以識別大多數物理服務器系統(tǒng)硬件。目前只支持基于 Microsoft Windows 的物理機遷移。 XenConvert：是 XenServer 物理機到虛擬機的遷移工具。不僅可以遷移 Window 物理機到 XenServer 管理的虛擬機，而且可以導入 VMware 虛擬機 VMDK 格式和 OVF 包。 Virtual Machine Manager 2008: 提供基于任務的向導，將自動執(zhí)行大部分轉換過程，以此來簡化 P2V 轉換。由于可通過編寫腳本來完成 P2V 轉換過程，因此可以通過 Windows PowerShell 命令行進行大規(guī)模的 P2V 轉換。VMM2008 同時支持聯機轉換和脫機轉換。 Symantec Ghost：制作鏡像文件和把鏡像文件恢復到虛擬機。用來把需要遷移的服務器的硬盤通過網絡做成鏡像文件，然后通過網絡把鏡像文件恢復到虛擬機。 Virt-p2v：RedHat 的開源遷移工具。V2V 遷移工具支持 V2V 遷移是虛擬機的管理工具的重要功能，所以各種虛擬化軟件都提供了實現 V2V 遷移的模塊或工具。V2V 在線遷移大大的減少了虛擬機的遷移的停機時間。這使動態(tài)遷移成了用戶在需要不間斷工作時遷移虛擬機的首選。通常的在線遷移方案，是虛擬機使用共享存儲，遷 移時只拷貝虛擬機的內存。原理參見前面的小節(jié)“V2V 內存遷移技術”。VMware VMotionVMware 的在線遷移是由 VMotion 這個組件實現的 。Vmotion 的實時解決方案的特點是有其自己的 Cluster File System: VMFS，此外也支持 NFS。Vmotion 把整個虛擬機包括其完整狀態(tài)封裝在幾個文件中，存放在 SAN/NAS 等共享存儲中。遷移的過程是把內存和運行狀態(tài)通過高速網從源復制到目標。Citrix XenMotionXenMotion 是 XenServer 的一項功能，能夠將正在運行的虛擬機從一臺 XenServer 主機上遷移到另外一臺，而不帶有停機的危險。這就意味著在整個遷移過程中，被移動的虛擬機在任意時刻都可以訪問。XenMotion 的主要目的是在某臺服務器進行計劃維修時，使終端用戶覺察不到應用程序出現過極短暫的中斷，令整個服務過程正常順暢。Microsoft Hyper-V微軟的 Hyper-V 從 2.0 開始支持了動態(tài)遷移技術。利用 Hyper-V 動態(tài)遷移，在不中斷任何服務或者不允許停機的前提下，將一個運行中的虛擬機從一個 Hyper-V 物理主機移動到另外一個上面，通過預復制遷移的虛擬機中的內存到目的主機。管理員或者腳本在啟動動態(tài)遷移的時候控制選擇此次遷移的目標計算機，客戶使用被 遷移系統(tǒng)時是不會感覺到遷移在進行的。QEMU-KVM/Libvirt內核虛擬機 KVM 技術的原創(chuàng)公司 Qumranet 在 2008 年被 RedHat 收購以后，得到了全面快速的發(fā)展。在 2009 年發(fā)布的 Redhat Enterprise Linux 5.4 全面支持了 KVM 虛擬機，其中已經包含了離線遷移和在線遷移的技術。2010 年發(fā)布的 Redhat Enterprise Linux 5.5 和 Suse Linux Enterprise Server 11 Service Pack 1 中集成了圖形化的 KVM 虛擬機管理工具 virt-manager，使虛擬機的遷移更加直觀和方面。在本系列文章的下一篇中將詳細介紹如何遷移 KVM 虛擬機。回頁首自動化遷移的未來目前許多企業(yè)都已將包括 CPU、內存、I/O、存儲、網絡在內的數據中心設備進行了虛擬化，如何更好管理和利用這些虛擬的和物理的資源，已經成為數據中心異構虛擬化時期急需解決 的問題。P2V 遷移工具使物理資源虛擬化、數據中心轉移更加簡單；V2V 遷移工具使虛擬資源達到最優(yōu)化配置；而 V2P 遷移工具可以快速部署虛擬機到物理機。在不遠的將來，P2V/V2P/V2V 工具都會失去原有的意義，所有功能的實現都集成到一個智能化、自動化、自治化數據中心的優(yōu)化系統(tǒng)中去。 高度自動化的監(jiān)測模塊將 24 小時掃描整個數據中心，尋找過載和閑賦的虛擬機；規(guī)劃模塊根據監(jiān)測報告和收集的信息選擇最好的遷移工具進行資源優(yōu)化，遷移過程將在應用程序正常運行的狀況 下自動執(zhí)行。那時，整個環(huán)境就像液體一樣可以自由流動，