云計算關鍵技術及標準化

云計算關鍵技術及標準化分析了云計算關鍵的技術，包括虛擬化/分布式文件系統/分布式數據庫等，介紹了相關云方案實現，并對云計算在IETF/ITU等標準組織的最新研究競爭做了說明。1引言云計算并不是一個全新的名稱。1961年，圖靈獎得主JOHNMCCARTHY提出計算能力將作為一種象水、電一樣的公用事業(yè)提供給用戶。2001年，GOOGLECEOERICSCHMIDT在搜索引擎大會上首次提出“云計算”的概念。2004年，AMAZON陸續(xù)推出云計算服務，成為少數幾個提供9995正常運行時間保證的云計算供應商之一。2007年，隨著IBM，GOOGLE等公司的宣傳，云計算概念開始獲得全球公眾和媒體的廣泛關注。云計算目前并沒有統一的定義。根據WIKIPEDIA，云計算是一種基于互聯網的計算新方式，通過互聯網上異構、自治的服務為個人和企業(yè)用戶提供按需即取的計算。而BERKELEY大學則認為云計算是指INTERNET上以服務發(fā)布的應用以及支撐這些服務的數據中心的軟件和硬件。筆者則認為，云計算的概念不僅僅局限于計算，實際上直接稱為“云”更加合適，云的本質是網絡為用戶提供的按需即取的服務SERVICEONDEMAND，包括基于提供計算能力，存儲能力，以及網絡能力的各種服務的組合。正是因為服務的按需即取的特性，需要對應于計算能力、存儲能力、交付能力的各種計算資源、存儲資源，以及網絡資源的按需即取的資源池管理和彈性提供。從業(yè)務提供方式上，云可以提供3種業(yè)務IAAS將虛擬化的資源直接按需提供給客戶；PAAS在虛擬化的云計算平臺上建立支持多種業(yè)務的應用平臺，再將應用接口和開發(fā)環(huán)境、運行環(huán)境提供給外部；SAAS在虛擬化的云計算平臺上提供按需定制和快速部署的應用軟件租用服務。目前，業(yè)界研究最多的是IAAS和PAAS，本文將針對IAAS（對應基礎云）和PAAS（對應業(yè)務云）的關鍵技術，實現方案以及云的標準化進行闡述。2關鍵技術21虛擬化虛擬化是實現云計算的最重要的技術基礎，虛擬化技術實現了物理資源的邏輯抽象和統一表示。通過虛擬化技術可以提高資源的利用率，并能夠根據用戶業(yè)務需求的變化，快速、靈活地進行資源部署。211虛擬化平臺架構在云計算環(huán)境中，通過在物理主機中同時運行多個虛擬機實現虛擬化。多個虛擬機運行在虛擬化平臺上，由虛擬化平臺實現對多個虛擬機操作系統的監(jiān)視和多個虛擬機對物理資源的共享。總的來說，我們認為虛擬化平臺是三層結構，最下層是虛擬化層，提供基本的虛擬化能力支持；中間層是控制執(zhí)行層，提供各控制功能的執(zhí)行能力；最上層是管理層，對執(zhí)行層進行策略管理、控制，提供對虛擬化平臺統一管理的能力。如圖1所示，虛擬化平臺應該包含虛擬機監(jiān)視器HYPERVISOR，虛擬資源的管理，虛擬機遷移，故障恢復，策略管理（如提供虛擬機自動部署和資源調配）等功能實體。各部分具體功能描述如下圖1虛擬化平臺功能結構（1）虛擬機管理主要保護VM的創(chuàng)建、啟動、停止、遷移、恢復和刪除等能力，虛擬機映像管理，虛擬機運行環(huán)境的自動配置和快速部署啟動等能力。虛擬機管理可根據主機節(jié)點/虛擬機的CPU，內存，I/O，網絡等資源使用情況，自動地在不同主機節(jié)點之間遷移VM，使得VM的性能得到保障。也包含主機節(jié)點的失效保護，即當一個主機節(jié)點失效后，該功能實體能將其上的服務自動轉移到其他節(jié)點上繼續(xù)運行。（2）高可用CLUSTER用于保證主機節(jié)點的失效保護，當一個主機節(jié)點失效后，CLUSTER自動將其上的服務轉移到集群中的其他節(jié)點上繼續(xù)運行。該CLUSTER還可具有負載均衡和存儲集群的能力。（3）動態(tài)資源調配虛擬存儲、網絡創(chuàng)建、配置、修改和刪除等能力。當一個VM的內存、外出或網絡資源不足時，可臨時借用同節(jié)點中其他VM暫時不使用的同類資源。（4）動態(tài)負載均衡兼顧能源消耗和工作負載的均衡。根據策略需要，可開啟/關閉部分主機節(jié)點，并遷移關聯的VM。（5）管理工具包含虛擬化平臺需要支持的一套工具，如P2V（PHYSICALTOVIRTUAL），V2P（VIRTUALTOPHYSICAL），VA（VIRTUALAPPLICATION），JEOS（JUSTENOUGHOPERATINGSYSTEM）等。（6）主機安全用于保證VM運行環(huán)境的安全，包含一組軟件，如ANTIVIRUS，IDS等。212虛擬化平臺部署如圖2所示，在實際部署中，由于CLUSTER、動態(tài)資源分配、主機安全等與HYPERVISOR關系密切，可以作為獨立的軟件部署在主機節(jié)點之中。其他功能都可以集成在一起，形成VM管理器。這樣進行功能分配后，整個虛擬化平臺可以分為兩個軟件包一是HYPERVISORHOSTOS軟件包，駐留在主機節(jié)點中；二是VM管理器軟件包。兩者之間的接口將被簡化為配置、簡單控制、查看和監(jiān)控幾類。圖2虛擬化平臺系統架構圖運行VM的主機利用CLUSTER功能組成一個高可用的集群系統，當其中的某個節(jié)點失效時，可無需VM管理器的干涉，自動地將失效節(jié)點上的服務遷移到其他節(jié)點，并為其重新分配存儲和網絡資源，使得服務不間斷。VM管理可部署在獨立的服務器上，由其負責對虛擬化平臺的告警、運行狀況監(jiān)控、負載調整等工作。虛擬化平臺物理部署如圖3所示。圖3虛擬化平臺部署圖213虛擬化平臺的優(yōu)勢（1）平臺虛擬化實現資源最優(yōu)利用。利用虛擬化技術，在一臺物理服務器或一套硬件資源上虛擬出多個虛擬機，讓不同的應用服務運行在不同的虛擬機上，在不降低系統魯棒性、安全性和可擴展性的同時，可提高硬件的利用率，減少應用對硬件平臺的依賴性，從而使得企業(yè)能夠削減資金和運營成本，同時改善IT服務交付，而不用受到有限的操作系統、應用程序和硬件選擇范圍的制約。（2）利用虛擬機與硬件無關的特性，按需分配資源，實現動態(tài)負載均衡。當VM監(jiān)測到某個計算節(jié)點的負載過高時，可以在不中斷業(yè)務的情況下，將其遷移到其它負載較輕的節(jié)點或者在節(jié)點內通過重新分配計算資源。同時，執(zhí)行緊迫計算任務的虛擬機將得到更多的計算資源，保證關鍵任務的響應能力。（3）平臺虛擬化帶來系統自愈功能，提升系統可靠性。系統服務器硬件故障時，可自動重啟虛擬機。消除在不同硬件上恢復操作系統和應用程序安裝所帶來的困難，其中任何物理服務器均可作為虛擬服務器的恢復目標，進而減少硬件成本和維護成本。（4）提升系統節(jié)能減排能力。與服務器管理硬件配合實現智能電源管理；優(yōu)化虛擬機資源的實際運行位置，達到耗電最小化，從而可為運營商節(jié)省大量電力資源，減少供電成本，節(jié)能減排。22分布式文件系統分布式文件系統是指在文件系統基礎上發(fā)展而來的云存儲分布式文件系統，可用于大規(guī)模集群。主要特性包括（1）高可靠性云存儲系統支持節(jié)點間保存多副本功能，以提供數據的可靠性。（2）高訪問性能根據數據重要性和訪問頻率將數據分級多副本存儲，熱點數據并行讀寫，提高訪問性能。（3）在線遷移、復制存儲節(jié)點支持在線遷移、復制，擴容不影響上層應用。（4）自動負載均衡可以依據當前系統負荷將原有節(jié)點上的數據搬移到新增的節(jié)點。特有的分片存儲，以塊為最小單位來存儲，存儲和查詢時所有存儲節(jié)點并行計算。（5）元數據與數據分離采取元數據與數據分離的方式設計分布式文件存儲系統。圖4為分布式數據庫的系統架構。其中圖4分布式數據庫架構FAC負責向用戶提供文件訪問接口，安裝在服務器端（提供給應用以文件操作的API接口；實現與FLR和FAS的交互，完成數據的搬遷）。FAS負責文件的調度和訪問，完成對磁陣的讀寫操作，對FAC提供數據讀寫功能，完成數據的分布式存儲。FLR負責元數據的管理，保存文件和塊的命名空間，文件到塊的映射，以及每個塊副本的位置。23分布式數據庫分布式數據庫能實現動態(tài)負載均衡、故障節(jié)點自動接管，具有高可靠性、高性能、高可用、高可擴展性，在處理PETABYTE級以上海量結構化數據的業(yè)務上具備明顯性能優(yōu)勢。圖5為分布式數據庫的系統架構。其中圖5分布式數據庫架構（1）PEC解析執(zhí)行服務器（PARSERSEXECUTINGCONTROLLERS，簡稱PEC），SQL服務接入點。負責接收客戶的SQL請求，并定向到特定的TABLET服務器上進行數據訪問。（2）MASTER主要負責數據庫的元數據管理和調度工作。（3）TABLETSERVER負責保存數據庫的子表。（4）SPACE分布式文件系統的鎖服務功能。主要保證共享訪問時對數據的獨占性。24中興通訊COCLOUD增值業(yè)務云（見圖6）圖6中興通訊COCLOUD增值業(yè)務云基于上述關鍵技術，中興通訊的COCLOUD增值業(yè)務云服務棧提供了IAAS，PAAS，SAAS多層次云服務模式，包括統一開放環(huán)境UOE/MAHUPPAAS云平臺，云存儲，多業(yè)務云調度，ECP，NGCC，VPBX，應用工廠等多種云服務方案。241中興通訊COCLOUD增值業(yè)務云優(yōu)勢（1）先進的軟件自適應自動部署方式實時監(jiān)控各個業(yè)務節(jié)點的資源情況，根據預先定制的策略，增加或者減少業(yè)務節(jié)點，可以自動安裝、啟動、關閉業(yè)務軟件，做到軟件根據業(yè)務節(jié)點資源狀況自適應部署。（2）靈活高效的業(yè)務擴展方式在已有的云計算平臺上通過簡單的配置后，就可以為新的業(yè)務分配資源，迅速開展新的業(yè)務。（3）統一運維管理基于云計算平臺開展業(yè)務后，基于同樣的基礎架構開展多種業(yè)務，目前的運維管理方式需要轉變，不再是煙囪式的建設和運維。統一的云管理平臺，通過分權分域的方式，讓維護人員進行業(yè)務和設備的管理。（4）自動在線升級功能提供軟件版本中心，通過手工或者自動進行業(yè)務版本以及虛擬化軟件版本的升級。（5）綠色節(jié)能在業(yè)務層面做到軟件自適應自動部署，在業(yè)務閑時只保留必要的業(yè)務節(jié)點，減少了虛擬機資源的使用，減少了資源的消耗；在虛擬化層面，通過資源動態(tài)均衡方案和綠色節(jié)能方案相結合，將虛擬機部署在恰當的物理機上，保留必要的備用物理機之外，將其他的物理機進行節(jié)能管理，從而減少運營商在業(yè)務閑時不必要的能源消耗，實現綠色數據中心。