淺述高性能計(jì)算云研究現(xiàn)狀

1、本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載淺述高性能計(jì)算云研究現(xiàn)狀本文從網(wǎng)絡(luò)收集而來，上傳到平臺為了幫到更多的人，如果您需要使用本文檔， 請點(diǎn)擊下載按鈕下載本文檔（有償下載），另外祝您生活愉快，工作順利，萬事 如意！1引言云計(jì)算是一種新興的計(jì)算模型，很多專家認(rèn)為， 云計(jì)算會改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至?xí)绊懻麄€(gè)產(chǎn) 業(yè)的格局。正因?yàn)槿绱耍芏啻笮推髽I(yè)都在研究云計(jì) 算技術(shù)和基于云計(jì)算的服務(wù)，亞馬遜、谷歌、微軟、 IBM，SUN等IT巨頭都在其中。幾年之內(nèi)，云計(jì)算 已從新興技術(shù)發(fā)展成為當(dāng)今的熱點(diǎn)技術(shù)。云計(jì)算有諸 如可擴(kuò)展性、隔離性、遷移性和可定制以及彈性資源 等很多優(yōu)點(diǎn)，而這

2、些優(yōu)點(diǎn)為傳統(tǒng)的高性能計(jì)算集群提 供了豐富的軟件環(huán)境、應(yīng)用程序隔離和高效率的工作 負(fù)載管理機(jī)制，隨著云計(jì)算的深入應(yīng)用，為用戶提供 高質(zhì)量的遠(yuǎn)程高性能云服務(wù)成為當(dāng)前研究的熱點(diǎn)，在 云中計(jì)算作為服務(wù)”已鼓勵了高性能計(jì)算延伸到更廣 泛的科學(xué)和工業(yè)社區(qū)，許多小型和中等規(guī)模的HPC用 戶都在探索基礎(chǔ)設(shè)施云作為運(yùn)行他們應(yīng)用程序的一個(gè) 可能平臺，同時(shí)也指出了HPC應(yīng)用作為一個(gè)服務(wù)（HPC-as-a-Service的思想。然而，系統(tǒng)級的虛擬化帶 來的性能開銷和網(wǎng)絡(luò)性能等因素是一些在云中執(zhí)行本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需

3、本文，請下載HPC應(yīng)用程序所面臨的挑戰(zhàn)。機(jī)遇和挑戰(zhàn)同時(shí)并存， HPC云必將帶來又一波的研究熱潮。本文分析了高性 能計(jì)算云(HPC inthe Cloud)相關(guān)研究的進(jìn)展，展望了其 未來研究方向及面臨的挑戰(zhàn)。2高性能計(jì)算云產(chǎn)生的合理性和必要性伴隨著高性能計(jì)算性能的不斷提升和系統(tǒng)的日益 龐大，單一計(jì)算平臺與不同應(yīng)用多樣化需求的矛盾也 日益突出，同時(shí)后期部署、管理、能耗、散熱等成本 也不斷提高，傳統(tǒng)的高性能計(jì)算正面臨著很多嚴(yán)峻的 問題。云計(jì)算的關(guān)鍵技術(shù)之一是虛擬化技術(shù)，由于虛 擬化實(shí)現(xiàn)機(jī)制的不同，許多平臺對I/O性能產(chǎn)生了嚴(yán) 重影響，降低了整體性能，除此之外，還包括數(shù)據(jù)管 理、負(fù)載管理和資源配送等挑

4、戰(zhàn)。然而，把高性能計(jì)算與傳統(tǒng)的云計(jì)算結(jié)合起來就 是高性能計(jì)算云，高性能計(jì)算云(HPC in the Cloud)是 一種基于云計(jì)算環(huán)境下的高性能計(jì)算資源管理和服務(wù) 的模式，它向用戶提供可靠的 HPC運(yùn)行機(jī)制和自主 管理計(jì)算資源的能力，并向用戶提供可定制HPC環(huán)境以適應(yīng)不同應(yīng)用的需要。3高性能計(jì)算云研究Mauch、Kunze等人研究了基于云的IaaS為高性 能計(jì)算應(yīng)用程序提供更大的靈活性，也節(jié)省了成本，本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載在這種模式下，虛擬化和彈性的資源從大型的云計(jì)算 服務(wù)提供商那

5、里以按需的方式被利用，以構(gòu)建虛擬集 群，來符合客戶的具體需求，同時(shí)在高性能云計(jì)算環(huán) 境中，提出了一個(gè)新的方法來使用高速集群互連（如InfiniBand）。允許在虛擬機(jī)上掛載HPC應(yīng)用，可以 無縫的橋接分布式云資源和緊耦合的超級計(jì)算，從而 實(shí)現(xiàn)可靠的集群資源，主要描述了虛擬網(wǎng)絡(luò)系統(tǒng)的設(shè) 計(jì)、實(shí)施和對網(wǎng)絡(luò)延遲、帶寬開銷的評估，最后證明 針對高性能計(jì)算云來說，VNET/P是可行、擴(kuò)展的基 于軟件的覆蓋網(wǎng)絡(luò)。面向眾核平臺的一個(gè)輕量級高性 能虛擬機(jī)監(jiān)控器 蜂鳥（Trochilidae）被設(shè)計(jì)并已實(shí) 現(xiàn)，多操作系統(tǒng)可以同時(shí)運(yùn)行在此虛擬機(jī)監(jiān)控器之上， 同時(shí)對操作系統(tǒng)性能無損失，在提供傳統(tǒng)虛擬機(jī)監(jiān)控 器功能的

6、基礎(chǔ)上，蜂鳥的代碼量僅4 000行左右（包括 匯編與C代碼），降低了系統(tǒng)的復(fù)雜度，便于系統(tǒng)的 維護(hù)與調(diào)試。以上是國內(nèi)外對高性能計(jì)算與云計(jì)算相 互結(jié)合的研究，本文主要從性能評測和解決方案兩大 部分進(jìn)行闡述。性能評測本節(jié)主要從性能評測平臺方面綜述了在云計(jì)算環(huán) 境中實(shí)施高性能計(jì)算的研究情況。要進(jìn)行性能評測， 首先要有方法，即基準(zhǔn)測試程序，基準(zhǔn)測試程序包括本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載微觀基準(zhǔn)測試程序（HPCC、PARSECBenchmark、 LMBench等）和宏觀基準(zhǔn)測試程序（NAS、SPE

7、C）兩類, 使用這些基準(zhǔn)測試程序在不同測試平臺上進(jìn)行綜合性 能評估及性能瓶頸分析；其次是性能測試平臺，由于根 據(jù)不同的平臺、不同的測試負(fù)載會給出不一樣的測試 結(jié)果，同時(shí)，不同的測試方法可能給出完全不同的測 試精度，下面主要介紹一下主流的性能評測平臺。FutureSystemFutureSystem測試床包括在地理上分布的異構(gòu)計(jì) 算系統(tǒng)、持有元數(shù)據(jù)和不斷增長的軟件映像庫的數(shù)據(jù) 管理系統(tǒng)，以及一個(gè)保持隔離和安全實(shí)驗(yàn)的專用網(wǎng)絡(luò)。 該測試床支持基于虛擬機(jī)的環(huán)境以及本地操作系統(tǒng)的 實(shí)驗(yàn)，目的是最大限度減少開銷和提高性能。該項(xiàng)目 的合作伙伴，將整合現(xiàn)有的開放源代碼軟件包來創(chuàng)建 一個(gè)易于使用的軟件環(huán)境，支持

8、網(wǎng)格和云計(jì)算實(shí)驗(yàn)的 實(shí)例、執(zhí)行和記錄。FutureSystem為研究人員提供了 處理網(wǎng)格計(jì)算、云計(jì)算使用和安全性方面的挑戰(zhàn)，包 括身份驗(yàn)證、授權(quán)、調(diào)度、虛擬化、高性能、中間件 的設(shè)計(jì)和網(wǎng)絡(luò)安全。支持的研究領(lǐng)域包括天文、化學(xué)、 生物工程、大氣科學(xué)和流行病學(xué)等。這個(gè)項(xiàng)目由國家 科學(xué)基金會（NSF）所支持（），其合作伙伴包括印第安那 大學(xué)、芝加哥大學(xué)、佛羅里達(dá)大學(xué)、圣地亞哥超級計(jì)本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載算機(jī)中心、德克薩斯高級計(jì)算中心、弗吉尼亞大學(xué)、 美國田納西大學(xué)、美國南加州大學(xué)、德累斯頓

9、、美國 普渡大學(xué)和Grid5000o在虛擬集群測試中，隨著集群節(jié)點(diǎn)的增多，網(wǎng)絡(luò) 通信和數(shù)據(jù)的讀寫速度成了性能上的主要瓶頸，隨著 計(jì)算規(guī)模的擴(kuò)大，性能顯示下滑的趨勢。根據(jù)側(cè)重點(diǎn) 的不同，可分為擴(kuò)展性測試和花費(fèi)有效性測試。(1)擴(kuò)展性。從擴(kuò)展性的角度描述了一個(gè)科學(xué)的 工作流應(yīng)用程序在云中運(yùn)行的經(jīng)驗(yàn)。這個(gè)應(yīng)用程序是 去處理由Kepler項(xiàng)目發(fā)布的天文數(shù)據(jù)，這些天文數(shù)據(jù) 是NASA的使命去尋找類似地球的行星圍繞其他恒星 所產(chǎn)生的數(shù)據(jù)。使用Pegasus工作流管理系統(tǒng)，通過 把工作流映射在多個(gè)云中(包括FutureSystem、 Magellan云和AmazonEC2云)評估它的性能，并討 論了在云中部

10、署和執(zhí)行工作流所面臨的挑戰(zhàn)。同時(shí)演 示了 Pegasus如何支持同時(shí)跨多個(gè)云基礎(chǔ)設(shè)施的天空 計(jì)算(skycomputing)。最后得出結(jié)論：天空計(jì)算對一些 科學(xué)的工作流來說是一個(gè)可行且有效的解決方案。(2)花費(fèi)有效性。描述了計(jì)算機(jī)集群中節(jié)點(diǎn)數(shù)量 與每美元所獲得的計(jì)算性能的關(guān)系，指出隨著節(jié)點(diǎn)數(shù) 量的增加，單位成本所獲得的計(jì)算性能在急劇減少， 所以運(yùn)算的規(guī)模越大，云計(jì)算所提供的計(jì)算性價(jià)比就本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載越低，這是當(dāng)前制約在云計(jì)算環(huán)境中進(jìn)行科學(xué)計(jì)算的 主要原因之一。Magella

11、nMagellan由國家能源研究科學(xué)計(jì)算中心 (NERSC) 部署的一個(gè)具有一定靈活性和性能的分布式測試床， Magellan主要研究以下幾個(gè)問題：(1)開源云計(jì)算軟件庫是否能夠滿足美國能源部 (DOE)利用高性能計(jì)算開展科研的需求；(2)DOE的網(wǎng)絡(luò)安全要求能否在云中得到實(shí)現(xiàn)；(3)新的云計(jì)算編程模式對科學(xué)計(jì)算是否有價(jià)值；(4)DOE高性能計(jì)算應(yīng)用程序能否在云中有效運(yùn) 行與哪些應(yīng)用適用于云。采用了 Magellan測試床，項(xiàng)目Magellan研究針 對科學(xué)計(jì)算的云計(jì)算，并指出當(dāng)前云計(jì)算對科學(xué)應(yīng)用 有很多的差距和挑戰(zhàn)。AmazonEC2Amazon Elastic Compute Cloud(

12、EC2)是 Amazon 提供的云計(jì)算環(huán)境的基本平臺。通過使用EC2,可以在任何時(shí)候根據(jù)個(gè)人或企業(yè)的需要簡便地創(chuàng)建、啟動 和供應(yīng)虛擬實(shí)例。根據(jù)實(shí)例的類型和每小時(shí)的實(shí)際使 用量付費(fèi)。虛擬服務(wù)器在Amazon數(shù)據(jù)中心的安全環(huán) 境中運(yùn)行。EC2可以為 Web范圍的應(yīng)用程序提供動本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載態(tài)地配置計(jì)算需求和根據(jù)需要調(diào)整計(jì)算能力的功能。采用AmazonEC2測試床進(jìn)行相關(guān)的研究在中有相關(guān)的介紹，它詳細(xì)描述了基準(zhǔn)測試結(jié)果所特有的 虛擬化開銷和其對性能的影響，同時(shí)檢查了各種互連 技術(shù)

13、的性能，以了解各種選擇對性能的影響。研究結(jié) 果顯示，虛擬化對性能有顯著的影響；同時(shí)也顯示了能 力較差的互連技術(shù)顯著影響典型的 HPC應(yīng)用的性能， 評估了 Amazon的集群計(jì)算實(shí)例(Amazon Cluster Compute Instance片勺性能。為了更清楚地理解云的優(yōu) 點(diǎn)和限制，比較了云和 HPC集群的性能，同時(shí)關(guān)注 虛擬化和基礎(chǔ)網(wǎng)絡(luò)怎樣影響 HPC應(yīng)用的性能，最后 得出在云計(jì)算中可獲得與 HPC集群一樣的性能主要 取決于所運(yùn)行的應(yīng)用程序的類型的結(jié)論。LLGrid麻省理工學(xué)院林肯實(shí)驗(yàn)室網(wǎng)格(MIT Lincoln LaboratoryGrid, LLgrid)項(xiàng)目的目標(biāo)是開發(fā)按需網(wǎng)格計(jì)

14、 算能力，使用主流編程語言MATLAB，實(shí)施數(shù)值計(jì)算， 被廣泛用于算法開發(fā)、仿真、數(shù)據(jù)縮減、測試和系統(tǒng) 評估領(lǐng)域。麻省理工學(xué)院林肯實(shí)驗(yàn)室有一千多的 MATLAB用戶，近200個(gè)用戶長時(shí)間運(yùn)行并行處理 的任務(wù)。為了使這些用戶使用LLgrid的計(jì)算資源能夠透明地運(yùn)行并行的 MATLAB 任務(wù)，LLgrid項(xiàng)目已本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載開發(fā)了三種技術(shù)：點(diǎn)到點(diǎn)(point-point)消息MatlabMPI; 全局?jǐn)?shù)組語義pMatlab(類似高性能Fortran);把用戶計(jì) 算機(jī)整合到LLg

15、ird且自動分配網(wǎng)格計(jì)算資源的 gridMatlab。解決方案性能優(yōu)化著眼于可靠性，相比之下，解決方案則 側(cè)重于可行性，即HPC計(jì)算資源與云計(jì)算相整合是 否是可行的，高性能計(jì)算云有哪些解決方案和成功案 例。對此有相關(guān)介紹，下面分為編程模型、基于管理 器的虛擬化、基于容器的虛擬化三個(gè)方面進(jìn)行介紹。編程模型海量數(shù)據(jù)分析由于輸入的數(shù)據(jù)非常大，為了能在 合理的時(shí)間內(nèi)處理完數(shù)據(jù)，計(jì)算通常分布在成百上千 臺計(jì)算機(jī)上去執(zhí)行。如何分布數(shù)據(jù)、如何并發(fā)計(jì)算、 如何處理失效等相關(guān)問題合在一起就會導(dǎo)致應(yīng)用程序 的代碼非常復(fù)雜。編程模型正是為解決這些問題而提 出來的，編程模型是數(shù)據(jù)密集型計(jì)算領(lǐng)域的一個(gè)基礎(chǔ) 性的系統(tǒng)軟件

16、，代表性的編程模型有MapReduceHadoop、Dryad等。基于Hadoop,提出一種基于云 的分布式數(shù)字海洋系統(tǒng)，把不同的海洋數(shù)據(jù)通過高速 網(wǎng)絡(luò)連接起來建立一個(gè)存儲云，使用一個(gè)專用的網(wǎng)絡(luò) 服務(wù)協(xié)議，用于高性能廣域網(wǎng)絡(luò)連接的計(jì)算機(jī)集群所本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載進(jìn)行的大型分布式數(shù)據(jù)集的高性能計(jì)算。實(shí)驗(yàn)結(jié)果表 明，與現(xiàn)有基于Hadoop分布式數(shù)字海洋系統(tǒng)相比， 該系統(tǒng)的性能有顯著提高、數(shù)據(jù)高度共享?；诠芾砥鞯奶摂M化 (hypervisor-basedvirtualization)

17、基于虛擬機(jī)監(jiān)視器的虛 擬化技術(shù)包括 Xen、VMware、KVM 和Palacios等， 對于我們大家相對陌生的就是 Palacios, Palacios是 個(gè)OS獨(dú)立內(nèi)嵌的、非參數(shù)化的 VMM ,它是一個(gè)現(xiàn) 代架構(gòu)的開源的虛擬機(jī)監(jiān)視器，已經(jīng)廣泛的使用在現(xiàn) 代Intel和AMD的x86處理器的虛擬化擴(kuò)展中。Palacios是高度可配置的，可以內(nèi)嵌到諸如Linux和Kitten輕量級內(nèi)核的不同的host操作系統(tǒng)中，其上的是有效地虛擬化 HPC應(yīng)用。Palacios是V3VEE 項(xiàng) 目的一部分。起初，V3VEE作為美國國家科學(xué)基金 會 資 助 的 NorthwesternUniversity 和

18、theUniversityofNewMexico 之間的合作項(xiàng)目。目前， 它涉及到5個(gè)能源部資助的合作伙伴機(jī)構(gòu)：Northwestern University the University of NewMexico、 theUniversity of Pittsburgh 、 Sandia National Laboratories 和 OakRidge National Laboratory。V3VEE 是一個(gè)社會努力、資源發(fā)展的結(jié)果，任何人都可以為 之作出貢獻(xiàn)。本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，

19、請下載對于內(nèi)嵌到輕量級host操作系統(tǒng)的Palacios,通 ri Benchmark測試之后，實(shí)驗(yàn)證明，運(yùn)行在虛擬LWK 環(huán)境中的性能能夠超越直接在Linux主機(jī)上執(zhí)行同樣 的測試的性能，進(jìn)而滿足了 HPC計(jì)算的特性?；谌萜鞯奶摂M化(container-basedvirtualization)Linux-VServer,OpenVZ、 LinuxContainers(LXC)和 MicrosoftHyper-V 是操作系 統(tǒng)級的虛擬化技術(shù)，提供了輕量級(lightweight)的近似 于裸機(jī)的虛擬化層。OpenVZ經(jīng)常被使用作為服務(wù)器 虛擬化的最佳選擇， OpenVZ是開源軟件，是基于 L

20、inux內(nèi)核和作業(yè)系統(tǒng)的操作系統(tǒng)級虛擬化技術(shù)。OpenVZ允許物理服務(wù)器運(yùn)行多個(gè)操作系統(tǒng)并以最大 效率共享硬件和管理資源，這些操作系統(tǒng)是相互隔離， 被稱為虛擬專用服務(wù)器(VPS)和虛擬環(huán)境(VE)。采用了基于容器的虛擬化技術(shù) OpenV乙 實(shí)驗(yàn)表 明，基于容器的虛擬化帶來了非常低的開銷，幾乎與 物理機(jī)一樣的性能。提出了一種面向高性能并行計(jì)算 機(jī)的虛擬化技術(shù)：高性能虛擬計(jì)算域(HPVZ),其中服 務(wù)結(jié)點(diǎn)的虛擬計(jì)算域基于 OpenVZ構(gòu)成。通過在操作 系統(tǒng)上構(gòu)建多個(gè)獨(dú)立的用戶運(yùn)行環(huán)境,實(shí)現(xiàn)了在一個(gè) 操作系統(tǒng)內(nèi)核上同時(shí)運(yùn)行多個(gè)相互獨(dú)立的用戶運(yùn)行環(huán) 境的目標(biāo)。HPVZ技術(shù)在保證系統(tǒng)性能的前提下,為本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應(yīng)用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和