網(wǎng)格計算高性能計算的應(yīng)用需求使計算能力不可能在單一計算機上(20211108222007)

1、網(wǎng)格計算高性能計算的應(yīng)用需求使計算能力不可能在單一計算機上獲得， 因此，必須通過構(gòu)建“網(wǎng) 絡(luò)虛擬超級 計算機或“元計算機來獲得超強的計算能力。 20世紀 90年代初，根據(jù) Internet 上主機大量增加但利 用率并不高的狀況，美國國家科學(xué)基金會(NFS將其四個超級計算 中心構(gòu)筑成一個元計算機，逐漸開展到利用它研究解決具有重大挑戰(zhàn)性的并行問題。它提供 統(tǒng)一的管理、 單一的分配機制和協(xié)調(diào)應(yīng)用程序，使 任務(wù)可以透明地按需要分配到系統(tǒng)內(nèi)的各種結(jié)構(gòu)的計算機中，包括向量機、標量機、SIMD和MIMD型的各類計算機。NFS元計算環(huán)境主要包括高速的互聯(lián)通信鏈路、全局的文件系統(tǒng)、普通用戶接口和信息、視頻 系統(tǒng)

2、、 支持分布并行的軟件系統(tǒng)等。元計算被定義為“通過網(wǎng)絡(luò)連接強力計算資源， 形成對 用戶透明的超級計算環(huán)境， 目前用得較多的 術(shù)語“網(wǎng)格計算 (grid computing) 更系統(tǒng)化地 開展了最初元計算的概念，它通過網(wǎng)絡(luò)連接地理上分布的 各類計算機(包括機群)、數(shù)據(jù)庫、 各類設(shè)備和存儲設(shè)備等，形成對用戶相對透明的虛擬的高性能計算環(huán) 境，應(yīng)用包括了分布式 計算、高吞吐量計算、協(xié)同工程和數(shù)據(jù)查詢等諸多功能。網(wǎng)格計算被定義為一個廣 域范圍的 “無縫的集成和協(xié)同計算環(huán)境。網(wǎng)格計算模式已經(jīng)開展為連接和統(tǒng)一各類不同遠程資源的一種根底結(jié)構(gòu)。網(wǎng)絡(luò)計算技術(shù)1根本結(jié)構(gòu)為實現(xiàn)網(wǎng)格計算的目標，必須重點解決三個問題：異

3、構(gòu)性由于網(wǎng)格由分布在廣域網(wǎng)上不同管理域的各種計算資源組成，怎樣實現(xiàn)異構(gòu)機器間的合作和轉(zhuǎn)換是首要問 題。可擴展性要在網(wǎng)格資源規(guī)模不斷擴大、應(yīng)用不斷增長的情況下，不降低性能。動態(tài)自適應(yīng)性在網(wǎng)格計算中，某一資源出現(xiàn)故障或失敗的可能性較高，資源管理必須能動態(tài)監(jiān)視和管理網(wǎng)格資源，從可 利用的資源中選取最正確資源效勞。網(wǎng)格計算環(huán)境的構(gòu)建層次從下至上依次為：(1) 網(wǎng)格結(jié)點由分布在Internet 上的各類資源組成，包括各類主機、工作站甚至PC機，它們是異構(gòu)的，可運行在Unix、 NT等各種操作系統(tǒng)下，也可以是上述機型的機群系統(tǒng)、大型存儲設(shè)備、數(shù)據(jù)庫或其他設(shè)備。(2) 中間件是網(wǎng)格計算的核心， 負責(zé)提供遠程

4、進程管理、 資源分配、 存儲訪問、 登錄和認證、 平安性和效勞質(zhì)量 ( QoS)(3) 開發(fā)環(huán)境和工具層提供用戶二次開發(fā)環(huán)境和工具，以便更好地利用網(wǎng)格資源。(4) 應(yīng)用層提供系統(tǒng)能接受的語言，如 HPC+和MPI等?？膳渲闷渌恍┲С止こ虘?yīng)用、數(shù)據(jù)庫訪問的軟件，還可提 供Web效勞接口，使用戶可以使用 Web方式提交其作業(yè)并取得計算結(jié)果。2根本功能網(wǎng)格計算環(huán)境要求不影響各結(jié)點本地的管理和自主性，不改變原有的操作系統(tǒng)、網(wǎng)絡(luò)協(xié)議和效勞，保證用 戶和遠程結(jié)點的平安性，允許遠程結(jié)點選擇參加或退出系統(tǒng)，盡量使用已存在的標準的技術(shù)，以便與已有的應(yīng)用兼容，并能提供可靠的容錯機制。一個理想的網(wǎng)格計算應(yīng)類似當(dāng)前

5、的Web效勞，可以構(gòu)建在當(dāng)前所有硬件和軟件平臺上，給用戶提供完全透明的計算環(huán)境。對用戶而言，它把眾多同、異構(gòu)的資源變成了同 構(gòu)的虛擬計算環(huán)境。為此，網(wǎng)格計算環(huán)境設(shè)計需要有以下主要特征：管理層次 確定管理層次體系，管理域按區(qū)域?qū)哟蝿澐郑瑳Q定管理信息流的流向；通信效勞 隨應(yīng)用目的的不同提供不同的效勞， 包括可靠的點對點和不可靠的組播通信， 支持各種通信協(xié)議， 提供通信鏈路延遲、帶寬和可靠性等指標；信息效勞 提供方便可靠的機制，獲得不斷變化的各結(jié)點信息和狀態(tài)；名字效勞提供全局統(tǒng)一的名字效勞，典型的有國際通用的X.50標準或Internet上DNS標準；文件系統(tǒng) 提供一個分布式文件系統(tǒng)機制、全局存儲和

6、緩存空間；平安認證 應(yīng)包括登錄認證、可信賴、完整性和記賬等方面的平安性，這是網(wǎng)格計算的難點，也是系統(tǒng)成敗 的關(guān)鍵；監(jiān)視系統(tǒng) 提供監(jiān)視系統(tǒng)資源和運行情況的工具；資源管理和調(diào)度 提供透明的資源調(diào)度，高效地利用可利用的資源是系統(tǒng)的核心；資源交易機制 為鼓勵不同組織或資源擁有者參加系統(tǒng)， 應(yīng)提供一種計算資源的交易機制， 允許提供資源者 獲得利益，使系統(tǒng)能動態(tài)地取得最好的性價比資源；編程工具 必須提供豐富的用戶接口和編程環(huán)境，提供最常用的語言，如C、C+ FORTRANMPI、PVM以及分布式共享存儲器和一些函數(shù)庫等；用戶圖形界面 提供直觀的用戶訪問接口，包括 Web方式，使用戶可以在任何位置、任何平臺

7、上使用系統(tǒng)資源。3網(wǎng)格計算工程由于網(wǎng)格計算環(huán)境可以連接廣域范圍內(nèi)不同標準的異構(gòu)“孤島，形成龐大的全球性計算體系，是Internet開展的高級形式，因此，受到世界各國和組織的高度重視，已經(jīng)開展了許多論壇、實驗環(huán)境和研 究工程它們大多數(shù)都是在網(wǎng)上共享的，極大地方便了人們研究和利用有關(guān)資源，如網(wǎng)格計算論壇( ：/ )旨在促進推廣相關(guān)的技術(shù)。較有代表性的網(wǎng)格計算工程包括：實驗床( :/ ； : / )、 Globus 工程( : / )、 Legion 工程( : )、 Globe 工程( :steen/globe)、NetSolve 工程( : /

8、)、Javalin 工程( :/ )等，可簡單地分成有代表性的兩類：Globus 工程提供根底的軟件集成分散的異構(gòu)資源，形成一個單一的計算環(huán)境。其核心是Globus元計算工具包(GMT，這是一個構(gòu)筑網(wǎng)格計算環(huán)境的中間件，提供根本的資源定位、管理、通信和平安等效勞。GMT是模塊化的，允許用戶按自己的需要定制環(huán)境( Globus的模塊組成將在后面詳細介紹)。一種簡單的Globus配置如下：客戶端 配置遠程計算的API接口庫、訪問信息和通信等接口；效勞端資源分配管理器(GRAM、資源監(jiān)視器；集中效勞 目錄效勞、認證效勞、信息收集監(jiān)視器等。 基于Java的網(wǎng)格計算Java語言和相關(guān)技術(shù)成功地解決了困擾

9、網(wǎng)格計算的幾個關(guān)鍵問題，如異構(gòu)性和平安性，另一個重要的優(yōu)勢 是Java程序的最小執(zhí)行環(huán)境可以在Web瀏覽器中執(zhí)行而不需要另外安裝軟件，因此，理論上全球任意一臺裝有Web瀏覽器的機器都可以進行全球計算。盡管Java平臺還存在效率低等問題，但它無疑將大大影響網(wǎng)格計算模式的開展，使實現(xiàn)全球分布式計算已不再是一個夢想。下面介紹Javalin 工程的工作原理。Java結(jié)構(gòu)建立在Internet網(wǎng)絡(luò)層上，通過擴展 Server的功能來實現(xiàn)下述功能：* 客戶結(jié)點向 效勞器上載包含有任務(wù)Applet的HTML主頁；* 客戶結(jié)點向集中效勞器登記相應(yīng)的UML地址；* 效勞結(jié)點向集中效勞器請求任務(wù)，得到相應(yīng)任務(wù)的U

10、RL ；* 效勞結(jié)點從 效勞器下載HTML頁，運行嵌入的 Applet ；* 客戶結(jié)點得到回送的執(zhí)行結(jié)果。實例：Globus系統(tǒng)Globus是一個多研究機構(gòu)聯(lián)合開發(fā)的工程，它力圖實現(xiàn)計算網(wǎng)格結(jié)構(gòu)，來提供對高性能遠程計算資源普遍的、可靠的、一致性的訪問。目前的Globus可以認為是計算網(wǎng)格技術(shù)的典型代表和事實上的標準。GlobusGlobus構(gòu)建了一個如圖所最核心的局部就是它的元計算工具包，其中定義了構(gòu)建計算網(wǎng)格最根底的效勞。 示的虛擬元計算機。1 元計算實驗床訂 IT 撫J WAYGtSlO圖示的底層是Globus的元計算測試床和實驗系統(tǒng)，具體來說，它們是網(wǎng)絡(luò)連接的一些有組織的計算網(wǎng)格結(jié) 點，

11、其中最著名的有I-WAY和GUSTO I-WAY是Globus的較簡化系統(tǒng)，用于氣象衛(wèi)星的實時圖像處理。在 這個應(yīng)用中，衛(wèi)星中的數(shù)據(jù)下載后，進入一個遠程超級計算機進行云層檢測處理，然后再由另外一個圖形 處理機進行氣象圖繪制。這些處理均在地理上分布的多臺機器上實現(xiàn)。I-WAY成功地驗證了 Globus系統(tǒng)'些根本構(gòu)件和機制。GUSTOS很多方面都被認為是 1998年以前最大的計算網(wǎng)格實驗床。該實驗床最初通過專用多模光纖和Internet連接17個站點、330個計算機和3600個處理器。目前，GUSTO占點遍布整個美國大陸、夏威夷、 瑞典和德國等，附加站點還在不斷增加。2. Globus工

12、具包構(gòu)件中間層是Globus的工具包模塊，也是 Globus的核心效勞，主要包括 7個局部，如下表所示。GRAM直曲空電卿進檸脅曙通仁W理Nexue麒點和苦曲通怙HE務(wù)安亍神諄Fgsi認出和和關(guān)安卡強養(yǎng)I MOS井布訪阿結(jié)構(gòu)和狀馬信舅mbm齢用幣掄樹件的坪和情況加狀再PGASSi過申打m算仃握(1念用刼撼GEM3高級效勞雖然Globus的工具包可以被應(yīng)用程序直接調(diào)用，但仍然可以通過更高層的工具調(diào)用。Globus提供了自己的一些高級效勞，可以實現(xiàn)對下一層效勞的調(diào)用，這些高級效勞最終的目標是形成一個 Globus的“適應(yīng)性 廣域范圍資源環(huán)境 (AWARE。同時，Globus也支持其他高級調(diào)用，例如基于消息傳遞的 MPI、高級并 行編程語言C+遠程文件訪問系統(tǒng) Remote I/O等。Globus工具包支持這些高級應(yīng)用來間接調(diào)用 Globus的核心效勞Globus 從底層構(gòu)建了元計算軟件，開發(fā)了一些根本的效勞和機制，并可以由多種高級工具調(diào)用。隨著更多 的元計算團體參加 Globus 的研究，它將被開發(fā)得更加完善，并將被更多的高級應(yīng)用軟件調(diào)用。 Globus 的 目標是適應(yīng)廣域網(wǎng)絡(luò)資源環(huán)境的計算，目前這一類課題