學(xué)年論文-基于云計(jì)算的校園云的設(shè)計(jì)與開發(fā).doc

泉州師范學(xué)院學(xué)年論文題目基于云計(jì)算的校園云的設(shè)計(jì)與開發(fā)數(shù)計(jì)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)2009級(jí)1班學(xué)生姓名學(xué)號(hào)090308021指導(dǎo)教師職稱講師完成日期2012-8-30教務(wù)處制1基于云計(jì)算的校園云的設(shè)計(jì)與開發(fā)泉州師范學(xué)院數(shù)計(jì)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)指導(dǎo)教師講師【摘要】如今，說(shuō)到“云”，很多人就會(huì)聯(lián)想到“云計(jì)算”。云計(jì)算，是繼PC、互聯(lián)網(wǎng)之后的第三次IT變革，是互聯(lián)網(wǎng)時(shí)代信息技術(shù)發(fā)展的趨勢(shì)。隨著信息化技術(shù)的迅速發(fā)展，計(jì)算機(jī)技術(shù)已經(jīng)成為各學(xué)校，特別是高校的各個(gè)部門必備的輔助工具，包括科學(xué)計(jì)算、信息發(fā)布、個(gè)人信息交流以及辦公服務(wù)等，都離不開計(jì)算機(jī)的服務(wù)。計(jì)算機(jī)給人帶來(lái)方便的同時(shí)，也給人帶來(lái)使用上的麻煩，需要使用計(jì)算機(jī)服務(wù)的單位和個(gè)人往往不是計(jì)算機(jī)專業(yè)人員，對(duì)計(jì)算機(jī)技術(shù)缺乏經(jīng)驗(yàn)；學(xué)校各部門彼此相對(duì)獨(dú)立，資源也相對(duì)獨(dú)立，如果各自獨(dú)立部署所需的計(jì)算機(jī)服務(wù)系統(tǒng)，將造成資源的嚴(yán)重浪費(fèi)。在提倡低碳生活的今天，“云”這一概念即將開始發(fā)揮它的作用。隨著云計(jì)算技術(shù)的出現(xiàn)與發(fā)展，通過(guò)云計(jì)算技術(shù)在校園部署統(tǒng)一的云計(jì)算服務(wù)系統(tǒng)，將可以解決以上問(wèn)題。本課題提出“校園云”這一設(shè)計(jì)，具體闡述如何構(gòu)建校園云計(jì)算?！娟P(guān)鍵詞】云計(jì)算；校園云；虛擬化；IaaS；PaaS；SaaS2目錄引言.31.云計(jì)算.32.虛擬化.33.SaaS、PaaS和IaaS.44.校園云.44.1現(xiàn)有資源配置的缺陷.44.2校園云的優(yōu)勢(shì).55.校園云的理論分析.55.1校園云的架構(gòu).55.2基礎(chǔ)設(shè)施層.65.3資源監(jiān)控.75.4負(fù)載管理.75.5冗余備份.75.6動(dòng)態(tài)部署.75.7快速部署.75.8資源調(diào)度.75.9多租戶技術(shù).75.10海量數(shù)據(jù)處理.85.11大規(guī)模分布式存儲(chǔ).85.12數(shù)據(jù)結(jié)構(gòu)化管理.96.校園云的實(shí)施.96.1基礎(chǔ)云設(shè)施.96.2云平臺(tái).106.3高性能計(jì)算平臺(tái).117.校園云的各層云服務(wù)平臺(tái)的選擇.117.1OpenStack平臺(tái)基礎(chǔ)設(shè)施層.117.2Hadoop平臺(tái)層.127.3應(yīng)用層的用途.158.小結(jié).169.參考文獻(xiàn).163引言當(dāng)今的IT時(shí)代，云計(jì)算是所有IT廠商所追求的計(jì)算模式，也是既網(wǎng)格計(jì)算之后的一個(gè)新的計(jì)算模式，云計(jì)算是一種新興的共享基礎(chǔ)架構(gòu)的方法，它可以將巨大的系統(tǒng)池連接在一起以提供各種IT服務(wù)，利用互聯(lián)網(wǎng)連接的數(shù)據(jù)中心和服務(wù)器進(jìn)行高效計(jì)算和信息存取的系統(tǒng)，使計(jì)算能力可以像電能一樣提供給客戶。在高校中，各院系部處之間彼此相對(duì)獨(dú)立，資源的管理也相對(duì)獨(dú)立，但有著相近的計(jì)算機(jī)服務(wù)需求，例如信息發(fā)布，辦公自動(dòng)化以及科學(xué)計(jì)算等。通過(guò)云計(jì)算服務(wù)系統(tǒng)為各院系部處提供統(tǒng)一的云計(jì)算服務(wù)平臺(tái)，可以極大的提高資源的利用率，同時(shí)使用者不需要懂專業(yè)的計(jì)算機(jī)技術(shù)即可以輕松獲得計(jì)算機(jī)的各種服務(wù)。集中的管理也使各部門無(wú)需為這些本不是自己專業(yè)需要管理的東西付出維護(hù)的成本，極大程度上將各用戶從繁瑣的計(jì)算機(jī)維護(hù)中解放出來(lái)。1.云計(jì)算云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化和負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它的目的是通過(guò)網(wǎng)絡(luò)把多個(gè)成本相對(duì)較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的計(jì)算實(shí)體，并借用SaaS、PaaS、IaaS等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶手中。其架構(gòu)如下圖所示：圖1-1.系統(tǒng)架構(gòu)圖2.虛擬化虛擬化，在計(jì)算機(jī)上，是一個(gè)虛擬版本而并非實(shí)際版本的創(chuàng)建，例如硬件平臺(tái)，操作系統(tǒng)，中間件、存儲(chǔ)設(shè)備或者網(wǎng)絡(luò)資源等。虛擬化的目標(biāo)是集中管理任務(wù)，同時(shí)提高可擴(kuò)展性和工作負(fù)載。隨著計(jì)算機(jī)技術(shù)的發(fā)展，虛擬化技術(shù)在計(jì)算機(jī)中得到快速的發(fā)展，在硬件與軟件上、在服務(wù)器系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)上，在主機(jī)系統(tǒng)與存儲(chǔ)系統(tǒng)上，都可以見(jiàn)到虛擬化的存在。通過(guò)虛擬化技術(shù)，可以提高系統(tǒng)的動(dòng)態(tài)擴(kuò)展性、設(shè)備的復(fù)用性和管理的方便性。虛擬化技術(shù)的主要作用：提高硬件和軟件的利用率解決單個(gè)硬件不足的情況方便系統(tǒng)架構(gòu)的部署、遷移和容災(zāi)4實(shí)現(xiàn)資源的整合，方便動(dòng)態(tài)擴(kuò)展實(shí)現(xiàn)資源的復(fù)用實(shí)現(xiàn)作用域的隔離在計(jì)算機(jī)虛擬化中，主要包括軟件虛擬化、平臺(tái)虛擬化和基礎(chǔ)設(shè)施虛擬化。1.軟件虛擬化軟件虛擬化，即將一個(gè)軟件的實(shí)體虛擬成多個(gè)副本，它是一種軟件共享的模式，即將本來(lái)應(yīng)該獨(dú)立使用的軟件通過(guò)虛擬化共享的模式，供更多的用戶使用。2.平臺(tái)虛擬化平臺(tái)虛擬化，包括操作系統(tǒng)或者中間件的虛擬化，通過(guò)平臺(tái)虛擬化技術(shù)，可以在一個(gè)軟件系統(tǒng)平臺(tái)上虛擬多個(gè)相近的平臺(tái)，每個(gè)虛擬的平臺(tái)均可以對(duì)外獨(dú)立提供服務(wù)。例如中間件虛擬化，Web服務(wù)器虛擬化等。3.基礎(chǔ)設(shè)施虛擬化基礎(chǔ)設(shè)施虛擬化，它主要包括系統(tǒng)虛擬化、網(wǎng)絡(luò)系統(tǒng)虛擬化和存儲(chǔ)系統(tǒng)虛擬化等。通過(guò)基礎(chǔ)設(shè)施虛擬化，可以將有限的硬件資源，包括服務(wù)器資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源，虛擬出多個(gè)基礎(chǔ)平臺(tái)，每個(gè)平臺(tái)可以獨(dú)立的為用戶提供服務(wù)，用戶并不知覺(jué)平臺(tái)后端的硬件分布情況。系統(tǒng)虛擬化技術(shù)是基礎(chǔ)設(shè)施虛擬化的主要部分，包括硬分區(qū)，即通過(guò)硬件實(shí)現(xiàn)的虛擬化，軟分區(qū)，即軟件實(shí)現(xiàn)的虛擬化。系統(tǒng)虛擬化的主要應(yīng)用，包括主要兩個(gè)方面：1.VPS，即虛擬私有服務(wù)器2.HPC，即高性能計(jì)算系統(tǒng)3.SaaS、PaaS和IaaSSaaS、PaaS和IaaS是云計(jì)算模式的三種基本的服務(wù)模式，用戶通過(guò)這些服務(wù)模式來(lái)獲得云計(jì)算平臺(tái)的服務(wù)。SaaS，軟件即服務(wù)，即通過(guò)多重租賃的方式根據(jù)需要作為一種服務(wù)提供的一整套應(yīng)用程序，也就是說(shuō)，軟件的單個(gè)實(shí)例運(yùn)行于提供商的基礎(chǔ)設(shè)施，即由供應(yīng)商或服務(wù)商托管，并通過(guò)網(wǎng)絡(luò)提供給用戶，服務(wù)于多個(gè)客戶端機(jī)構(gòu)。PaaS，平臺(tái)即服務(wù)，即把平臺(tái)（中間件）當(dāng)作服務(wù)，為用戶提供共享的中間件系統(tǒng)，而用戶無(wú)需下載和安裝，客戶可以通過(guò)該服務(wù)將自己的應(yīng)用程序打包部署以及運(yùn)行在云中。IaaS，基礎(chǔ)設(shè)施即服務(wù)，指外包于支持操作的設(shè)備，包括存儲(chǔ)、硬件、服務(wù)器和網(wǎng)絡(luò)組建，即以資源為中心，為用戶提供一個(gè)虛擬化的基礎(chǔ)設(shè)施，用戶可以將自己的操作系統(tǒng)、各種各樣的中間件產(chǎn)品以及應(yīng)用程序部署到一個(gè)虛擬機(jī)中，用戶可以像使用一個(gè)獨(dú)立主機(jī)一樣使用虛擬機(jī)，而不會(huì)感覺(jué)有什么區(qū)別。4.校園云4.1現(xiàn)有資源配置的缺陷（1）資源分配分散學(xué)校資源除部分公共網(wǎng)站上的資源外，其它資源都存儲(chǔ)在分散的電腦主機(jī)上，造成信息儲(chǔ)存分散；（2）硬件資源利用率低學(xué)校購(gòu)買大量計(jì)算機(jī)，但并不是每個(gè)時(shí)間段都在使用，在空閑時(shí)間和計(jì)算機(jī)硬件未發(fā)揮完全作用的情況下將會(huì)造成資源的浪費(fèi)。比如部分電腦空閑CPU及硬盤空間；5（3）本地備份安全性低普通電腦備份資料一般在本機(jī)上，安全度低，容易丟失；（4）維護(hù)工作龐大每次對(duì)計(jì)算機(jī)硬件進(jìn)行升級(jí)時(shí)都需要單個(gè)操作，工序繁瑣，投入的成本大，造成更多的空閑資源；為保證計(jì)算機(jī)的系統(tǒng)安全，必須對(duì)每臺(tái)電腦分別進(jìn)行殺毒；軟件升級(jí)時(shí)，進(jìn)行反復(fù)的升級(jí)操作?？傊?，傳統(tǒng)的高校信息網(wǎng)絡(luò)已經(jīng)造成了金錢、資源的浪費(fèi)，不符合低碳要求。大量重復(fù)的工作，造成了很多不必要的管理投入。4.2校園云的優(yōu)勢(shì)（1）超強(qiáng)計(jì)算能力，高效率利用資源校園云計(jì)算把大量計(jì)算資源集中到一個(gè)公共資源池中，通過(guò)多主租用的方式共享計(jì)算資源。因?yàn)樾@大部分是局域網(wǎng)，所以單個(gè)用戶在云計(jì)算平臺(tái)獲得服務(wù)水平幾乎不會(huì)受到網(wǎng)絡(luò)帶寬等各因素影響，而且從整個(gè)校園資源的角度而言整體的資源調(diào)控降低了部分學(xué)校電腦峰值負(fù)荷提高了部分空閑的主機(jī)的運(yùn)行率，從而提高資源利用率。（2）分布式數(shù)據(jù)中心保證系統(tǒng)容災(zāi)能力分布式數(shù)據(jù)中心可將校園云端的用戶信息備份到地理上相互隔離的數(shù)據(jù)庫(kù)主機(jī)中，甚至用戶自己也無(wú)法判斷信息的確切備份地點(diǎn)。該特點(diǎn)不僅僅提供了數(shù)據(jù)恢復(fù)的依據(jù)，也使得網(wǎng)絡(luò)病毒和網(wǎng)絡(luò)黑客的攻擊失去目的性而變成徒勞，大大提高局域網(wǎng)系統(tǒng)的安全性和備份恢復(fù)能力。（3）靈活的配置調(diào)整方式通過(guò)中央調(diào)控，可對(duì)用戶之間的資源配置進(jìn)行分享，達(dá)到靈活分配。在升級(jí)硬件時(shí)直接中心大型主機(jī)進(jìn)行分配用戶所需配置即可。如需整體升級(jí)，也只需對(duì)中心大型主機(jī)進(jìn)行升級(jí)。省時(shí)省力省投資。可以說(shuō)在校園云中，老師學(xué)生在用一個(gè)超大硬盤，一個(gè)超大功率的CPU，在用一個(gè)千兆帶寬的網(wǎng)絡(luò)（4）按需分配，降低成本由于云計(jì)算下的硬件配置都是虛擬分配的，可以自由分配，對(duì)于一個(gè)用戶來(lái)說(shuō)，對(duì)方需要什么配置的服務(wù)，我們就虛擬開通什么服務(wù)，比如不用到現(xiàn)場(chǎng)打開機(jī)箱給用戶電腦換CPU、換硬盤。這也省去了電腦硬件的購(gòu)買運(yùn)送維護(hù)費(fèi)用，而且能根據(jù)需要不斷擴(kuò)展開通的服務(wù)。不斷更換更加適合的配置，提高了資源的利用率。5.校園云的理論分析根據(jù)對(duì)校園云計(jì)算需求的分析，可以借助云計(jì)算技術(shù)和云計(jì)算的服務(wù)模式，在校園建立統(tǒng)一的云計(jì)算中心，搭建基云平臺(tái)云及對(duì)應(yīng)的服務(wù)，以滿足校園云計(jì)算的需求。唯一的不同，即這種模式并非是完全的商業(yè)模式，而是一種“免費(fèi)的”服務(wù)模式。5.1校園云的架構(gòu)校園云為典型的云架構(gòu),基礎(chǔ)技術(shù)主要有面向服務(wù)架構(gòu)和虛擬化。大體上可以將校園云分為3個(gè)基本層次:基礎(chǔ)設(shè)施層、平臺(tái)層和應(yīng)用層,架構(gòu)層次示意圖,如圖5-1所示。6圖5-1校園云的架構(gòu)層次示意圖在著手建立校園云之前,要進(jìn)行硬件資源梳理分類,根據(jù)不同機(jī)器特點(diǎn)分為:主服務(wù)器和監(jiān)控服務(wù)器、應(yīng)用節(jié)點(diǎn)服務(wù)器和存儲(chǔ)節(jié)點(diǎn)服務(wù)器、計(jì)算節(jié)點(diǎn)服務(wù)器。校園云系統(tǒng)構(gòu)架圖如圖5-2所示。圖5-2校園云系統(tǒng)構(gòu)架圖5.2基礎(chǔ)設(shè)施層要搭建校園云,首先面對(duì)的是大規(guī)模的硬件資源,這些硬件設(shè)施通過(guò)校園網(wǎng)相互連接。為了能實(shí)現(xiàn)高層次的資源管理邏輯,必須對(duì)硬件資源進(jìn)行虛擬化。虛擬化的過(guò)程一方面屏蔽掉硬件產(chǎn)品上的差異,另一方面對(duì)每一種硬件資源提供統(tǒng)一的管理邏輯和接口。虛擬化作為校園云的支撐基礎(chǔ),是校園云構(gòu)架的關(guān)鍵組成模塊。虛擬化技術(shù)打破了物理結(jié)構(gòu)之間的壁壘,代表著把物理資源轉(zhuǎn)變?yōu)檫壿嬁晒芾碣Y源的必然趨勢(shì)。將高校硬件資源整合形成資源池,實(shí)現(xiàn)資源動(dòng)態(tài)分配、動(dòng)態(tài)負(fù)載均衡,提高資源利用率,從而達(dá)到節(jié)能,實(shí)現(xiàn)低碳。同時(shí),利用虛擬化技術(shù)對(duì)數(shù)據(jù)冗余備份,實(shí)現(xiàn)系統(tǒng)