云計(jì)算實(shí)驗(yàn)報(bào)告

1、云計(jì)算原理課程 期末實(shí)踐報(bào)告 題目：Linux 集群、MapReduce 禾口 CloudSim 實(shí)踐 成績： 學(xué)號(hào)： 姓名：羅滔 登錄郵箱： 任課老師：許娟 2016年11月12日 目錄 實(shí)驗(yàn)一：AWS身份與訪問管理(P2P11) 實(shí)驗(yàn)二：AmazonRelationalDatabaseService (P11P20) 實(shí)驗(yàn)三：Hadoop實(shí)驗(yàn)報(bào)告(P21) AWS管理控制臺(tái) 使用qwikLABS登錄AWS管理控制臺(tái) 印II靭 IS-i - i i =- B 丁回 曲 ； 2 Hf -T時(shí)郎5 f|WlKUB3 他常羽IB事 AWS IAM向介 fikBttr iUrriT 耳占冋出嘏曷再節(jié)

2、性丹旳事書軸 6. 在AWS!理控制臺(tái)中，單擊【 服務(wù)/Services】，然后單擊【IAM或身份與訪問管理/ lAMorlde ntity1u tie nt Is not authorized to pei X User: am:aws-cn.iamz:56335502S625.usaws Etude nt i s no1 authorized Io pei 測(cè)試對(duì)S3的訪問權(quán)限 您在本實(shí)驗(yàn)中使用的awsstudent ”用戶所擁有的權(quán)限寥寥無幾，例如，您可以訪問S3儀表板，但無法查看 其中的存儲(chǔ)桶。立即對(duì)此進(jìn)行測(cè)試： 25. 在主AWS空制臺(tái)上，單擊【服務(wù) /Services】，然后單擊【

3、S3】。 26. 您應(yīng)該會(huì)看到三個(gè)存儲(chǔ)桶。嘗試單擊存儲(chǔ)桶以查看其內(nèi)容-您將無法查看其內(nèi)容。 28. 在主IAM儀表板上，在【歡迎使用身份識(shí)別和訪問管理 /WelcometoldentityandAccessManagement 】 下方，您將看到IAM用戶登錄鏈接。復(fù)制此URL然后將其粘貼到臨時(shí)記事本文件中。 30.現(xiàn)在，您的記事本文件中應(yīng)包含登錄URL完整的userthree ”登錄名和密碼。在新的瀏覽器中，使用這 些信息以u(píng)serthree ”的身份登錄。 31.您應(yīng)該會(huì)看到標(biāo)準(zhǔn)的AWS空制臺(tái)。但是，在右上角，您的用戶名不再是 awsstude nt ，而是 乍 TAM Managemen

4、tx + kA* 申4尼 迅睡理“ g 1迅蕾迷電黑“,B卒人申心.一 qls-31277-0C57Oddlaa2556c. * qk-3l277-8c57Odd1aO255Sc3-LJ5erthree-7AMZJXGPHUUE 58335202662= 入門S 請(qǐng)參閱我門的艾檔或查看我們的培訓(xùn)以了 嚴(yán)吏多有黃AWS的信息。 “ userthree ”。 32.現(xiàn)在，訪問S3服務(wù)儀表板。您可以看到之前的三個(gè)存儲(chǔ)桶，但現(xiàn)在，作為“S3admi6 組的一部分，您可以查看這些存儲(chǔ)桶、復(fù)制文件、創(chuàng)建新的存儲(chǔ)桶和文件等。 實(shí)驗(yàn)二：Amazo nRelatio nalDatabaseService(P12

5、P21) 1. 登錄AWS管理控制臺(tái) 登錄之后，返回qwikLAB? 2. 創(chuàng)建RelationalDatabaseService(RDS) 實(shí)例要開始創(chuàng)建第？一個(gè)AmazonRD實(shí)例，您需要 訪問Amazor管理控制臺(tái)上的 AmazonRD圖標(biāo)，然后使？RelationalDatabaseService 向?qū)А?7. 單擊？首頁上的AmazonRD圖標(biāo)并轉(zhuǎn)到該控制？面板。 8. 單擊“ LaunchaDatabaselnstanee /啟動(dòng)數(shù)據(jù)庫實(shí)例”按鈕來啟動(dòng) RDS向?qū)А?9. 單擊MySQ數(shù)據(jù)庫引擎類型對(duì)？面的“ Select /選擇”按鈕。 10. 看到該數(shù)據(jù)庫是否？用于？生產(chǎn)？目的

6、的詢問時(shí)，選擇“開發(fā)測(cè)試”單選按鈕，然后單擊 “ NextStep /下？一步”。 您是否 出屯將此數(shù)據(jù)陣用于生產(chǎn)目的？ 退毎引軍 粧建斗： M/5QI 創(chuàng)逢此期?m特夢(mèng)可用國卻 S fufftH iops行儒用作割認(rèn) 開覽嫌M o M/5QI 上t冥側(cè)特甘 用. .專毎相F：丘口呂寺門 11.在接下來 的“DBInstanceDetails /指定數(shù)據(jù)庫詳細(xì)信息”屏幕上，按以下內(nèi)容進(jìn) ？行設(shè)置： /數(shù)據(jù)庫實(shí)例類 /多可？用區(qū)部署 /分配的存儲(chǔ)空間:5 /數(shù)據(jù)庫實(shí)例標(biāo)識(shí)符：RDSLab :/主？用戶名AWSMaster /主密碼:AWS12345 12. 單擊“ NextStep /下？一步”

7、。 13. 在接下來的“ AdditionalConfig /配置？高級(jí)設(shè)置”屏幕上，按以下內(nèi)容進(jìn) ？行設(shè)置：/ 數(shù)據(jù)庫名稱:RDSLab /公開訪問：否 /VPC安全組：選擇包含？文本“ qlstack ”的安全組 14. 在備份中，選擇備份保留期為0天。 15. 單擊“ LaunchDBInstanee /啟動(dòng)數(shù)據(jù)庫實(shí)例”。 從亞馬遜系統(tǒng)映像(AMI)創(chuàng)建AmazonLinux實(shí)例 要開始創(chuàng)建第？一個(gè)Amazon實(shí)例，您需要訪問 Amazon管理控制臺(tái)上的AmazonEC圖標(biāo)，然 后使?用向?qū)?16. 返回AWS管理控制臺(tái)(它在瀏覽器中仍是打開的)。 17. 單擊AWS管理控制臺(tái)？首頁上的

8、EC2圖標(biāo)。 18. 單擊“ Instances 實(shí)例”鏈接來創(chuàng)建實(shí)例。 19. 單擊“ LaunchInstance 啟動(dòng)實(shí)例”按鈕來開始該過程。 20. 在第？一個(gè)對(duì)話窗?. 口中，步驟1:選擇？一個(gè)Amazon系統(tǒng)映像，然后單擊該 AMI旁邊的 “Select /選.”來選擇 AmazonLinuxAMI實(shí)例。 注意:確認(rèn)是 64位的映像。 21. 步驟2：使實(shí)例類型保留默認(rèn)設(shè)置，即。要繼續(xù)，則單擊“ Next:ConfigurelnstanceDetails /下?一 步：配置實(shí)例詳細(xì)信息”。 22. 步驟 3： ConfigureInstanceDetails /配置實(shí)例詳細(xì)信息，我

9、們將保留所有默認(rèn)選項(xiàng)， 并單擊“ Next: AddStorage/下？一步：添加存儲(chǔ)”。 23. 步驟4： AddStorage/添加存儲(chǔ)，保留默認(rèn)虛擬擬硬。單擊“ Next:TagInstanee /下？一 步：標(biāo)簽實(shí)例”。 注意：您可以在此輕松增加更多虛擬硬盤或更改硬盤?大 ?小。 24. 步驟 5： TagInstance /標(biāo). 實(shí)例，使?標(biāo)簽實(shí)例界 ?面為實(shí)例命名。您將注意到左邊 ?文本 框填充了標(biāo)簽的名字為Name右邊文本框?yàn)榭?。在空？文，鍵？入名稱，例如“ EC2FreeLab 并單擊“ Next:Configure SecurityGroup /下?一步：配置安全組。 25.

10、 步驟 6： ConfigureSecurityGroup /配置安全組， 接受默認(rèn)安全組， 因?yàn)樗试S通過端 ? 口 22(SSH)從任意位置連接此 Linux實(shí)例，單擊“ ReviewandLaunch/審核和啟. 26. 步驟7：通過“ Review In sta nceLau nch /審核和啟.動(dòng)”，您可以獲取全部設(shè)置的概覽。 單擊“ Launch/啟動(dòng)”以繼續(xù)。 27. QwikLab?自動(dòng).您？生成的密鑰.應(yīng).自動(dòng)填第？二個(gè)下拉框。 28. 單擊“ acknowledgement/確認(rèn)”復(fù)選框，聲明。 29. 現(xiàn)在，單 . “LaunchInstance /啟 . 實(shí)例。 30.

11、 單擊“ ViewInstances /查看實(shí)例。 40.將ec2-user鍵?入HostName字段，然后將您復(fù)制到剪貼板板的 連接字符串粘貼到42. 單擊單詞“ Auth ”選擇“ Auth ”類（？而不是單詞“ Auth ”旁邊的+符號(hào)） 43. 單擊“ Browse”。 44. 瀏覽到您稍早在本實(shí)驗(yàn)中保存.ppk?文件的位置 45. 選擇您下載的.ppk?文件。 46. 單擊“ Oper” 。 47. 在 PuTTY客戶端，單擊“ Operf。 48. 出現(xiàn)提？示時(shí)，單擊“ Yes”允許PuTTY緩存服務(wù)器的主機(jī)鍵。 您已成功登錄了 Linux主機(jī)! PuTTY Configurati

12、on 3 Session Logging j Terrmnai -Keytjoand 陰I Features 白 Window .Appearance -Behaviour -Trar slation -Selection Ca lours S- Connection - Data Pnoxy .Telnet -Rlfigin i+ SSH Serial Load. save or delete a stored session Saved SessonE ose window or exit - AlwaysNever . Only on clean ext Category； Basic

13、options for your PuTTY session Specify the destination you want to connect to Host Marne (cr IP addness)Port ec2-Liser(?e c2-?并檢查結(jié)果。 54. 您現(xiàn)在已將MySQ客戶端連接到您新創(chuàng)建的 RDS實(shí)例。恭喜您！ Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告（P21-） 1、實(shí)驗(yàn)?zāi)康?在虛擬機(jī)Ubuntu上安裝Hadoop單機(jī)模式和集群； 編寫一個(gè)用Hadoop處理數(shù)據(jù)的程序，在單機(jī)和集群上運(yùn)行程序。 2、實(shí)驗(yàn)環(huán)境 虛擬機(jī)：VMware9 操作系統(tǒng)： Hadoop 禾口 Jdk 禾口 Ec

14、lipse Hadoop 集群：一臺(tái) n ame node 主機(jī) master，一臺(tái) data node 主機(jī) salve ， 3、主要設(shè)計(jì)思路 在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建，使用eclipse編寫程序代碼。實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)計(jì)。 本次實(shí)驗(yàn)是統(tǒng)計(jì)軟件代理系統(tǒng)操作人員處理的信息量，即每個(gè)操作人員出現(xiàn)的次數(shù)。 4、算法設(shè)計(jì) 該算法首先將輸入文件都包含進(jìn)來，然后交由map程序處理，map程序?qū)⑤斎胱x入后切出其中的用戶名， 并標(biāo)記它的數(shù)目為 1，形成 的形式， 然后交由 reduce 處理， reduce 將相同 key 值( 也就是 word) 的 value 值收集起來，形成 的形

15、式，之后再將這些 1 值加起來，即為用戶名出現(xiàn)的個(gè)數(shù)， 最后將這個(gè)對(duì)以TextOutputFormat 的形式輸出到 HDFS中。 5、安裝實(shí)驗(yàn)環(huán)境 安裝 ubuntu 操作系統(tǒng) 1) 打開 VMware,在 Hometab 中單擊CreateaNewVirtualMachine ， 2) 選擇custom，選擇虛擬硬件版本，選擇 ios文件，next， 3) 錄入目標(biāo)操作系統(tǒng)信息 ，包括Full name、Uername和Password， n ext， 4) 選擇默認(rèn)的選項(xiàng)，一般不做更改，最后確認(rèn)信息， Finish ， 5) 安裝成功后，會(huì)看到如下畫面， 安裝配置 Samba 安裝sam

16、ba主要為了實(shí)現(xiàn)與 windows操作系統(tǒng)的通訊，由于 server版本的ubuntu沒有自帶圖形操 作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。 1) 安裝samba,輸入如下命令： 2) 安裝 vim 3) 創(chuàng)建共享目錄,并修改權(quán)限 4) 配置samba。修改samba的配置文件/etc/samba/ ，將security=share，并在文件的末尾追加如 下內(nèi)容, 5) 測(cè)試。在 windows 實(shí)機(jī)中,通過 ip 訪問 ubuntu 虛擬機(jī),可以見到 share 文件夾 安裝配置 JDK 首先，下載java開發(fā)工具包JDK在本次試驗(yàn)中，我們下載的版本是。解壓安裝

17、到/usr/lib/jvm/ 目錄下,更名為 java-7-sun 。 配置環(huán)境變量 /etc/environment , 使配置生效 測(cè)試安裝配置結(jié)果 在單節(jié)點(diǎn)(偽分布式)環(huán)境下運(yùn)行 HADOOP 1) 添加 Hadoop 用戶并賦予 sudo 權(quán)限 2) 安裝配置 SSH 切換至 hadoop 用戶， 配置密鑰，使得 hadoop用戶能夠無須輸入密碼，通過SSH訪問localhost , 測(cè)試結(jié)果： 3) 安裝配置 Hadoop 列舉。 首先下載Hadoop,解壓縮到/opt/hadoop 目錄下,更改目錄名稱為 hadoop。 修改與 hadoop 相關(guān)的配置文件(在 /opt/hado

18、op/conf 目錄下)，分別是 , 。在此不 4) 運(yùn)行 Hadoop 首先格式化 HDFS， 啟動(dòng)單節(jié)點(diǎn)集群， 通過 jps 查看， master slave 停止單節(jié)點(diǎn)集群， 在多節(jié)點(diǎn)(分布式)環(huán)境下運(yùn)行 HADOOP 1) 設(shè)置 /etc/hosts 文件 2) 設(shè)置節(jié)點(diǎn)之間無密碼SSH登陸 驗(yàn)證配置SSH是否正確 3) 修改集群配置文件 修改 master 的 masters 、slaves ，修改所有節(jié)點(diǎn)的 , ，在此不一一列出。 4) 在 master 上格式化 HDFS 5) 啟動(dòng)和停止集群 啟動(dòng)集群， 在master上啟動(dòng)HDFS后，jps結(jié)果如下: master slave

19、 在 master 上啟動(dòng) mapreduce 后，jps 結(jié)果如下： master slave 停止集群 6、運(yùn)行程序 1. 在單機(jī)上運(yùn)行程序 （1）在 Eclipse 下，新建 map/reduce 工程 （2）新建一個(gè)java類UserNameCount,編寫代碼 （3）運(yùn)行程序，結(jié)果如下： （4）在eclipse中編譯好源代碼后，導(dǎo)出程序的jar包，供在集群上使用。 2. 在集群上運(yùn)行程序 （1）啟動(dòng)集群，通過jps命令查看master， slave上啟動(dòng)的服務(wù)列表，結(jié)果如下: radoor-Subunttihadooi?/bins 2S5fi Jps 丄btn 的ai3S 201B

20、from l:adcjap iLunt-li ： - E jp s lb2b lasKLracker 1444 DaaNode |丄竝乩Jo, （2）在集群環(huán)境下運(yùn)行該程序jar包（），結(jié)果如下： （3）查看集群環(huán)境下啟動(dòng)程序生成的結(jié)果，即output文件，結(jié)果如下: （4）數(shù)據(jù)統(tǒng)計(jì)結(jié)果在part-r-00000中，具體內(nèi)容如下， 7、源代碼: packagehadoop; import import import import import import import import import import import import import import publicclassUserNameCount publicstaticclassUserNam