大數據實驗報告

1、課 程 實 驗 報 告專 業(yè) 年 級 14級軟件工程 課 程 名 稱 大數據技術原理與應用 指 導 教 師 李均濤 學 生 姓 名 吳勇 學 號 實 驗 日 期 2017.05.04 實 驗 地 點 篤行樓B棟301 實 驗 成 績 教務處制2017年03月09日實驗項目名稱Liunx基本操作實驗目的及要求1. 了解Liunx操作系統發(fā)展歷史。2. 學習Liunx操作系統基本概念及操作。3. 學習Liunx操作系統用戶及文件權限管理。4. Linux 目錄結構及文件基本操作。實驗內容1.實驗樓環(huán)境介紹，常用 Shell 命令及快捷鍵，Linux 使用小技巧。2.Linux 中創(chuàng)建、刪除用戶，及

2、用戶組等操作。Linux 中的文件權限設置。3.Linux 的文件組織目錄結構，相對路徑和絕對路徑，對文件的移動、復制、重命名、編輯等操作。實驗步驟1. Liunx輸入輸出命令。2. 使用touch命令創(chuàng)建文件夾，后綴都為txt。3. 學會在命令行中獲取幫助。4. 輸出圖形字符。5. 查看用戶。6. 創(chuàng)建新用戶。7. 刪除用戶。8. 查看文件權限。9. 用ls A/Al/dl/AsSh查看文件。10. 變更文件所有者。11. 修改文件權限。12. 目錄路徑。13. 新建空白文件。14. 文件的復制、刪除、移動、重命名。實驗環(huán)境Liunx 操作系統實驗結果與分析通過學習Liunx操作系統的發(fā)展歷

3、史、基本操作、用戶及文件權限管理以及Linux 目錄結構及文件基本操作。是得我大致了解Liunx操作系統的使用，并且能夠完成相應的練習。教師評語注：可根據實際情況加頁課 程 實 驗 報 告專 業(yè) 年 級 14級軟件工程 課 程 名 稱 大數據技術原理與應用 指 導 教 師 李均濤 學 生 姓 名 吳勇 學 號 實 驗 日 期 2017.05.04 實 驗 地 點 篤行樓B棟301 實 驗 成 績 教務處制2017年03月09日實驗項目名稱Hadoop的基本操作實驗目的及要求1. Hadoop單機模式安裝.2. Hadoop偽分布模式配置部署.3. Hadoop介紹及1.X偽分布式安裝.4. a

4、doop2.X 64位編譯.5. Hadoop2.X 64位環(huán)境搭建.實驗內容1. hadoop三種安裝模式介紹,hadoop單機模式安裝,測試安裝2. hadoop配置文件介紹及修改,hdfs格式化,啟動hadoop進程，驗證安裝.3. Hadoop1.X偽分布安裝, Hadoop介紹,Hadoop變量配置.4. Hadoop2.X 64位編譯, 編譯Hadoop2.X 64位, 編譯Hadoop.5. 搭建環(huán)境, 部署Hadooop2.X, 啟動Hadoop.實驗步驟1. 用戶及用戶組, 添加用戶及用戶組, 添加sudo權限.2. 安裝及配置依賴的軟件包, 安裝openssh-server

5、、java、rsync等, 配置ssh免密碼登錄.3. 下載并安裝Hadoop, 下載, 解壓并安裝, 配置Hadoop.4. 測試驗證.5. 相關配置文件修改:修改core-site.xml:6. 格式化HDFS文件系統.7. Hadoop集群啟動.8. 測試驗證.9. 設置Host映射文件.10. 下載并解壓hadoop安裝包11. 在目錄下創(chuàng)建子目錄.12. 啟動hadoop.13. 編譯Hadoop2.X 64位.14.使用yum安裝sun.15. 部署Hadooop2.X.與Hadoop1.X類似。實驗環(huán)境hadoop Xfce終端實驗結果與分析通過本次實驗，讓我對Hadoop有所了

6、解，但是在實驗過程中出現許多問題。例如，不知道該如何下載java jdk，甚至如何創(chuàng)建文件夾目錄下的文件，以及Hadoop的環(huán)境配置原理以及編譯原理和方法。這些都是實驗中出現的問題，但是通過自己查詢，問同學，部分問題已經得到解決，但是還存在一部分就只能通過課后自學進行解決！通過上述的學習，讓我對Hadoop的基本操作有了基礎的掌握，包括Hadoop介紹及1.X偽分布式安裝，adoop2.X 64位編譯，Hadoop2.X 64位環(huán)境搭建等。教師評語注：可根據實際情況加頁課 程 實 驗 報 告專 業(yè) 年 級 14級軟件工程 課 程 名 稱 大數據技術原理與應用 指 導 教 師 李均濤 學 生 姓

7、 名 吳勇 學 號 實 驗 日 期 2017.06.01 實 驗 地 點 篤行樓B棟301 實 驗 成 績 教務處制2017年03月09日實驗項目名稱HDFS和MapReduce實驗目的及要求1. HDFS原理及操作。2. MapReduce原理及操作。實驗內容1. HDFS原理及操作。環(huán)境說明，HDFS原理，HDFS架構，HDFS讀操作，HDFS寫操作，測試例子2MapReduce原理及操作。 環(huán)境說明，MapReduce原理，Map過程，Reduce過程，測試例子實驗步驟1.HDFS原理及操作。1.1 環(huán)境說明。虛擬機操作系統： CentOS6.6 64位，單核，1G內存JDK：1.7.0

8、_55 64位1.2 HDFS原理。HDFS（Hadoop Distributed File System）是一個分布式文件系統，是谷歌的GFS山寨版本。它具有高容錯性并提供了高吞吐量的數據訪問，非常適合大規(guī)模數據集上的應用，它提供了一個高度容錯性和高吞吐量的海量數據存儲解決方案。1.3 HDFS架構。HDFS是Master和Slave的結構，分為NameNode、Secondary NameNode和DataNode三種角色。1.4 HDFS讀操作。客戶端通過調用FileSystem對象的open()方法來打開希望讀取的文件。1.5 HDFS寫操作。客戶端通過調用DistributedFil

9、eSystem的create()方法創(chuàng)建新文件。1.6測試例子1。 1.創(chuàng)建代碼目錄 2. 建立例子文件上傳到HDFS中 3. 配置本地環(huán)境 4. 編寫代碼 5. 編譯代碼 6. 使用編譯代碼讀取HDFS文件2. MapReduce原理及操作。 2.1環(huán)境說明。 虛擬機操作系統： CentOS6.6 64位，單核，1G內存JDK：1.7.0_55 64位2.2 MapReduce原理。Map 和Reduce。當你向MapReduce 框架提交一個計算作業(yè)時，它會首先把計算作業(yè)拆分成若干個Map 任務，然后分配到不同的節(jié)點上去執(zhí)行，每一個Map 任務處理輸入數據中的一部分，當Map 任務完成后，

10、它會生成一些中間文件，這些中間文件將會作為Reduce 任務的輸入數據。Reduce 任務的主要目標就是把前面若干個Map 的輸出匯總到一起并輸出。2.3 Map過程。每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大小（默認為64M）為一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環(huán)形內存緩沖區(qū)中（該緩沖區(qū)的大小默認為100M，由屬性控制），當該緩沖區(qū)快要溢出時（默認為緩沖區(qū)大小的80%，由屬性控制），會在本地文件系統中創(chuàng)建一個溢出文件，將該緩沖區(qū)中的數據寫入這個文件。2.4 Reduce過程。Reduce會接收到不同map任務傳來的數據，并且每個map傳來的數據都是有序的。如果reduce端接受的數據量相當小，則直接存儲在內存中（緩沖區(qū)大小由屬性控制，表示用作此用途的堆空間的百分比），如果數據量超過了該緩沖區(qū)大小的一定比例（由決定），則對數據合并后溢寫到磁盤中。 2.5測試例子。1 編寫代碼。2.編譯代碼。3.打包編譯文件。4.解壓氣象數據并上傳到HDFS中。 5. 運行程序。 6. 查看結果。實驗環(huán)境虛擬機操作系統： CentOS6.6 64位，單核，1G內存JDK：1.7.0_55