hadoop實驗報告

1、基于hadoop的大規(guī)模文本處理技術(shù)實驗軟件1102張國宇Set up Hado op on Ubuntu 64-bit提示：前面的putty軟件安裝省略；直接進入 JDK的安裝。1.1 nstall Sun JDKv安裝 JDK>PPA。打由于Sun JDK在ubuntu的軟件中心中無法找到，我們必須使用外部的 開終端并且運行以下命令：sudo add-a pt-re pository pp a:ferramroberto/java sudo ap t-get up date sudo ap t-get in stall sun-java6-b in sudo ap t-get in

2、stall sun-java6-jdkAdd JAVA HOME variablev 配置環(huán)境變量 >:先輸入粘貼下面文字:sudo vi /etc/e nvir onment再將下面的文字輸入進去：按i鍵添加，esc鍵退出，X保存退出;如下圖:export JAVA_HOME二"/usr/lib/jvm/160"Test the success of installation in Terminal在終端測試安裝是否成功 >: sudo . /etc/e nviro nment java -zersion2. Check SSH Settingv檢查 ssh

3、的設(shè)置 >ssh localhost如果出現(xiàn)“ conn ection refused你最好重新安裝ssh （如下命令可以 安裝）：sudo apt-get install openssh-server openssh-client如果你沒有通行證ssh到主機，執(zhí)行下面的命令:ssh-keygen -t dsa -P '' -f /.ssh/id_dsa cat /.ssh/ >> /.ssh/authorized_keys3. Setup Hadoop<安裝 hadoop>安裝 apache2 sudo apt-get install apach

4、e2下載 hadoop:1.0.4解壓hadoop所下載的文件包:tar xvfz 1.0.4”作為hadoop的根目錄:下載最近的一個穩(wěn)定版本，解壓。編輯 / 定義 java_homeuse/library/java-6-sun-1.6.0.26Sudo vi conf/將以下內(nèi)容加到文件最后:# The java implementation to use. Required.export JAVA_HOME=/usr/lib/jvm/1.6.0Pseudo-Distributed Op eratio n (Sin gle-Node Cluster) < 偽分布式操作(單 節(jié)點集群）

5、 >:將下面中間部分插入:（得到如圖:）cat conf/: <configuration><property> </property></configuration> cat conf/: <configuration><property><name></name> <value>1</value></property></configuration> cat conf/: <configuration><property&g

6、t;<value>localhost:9001</value></property></configuration>Switch to hadoop root directory and format a new distributed file system<轉(zhuǎn)向根目錄，格式化一個新的文件分布式系統(tǒng) >: bin/hadoop namenode -ormat注意：這一步一定不能掉，否則后面會出錯！You' ll get info likebeen successfully formatted.Storayg/temdpir/

7、ehcatdoop-ubuntu/dfs/name has” Remember this path is the HDFS homedirectory of name node.（你會得到提示：你已經(jīng)成功格式化。）Start and stop hadoop daemon(s 啟動和終止進程。)bin/ (start the hadoop)bin/ (stop the hadoop)Web interfaces for the NameNode and the JobTracker:NameNode 提示：如果前面沒有格式化成功， 這個網(wǎng)址會出現(xiàn)就不去的現(xiàn)象！如果進不去就先結(jié)束進程，重新格式化然

8、后再開始進程。JobTracker 4. Deploy An Example Map-Reduce Job<置 Ma-reduce Job的一個例子創(chuàng)建路徑 " /home/ubuntu/mapreduce/wordcount/ " ，并在該目錄下放置文本文件。然后將這些文件復(fù)制到 HDFS目錄:bin/hadoop dfs -copyFromLocal/home/ubuntu/mapreduce/wordcount/tmp/hadoop-ubuntu/dfs/name/wordcountbin/hadoop dfs -ls /tmp/hadoop-ubuntu/df

9、s/name/wordcountRun the job:bin/hadoop jar hadoop*examples*.jar wordcount/tmp/hadoop-ubuntu/dfs/name/wordcount/tmp/hadoop-ubuntu/dfs/name/wordcount-outputIf the output info looks no problem, copy the output file from HDFS tolocal directoryv如果輸出信息看起來沒有問題，從HDFS輸出復(fù)制文件到本地目錄的： >:bin/hadoop dfs -getmerge/tmp/hadoop-ubuntu/dfs/name/wordcount-output/home/ubuntu/mapreduce/wordcount/Now you can open the output file in your local directory to view theresults在你可以打開輸出文件在您的本地目錄查看結(jié)果