大數(shù)據(jù)之hadoop偽分布模式參數(shù)配置

1、精選優(yōu)質(zhì)文檔-傾情為你奉上大數(shù)據(jù)之hadoop偽分布模式參數(shù)配置 Hadoop通過改變其配置文件來更改運(yùn)行模式，我們通過修改如下四個(gè)配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可讓Hadoop以偽分布模式運(yùn)行。Hadoop的配置文件是 xml 格式，每個(gè)配置以聲明 property 的 name 和 value 的方式來實(shí)現(xiàn)。接下來讓我們開始進(jìn)行hadoop的配置吧，配置之前首先啟動(dòng)Ubuntu虛擬機(jī)，然后打開Xshell軟件并連接登錄虛擬機(jī)。1、 設(shè)置hadoop-env.sh配置文件首先，我們需要修改hadoo

2、p運(yùn)行相關(guān)的sh文件，以保證hadoop運(yùn)行過程中能夠正常使用其他軟件或組件的功能，此處一般而言只需將JAVA功能添加在內(nèi)既可。cd /hadoop/etc/hadoop # 進(jìn)入hadoop配置文件夾vim hadoop-env.sh在彈出的框體中輸入i進(jìn)入輸入模式，此時(shí)可以編輯hadoop-env.sh了。將JAVA路徑寫入到文件，只需修改為如下代碼export JAVA_HOME=/usr/local/lib/jdk1.8然后按Esc進(jìn)入命令模式再輸入：wq保存文件并退出。注：后面編輯文件的操作有將不再反復(fù)贅述編輯器打開關(guān)閉過程，只對(duì)需要更改、編輯的內(nèi)容進(jìn)行說明。2、 配置core-si

3、te.xml文件首先是core-site.xml，文件，該文件決定Hadoop core組件部分運(yùn)行模式，在命令行中輸入開始編輯文件vim core-site.xml在彈出的框體中輸入i，然后配置如下內(nèi)容<configuration><property><name></name><value>hdfs:/localhost:9000</value></property></configuration>編輯完成內(nèi)容如下3、 配置hdfs-site.xml文件hdfs-si

4、te.xml將決定hdfs的部分運(yùn)行情況，在命令行中輸入vim hdfs-site.xml在彈出的框體中輸入配置內(nèi)容<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/home/hduser/tmp/dfs/name</value>&

5、lt;/property><property><name>dfs.datanode.data.dir</name><value>file:/home/hduser/tmp/dfs/data</value></property></configuration>4、 配置mapred-site.xml文件mapred-site.xml用于設(shè)置監(jiān)控Map與Reduce程序的JobTracker任務(wù)分配情況以及運(yùn)行情況。hadoop這里只提供了模板，可先復(fù)制再編輯，在命令行中輸入cp mapred-site.xm

6、l.template mapred-site.xml # 復(fù)制模板vim mapred-site.xml在彈出的框體中輸入配置內(nèi)容<configuration><property><name></name><value>yarn</value></property></configuration>5、 配置yarn-site.xml文件在命令行中輸入vim yarn-site.xml在彈出的框體中輸入配置內(nèi)容<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred