hadoop:僞分佈模式參數配置指南!

Hadoop通過改變其配置文件來更改運行模式,我們通過修改如下四個配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可讓Hadoop以僞分佈模式運行。

Hadoop的配置文件是 xml 格式,每個配置以聲明 property 的 name 和 value的方式來實現。接下來讓我們開始進行hadoop的配置吧,配置之前首先啓動Ubuntu虛擬機,然後打開Xshell軟件並連接登錄虛擬機。

1、設置hadoop-env.sh配置文件

首先,我們需要修改hadoop運行相關的sh文件,以保證hadoop運行過程中能夠正常使用其他軟件或組件的功能,此處一般而言只需將JAVA功能添加在內既可。

cd ~/hadoop/etc/hadoop # 進入hadoop配置文件夾 vim hadoop-env.sh

在彈出的框體中輸入i進入輸入模式,此時可以編輯hadoop-env.sh了。

將JAVA路徑寫入到文件,只需修改

爲如下代碼

export JAVA_HOME=/usr/local/lib/jdk1.8

然後按Esc進入命令模式再輸入:wq保存文件並退出。

注:後面編輯文件的操作有將不再反覆贅述編輯器打開關閉過程,只對需要更改、編輯的內容進行說明。

2、配置core-site.xml文件

首先是core-site.xml,文件,該文件決定Hadoop core組件部分運行模式,在命令行中輸入開始編輯文件

vim core-site.xml

在彈出的框體中輸入i,然後配置如下內容

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

編輯完成內容如下

3、配置hdfs-site.xml文件

hdfs-site.xml將決定hdfs的部分運行情況,在命令行中輸入

vim hdfs-site.xml

在彈出的框體中輸入配置內容

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hduser/tmp/dfs/data</value>

</property>

</configuration>

4、配置mapred-site.xml文件

mapred-site.xml用於設置監控Map與Reduce程序的JobTracker任務分配情況以及運行情況。hadoop這裏只提供了模板,可先複製再編輯,在命令行中輸入

cp mapred-site.xml.template mapred-site.xml # 複製模板 vim mapred-site.xml

在彈出的框體中輸入配置內容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn-site.xml文件

在命令行中輸入

vim yarn-site.xml

在彈出的框體中輸入配置內容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

僞分佈模式的配置內容就這裏,下篇文章我們介紹如何啓動單節點集羣。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章