Hadoop通過改變其配置文件來更改運行模式,我們通過修改如下四個配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可讓Hadoop以僞分佈模式運行。
Hadoop的配置文件是 xml 格式,每個配置以聲明 property 的 name 和 value的方式來實現。接下來讓我們開始進行hadoop的配置吧,配置之前首先啓動Ubuntu虛擬機,然後打開Xshell軟件並連接登錄虛擬機。
1、設置hadoop-env.sh配置文件
首先,我們需要修改hadoop運行相關的sh文件,以保證hadoop運行過程中能夠正常使用其他軟件或組件的功能,此處一般而言只需將JAVA功能添加在內既可。
cd ~/hadoop/etc/hadoop # 進入hadoop配置文件夾 vim hadoop-env.sh
在彈出的框體中輸入i進入輸入模式,此時可以編輯hadoop-env.sh了。
將JAVA路徑寫入到文件,只需修改
爲如下代碼
export JAVA_HOME=/usr/local/lib/jdk1.8
然後按Esc進入命令模式再輸入:wq保存文件並退出。
注:後面編輯文件的操作有將不再反覆贅述編輯器打開關閉過程,只對需要更改、編輯的內容進行說明。
2、配置core-site.xml文件
首先是core-site.xml,文件,該文件決定Hadoop core組件部分運行模式,在命令行中輸入開始編輯文件
vim core-site.xml
在彈出的框體中輸入i,然後配置如下內容
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
編輯完成內容如下
3、配置hdfs-site.xml文件
hdfs-site.xml將決定hdfs的部分運行情況,在命令行中輸入
vim hdfs-site.xml
在彈出的框體中輸入配置內容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/tmp/dfs/data</value>
</property>
</configuration>
4、配置mapred-site.xml文件
mapred-site.xml用於設置監控Map與Reduce程序的JobTracker任務分配情況以及運行情況。hadoop這裏只提供了模板,可先複製再編輯,在命令行中輸入
cp mapred-site.xml.template mapred-site.xml # 複製模板 vim mapred-site.xml
在彈出的框體中輸入配置內容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、配置yarn-site.xml文件
在命令行中輸入
vim yarn-site.xml
在彈出的框體中輸入配置內容
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
僞分佈模式的配置內容就這裏,下篇文章我們介紹如何啓動單節點集羣。