Hadoop環境搭建-2. Hadoop單機版

1. 安裝hadoop並修改配置文件

在 usr 文件夾下創建 hadoop 文件夾作爲壓縮包存放和解壓路徑，將 hadoop 的壓縮包傳輸到此文件夾下後 解壓：

[root@hadoop-1 hadoop]# pwd
/usr/hadoop
[root@hadoop-1 hadoop]# ll
total 357860
-rw-r--r--. 1 root root 366447449 Feb 25 14:28 hadoop-2.9.2.tar.gz
[root@hadoop-1 hadoop]# tar -zxvf hadoop-2.9.2.tar.gz

後續就是配置proflie文件 和 修改五個配置文件

注意：hadoop 2.x 的配置文件在 $HADOOP_HOME/etc/hadoop 目錄中

1.1 配置proflie文件

在 etc 的 profile 最後添加入下內容，然後 source 刷新配置文件

export HADOOP_HOME=/usr/hadoop/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

接下來需要改五個配置文件

1.2 第一個：hadoop-env.sh

進入到 hadoop-2.9.3 /etc/hadoop 文件夾下，修改 hadoop-env.sh

vim hadoop-env.sh，填寫的是java的安裝路徑（25行）

# The java implementation to use.
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_231

思考：hadoop-env.sh 中爲何要重複配置 JAVA_HOME？

1.3 第二個 core-site.xml

在 configuration 中加上：

<!-- 指定HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop-1.wj:9000</value>
</property>

<!-- 指定hadoop運行時產生文件的存儲目錄[能自動生成目錄] -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/hadoop/tmp</value>
</property>

1.4 第三個 hdfs-site.xml

同上 configuration 中添加：

<!-- 指定HDFS副本的數量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<!-- 確定 DFS namenode 在本地文件系統上應存儲名稱表（fsimage）的位置 -->
<property>
    <name>dfs.namenode.name.dir</name> 
    <value>/usr/local/hadoop/tmp/dfs/name</value>
</property>

<!-- 確定 DFS datanode 應在本地文件系統上的哪個位置存儲其塊 -->
<property>
    <name>dfs.datanode.data.dir</name>                      
    <value>/usr/local/hadoop/tmp/dfs/data</value>
</property>

<!-- 如果爲“ false”，則關閉權限檢查 -->
<property>
    <name>dfs.permissions.enabled</name>                      
    <value>falise</value>
</property>

hdfs-site.xml 文件配置參考

1.5 第四個 mapred-site.xml

mapred-site.xml 配置 MapReduce 運行的平臺，默認爲 local 本地平臺模擬運行，而不是在集羣上分佈式運行，只是一個單機的程序

這裏配置爲 yarn 平臺運行，yarn 負責分配內存

這個需要複製一個模版文件出來

cp mapred-site.xml.template mapred-site.xml

然後 vim mapred-site.xml 添加

<!-- 指定mr運行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

1.6 第五個 yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop-1.wj</value>
</property>

<!-- reducer 獲取數據的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- 忽略虛擬內存檢查，如果實在實體機上，並且內存夠多，可以去掉 -->
<property>
	<name>yarn.nodemanager.vmen-check-enabled</name>
	<value>false</value>
</property>

2. 格式化 namenode

對 namenode 進行初始化

hadoop namenode -format

如果沒有報錯說明配置文件成功,否則重新檢查配置文件

3. 啓動 hadoop

先啓動 HDFS（這裏需要yes三次並輸入你的root密碼三次）：

start-dfs.sh

再啓動 YARN（這裏需要輸入root密碼）：

start-yarn.sh

4. 驗證是否啓動成功

[root@hadoop-1 hadoop]# jps
3297 DataNode
4113 Jps
3477 SecondaryNameNode
3973 NodeManager
3161 NameNode
3674 ResourceManager

關閉防火牆

[root@hadoop-1 hadoop]# systemctl stop firewalld
[root@hadoop-1 hadoop]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

瀏覽器查看

• http://ip地址:50070 （HDFS 管理界面）
• http://ip地址:8088 (YARN 管理界面）

本例中：

• HDFS 管理界面 ：http://192.168.27.100:50070/
• YSRN 管理界面 ：http://192.168.27.100:8088/

如果頁面正常則說明hadoop配置成功