ubuntu環境下搭建Hadoop集羣中必須需要注意的問題

博主安裝的hadoop是3.1.3這裏是按照廈門大學那個博客安裝的，在安裝與啓動過程中，費了不少事，特此記錄一下問題。

安裝的連接：
安裝環境：http://dblab.xmu.edu.cn/blog/install-hadoop/
分佈式搭建：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

需要注意的是文中所講的是hadoop2版本，其中集羣搭建修改的五個配置文件中的 slaves文件，在hadoop3中已改名成 wordks 目錄在/usr/local/hadoop/etc/hadoop。

如果前面僞分佈式搭建能夠正常啓動的話，在分佈式搭建的過程中主要還是配置文件需要按照他博文中的寫好，我就是在配置文件上有時候對應的不夠好，這裏主節點master的配置文件需要和slave從節點的配置文件一樣，還有/etc/hosts文件用vim編輯記得在前面加上sudo
不然權限不夠無法保存。

最後hadoop3的訪問端口是 master:9870;hadoop2版本訪問的端口是50070，怪不得訪問超時，我還以爲DataNode的問題，有時候DataNode無法啓動，需要將所有節點的 tmp、logs文件夾強制刪除，停止服務後需要重新格式化 ./bin/hdfs namenode -format .

中間的節點如果沒有啓動的話，需要去日誌中查看錯誤，找到對應的錯誤在Goole，查看日誌的命令

less less logs/hadoop-hadoop-namenode-master.log

tail -10 logs/hadoop-hadoop-namenode-master.log # 最後10行的日誌信息
head -5 hadoop-hadoop-namenode-master.log # 查看前10行日誌信息

在啓動服務之前需要查看防火牆的狀態(以下的命令是ubuntu的)

systemctl status firewalld.service

# 如果是開着的需要 關閉防火牆
systemctl stop firewalld.service

systemctl disable firewalld.service # 禁止firewall開機啓動

最後搭建成功的截圖
master節點

slave01

訪問master:9870

訪問master:8088

看間這頭黃色的大象就代表搭建成功了。