centOS7集羣hadoop環境搭建

今天安裝了下hadoop，感覺網上的教程還有幾點要注意的地方，我把它總結在寫一下。

一、準備工作

準備3臺centOS 7

虛擬機的安裝我這邊就不寫了，給兩個教程鏈接把：
centOS7安裝教程：https://www.centos.net.cn/archive/1518
centOS7下載：https://www.centoschina.cn/downloads
（Tip：安裝完一個虛擬機之後，剩下的兩個可以進行克隆，右鍵就行）

關閉防火牆：
　　　　　 systemctl stop firewalld.service
　　　　　 　禁用防火牆：systemctl disable firewalld.service
　　　　　　 查看防火牆狀態firewall-cmd --state
　　　　　　 重啓 reboot

二、實現三臺機器ssh免密碼登錄

首先，你要確保知道你的三臺機子的名稱和ip
比如：我的三臺分別是

10.25.0.165 hadoop01
10.25.0.221 hadoop02
10.25.0.232 hadoop03

1.檢查機器的名稱和IP

檢查機器名稱

用root賬戶登錄，然後使用hostname命令查看機器名稱

[root@localhost etc]# hostname
localhost.localdomain
[root@localhost etc]#

把他修改成我們想要的名稱

hostname   hadoop01

修改之後檢查一下，如果修改不成功，可以進入配置文件進行名稱的修改。

vim /etc/hostname          ##用vi進行修改

類似的，將其他兩個機器，分別改名爲hadoop02和hadoop03

檢查IP

使用ifconfig來檢查電腦的ip

[root@hadoop01 etc]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.25.0.165  netmask 255.255.254.0  broadcast 10.25.1.255
        inet6 fe80::57c1:8afa:60e5:4cc7  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:92:e6:51  txqueuelen 1000  (Ethernet)
        RX packets 370188  bytes 428647745 (408.7 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 52416  bytes 15864915 (15.1 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 987  bytes 105906 (103.4 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 987  bytes 105906 (103.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:d6:35:d0  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@hadoop01 etc]# 

如果你的虛擬機使用的是橋接的，ifconfig之後你還是不確定你的IP，建議使用CRT工具連接試試，能夠成功聯通的就是正確的IP。

2.修改/etc/hosts文件

修改三臺機器的/etc/hosts文件，在裏面添加如下內容(添加就行了，不需要刪除)
修改方法：可以使用vim命令，也可以再寫一個hosts文件，拿到linux上覆蓋。

10.25.0.165 hadoop01
10.25.0.221 hadoop02
10.25.0.232 hadoop03

Tip：IP地址不需要和我的一樣，這裏只是做一個映射。
配置完成後使用ping命令檢查這3個機器是否相互ping得通（互相檢查一下）。

[root@hadoop01 etc]# ping  -c 3  hadoop02
PING hadoop02 (10.25.0.221) 56(84) bytes of data.
64 bytes from hadoop02 (10.25.0.221): icmp_seq=1 ttl=64 time=0.416 ms
64 bytes from hadoop02 (10.25.0.221): icmp_seq=2 ttl=64 time=0.431 ms
64 bytes from hadoop02 (10.25.0.221): icmp_seq=3 ttl=64 time=0.458 ms

--- hadoop02 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 0.416/0.435/0.458/0.017 ms
[root@hadoop01 etc]# 

ping得通，說明機器是互聯的，hosts配置正確。

3.給3個機器生成祕鑰文件

以hadoop01爲例，執行命令，生成空字符串的祕鑰(後面要使用公鑰)，命令是：

ssh-keygen  -t   rsa   -P  ''

如圖（我自己的已經弄好了，所以網上找了個圖）：

image.png

因爲我現在用的是root賬戶，所以祕鑰文件保存到了/root/.ssh/目錄內，可以使用命令查看，命令是：

 

[root@hadoop01 .ssh]# ls /root/.ssh/
  id_rsa  id_rsa.pub  
[root@hadoop01 .ssh]# 

要有兩個文件，使用同樣的方法爲hadoop02和hadoop03生成祕鑰(命令完全相同，不用做如何修改)。

4.在hadoop01上創建authorized_keys文件

接下來要做的事情是在3臺機器的/root/.ssh/目錄下都存入一個內容相同的文件，文件名稱叫authorized_keys，文件內容是我們剛纔爲3臺機器生成的公鑰。
即：把剛剛的三個公鑰，彙總成一個文件，放到三臺機器裏面。
首先創建文件：

touch  /root/.ssh/authorized_keys

查看下，是否創建成功

[root@hadoop01 .ssh]# ls   /root/.ssh/
authorized_keys  id_rsa  id_rsa.pub  
[root@hadoop01 .ssh]# 

彙總公鑰，即彙總/root/.ssh/id_rsa.pub文件內容，到authorized_keys 的辦法有很多，一個是用cat和vim命令，一個是本地編輯好後丟到各個機器上面。
我這邊是這樣的：

##我的hadoop01的/root/.ssh/id_rsa.pub文件內容
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDPnzSm1RBU/H4fcg2rIEh5O5AzE3uprj67LNsS8g9xjajuGz1eZ+dbp8lKZl/OrA9ihkg5FaCh/NKtdHMW4dw2Q0ST5m2y/tz94PNhGYnC84cZ02TzcV1HnlAr3Od+RsvfQt1Rmc3PZDn7bel21gc08YgfpMOjj0R7dfcYPBx/SW/mLekQz4JCESbTk+Ev24r2zE9gfmV8NZzsr+Jx8r/WxfoauMRrVXNcu8LmZ6irkyIe9CAWeVMLlaZPFWLwvW0S/aWMVmXsYf9fkC00L+S6YeaHzezKDwA2r6uvgy5SWFiCw0iQhNB+fb9MAD4e+fesvb4Ra+hmYk28wzz3K8tp root@hadoop01
##我的hadoop02的/root/.ssh/id_rsa.pub文件內容
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL6uc5/Upj1vpTy0hSd+kRp8aYE2PdjpResBy8nm4g+ZhXAZG/eas5aVHZhLxX7PePwtVTJZ/v1RU3UfgNIXMwJhteNaFPgZFdMjFIcsgqJBKzzP2DVm3qz9tUC6UfQ156r2GL9KGn82R9xMdZXgfMHARsRs2SQx6w90HlnwwQvcbsXeyJ71Lr9xnEYWX1pwksxkr6fIEyT0666/CFcPFXPrBVgHen0cSzXcKcA3qinCrJfke/eesC30+e7oJ6WruEXKUa3BVuU59P0Ac4QV9C+5jIC/HSn73pA5NxA55gEFPxN2DtjEE/QqwznY+6DPGwe2SVg4/Jl0zcx24XBd7/ root@hadoop02
##我的hadoop03的/root/.ssh/id_rsa.pub文件內容
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL+o7b6PTYW2MiETCFG2Gg4sIBGXexjJC4LPX4xCZsa7XE8ToCRd4/LIkc+a7lhxVYAbp1wWf+oF+zJapq7Aa6ZOowpviAyFJg/K1DvAdvfhjG8HJE8I6zgknhu3ixAxtIozmrtD17bGVXUSR+7i9rZtvWuhNiIZ/EWI2QGKRuEoKBYsFuIeXn6f/zvJQGj3hFMNvO60dOxDByMDTfAaQse0+rz9mFLr0Xbu2HRpxLC34iiTRpEZhWY+lgEyt8LYrXJeNjHx15qHn6OXYzc2YH8apryfmv1PhTeJZfHDTnmIARfIuyxxvUs7VS13w8VZBD9L7sjk2AFcDAoAlJ1IkX root@hadoop03

##彙總之後就是
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDPnzSm1RBU/H4fcg2rIEh5O5AzE3uprj67LNsS8g9xjajuGz1eZ+dbp8lKZl/OrA9ihkg5FaCh/NKtdHMW4dw2Q0ST5m2y/tz94PNhGYnC84cZ02TzcV1HnlAr3Od+RsvfQt1Rmc3PZDn7bel21gc08YgfpMOjj0R7dfcYPBx/SW/mLekQz4JCESbTk+Ev24r2zE9gfmV8NZzsr+Jx8r/WxfoauMRrVXNcu8LmZ6irkyIe9CAWeVMLlaZPFWLwvW0S/aWMVmXsYf9fkC00L+S6YeaHzezKDwA2r6uvgy5SWFiCw0iQhNB+fb9MAD4e+fesvb4Ra+hmYk28wzz3K8tp root@hadoop01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL6uc5/Upj1vpTy0hSd+kRp8aYE2PdjpResBy8nm4g+ZhXAZG/eas5aVHZhLxX7PePwtVTJZ/v1RU3UfgNIXMwJhteNaFPgZFdMjFIcsgqJBKzzP2DVm3qz9tUC6UfQ156r2GL9KGn82R9xMdZXgfMHARsRs2SQx6w90HlnwwQvcbsXeyJ71Lr9xnEYWX1pwksxkr6fIEyT0666/CFcPFXPrBVgHen0cSzXcKcA3qinCrJfke/eesC30+e7oJ6WruEXKUa3BVuU59P0Ac4QV9C+5jIC/HSn73pA5NxA55gEFPxN2DtjEE/QqwznY+6DPGwe2SVg4/Jl0zcx24XBd7/ root@hadoop02
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL+o7b6PTYW2MiETCFG2Gg4sIBGXexjJC4LPX4xCZsa7XE8ToCRd4/LIkc+a7lhxVYAbp1wWf+oF+zJapq7Aa6ZOowpviAyFJg/K1DvAdvfhjG8HJE8I6zgknhu3ixAxtIozmrtD17bGVXUSR+7i9rZtvWuhNiIZ/EWI2QGKRuEoKBYsFuIeXn6f/zvJQGj3hFMNvO60dOxDByMDTfAaQse0+rz9mFLr0Xbu2HRpxLC34iiTRpEZhWY+lgEyt8LYrXJeNjHx15qHn6OXYzc2YH8apryfmv1PhTeJZfHDTnmIARfIuyxxvUs7VS13w8VZBD9L7sjk2AFcDAoAlJ1IkX root@hadoop03

5.將authorized_keys文件複製到其他機器

將authorized_keys複製到其他機器，可以使用可視化工具，比如FlashFXP。最後呈現的結果是三個機器都如圖所示

 

image.png

6.進行免密碼登陸測試

前面搞了這麼多就是爲了讓他們通起來，這就來測試下吧！
在hadoop01上面進行測試：

[root@hadoop01 ~]# ssh hadoop02
Last login: Fri Jul 13 01:34:06 2018 from hadoop03
[root@hadoop02 ~]# exit
登出
Connection to hadoop02 closed.
[root@hadoop01 ~]# 

當然，第一次登錄可能要按一次回車，如圖

 

image.png

三臺機器之間可以互多測試幾遍

三、安裝jdk和hadoop

1.安裝jdk

見我的另外一篇教程
https://www.jianshu.com/p/a243fc5f0fc5

2.下載hadoop

http://hadoop.apache.org/releases.html
選擇合適的版本進行下載，我這邊使用的是2.91
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz

3.上傳文件並進行解壓

在opt目錄下新建一個名爲hadoop的目錄，並將下載得到的hadoop-2.9.1.tar.gz上載到該目錄下。
進入該目錄，並進行解壓操作：

[root@hadoop01 ~]# cd   /opt/hadoop
[root@hadoop01 hadoop]# tar  -xvf   hadoop-2.9.1.tar.gz

在三臺機器上重複這一操作。
在/root目錄下新建幾個目錄，複製粘貼執行下面的命令：

mkdir  /root/hadoop
mkdir  /root/hadoop/tmp
mkdir  /root/hadoop/var
mkdir  /root/hadoop/dfs
mkdir  /root/hadoop/dfs/name
mkdir  /root/hadoop/dfs/data

4.修改一大堆的配置文件

進入/opt/hadoop/hadoop-2.9.1/etc/hadoop/
主要修改的配置文件都在這裏，我們可以看一下。

[root@hadoop01 hadoop]# ls /opt/hadoop/hadoop-2.9.1/etc/hadoop/
capacity-scheduler.xml  core-site.xml   hadoop-metrics2.properties  hdfs-site.xml            httpfs-signature.secret  kms-env.sh            log4j.properties  mapred-queues.xml.template  slaves                  yarn-env.cmd
configuration.xsl       hadoop-env.cmd  hadoop-metrics.properties   httpfs-env.sh            httpfs-site.xml          kms-log4j.properties  mapred-env.cmd    mapred-site.xml             ssl-client.xml.example  yarn-env.sh
container-executor.cfg  hadoop-env.sh   hadoop-policy.xml           httpfs-log4j.properties  kms-acls.xml             kms-site.xml          mapred-env.sh     mapred-site.xml.template    ssl-server.xml.example  yarn-site.xml
[root@hadoop01 hadoop]# 

下面進行配置文件的修改，用vim命令（或者文件替換，和上面的操作一樣）

！！！細節提示：一下配置文件中，帶有hadoop01的，你們都需要替換成自己配置的主機名稱，不要照抄！！！

1) 修改core-site.xml

在<configuration>節點內加入配置:

 <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop01:9000</value>
   </property>

2）修改hadoop-env.sh

將

export   JAVA_HOME=${JAVA_HOME}

修改爲：

export   JAVA_HOME=/opt/java/jdk1.8.0_171

說明：修改爲自己的JDK路徑

3)修改hdfs-site.xml

在<configuration>節點內加入配置:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

說明(這一段我是抄的，不是很理解，總之，我寫的是true)：dfs.permissions配置爲false後，可以允許不要檢查權限就生成dfs上的文件，方便倒是方便了，但是你需要防止誤刪除，請將它設置爲true，或者直接將該property節點刪除，因爲默認就是true。

4）新建並且修改mapred-site.xml

該版本中，有一個名爲mapred-site.xml.template的文件，複製該文件，然後改名爲mapred-site.xml，命令是：

cp   /opt/hadoop/hadoop-2.9.1/etc/hadoop/mapred-site.xml.template     /opt/hadoop/hadoop-2.9.1/etc/hadoop/mapred-site.xml

修改這個新建的mapred-site.xml文件，在<configuration>節點內加入配置:

<property>
   <name>mapred.job.tracker</name>
   <value>hadoop01:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

5)修改slaves文件

修改/opt/hadoop/hadoop-2.9.1/etc/hadoop/slaves文件，將裏面的localhost刪除，添加如下內容：

hserver2
hserver3

說明：這個只需要修改hadoop01主機，另外兩臺不需要修改！！！

6）修改yarn-site.xml文件

修改/opt/hadoop/hadoop-2.9.1/etc/hadoop/yarn-site.xml文件， 在<configuration>節點內加入配置(注意了，內存根據機器配置越大越好，我這裏只配2個G是因爲機器不行):

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每個節點可用內存,單位MB,默認8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

四、啓動hadoop

到這裏，就是檢驗成果的時候了，激動一下吧！

1.在namenode上執行初始化

因爲hadoop01是namenode，hadoop02和hadoop03都是datanode，所以只需要對hadoop01進行初始化操作，也就是對hdfs進行格式化。

[root@hadoop01 hadoop]# cd   /opt/hadoop/hadoop-2.9.1/bin
[root@hadoop01 bin]#  ./hadoop  namenode  -format
...
...

不報錯的話，就是順利的執行完初始化了；
格式化成功後，可以在看到在/root/hadoop/dfs/name/目錄多了一個current目錄，而且該目錄內有一系列文件：

[root@hadoop01 bin]# cd /root/hadoop/dfs/name/
[root@hadoop01 name]# ls
current  in_use.lock
[root@hadoop01 name]# ls current/
edits_0000000000000000001-0000000000000000002  edits_0000000000000000005-0000000000000000006  fsimage_0000000000000000004      fsimage_0000000000000000006      seen_txid
edits_0000000000000000003-0000000000000000004  edits_inprogress_0000000000000000007           fsimage_0000000000000000004.md5  fsimage_0000000000000000006.md5  VERSION
[root@hadoop01 name]# 

2.執行啓動命令：

[root@hadoop01 name]# cd    /opt/hadoop/hadoop-2.9.1/sbin
[root@hadoop01 sbin]# ./start-all.sh
...
...

第一次執行上面的啓動命令，會需要我們進行交互操作，在問答界面上輸入yes回車,我由於已經安裝完成，所以就複製了個網上的圖。

 

image.png

五、測試hadoop

hadoop01是我自己的主機，ip是10.25.0.165
所以訪問：
http://10.25.0.165:50070/

 

image.png

http://10.25.0.165:8088/

 

image.png

那麼，你成功過了嘛？！

六、問題

1.hadoop命令無法使用

在昨天使用了成功安裝部署了hadoop之後，使用了

hadoop fs -ls /*

命令來查看HDFS文件系統，結果發現報錯

[root@hadoop01 hadoop-2.9.1]# hadoop fs -ls /*
bash: hadoop: 未找到命令...

這是由於沒有配置環境變量的關係，使用vim命令修改 /etc/profile 文件，添加

export HADOOP_HOME=你的hadoop安裝路徑
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2.datanode沒有啓動

在使用start-all.sh啓動hadoop的時候，會發現，主節點namenode是啓動了，但是分節點datanode啓動失敗。繼續觀察，會發現一開始是有datanode的，但它在啓動後一會兒自動消失了。
可能原因網上講了一些：防火牆沒關（注意區分centOS6和centOS7關閉防火牆的命令是不一樣的）。
我這邊經過反覆查詢發現原因是因爲datanode的clusterID 和 namenode的clusterID 不匹配！

打開hdfs-site.xml裏配置的datanode和namenode對應的目錄，分別打開current文件夾裏的VERSION，可以看到clusterID項正如日誌裏記錄的一樣，確實不一致。

[root@hadoop01 sbin]#  cat /root/hadoop/dfs/name/current/VERSION
#Fri Jul 13 23:04:07 CST 2018
namespaceID=781012180
clusterID=CID-b6934b47-4a9a-4e4c-8291-cd153ef830ba
cTime=1531494247761
storageType=NAME_NODE
blockpoolID=BP-485123232-10.25.0.165-1531494247761
layoutVersion=-63
[root@hadoop01 sbin]#  cat /root/hadoop/dfs/data/current/VERSION
#Fri Jul 13 18:27:19 CST 2018
storageID=DS-b3dda351-22bb-4423-b058-df3b5af962ae
clusterID=hadoop-federation-clusterId
cTime=0
datanodeUuid=9241c115-8068-46d4-956b-eb86b8b37b49
storageType=DATA_NODE
layoutVersion=-57
[root@hadoop01 sbin]#

修改datanode裏VERSION文件的clusterID 與namenode裏的一致，再重新啓動dfs（執行start-all.sh）再執行jps命令可以看到datanode已正常啓動。