這裏通過4臺Linux虛擬機，詳細介紹搭建4個節點的完全分佈式Hadoop集羣的方法，Linux系統版本是CentOS 7，Hadoop版本是3.2.1，JDK版本是1.8

一、準備環境

在VMware workstations上創建4個Linux虛擬機，並配置其靜態IP。
配置DNS（每個節點）
編輯配置文件，添加主節點和從節點的映射關係。

#vim /etc/hosts
192.168.1.13 hadoop01
192.168.1.14 hadoop02
192.168.1.15 hadoop03
192.168.1.16 hadoop04

關閉防火牆（每個節點）

#關閉服務
[root@hadoop01 opt]# systemctl stop firewalld
#關閉開機自啓動
[root@hadoop01 opt]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

配置免密碼登錄
有關【配置免密碼登錄方法】，請參考這裏
配置Java環境（每個節點）
有關【配置java環境方法】，請參考這裏

二、搭建Hadoop完全分佈式集羣

在各個節點上安裝與配置Hadoop的過程都基本相同，因此在主節點master上進行統一配置，然後通過scp 命令將修改的配置文件拷貝到各個從節點上即可。

下載Hadoop安裝包，解壓，配置Hadoop環境變量

有關【Hadoop安裝包下載方法】，請參考這裏。

本文下載的Hadoop版本是3.2.1，指定一個目錄（比如：/opt），使用rz命令上傳Hadoop安裝包到Linux系統，解壓到指定目錄，配置Hadoop環境變量，並使其生效。實現命令如下：

#解壓到/opt目錄
[root@hadoop01 opt]# tar -zxvf hadoop-3.2.1.tar.gz
#鏈接/opt/hadoop-3.2.1到/opt/hadoop，方便後續配置
[root@hadoop01 opt] #ln -s hadoop-3.2.1 hadoop

#配置Hadoop環境變量（每個節點）
[root@hadoop01 opt]# vim /etc/profile
#Hadoop
export HADOOP_HOME=/opt/hadoop # 該目錄爲解壓安裝目錄
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

#保存後，使profile生效
[root@hadoop01 opt]# source /etc/profile

配置Hadoop環境腳本文件中的JAVA_HOME參數

#進入Hadoop安裝目錄下的etc/hadoop目錄
[root@hadoop01 ~]#cd /opt/hadoop/etc/hadoop

#分別在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下參數：

[root@hadoop01 hadoop]# vim hadoop-env.sh 
[root@hadoop01 hadoop]# vim mapred-env.sh
[root@hadoop01 hadoop]# vim yarn-env.sh
export JAVA_HOME="/opt/jdk"  # 路徑爲jdk安裝路徑

#驗證Hadoop配置是否生效
[root@hadoop01 hadoop]# hadoop version
Hadoop 3.2.1
Source code repository https://github.com/apache/hadoop.git -r 
Compiled by sunilg on 2020 04-08T06:08Z
Compiled with protoc 2.5.0
From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /opt/hadoop-3.2.0/share/hadoop/common/hadoop-common-3.2.1.jar

修改Hadoop配置文件

Hadoop安裝目錄下的etc/hadoop目錄中，需修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers文件，根據實際情況修改配置信息。

（1）core-site.xml （配置Common組件屬性）

  <configuration>
  <property>
      <!-- 配置hdfs地址 -->
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop01:9000</value>
  </property>
  <property>
      <!-- 保存臨時文件目錄，需先在/opt/hadoop下創建tmp目錄 -->
      <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop/tmp</value>
 </property>
 </configuration>

（2）hdfs-site.xml （配置HDFS組件屬性）

<configuration>
      <property>
         <!-- 主節點地址 -->
          <name>dfs.namenode.http-address</name>
          <value>hadoop01:50070</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/opt/hadoop/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/opt/hadoop/dfs/data</value>
     </property>
     <property>
        <!-- 備份數爲默認值3 -->
        <name>dfs.replication</name>
         <value>3</value>
     </property>
        <property>
　　　　<name>dfs.webhdfs.enabled</name>
　　　　<value>true</value>
　　　</property>

　　<property>
　　　　<name>dfs.permissions</name>
　　　　<value>false</value>
　　　　<description>配置爲false後，可以允許不要檢查權限就生成dfs上的文件，方便倒是方便了，但是你需要防止誤刪除.</description>
　　</property>
 </configuration>

（3）mapred-site.xml （配置Map-Reduce組件屬性）

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value> #設置MapReduce的運行平臺爲yarn
      </property>
      <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop01:10020</value>
      </property>
     <property>
         <name>mapreduce.jobhistory.webapp.address</name>
         <value>hadoop01:19888</value>
     </property>
　<property>
　　　<name>mapreduce.application.classpath</name>　　　　<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
　</property>
</configuration>

（4）yarn-site.xml（配置資源調度屬性）

 <configuration>
  <property>
         <name>yarn.resourcemanager.hostname</name> #指定yarn的ResourceManager管理界面的地址，不配的話，Active Node始終爲0
         <value>hadoop01</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services</name>  #reducer獲取數據的方式
         <value>mapreduce_shuffle</value>
     </property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.13:8088</value>
<description>配置外網只需要替換外網ip爲真實ip，否則默認爲 localhost:8088</description>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<description>每個節點可用內存,單位MB,默認8182MB</description>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>忽略虛擬內存的檢查，如果你是安裝在虛擬機上，這個配置很有用，配上去之後後續操作不容易出問題。</description>
</property>

<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

（5）workers文件

#增加從節點地址（若配置了hosts，可直接使用主機名，亦可用IP地址）
[root@hadoop01 hadoop]# vim workers
hadoop02
hadoop03
hadoop04

將配置好的文件夾拷貝到其他從節點

[root@hadoop01 hadoop]# scp -r /opt/hadoop-3.2.1 root@hadoop02:/opt/
[root@hadoop01 hadoop]# scp -r /opt/hadoop-3.2.1 root@hadoop03:/opt/
[root@hadoop01 hadoop]# scp -r /opt/hadoop-3.2.1 root@hadoop04:/opt/

每個節點執行：

ln -s hadoop-3.2.1 hadoop

配置啓動腳本，添加HDFS和Yarn權限

添加HDFS權限：編輯如下腳本，在第二行空白位置添加HDFS權限
[root@hadoop01 sbin]# vim sbin/start-dfs.sh 
[root@hadoop01 sbin]# vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

添加Yarn權限：編輯如下腳本，在第二行空白位置添加Yarn權限

[root@hadoop01 sbin]# vim sbin/start-yarn.sh 
[root@hadoop01 sbin]# vim sbin/stop-yarn.sh 

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

注意：若不添加上述權限，則會報錯：缺少用戶權限定義所致。

ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
Starting datanodes
ERROR: Attempting to launch hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
Starting secondary namenodes [localhost.localdomain]
ERROR: Attempting to launch hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.

初始化 & 啓動

#格式化
[root@hadoop01 hadoop-3.2.1]# bin/hdfs namenode -format

#啓動（兩種方式均可啓動）
方法一：
[root@hadoop01 hadoop-3.2.1]# sbin/start-all.sh

方法二：
[root@hadoop01 hadoop-3.2.1]# sbin/start-dfs.sh 
[root@hadoop01 hadoop-3.2.1]# sbin/start-yarn.sh

驗證Hadoop啓動成功

#主節點
[root@hadoop01 sbin]# jps
11329 NameNode
11831 ResourceManager
11592 SecondaryNameNode
12186 Jps
#從節點
[root@hadoop02 hadoop]# jps
5152 SecondaryNameNode
5085 DataNode
5245 NodeManager
5357 Jps

[root@hadoop03 opt]# jps
5080 DataNode
5178 NodeManager
5278 Jps

[root@hadoop04 opt]# jps
5090 NodeManager
5190 Jps
4991 DataNode

Web端口訪問

注：先開放端口或直接關閉防火牆。

#查看防火牆狀態
firewall-cmd --state
#臨時關閉防火牆
systemctl stop firewalld
#禁止開機啓動防火牆
systemctl disable firewalld

在瀏覽器輸入：http://hadoop01:8088打開ResourceManager頁面。

在瀏覽器輸入：http://hadoop01:50070打開Hadoop Namenode頁面。

Hadoop 3完全分佈式集羣搭建方法（CentOS 7+Hadoop 3.2.1）

一、準備環境

二、搭建Hadoop完全分佈式集羣

程序員說。。。。

HBase2.2.4完全分佈式安裝（基於Hadoop3.2.1）

Zookeeper完全分佈式集羣的搭建

HIVE 基礎知識

Hadoop 3完全分佈式集羣搭建方法（CentOS 7+Hadoop 3.2.1）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結