【Hadoop大數據平臺組件搭建系列】——Hadoop完全分佈式搭建（基於CentOS7.4）史上最簡單的Hadoop完全分佈式搭建 一站式解決！！！

簡介

• 本篇介紹在VMware+CentOS 7.4環境上搭建Hadoop完全分佈式。
• Hadoop集羣分佈如下：
• 使用軟件版本信息：
  jdk-8u144-linux-x64.tar.gz（提取碼：qlft）
  hadoop-2.6.0.tar.gz（提取碼：zr2n）

編號	主機名	namenode節點	secondaryname節點	datanode節點	resourcemanager節點
1	master1	√	√		√
2	master2			√
3	slave1			√
4	slave2			√

安裝JDK

1. 解壓jdk安裝包至目標文件夾

 tar -zxvf /opt/software/jdk-8u144-linux-x64.tar.gz -C /usr/local/src/

2. 修改環境變量

 vi /etc/profile

在最後添加如下內容：

export JAVA_HOME=/usr/local/src/jdk 
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib

3. 使環境變量生效、檢查jdk版本驗證jdk安裝是否成功

 source /etc/profile

 java -version

出現下圖則jdk安裝成功：

配置SSH免密登錄

詳情戳此篇————》》》Linux中實現Hadoop各節點間的SSH免密登錄

安裝Hadoop完全分佈式

解壓安裝包，並重命名

 tar -zxvf /opt/software/hadoop-2.6.0.tar.gz -C /usr/local/scr/

重命名：

mv hadoop-2.6.0/ hadoop

修改環境變量，刷新環境變量

修改環境變量：

[root@master1 ~]# vi /etc/profile

添加環境變量：

#.....hadoop......
export HADOOP_HOME=/usr/local/scr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新環境變量：

[root@master1 ~]# source /etc/profile

修改配置文件

hadoop-env.sh

添加jdk路徑

yarn-env.sh

添加jdk路徑（注意：去掉註釋符#）

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/scr/hadoop/tmp</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/scr/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/scr/hadoop/tmp/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
	<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master1:9001</value>
        </property>
</configuration>

mapred-site.xml

先複製mapred-site.xml.template爲mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master1:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master1:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master1:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master1:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master1:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master1:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master1:8088</value>
        </property>
</configuration>

slaves

master2
slave1
slave2

拷貝分發給子節點

• 拷貝分發環境變量給各子節點並刷新

[root@master1 hadoop]# scp -r /etc/profile master2:/etc/profile
...
[root@master1 ~]# source /etc/profile

• 拷貝分發hadoop安裝文件

[root@master1 ~]# scp -r /usr/local/scr/hadoop/ master2:/usr/local/scr/
...

在主節點進行格式化

[root@master1 ~]# hadoop namenode -format

驗證安裝成功

主節點：

子節點：

web端：

最後，記得點贊哦！！！ღ( ´･ᴗ･` )比心！！！

系列文章：

【Hadoop大數據平臺組件搭建系列（四）】——Kafka組件配置
【Hadoop大數據平臺組件搭建系列（五）】——MySQL組件配置（tar源碼安裝）
【Hadoop大數據平臺組件搭建系列（六）】——Spark完全分佈式組件配置