在Redhat8.0上安裝Hadoop3.1.3單機版

hadoop最新版本是3.2.1，安裝之後SecondaryNameNode起不來 所以安裝3.1.3

hadoop下載地址：http://hadoop.apache.org/releases.html

修改/etc/hosts，添加ip和hostname

vi /etc/hosts

192.168.56.10 server

注意：這裏填寫ip  hostname  我的ip是 192.168.56.10  hostname 是 server

[root@server ~]# hostname
server

下載 Hadoop  hadoop-3.1.3.tar.gz

下載 JDK  jdk-8u241-linux-x64.tar.gz

關閉防火牆

systemctl status firewalld  ---查看防火牆狀態
systemctl stop firewalld  ---關閉防火牆
systemctl disable firewalld  ---永久禁止防火牆

將下好的JAVA JDK 和HADOOP上傳到 /tmp

[root@server tmp]# pwd
/tmp
[root@server tmp]# ll
total 540784
-rw-r--r--. 1 root  root  359196911 Mar 30 15:43 hadoop-3.1.3.tar.gz
-rw-r--r--. 1 root  root  194545143 Mar 30 18:07 jdk-8u241-linux-x64.tar.gz
drwx------. 2 gdm   gdm        4096 Mar 30 21:13 orbit-gdm
drwx------. 2 gdm   gdm        4096 Mar 30 21:13 pulse-AMhZgn6W6wIL
-rw-------. 1 root  root          0 Mar 30 18:47 yum.log

解壓JDK

[root@server tmp]# tar -zxvf jdk-8u241-linux-x64.tar.gz

[root@server tmp]# ll
total 540784
-rw-r--r--. 1 root  root  359196911 Mar 30 15:43 hadoop-3.1.3.tar.gz
drwxr-xr-x. 7 10143 10143      4096 Dec 11 18:39 jdk1.8.0_241
-rw-r--r--. 1 root  root  194545143 Mar 30 18:07 jdk-8u241-linux-x64.tar.gz
drwx------. 2 gdm   gdm        4096 Mar 30 21:13 orbit-gdm
drwx------. 2 gdm   gdm        4096 Mar 30 21:13 pulse-AMhZgn6W6wIL
-rw-------. 1 root  root          0 Mar 30 18:47 yum.log

將解壓後的JDK文件夾移動到/usr/local

[root@server tmp]# cd /usr/local
[root@server local]# mv /tmp/jdk1.8.0_241 jdk1.8.0_241

配置JAVA環境變量

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

使環境變量生效

source /etc/profile

檢查JDK安裝成功沒有

[root@server ~]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

配置ssh

ssh-keygen -t rsa    ---執行之後一致敲回車

ssh-copy-id -i ~/.ssh/id_rsa.pub server  ---執行之後要求輸入root密碼

解壓hadoop包，並且將hadoop文件夾存放到/usr/local/

cd /tmp

tar -xzvf hadoop-3.1.3.tar.gz

mv hadoop-3.1.3  /usr/local/    

配置hadoop環境變量

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使環境變量生效

source /etc/profile

配置hadoop-env.sh文件

cd  /usr/local/hadoop-3.1.3/etc/hadoop

vi hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_241
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/data/hadoop/pids
export HADOOP_LOG_DIR=/data/hadoop/logs

配置core-site.xml文件

cd  /usr/local/hadoop-3.1.3/etc/hadoop

vi core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://server:9000</value>
    </property>
</configuration>

注意： <configuration>   </configuration> 要刪掉  不然後面格式化HDFS報錯
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://server:9000</value>
    </property>
server是hostname主機名，如果你的hostname不是server就要填寫爲你自己的

配置hdfs-site.xml文件

cd  /usr/local/hadoop-3.1.3/etc/hadoop

vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop-3.1.3/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop-3.1.3/hdfs/data</value>
    </property>
</configuration>

dfs.replication：數據塊副本數，存放1份
dfs.name.dir：指定namenode節點的文件存儲目錄
dfs.data.dir：指定datanode節點的文件存儲目錄
注意： <configuration>   </configuration> 要刪掉  不然後面格式化HDFS報錯

配置mapred-site.xml文件

vi mapred-site.xml

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
<property>
<name>mapreduce.application.classpath</name>
<value>
  /usr/local/hadoop-3.1.3/etc/hadoop,
  /usr/local/hadoop-3.1.3/share/hadoop/common/*,
  /usr/local/hadoop-3.1.3/share/hadoop/common/lib/*,
  /usr/local/hadoop-3.1.3/share/hadoop/hdfs/*,
  /usr/local/hadoop-3.1.3/share/hadoop/hdfs/lib/*,
  /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*,
  /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,
  /usr/local/hadoop-3.1.3/share/hadoop/yarn/*,
  /usr/local/hadoop-3.1.3/share/hadoop/yarn/lib/*
  </value>
</property>
</configuration>
注意： <configuration>   </configuration> 要刪掉  不然後面格式化HDFS報錯

配置yarn-site.xml文件

vi yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>server</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME</value>
    </property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>3</value>
</property>
</configuration>

注意： <configuration>   </configuration> 要刪掉  不然後面格式化HDFS報錯
  <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>server</value>
    </property>
server是hostname主機名，如果你的hostname不是server就要填寫爲你自己的

配置workers文件

vi workers

server

格式化HDFS文件系統

cd /usr/local/hadoop-3.1.3

bin/hadoop namenode -format

啓動與關閉hadoop

cd /usr/local/hadoop-3.1.3

sbin/start-all.sh

sbin/stop-all.sh

檢查hadoop是否安裝成功

jps
hadoop dfsadmin -report

打開瀏覽器輸入下面網址,檢查HADOOP狀態

192.168.56.10:9870

192.168.56.10:8088