hadoop2.9.2單節點安裝

一、環境準備

1、修改主機名和/etc/hosts

$ hostnamectl set-hostname hadoop-server

$ vim /etc/hosts       #添加如下記錄
10.139.8.40 hadoop-server

2、關閉防火牆和selinux

3、配置免密登錄

3、安裝jdk，配置java環境

下載後上傳至服務器，解壓到/usr/local目錄下
tar zxvf jdk-8.tar.gz -C /usr/local/
mv jdk1.8.0_241  jdk8

配置環境變量,添加一下環境變量到profile文件末尾
[root@hadoop-server ~]# vim /etc/profile

export JAVA_HOME=/usr/local/jdk8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

[root@hadoop-server ~]# source /etc/profile

二、安裝配置啓動hadoop

2.1、下載安裝hadoop

Hdoop下載地址：v 2.9.2

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 

解壓到/opt目錄下

tar -zxvf hadoop-2.9.2.tar.gz -C /opt

2.2、配置hadoop

cd /opt/hadoop-2.9.2/etc/hadoop/

1、配置hadoop-env.sh 裏面的JAVA_HOME

vim hadoop-env.sh

\# The java implementation to use.

export JAVA_HOME=/usr/local/jdk8

2、配置core-site.xml

指定HDFS的 NameNode的地址，value值是主機名加端口號，如果在host文件中添加了主機名和ip映射，主機名也可以用ip地址換

<property>

    <name>fs.default.name</name>

    <value>hdfs:// 10.139.8.40:9000</value>

</property> 

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://10.139.8.40:9000</value>

 </property>

指定hadoop運行時產生文件的路徑

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadooptmp</value>

 </property>

3、配置hdfs-site.xml

指定hdfs保存數據的副本數量，僞分佈式只有一個節點，所以這裏填：1

<property>

    <name>dfs.replication</name>

    <value>1</value>

 </property>

<property>

    <name>dfs.name.dir</name>

    <value>/home/hadoopname</value>

 </property>

<property>

    <name>dfs.data.dir</name>

    <value>/home/hadoopdata</value>

 </property>

4、配置hdfs-site.xml

原本hadoop文件夾的etc下是沒有mapred-site.xml,通過命令創建：

cp mapred-site.xml.template mapred-site.xml   

vi mapred-site.xml 

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

5、配置yarn-site.xml

vim yarn-site.xml  

添加兩個屬性，第一個告訴nodemanager獲取數據的方式爲shuffle

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

第二個指定yarn的老大Resourcemanagger的地址

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>hadoop-server </value>

</property>

6、配置hadoop環境變量

$ vim /etc/profile

export HADOOP_HOME=/opt/hadoop-2.9.2 
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

$ source /etc/profile

2.3、初始化並啓動hadoop

hadoop namenode -format

start-all.sh   #啓動
stop-all.sh    #停止

查看HDFS http://10.139.8.41:50070/explorer.html#/