僞分佈式Hadoop單機環境搭建

CentOS-6.5-x86_64-minimal.iso 提取碼：yuu9

jdk-8u191-linux-x64.rpm 提取碼：rrki

hadoop-2.9.2.tar.gz 提取碼：1wr3

基本環境準備

• 關閉防火牆

  [root@Centos ~]# service iptables stop
  [root@Centos ~]# chkconfig iptables off
  

• 關閉selinux

  默認SELINUX=enforcing

  [root@Centos ~]# vi /etc/selinux/config
  SELINUX=disabled
  

• 配置主機名和IP映射

  [root@Centos ~]# vi /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=Centos
  [root@Centos ~]# vi /etc/hosts
  192.168.188.88 Centos
  

• 配置Linux免密碼登陸

  [root@Centos ~]# ssh-keygen -t rsa
  [root@Centos ~]# ssh-copy-id Centos
  [root@Centos ~]# ssh Centos
  [root@Centos ~]# exit
  

• 安裝JDK並配置環境變量

  [root@Centos ~]# rpm -ivh jdk-8u191-linux-x64.rpm
  [root@Centos ~]# java -version
  [root@Centos ~]# vi ~/.bashrc
  export JAVA_HOME=/usr/java/latest
  export PATH=$PATH:$JAVA_HOME/bin
  

• 在Windows上配置IP映射

  如果C:\Windows\System32\drivers\etc\沒有hosts文件就新建一個

  注意：這個文件沒有後綴

  C:\Windows\System32\drivers\etc\hosts
  192.168.188.88 Centos
  

安裝Hadoop

• 解壓到指定目錄/usr/

  [root@Centos ~]# tar -zxf hadoop-2.9.2.tar.gz -C /usr/
  

• 配置其環境變量

  [root@Centos ~]# vi ~/.bashrc
  export HADOOP_HOME=/usr/hadoop-2.9.2
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin
  

• 修改配置文件

  • core-site.xml

    配置NameNode訪問入口以及服務存儲的根目錄)

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/core-site.xml 
    

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Centos:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop-2.9.2/hadoop-${user.name}</value>
    </property>
    

  • hdfs-site.xml

    設置副本數 默認是3 單機測試改成1

    配置Sencondary namenode所在物理主機

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
    

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Centos:50090</value>
    </property>
    

  • mapred-site.xml

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/mapred-site.xml
    

    <property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property>
    

  • yarn-site.xml

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/yarn-site.xml
    

    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>
    

  • slaves

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/slaves
    

    Centos
    

啓動服務

• 初始化服務（第一次）

  [root@Centos ~]# hdfs namenode -format
  

• 啓動

  [root@Centos ~]# start-dfs.sh
  

• 驗證是否成功

  [root@Centos ~]# jps
  2097 SecondaryNameNode
  2280 Jps
  1993 DataNode
  1918 NameNode
  

  可以瀏覽器訪問hdfs主頁：http://Centos:50070

  可以瀏覽器訪問yarn主頁：http://Centos:8088