伪分布式Hadoop单机环境搭建

CentOS-6.5-x86_64-minimal.iso 提取码：yuu9

jdk-8u191-linux-x64.rpm 提取码：rrki

hadoop-2.9.2.tar.gz 提取码：1wr3

基本环境准备

• 关闭防火墙

  [root@Centos ~]# service iptables stop
  [root@Centos ~]# chkconfig iptables off
  

• 关闭selinux

  默认SELINUX=enforcing

  [root@Centos ~]# vi /etc/selinux/config
  SELINUX=disabled
  

• 配置主机名和IP映射

  [root@Centos ~]# vi /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=Centos
  [root@Centos ~]# vi /etc/hosts
  192.168.188.88 Centos
  

• 配置Linux免密码登陆

  [root@Centos ~]# ssh-keygen -t rsa
  [root@Centos ~]# ssh-copy-id Centos
  [root@Centos ~]# ssh Centos
  [root@Centos ~]# exit
  

• 安装JDK并配置环境变量

  [root@Centos ~]# rpm -ivh jdk-8u191-linux-x64.rpm
  [root@Centos ~]# java -version
  [root@Centos ~]# vi ~/.bashrc
  export JAVA_HOME=/usr/java/latest
  export PATH=$PATH:$JAVA_HOME/bin
  

• 在Windows上配置IP映射

  如果C:\Windows\System32\drivers\etc\没有hosts文件就新建一个

  注意：这个文件没有后缀

  C:\Windows\System32\drivers\etc\hosts
  192.168.188.88 Centos
  

安装Hadoop

• 解压到指定目录/usr/

  [root@Centos ~]# tar -zxf hadoop-2.9.2.tar.gz -C /usr/
  

• 配置其环境变量

  [root@Centos ~]# vi ~/.bashrc
  export HADOOP_HOME=/usr/hadoop-2.9.2
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin
  

• 修改配置文件

  • core-site.xml

    配置NameNode访问入口以及服务存储的根目录)

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/core-site.xml 
    

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Centos:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop-2.9.2/hadoop-${user.name}</value>
    </property>
    

  • hdfs-site.xml

    设置副本数 默认是3 单机测试改成1

    配置Sencondary namenode所在物理主机

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
    

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Centos:50090</value>
    </property>
    

  • mapred-site.xml

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/mapred-site.xml
    

    <property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property>
    

  • yarn-site.xml

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/yarn-site.xml
    

    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>
    

  • slaves

    [root@Centos ~]# vi /usr/hadoop-2.9.2/etc/hadoop/slaves
    

    Centos
    

启动服务

• 初始化服务（第一次）

  [root@Centos ~]# hdfs namenode -format
  

• 启动

  [root@Centos ~]# start-dfs.sh
  

• 验证是否成功

  [root@Centos ~]# jps
  2097 SecondaryNameNode
  2280 Jps
  1993 DataNode
  1918 NameNode
  

  可以浏览器访问hdfs主页：http://Centos:50070

  可以浏览器访问yarn主页：http://Centos:8088