HDFS3.x集群配置

1、准备工作

  1. 准备3太centos机器并设置主机名
    修改命令:vim /etc/hostname
    一台作为Namenode,命名为master,
    两台作为dataNode,命名为node-1, node-2

  2. 设置hosts
    修改命令:vim /etc/hosts

    192.168.0.6 master
    192.168.0.17 node-1
    192.168.0.19 node-2
    
  3. 3台机器都创建hadoop用户并设置密码

    useradd hadoop
    passwd hadoop
    
  4. 免密登陆自身(3台)

    su – hadoop
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys
    #测试
    ssh localhost(首次需输入yes)
    
  5. 设置hadoop账户的ssh信任关系(仅master)

    #在master机器上操作
    ssh-copy-id -i .ssh/id_rsa.pub  [email protected]	
    ssh-copy-id -i .ssh/id_rsa.pub  [email protected]
    ssh-copy-id -i .ssh/id_rsa.pub  [email protected]
    
    #测试一下,都能成功登录就行
    ssh hadoop@master
    ssh hadoop@node-1
    ssh hadoop@node-2
    
  6. 配置jdk
    配置方法

  7. 非生产环境建议关闭防火墙:
    firewall常用操作方法

2、安装

  1. 下载hadoop
    下载地址

  2. 在3太机器上创建相同的目录路径, name目录只存放在master上,且权限为755,否则会导致后面的格式化失败

    mkdir -p  /hadoop/install
    mkdir -p  /hadoop/name
    mkdir -p  /hadoop/data1
    mkdir -p  /hadoop/data2
    mkdir -p  /hadoop/tmp
    
    1. 解压安装包到/hadoop/install下
    tar xzvf hadoop-3.1.2.tar.gz -C /hadoop/install/
    
  3. 修改属主为hadoop

    chown -R hadoop.hadoop /hadoop
    

3、配置(3台机器都需配置)

  1. 修改hadoop-env.sh文件,指定jdk安装路径。
    vim /hadoop/install/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
    export JAVA_HOME=/usr/local/jdk1.8.0_181
    export HDFS_NAMENODE_USER="hadoop"
    export HDFS_DATANODE_USER="hadoop"
    export HDFS_SECONDARYNAMENODE_USER="hadoop"
    export YARN_RESOURCEMANAGER_USER="hadoop"
    export YARN_NODEMANAGER_USER="hadoop"
    
  2. 修改core-site.xml文件,指定hadoop默认的文件系统为HDFS,并同时指定namenode为master:
    vim /hadoop/install/hadoop-3.1.2/etc/hadoop/core-site.xml
    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
      </property>
    </configuration>
    
  3. 修改hdfs-site.xml文件:
    vim /hadoop/install/hadoop-3.1.2/etc/hadoop/hdfs-site.xml
    <configuration>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/hadoop/name/</value>
      </property>
      <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
      </property>
    
      <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/hadoop/data1/,/hadoop/data2/</value>
      </property>
      
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    </configuration>
    
  4. 编辑workers文件,批量启动hdfs时指定需要启动的datanode:
    vim /hadoop/install/hadoop-3.1.2/etc/hadoop/workers
    node-1
    node-2
    
  5. 修改yarn-site.xml文件:
    vim /hadoop/install/hadoop-3.1.2/etc/hadoop/yarn-site.xml
    <configuration>
    
    <!-- Site specific YARN configuration properties -->
    
    <!-- Configurations for ResourceManager and NodeManager: -->
    
    <!-- Configurations for ResourceManager: -->
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
      </property>
    <!-- Configurations for NodeManager: -->
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    <!-- Configurations for History Server (Needs to be moved elsewhere): -->
    </configuration>
    
  6. 修改mapred-site.xml文件:
    vim /hadoop/install/hadoop-3.1.2/etc/hadoop/mapred-site.xml
    <configuration>
      <!-- Configurations for MapReduce Applications: -->
      <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
    </configuration>
    

3、启动

  1. 初始化HDFS [只有首次部署才可使用]【谨慎操作,只在msater上操作】
    在master机器上,初始化namenode的元数据目录,进入hadoop的bin目录下,执行命令:
    ./hadoop namenode -format
    
    有以下提示代表成功
    在这里插入图片描述
  2. 开启 【只在master上操作】
    进入sbin目录下,执行以下命令:
    ./start-dfs.sh
    ./start-yarn.sh
    
  3. 查看装在 【3台机器分别执行jps命令】
    master:
    在这里插入图片描述
    node-1
    在这里插入图片描述
    node-2
    在这里插入图片描述
  4. web界面访问:
http://192.168.0.6:9870/
 http://192.168.0.6:8088/

划重点:hadoop3.X的webUI已经改到端口 localhost:9870上面,而不是原来的50070,网上大多数的教程都是2.X的,当然不行!!

参考地址

Java项目使用方法:Spring Boot项目中使用HDFS3.x

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章