Hadoop分布式环境搭建（二）

Hadoop伪分布式环境搭建（二）

　安装Hadoop

1. 下载hadoop压缩包

下载地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2. 解压

cd /usr/local
sudo tar -vxzf hadoop-2.7.3.tar.gz

3. 配置Hadoop环境变量

vi /etc/profile

在最后添加

PATH=$PATH:/usr/local/hadoop-2.7.3/bin

测试

hadoop version

4. 修改配置文件

cd /usr/local/hadoop-2.7.3/etc/hadoop

• hadoop-env.xml

  找到export JAVA_HOME=${JAVA_HOME}所在行

  export JAVA_HOME=/usr/java/jre1.8.0_101

• yarn-env.sh

  export JAVA_HOME=/usr/java/jre1.8.0_101

• core-site.xml

  打开文件，会发现标签 中是空的，在空的地方添加如下配置

  <property>
      <!-- NameNode 地址-->
  <name>fs.default.name</name>
  <value>hdfs://Master:9000</value>
  </property>
  <property>
      <!--运行时产生文件的存放目录-->
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
  </property>

• hdfs-site.xml

  <property>
      <!--保存副本的数量-->
  <name>dfs.replication</name>
  <value>1</value>
  </property>

• mapred-site.xml(通过cp mapred-site.xml.template mapred-site.xml 创建)

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

• yarn-site.xml

  <!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
  </property>

5. 格式化文件系统

  hdfs namenode -format

6. 启动hadoop

 cd /usr/local/hadoop-2.7.3/sbin/
 sudo ./start-dfs.sh
 sudo ./start-yarn.sh

7. 验证

• 命令行方式（需要安装jdk）

  jps

• 浏览器方式

  打开浏览器，进入

  http://172.16.58.128:50070

  http://172.16.58.128:8088

• 查看各节点运行情况

  hdfs dfsadmin -report

  ​

  ​