三、Hadoop安装部署

说明：每个节点上的hadoop的配置基本相同，因此我们先完成一个结点的配置，然后再复制到其他节点。

1、下载hadoop

本篇使用的是2.5.2。[连接]
完成下载后，在master机器的~目录下解压。而后可以看到如下目录：（关于如何将文件从物理机移动到虚拟机，自行百度。推荐一种方式：ftp服务。）

2、配置环境变量hadoop-env.sh

实际上在这一步只需要配置JAVA_HOME。
找到~/hadoop/etc/hadoop/hadoop-env.sh。然后打开它：

找到JAVA_HOME，然后将${JAVA_HOME}改为jdk的安装目录我的是：/usr/java/jdk1.8。完成后保存并退出。

3、配置环境变量yarn-env.sh

该文件和上面的那个文件在一个文件夹下。打开该文件后，找到JAVA_HOME。然后将JAVA_HOME改为正确的值。

4、配置核心组件core-site.xml

该文件和上面的文件在一个文件夹下。打开文件后，看到如下界面：

在configuration之间添加（注意检查下~目录下有没有hadoopdata这个文件夹，如果没有就得创建一下）：

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>

  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/xiaoguan/hadoopdata</value>
  </property>

5、配置文件系统hdfs-site.xml

该文件和上面的文件在同一个文件夹下。
打开该文件，可以看到如下界面：

在configuration中添加如下配置（由于我只开了一个slave，所以value为1。根据自己的情况调整value的值）：

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

6、配置yarn-site.xml

该文件和上面的文件在同一个文件夹下。
打开该文件后可以看到如下界面：

在configuration中添加如下配置：

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:18040</value>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:18030</value>
  </property>

  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:18025</value>
  </property>

  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:18141</value>
  </property>

  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:18088</value>
  </property>

  <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
  </property>

  <property>
    <description>Where to aggregate logs to.</description>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/var/log/hadoop-yarn/apps</value>
  </property>

最后一项注意检查下/var/log中有没有相应的路径，没有的话手动进行创建。

7、配置计算框架mapred-site.xml

与上面的文件在同一个目录下。
在这个目录下并没有mapred-site.xml这个文件。我们通过下面的命令来得到这个文件。
cp mapred-site.xml.template mapred-site.xml。完成后打开可以看到如下界面：

然后在configuration中添加如下配置：

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

8、在master结点配置slave文件。

与上面的文件在同一个目录下。
打开slaves文件。可以看到如下界面：

由于我只需要一个从结点slave，所以只需将localhost改为slave即可，如果还需要添加slave1，slave2。。。再下一行添加即可。完成后保存退出。

9、将配置好的hadoop环境复制到从结点。

直接上命令：scp -r ~/hadoop-2.5.2 xiaoguan@slave:~/

10、配置hadoop启动的系统环境变量

我喜欢在~/.bashrc中配置。
主要配置的环境变量是HADOOP_HOME和PATH。例如：

export HADOOP_HOME=/home/xiaoguan/hadoop-2.5.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后将配置信息复制到从结点。

11、创建数据目录

在~/目录下创建hadoopdata文件夹。注意主节点和从结点都要进行创建。

12、启动hadoop集群

1.先格式化文件系统

在master结点（机器）上执行命令：hdfs namenode -format。如果在这个过程中出现错误，检查错误日志去排查即可。并不困难。
执行成功后可以看到如下信息：

此外，还可以在~/hadoopdata文件夹中看到有一个dfs文件。

2、启动集群

使用命令：start-all.sh。如果没有报错的话一般是启动成功。可以通过jps命令查看。成功启动后可以得到如下图的信息：

Congratulation！你已经成功搭建了Hadoop 集群！

本系列文章：

一、安装Centos 6.5
二、linux基本配置
三、Hadoop安装部署