hadoop集群环境搭建步骤记录

1. 首先在一台linux机器上面安装好hadoop需要的基础环境

1、安装JDK
2、安装maven
3、安装Ant
4、安装findbugs
5、安装protobuf，需要以下四个步骤，这个不需要配置环境（使用命令protoc --version检测）
a、./configure
b、make
c、make check
d、make install
使用yum安装cmake、openssl-devel、ncurses-devel
a、yum install cmake
b、yum install openssl-devel
c、yum install ncurses-devel
注：安装过程这里就省略了，在网上下载好上面的这些二进制文件，解压，配置环境变量，在用各自的检测命令检验一下是否安装成功。

2.配置hadoop

1、配置core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://mini:9000</value>
</property>
注：mini为/etc/hosts配置的主机名称，建议事先在这台机器先配置好

2. 配置hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
 <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
 <value>false</value>
</property>

3. 配置mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3、配置hosts文件

192.168.75.100    mini
192.168.75.101    mini1
192.168.75.102    mini2
192.168.75.103    mini3
192.168.75.104    mini4
注：在这里写上所有机器的ip和主机名

4、hadoop文件分发

将之前配置好的hadoop文件、hosts文件以及profile文件全部使用scp命令传输到其他机器上面
例如：scp -r /etc/hosts 192.168.75.101:/etc/

5、hadoop初始化

在namenode机器上，也就是第一台机器上面使用命令，hadoop namenode -format

6、启动hadoop

namenode启动：hadoop-daemon.sh start namenode
datanode启动：hadoop-daemon.sh start datanode
注：可使用jps命令查看进程判断是否启动成功