hadoop集羣環境搭建步驟記錄

1. 首先在一臺linux機器上面安裝好hadoop需要的基礎環境

1、安裝JDK
2、安裝maven
3、安裝Ant
4、安裝findbugs
5、安裝protobuf，需要以下四個步驟，這個不需要配置環境（使用命令protoc --version檢測）
a、./configure
b、make
c、make check
d、make install
使用yum安裝cmake、openssl-devel、ncurses-devel
a、yum install cmake
b、yum install openssl-devel
c、yum install ncurses-devel
注：安裝過程這裏就省略了，在網上下載好上面的這些二進制文件，解壓，配置環境變量，在用各自的檢測命令檢驗一下是否安裝成功。

2.配置hadoop

1、配置core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://mini:9000</value>
</property>
注：mini爲/etc/hosts配置的主機名稱，建議事先在這臺機器先配置好

2. 配置hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
 <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
 <value>false</value>
</property>

3. 配置mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3、配置hosts文件

192.168.75.100    mini
192.168.75.101    mini1
192.168.75.102    mini2
192.168.75.103    mini3
192.168.75.104    mini4
注：在這裏寫上所有機器的ip和主機名

4、hadoop文件分發

將之前配置好的hadoop文件、hosts文件以及profile文件全部使用scp命令傳輸到其他機器上面
例如：scp -r /etc/hosts 192.168.75.101:/etc/

5、hadoop初始化

在namenode機器上，也就是第一臺機器上面使用命令，hadoop namenode -format

6、啓動hadoop

namenode啓動：hadoop-daemon.sh start namenode
datanode啓動：hadoop-daemon.sh start datanode
注：可使用jps命令查看進程判斷是否啓動成功