Hadoop環境搭建注意事項

1. 防火牆要處於關閉狀態
關閉防火牆，輸入：
chkconfig iptables off 重啓後關閉
service iptables stop 立即關閉但重啓後失效

2. 三臺機器都要做ssh
安裝：
openssh
yum install -y openssh-server
yum install -y openssh-clients
做A連B的配置：
A 電腦：ssh-keygen -t rsa -P ‘’
scp .ssh/id_rsa.pub [email protected]:~
B 電腦：cat id_rsa.pub >> .ssh/authorized_keys
***需要注意在 A、B 上都需要執行第三步
注意要關閉防火牆

3. 配置網絡
vi /etc/sysconfig/network-scripts/ifcfg-eth0

id=identifier
ONBOOT=yes
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.116.30
NATMASK=255.255.255.0
GATEWAY=192.168.116.2

完成後記得重啓網絡：service network restart

4. 將hadoop加入環境變量
在配置文件（~.bash_profile）中加入 HADOOP_HOME/bin ;sbin

5.修改/etc/hadoop/hadoop-env.sh
Unix Path： opt/software/hadoop-2.5.1/etc/hadoop/
修改/etc/hadoop/hadoop-env.sh 中設 JAVA_HOME。
否則啓動時報 Error: JAVA_HOME is not set and could not be found.

6.配置HDFS
路徑：/opt/software/hadoop-2.5.1/etc/hadoop

core-site.xml 若不存在則把core-site.xml.template更名爲core-site.xml
在configuration中

<property>
 	<name>fs.defaultFS</name>
 	<value>hdfs://node110:9000</value>//node110需要在host配置
</property>
<property> 
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop-2.5.1</value>
</property>

hdfs-site.xml同理

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node82:50090</value>
</property>
<property>
	<name>dfs.namenode.secondary.https-address</name>
	<value>node82:50091</value>
</property>

7.配置 masters& slaves 文件

8.更改了.bash_profile之後記得生效：source .bash_profile

9.多次格式化後，出現報錯，刪除各個節點的dfs文件夾重試