今天经过一天的努力 终于将hadoop集群搭建完毕
一共三台机器 一台namenode 两台datanode
其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker
其中参考了文章 http://blog.csdn.net/lee_leefox/article/details/7071692
和hadoop官方文档和同事搭建的例子
安装过程中也遇到很多问题
1.ssh 无法连接本地
通过咨询运维同学 通过修改/etc/ssh/sshd_config文件
加入allowuser 后解决
2.技巧
参考了一篇文章,建议给所有机器都起名字
如namenode,datanode1,datanode2
不要用hadoop1 hadoop2这样久了不容易记清楚的名字
3.启动hadoop时 先启动namenode 再启动jobtracker
停止时顺序相反.
注意的是,要在namenode 上启动 hdfs
bin/start-dfs.sh
在jobtracker上启动mapreduce
bin/start-mapred.sh