Linux下Hadoop集羣的搭建(2)—單機模式

上一篇我們學習的是hadoop源碼編譯，這一篇我們學習如何在單機環境下安裝運行Hadoop.

加羣：397706991，共同學習

配置SSH免登陸

爲什麼要配置SSH免登陸呢？因爲我們知道hadoop的工作原理分爲namenode和datanode，NameNode負責任務的分發和管理，而DataNode負責任務的處理，這樣必然會進行兩個節點之間的通訊，而這種通訊我們不可能人爲地輸入密碼，因此他們之間需要建立免登陸的協議來解決這種問題。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

上面的兩條命令就是的兩個節點之間進行免登陸的通訊了。

2、啓動運行Hadoop

1、格式化Hadoop的文件系統HDFS

hdfs namenode -format

2、啓動Hadoop

start-dfs.sh

3、訪問http://localhost:50070/

4、測試

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/root
hdfs dfs -mkdir input
hdfs dfs -put logs/* input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar grep input output 'dfs[a-z.]+'