雲計算Hadoop配置(二) ——單機僞分佈配置

2.3.1 配置三個文件

1)      配置$HADOOP_HOME/conf/core-site.xml

圖2-1 配置core-site.xml

     原來文件是空的，只要在該文件中添加上面圖2-1所示中標示部分的內容即可。如沒有配置 hadoop.tmp.dir 參數,此時系統默認的臨時目錄 爲:/tmp/hadoop/hadoop。而這個目錄在每次重啓後都會被幹掉,必須重新執行format纔行,否則會出錯 。

2)      配置$HADOOP_HOME/conf/hdfs-site.xml

    原來文件是空的，只要在該文件中添加圖2-2標示部分的內容即可。

圖2-2 配置hdfs-site.xml

3)   配置$HADOOP_HOME/conf/mapred-site.xml

     在原文件中添加圖2-3標示的內容即可。

圖2-3 配置mapred-site.xml

2.3.2 格式化HDFS

       進入Hadoop的HADOOP_HOME目錄下面，運行命令：

       $ bin/hadoop namenode –format

2.3.3 啓動hadoop監護進程

      進入Hadoop的HADOOP_HOME目錄下面，運行命令：

       $ bin/start-all.sh

圖2-4 啓動監護進程

2.3.4 複製輸入文件到hdfs

       進入Hadoop的HADOOP_HOME目錄下面，運行命令：

       $ bin/hadoop dfs –mkdir test-in    //在hdfs文件系統下創建一個test-in的文件夾

       $ bin/hadoop dfs –copyFromLocal /home/administrator/test_file.txt  test-in     //將本地文件test-file.txt複製到hdfs系統的test-in文件夾中

2.3.5 運行簡單例子

       $  bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount  test-in test-out

         //將hdfs文件系統中的test-in作爲輸入目錄，test-out目錄作爲結果的輸出目錄

圖2-5 運行實例

2.3.6 將結果輸出

$  bin/hadoop dfs –cat  test-out/part-r-00000

//將hdfs文件系統中的test-out中的文件part-r-00000中的結果輸出

圖2-6 輸出結果

2.3.7 停止hadoop系統

$  bin/stop-all.sh

//停止Namenode,JobTracker,Datanode及Secondarynamenode

圖2-7 停止Hadoop系統