配置Hadoop僞分佈模式並運行Wordcount示例

僞分佈模式主要涉及一下的配置信息:

  1. 修改Hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口號;

  2. 修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication;

  3. 修改Hadoop的MapReduce的配置文件mapred-site.xml,主要是配置JobTracker的地址和端口;

在具體操作前我們先在Hadoop目錄下創建幾個文件夾:

下面開始構建具體的僞分佈式的過程並進行測試:

首先配置core-site.xml文件:

進入core-site.xml文件:

配置後文件的內容如下所示:

使用“:wq”命令保存並退出。

接下來配置hdfs-site.xml,打開文件:

打開後的文件:

配置後的文件:

輸入“:wq”保存修改信息並退出。

接下來修改mapred-site.xml配置文件:

進入配置文件:

修改後的mapred-site.xml配置文件的內容爲:

使用“:wq”命令保存並退出。

通過上面的配置,我們完成了最簡單的僞分佈式配置。

接下來進行hadoop的namenode格式化:

輸入“Y”,完成格式化過程:

接下來啓動Hadoop!

 

啓動Hadoop,如下所示:

使用java自帶的jps命令查詢出所有的守護進程:

啓動Hadoop!!!

接下來使用Hadoop中用於監控集羣狀態的Web頁面查看Hadoop的運行狀況,具體的頁面如下:

http://localhost:50030/jobtracker.jsp    

http://localhost:50060/tasttracker.jsp   
http://localhost:50070/dfshealth.jsp    

上述Hadoop運行狀態監控頁面表明我們的僞分佈式開發環境完全搭建成功!

 接下來我們使用新建的僞分佈式平臺運行wordcount程序:

首先在dfs中創建input目錄:

此時創建的文件因爲沒有指定hdfs具體的目錄,所以會在當前用戶“rocky”下創建“input”目錄,查看Web控制檯:

執行文件拷貝操作 

執行文件拷貝操作

拷貝後的“input”文件夾的內容如下所示:

和我們的hadoop安裝目錄下的“conf”文件的內容是一樣的。

現在,在我們剛剛構建的僞分佈式模式下運行wordcount程序:

運行完成後我們查看一下輸出的結果:

部分統計結果如下:

此時我們到達Hadoop的web控制檯會發現我們提交併成功的運行了任務:

最後在Hadoop執行完任務後,可以關閉Hadoop後臺服務:

至此,Hadoop僞分佈式環境的搭建和測試你完全成功!

至此,我們徹底完成了實驗。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章