Hadoop(2) 單節點模式(本地模式)


Hadoop(2)
單節點模式(本地模式)

Hadoop單節點

注意

Hadoop的部署運行需要Java環境

單節點模式介紹

Hadoop 以一個 Java 進程的形態運行在非分佈式模式下,這對於調試很有幫助,但是實際的開發和測試時,一般很少用本地模式

單節點部署

  1. 修改配置文件,配置java_home
vim <Hadoop安裝目錄>/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME=${JAVA_HOME}(大約在25行)

然後將自己的Java安裝路徑填上

export JAVA_HOME=/opt/jdk1.8.0_11
  1. 執行以下代碼測試(在Hadoop的安裝目錄下)
bin/hadoop

出現以下內容說明配置成功
在這裏插入圖片描述

單節點官方測試案例

語法

<Hadoop安裝目錄>/bin/hadoop jar <jar包路徑> <jar包的主類名> <輸入文件夾路徑> <輸出文件夾路徑> [參數]

注意

1. 輸出文件路徑一定要是一個不存在的路徑,jar包在執行輸出時,會自動創建這個目錄

2. [參數]在不同的功能中不同,根據實際方法傳入不同的參數

舉例 1 調用Hadoop自帶的示例jar包,測試官方grep案例

  1. Hadoop的安裝目錄下創建一個input的文件夾
mkdir input
  1. 複製<Hadoop安裝目錄>/etc/hadoop/目錄下所有的.xml文件到input目錄
cp etc/hadoop/*.xml input
  1. 調用jar包
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'

注意

dfs[a-z.]+是一個準則表達式,這裏作爲控制檯輸入的參數傳入grep的方法,grep的作用是在指定文件裏找到符合準則表達式的單詞

4.執行結束之後,查看output的內容

cat output/*

如果出現1 dfsadmin,說明測試成功

舉例 2 單詞統計案例

  1. 同案例1,新建一個wcinput的文件夾,在裏面新建一些文件,新編輸入一些內容
  2. 執行命令
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput/ wcoutput

注意

1. 這裏執行的jar包還是hadoop-mapreduce-examples-2.7.7.jar,只不過主函數變爲wordcount,輸出文件夾自定義一個不存在的目錄即可
2. 這個案例的方法(wordcount),沒有參數,所有不需要在控制檯輸入參數
3. 查看輸出文件夾的內容,這裏我規定的是wcoutput

發佈了29 篇原創文章 · 獲贊 3 · 訪問量 1897
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章