Hadoop單機模式配置和官方案例

Hadoop單機模式

1.環境準備

0.安裝jdk(自行安裝)

1.配置hadoop環境變量

1. 下載hadoop的Linux的安裝包，並解壓
2. 複製hadoop的解壓後的路徑，並配置環境變量
3. 重新編譯環境變量（只對當前用戶有效）

配置環境變量

#HADOOP_HOME
export HADOOP_HOME=/opt/moudle/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新編譯環境變量

source /etc/profile

2.修改hadoop-env.sh

修改25行的JDK的環境，爲後續的分佈式做準備，當前單機模式不修改也不會有影響

vim /opt/moudle/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

設置vim顯示行號

:set number

 19 # The only required environment variable is JAVA_HOME.  All others are
 20 # optional.  When running a distributed configuration it is best to
 21 # set JAVA_HOME in this file, so that it is correctly defined on
 22 # remote nodes.
 23 
 24 # The java implementation to use.
 25 export JAVA_HOME=${JAVA_HOME}
 25 export JAVA_HOME=JDK的絕對路徑

2.運行官方提供的簡單案例

1.grep案例

匹配輸入文件夾下。符合規則的內容

1. 準備輸入文件夾

   1. 在/opt/moudle/hadoop-2.7.2文件夾下創建 input文件夾
   2. 複製/opt/moudle/hadoop-2.7.2/etc/hadoop 文件夾下的*.xml到 input文件夾下

   cp etc/hadoop/*.xml input/

2. 在hadoop的根目錄執行命令

   
   #'dfs[a-z.]+d'爲匹配規則
   
   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  grep input/ output 'dfs[a-z.]+d'

注意：output爲輸出文件夾，一定不能存在，運行命令後可以參看 output文件夾下的運行結果

2.wordcount案例

統計字符出現次數

1. 準備輸入文夾

   在/opt/moudle/hadoop-2.7.2文件夾下創建wordcount文件夾，並在文件夾下創建wc.input文件，內容如下：

   wc wc wc 
   12 32 34
   count count

   ​

2. 在hadoop的根目錄執行命令

   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  wordcount wordcount/ wcoutput

運行結果

[daxiong@hadoop101 wcoutput]$ cat part-r-00000 
12  1
32  1
34  1
count   2
wc  3