1、hadoop環境搭建


安裝hadoop,需要安裝jdk和hadoop

1、創建安裝目錄

在/opt目錄下創建module、software文件夾,software用於存放安裝的源文件,module用於存放安裝後的軟件,即解壓後的文件。

mkdir module
mkdir software

2、安裝JDK

下載JDK(提取碼:n43n),下載的JDK包移到/opt/software目錄下,然後解壓JDK壓縮包到/opt/module目錄下

  tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK的環境變量,打開/etc/profile文件,加入下列內容:

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

讓添加的內容生效,執行:

source /etc/profile

檢驗JDK是否安裝成功,執行:

java -version

3、安裝hadoop

下載hadoop安裝包(提取碼:9p5m),把下載的hadoop安裝包放到/opt/software目錄下,然後解壓安裝包

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

配置hadoop,在/etc/profile文件中添加如下內容:

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

讓添加的環境變量生效,執行:

source /etc/profile

檢驗hadoop安裝是否成功:

hadoop version

4、WordCount案例

安裝完hadoop後,下面執行官方提供的案例,下面以官方提供的經典案例wordCount統計單詞出現的頻率爲例。
在安裝完hadoop後,在hadoop的安裝目錄下存在一個share目錄,裏面提供了hadoop提供的一些案例,wordCount就是其中經典的一個。
運行hadoop時需要創建輸入目錄,用於存放需要分析的數據,在hadoop的安裝目錄下創建wcinput目錄,然後在wcinput目錄下創建輸入文件wc.input,在輸入wc.input文件中添加如下測試內容:

deng zhi qi
zhou jie lun
xue zhi qian
lin jun jie
chen xue ning
liu de hua
zhang jie
zhang xue you
mao bu yi
hua chen yu
chen yi xun
dao lang
huang jia ju
xu song
li zhong sheng
zhuang xun ya
wang li hong
zheng yuan
feng huang chuan qi
li rong hao
wang su long
wang jie

下面回到hadoop目錄,執行:

hadoop jar
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

wcoutput爲生成結果的目錄,不需要手動創建,程序會自動創建
執行結束後,進入wcoutput目錄下的part-r-00000文件查看分析的結果,結果如下:

bu      1
chen    3
chuan   1
dao     1
de      1
deng    1
feng    1
hao     1
hong    1
hua     2
huang   2
jia     1
jie     4
ju      1
jun     1
lang    1 
li      3 
lin     1   
liu     1   
long    1   
lun     1   
mao     1  
ning    1 
qi      2     
qian    1
rong    1
sheng   1
song    1
su      1
wang    3 
xu      1 
xue     3 
xun     2 
ya      1
yi      2
you     1
yu      1
yuan    1
zhang   2
zheng   1
zhi     2
zhong   1
zhou    1
zhuang  1

至此,hadoop安裝並運行成功。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章