Hadoop3.0基礎平臺搭建(三節點),以及案例運行並使用python生成詞雲

一、設備配置列表，軟件包

二、主機名映射

三、生成密鑰

四、將密鑰發送到各個節點

五、注意事項及驗證

六、關閉防火牆和SeLinux安全模塊(所有主機均需操作

七、解壓JDK、hadoop包，設置Java和hadoop環境

八、配置Hadoop相關配置文件

九、將已經修改好的文件使用scp命令複製到各個節點

十、node1 、 node2使環境生效，並驗證

十一、啓動hadoop系統並驗證

十二、在本地編寫並測試mapreduce程序，運行WordCount案例

十三、在hadoop中運行運行WordCount案例

十四、利用生成文件結合python生成詞雲

一、假設有如下設備

設備編號	主機名	系統	IP地址	準備文件
1	master	centos7.2	10.0.0.10	----------------hadoop3.0.0.tar.gz -------------------------jdk-8u161-linux-x64.tar.gz
2	node1	centos7.2	10.0.0.11
3	node2	centos7.2	10.0.0.12

軟件包下載地址：
鏈接: https://pan.baidu.com/s/1dvf4o8i9J02fmUu3SMRyDw 提取碼: 3dk3

二、首先，需要在各個節點上設置主機名映射(千萬不要忘了改主機名)，以master爲例

[root@master ~]# vi /etc/hosts
添加如下內容
10.0.0.10 master
10.0.0.11 node1
10.0.0.12 node2

三、使用命令生成密鑰(以master節點爲例)

ssh-keygen

[root@master ~]# ssh-keygen 

四、然後使用命令複製SSH密鑰到目標主機，開啓無密碼SSH登錄(以master節點爲例)，這裏對另外兩臺都需要將密鑰複製過去

[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id node1
[root@master ~]# ssh-copy-id node2

五、第一次會讓你輸入yes 這樣master節點就可以免密登陸其他節點，同樣其他節點也需要進行以上操作，就可以免密登陸其他節點

驗證

[root@master ~]# ssh master
[root@master ~]# ssh node1
[root@master ~]# ssh node2

六、關閉防火牆和SeLinux安全模塊(所有主機均需操作

#systemctl stop firewalld;systemctl disable firewalld;setenforce 0

這裏是關閉防火牆並關閉其開機自啓，並將selinux設置爲允許模式，個人認爲這裏較爲重要，若不設置，可能防火牆會攔截主機間的通信流量

七、解壓JDK、hadoop包，設置Java和hadoop環境

將tar.gz文件傳輸到master節點，進行如下操作

這裏暫時只做master節點，到第九步纔是將配置好的所有東西複製到其他節點，可以點擊傳送門查看

第九節傳送門

1、每個節點創建文件夾

mkdir /opt/bigdata

2、將文件傳輸到bigdata目錄中

[root@master ~]# mkdir /opt/bigdata
[root@master ~]# mv hadoop-3.0.0.tar.gz jdk-8u161-linux-x64.tar.gz /opt/bigdata/
[root@master ~]#

3、解壓壓縮包文件

[root@master bigdata]# tar -zxf hadoop-3.0.0.tar.gz -C /opt/bigdata/
[root@master bigdata]# tar -zxf jdk-8u161-linux-x64.tar.gz -C /opt/bigdata/
[root@master bigdata]# ll
total 484528
drwxr-xr-x 9 centos centos       139 Dec  8  2017 hadoop-3.0.0
-rw-r--r-- 1 root   root   306392917 Mar 11 08:50 hadoop-3.0.0.tar.gz
drwxr-xr-x 8     10    143      4096 Dec 20  2017 jdk1.8.0_161
-rw-r--r-- 1 root   root   189756259 Mar 11 08:50 jdk-8u161-linux-x64.tar.gz

4、添加環境變量

#vi /etc/profile添加如下內容

export JAVA_HOME=/opt/bigdata/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/bigdata/hadoop-3.0.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

5、使環境變量生效

source /etc/profile

6、驗證

# hadoop version
# java -version

八、配置Hadoop相關配置文件

hadoop目錄是hadoop平臺的配置目錄，我們需要對hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml進行配置

1、首先進入hadoop系統目錄/opt/bigdata/hadoop-3.0.0/etc/hadoop

[root@master ~]# cd /opt/bigdata/hadoop-3.0.0/etc/hadoop
[root@master hadoop]# pwd
/opt/bigdata/hadoop-3.0.0/etc/hadoop
[root@master hadoop]# ls

2、編輯hadoop-env.sh,添加java環境

[root@master hadoop]# vi hadoop-env.sh 

移動到第54行，刪除前面的 '#' 和空格，並修改成如下內容
export JAVA_HOME=/opt/bigdata/jdk1.8.0_161

3、編輯core-site.xml文件

[root@master hadoop]# vi core-site.xml

  <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.temp.dir</name>
    <value>/opt/bigdata/hadoop-3.0.0/tmp</value>
  </property>

4、編輯hdfs-site.xml文件

[root@master hadoop]# vi hdfs-site.xml

  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/bigdata/hadoop-3.0.0/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/bigdata/hadoop-3.0.0/hdfs/data</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node1:9001</value>
  </property>
  <property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
  </property>

5、編輯mapred-site.xml文件

[root@master hadoop]# vi mapred-site.xml

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
    <name>mapred.task.tracker.http.address</name>
    <value>0.0.0.0:50060</value>
  </property>
  <property>
    <name>mapreduce.applicaton.classpath</name>
    <value>
      /opt/bigdata/hadoop-3.0.0/etc/hadoop,
      /opt/bigdata/hadoop-3.0.0/share/hadoop/common/*,
      /opt/bigdata/hadoop-3.0.0/share/hadoop/common/lib/*,
      /opt/bigdata/hadoop-3.0.0/share/hadoop/hdfs/*,
      /opt/bigdata/hadoop-3.0.0/share/hadoop/hdfs/lib/*
      /opt/bigdata/hadoop-3.0.0/share/hadoop/mapreduce/*,
      /opt/bigdata/hadoop-3.0.0/share/hadoop/yarn/*,
      /opt/bigdata/hadoop-3.0.0/share/hadoop/yarn/lib/*
    </value>
  </property>

6、編輯yarn-site.xml文件

[root@master hadoop]# vi yarn-site.xml

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8099</value>
  </property>
  <property>
    <name>yarn.application.classpath</name>
    <value>/opt/bigdata/hadoop-3.0.0/etc/hadoop:/opt/bigdata/hadoop-3.0.0/share/hadoop/common/lib/*:/opt/bigdata/hadoop-3.0.0/share/hadoop/common/*:/opt/bigdata/hadoop-3.0.0/share/hadoop/hdfs:/opt/bigdata/hadoop-3.0.0/share/hadoop/hdfs/lib/*:/opt/bigdata/hadoop-3.0.0/share/hadoop/hdfs/*:/opt/bigdata/hadoop-3.0.0/share/hadoop/mapreduce/*:/opt/bigdata/hadoop-3.0.0/share/hadoop/yarn:/opt/bigdata/hadoop-3.0.0/share/hadoop/yarn/lib/*:/opt/bigdata/hadoop-3.0.0/share/hadoop/yarn/*
 </value>
  </property>
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

7、編輯workers文件，指定節點

[root@master hadoop]# vi workers
添加node1 node2

如果不想master中也有datanode，就把localhost刪掉，只保留node1 node2

8、編輯啓動配置文件，都添加如下內容

[root@master ~]# vi /opt/bigdata/hadoop-3.0.0/sbin/start-dfs.sh
[root@master ~]# vi /opt/bigdata/hadoop-3.0.0/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

編輯配置文件，都添加如下內容
[root@master ~]# vi /opt/bigdata/hadoop-3.0.0/sbin/start-yarn.sh
[root@master ~]# vi /opt/bigdata/hadoop-3.0.0/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

九、將已經修改好的文件使用scp命令複製到各個節點

1、首先要在各個節點創建/opt/bigdata目錄

[root@node1 ~]# mkdir /opt/bigdata
[root@node2 ~]# mkdir /opt/bigdata

2、master節點複製hadoop文件夾 和jdk文件夾，以及環境配置文件

[root@master ~]# scp -r /opt/bigdata/hadoop-3.0.0 node1:/opt/bigdata
[root@master ~]# scp -r /opt/bigdata/hadoop-3.0.0 node2:/opt/bigdata
[root@master ~]# scp -r /opt/bigdata/jdk1.8.0_161/ node1:/opt/bigdata/
[root@master ~]# scp -r /opt/bigdata/jdk1.8.0_161/ node2:/opt/bigdata/
[root@master ~]# scp /etc/profile node1:/etc/
[root@master ~]# scp /etc/profile node2:/etc/

十、node1 、 node2使環境生效，並驗證

##### 1、node1驗證 ```powershell [root@node1 ~]# source /etc/profile [root@node1 ~]# java -version [root@node1 ~]# hadoop version ```

2、node2驗證

[root@node2 ~]# source /etc/profile
[root@node2 ~]# java -version
[root@node2 ~]# hadoop version

十一、啓動hadoop系統並驗證

1、第一次啓動，格式化namenode

[root@master ~]# hadoop namenode -format

2、啓動hadoop系統，並驗證

[root@master ~]# start-all.sh
[root@master ~]# jps
[root@node1 ~]# jps
[root@node2 ~]# jps

網頁端訪問master節點ip地址
http://Master_IP:50072
例:
http://10.0.0.10:50070

網頁端查看HDFS文件系統

十二、在本地編寫並測試mapreduce程序，運行WordCount案例

編寫MapReduce程序,請注意，此處使用python2代碼。因爲CentOS7.2已經安裝了python2

1、首先編寫mapper.py程序

[root@master ~]# vi mapper.py

#!/usr/bin/env python
# -*- coding:UTF-8 -*-

import sys
for line in sys.stdin:
    line = line.strip()
    words = line.split()
    for word in words:
        print '%s\t%s' % (word, 1)

2、編寫Reducer程序

[root@master ~]# vi reducer.py

#!/usr/bin/env python
# -*- coding:UTF-8 -*-

#from operator import itemgetter
import sys

current_word = None
current_count = 0
word = None

for line in sys.stdin:
    line = line.strip()

    word, count = line.split('\t', 1)
    
    try:
        count = int(count)
    except ValueError:
        continue

    if current_word  == word:
        current_count += count
    else:
        if current_word:
            print '%s\t%s' % (current_word, current_count)
        current_count = count
        current_word = word
        
if current_word == word:
    print '%s\t%s' % (current_word, current_count) 

3、給剛剛編寫的程序添加執行權限

[root@master ~]# chmod a+x mapper.py  
[root@master ~]# chmod a+x reducer.py 

4、使用echo加sort對程序進行測試

[root@master ~]# echo “hello world hell hi word” | python mapper.py |sort|python reducer.py

十三、在hadoop中運行WordCount案例

一定要檢查一下yarn-site.xml，之前的配置文件我已經重新修改了，請回到第八步第六小點再看看，yarn-site.xml有沒有添加上

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

1、首先編寫MapReduce腳本mapreduce.sh

[root@master ~]# vi mapreduce.sh

hadoop jar /opt/bigdata/hadoop-3.0.0/share/hadoop/tools/lib/hadoop-*streaming*.jar -mapper "python mapper.py" -reducer "python reducer.py" -input /user_test/
data.txt -output /output_dir -file /opt/bigdata/mapreduce/mapper.py -file /opt/bigdata/mapreduce/reducer.py

#streaming可以執行任意語言寫的mapper，reducer程序
-mapper "python mapper.py"  #執行mapper程序
-reducer "python reducer.py"   #執行reducer程序
-input /user_test/data.txt -output /output_dir  #導入文件及導出文件地址
-file /opt/bigdata/mapreduce/mapper.py  #mapper程序路徑
-file /opt/bigdata/mapreduce/reducer.py  #reducer程序路徑

2、在本地，首先創建文件夾，將mapper.py和reducer.py移動到相應位置，也可在相應位置創建好

[root@master ~]# mkdir /opt/bigdata/mapreduce
[root@master ~]# mv mapper.py reducer.py /opt/bigdata/mapreduce/
[root@master ~]# ls /opt/bigdata/mapreduce/

3、在本地創建data.txt文件，並輸入相應數據

[root@master ~]# vi data.txt

java
java
python
ruby
ruby
mongo
ruby
java
python
java
python
python
java
python
python
java
python
python
java
java

4、在 HDFS 文件系統中創建相應目錄以及將data.txt文件上傳

[root@master ~]# hdfs dfs -mkdir /user_test
[root@master ~]# hdfs dfs -chmod -R 777 /user_test ##給目錄添加權限
[root@master ~]# hdfs dfs -put /root/data.txt /user_test
[root@master ~]# hdfs dfs -ls /user_test

5、查看是否存在 輸出目錄 (一定不能存在，如果存在就需要刪除)

[root@master ~]# hdfs dfs -ls /

6、運行mapreduce.sh腳本，測試運行

[root@master ~]# source mapreduce.sh

7、查看結果

[root@master ~]# hdfs dfs -ls /output_dir
[root@master ~]# hdfs dfs -cat /output_dir/part-00000

也可以在Web端查看
http://Master_I:50070



點擊下載會提示網頁無法訪問，請將node1或者node2替換成相應的IP地址即可

十四、利用生成文件結合python生成詞雲

這裏我使用python3進行實驗

1、將上述的文件下載到Windows

2、在windows下，下載/安裝pip

pip install wordcloud（執行下載woedcloud）
pip install matplotlib（執行下載matplotlib）

3、此時我將part-00000文件存放於E盤下

4、編寫輸出詞雲的python程序

# -*-coding:UTF-8 -*-
# 導入相關的庫
import matplotlib #導入matplotlib
matplotlib.use('Agg')
from os import path
import matplotlib.pyplot as plt
from wordcloud import WordCloud #從wordcloud導入WordCloud

# 獲取當前文件路徑
# __file__ 爲當前文件, 在ide中運行此行會報錯,可改爲
# d = path.dirname('.')
d = path.dirname('.') ##選擇文件路徑

# 讀取整個文件
text = open(path.join(d, 'E:\part-00000')).read() #打開文件並賦值給變量text
#wordcloud = WordCloud().generate(text)
wc = WordCloud().generate(text)
wc.to_file('Word Cloud.png') #命名生成的圖片
# 繪圖
plt.imshow(wc)
plt.axis("off")

6、運行程序得到詞雲圖片

本次教程到此結束，如果您覺得不錯，可以打賞，請您到B站觀看更多技術視頻，歡迎點贊投幣打賞！

B站傳送門