初學者值得擁有Hadoop單機模式環境搭建

單機模式Hadoop環境搭建

Hadoop環境搭建流程圖

具體過程

1.搭建準備工作

(1)關閉防火牆

systemctl stop firewalld //停止firewalld防火牆
systemctl disable firewalld //關閉防火牆開機自啓
systemctl status firewalld //查看firewalld防火牆狀態，看是否已關閉

（2）關閉selinux防火牆

vi /etc/sysconfig/selinux
SELINUX=disabled //將enforcing修改成disabled

（3）設置主機名

hostnamectl set-hostname ky002
hostname //顯示主機名

（4）映射主機名與ip地址

ip add //查看ip地址
vi /etc/hosts //映射主機名與ip地址
//在最後一行加入ip地址及主機名

2.安裝JDK

（1）下載jdk

在Oracle官網下載JDKlinux1.8以上的版本

（2）上傳JDK至服務器

a.下載WinSCP軟件

b.建立linux與windows之間文件互傳

c.上傳JDK至Linux

直接拖拽文件至Linux

（3）解壓JDK並重命名

mkdir -p /export/server //創建一個專用目錄
cd /export/server
tar -zxvf /root/jdk-8u131-liux-x64.tar.gz //解壓jdk安裝包 Tab鍵可以補全版本號
mv jdk1.8.0_131/ jdk1.8 //重命名jdk

（4）配置JAVA環境變量

pwd //顯示java安裝路徑
vi /etc/profile //使用vi編輯器編輯配置文件 按i進入編輯
JAVA_HOME=/export/server/jdk1.8 //JAVA_HOME=jdk路徑
export PATH=$PATH:$JAVA_HOME/bin //統一這麼寫
//按Esc退出編輯 shift+wq保存並退出
source /etc/profile //使設置的環境變量生效

（5）檢查JDK是否安裝成功

java -version //若成功則會出現jdk版本號信息

3.安裝Hadoop

(1)上傳Hadoop安裝包至Linux

    過程與上傳jdk類似
    a.進入官網下載安裝包：[hadoop官網](http://hadoop.apache.org/)
    b.使用WinSCP軟件上傳

（2）解壓Hadoop安裝包

cd /export/server //進入專用目錄
tar -zxvf /root/hadoop-2.7.2.tar.gz

(3)配置Hadoop環境變量

cd hadoop-2.7.2/
pwd //顯示hadoop安裝路徑
vi /etc/profile //按i進入編輯
JAVA_HOME=/export/server/jdk1.8 //已有不用寫
HADOOP_HOME=/export/server/hadoop-2.7.2 //HADOOP_HOME=hadoop安裝路徑
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME HADOOP_HOME PATH
//按Esc退出編輯 shift+wq保存並退出
source /etc/profile //使設置的環境變量生效

（4）檢查Hadoop是否安裝成功

hadoop version //若成功則會出現hadoop版本號信息

4.單機模式運行Hadoop

 Hadoop自帶了一些MapReduce示例程序，這些程序代碼都在hadoop-example.jar包內，jar包的安裝目錄在Hadoop下

（1）計算圓周率

pi:程序名稱
第一個參數：運行多少次map任務
第二個參數：每個map任務投擲多少次
二個參數之積即總投擲數（pi代碼就是以投擲來計算值）

hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 5 5 //Tab鍵可以補全版本號

(2)完成單詞統計

數據準備

cd /export/server/hadoop-2.7.2 //進入Hadoop安裝目錄
mkdir wcinput //創建wcinput
cd wcinput 
vi word.txt  //將單詞數據存放到word.txt文件中

執行程序

cd /export/server/hadoop-2.7.2/
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

查看結果