Hadoop 單機模式安裝測試(Ubuntu)

Hadoop 安裝有如下三種方式:
  • 單機模式:安裝簡單,幾乎不用做任何配置,但僅限於調試用途;
  • 僞分佈模式:在單節點上同時啓動 NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode 等 5 個進程,模擬分佈式運行的各個節點;
  • 完全分佈式模式:正常的 Hadoop 集羣,由多個各司其職的節點構成。
前提條件

安裝java (不想去官網下載的話用這個)

https://download.csdn.net/download/wangrui1605/11312034

1 創建java安裝目錄

mkdir /opt/java

2 解壓下好的jdk到安裝目錄

tar -xzvf jdk-7u80-linux-x64.tar.gz -C /opt/java

3 配置環境變量並生效

在這裏插入圖片描述

--打開配置文件
vim /etc/profile   
--加入下面的配置 shift + g 到最後一行。 o 切換到下一行進行編輯
export JAVA_HOME=/opt/java/jdk1.7.0_80
export JRE_HOME=/opt/java/jdk1.7.0_80/jre
export CLASSPATH=$JAVA_HOME/lib
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
--加入配置後 wq 保存並且退出
--使用source 命令使配置生效
source /etc/profile

4 檢查java安裝情況

--一般我們使用兩個命令
1 which java
2 java -version 

在這裏插入圖片描述在這裏插入圖片描述

檢查安裝沒有問題後我們就開始安裝hadoop了

現在官網下載好hadoop。這個版本是2.7

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

1 創建安裝目錄

mkdir /opt/hadoop

2 解壓下載好的hadoop 到剛纔創建的目錄。

tar -xzvf hadoop-2.7.6.tar.gz -C /opt/hadoop

3 配置環境變量並生效

--打開配置文件
vi /etc/profile
--在文件的末尾加入配置
HADOOP_HOME=/opt/hadoop/hadoop-2.7.6/
PATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:$HADOOP_HOME/sbin
--使配置生效
source /etc/profile

4 檢查配置是否生效

在這裏插入圖片描述
出現上面的顯示說明我們的安裝是成功的

hadoop 的目錄說明在這裏插入圖片描述

1 bin 二進制的可執行文件(主要是常用的命令)

2 sbin 二進制可執行文件 這裏面的主要是啓動和停止的二進制命令

3 lib 是依賴庫

4 etc hadoop 的配置文件

運行官網提供的測試程序!檢測一下文本中的單詞的出現次數

1 首先準備要運行的數據文件

mkdir /opt/input  --創建要執行文件的目錄
cp /opt/hadoop/hadoop-2.7 6/etc/hadoop/*.xml /opt/input --將文件拷貝到將要運行的文件夾中

2 執行wordcount 進程將文件輸出到一個文件夾中(最好使用空白的沒有創建的目錄可以明顯的看出來運算的結果。)

hadoop jar /opt/hadoop/hadoop-2.7 6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /opt/input/ opt/outout 

3 計算出單詞的出現的頻率

[外鏈圖片轉存失敗(img-I18McYWH-1562736859904)(/Users/wangrui/Library/Application Support/typora-user-images/image-20190710133100371.png)]

4 去output 目錄查看結果

more part-r-00000

在這裏插入圖片描述在這裏插入圖片描述

到此單機版的hadoop就算是搭建完成啦!有很多不對的地方歡迎大家指正!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章