Hadoop 安裝有如下三種方式:
單機模式
:安裝簡單,幾乎不用做任何配置,但僅限於調試用途;僞分佈模式
:在單節點上同時啓動 NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode 等 5 個進程,模擬分佈式運行的各個節點;完全分佈式模式
:正常的 Hadoop 集羣,由多個各司其職的節點構成。
前提條件
安裝java (不想去官網下載的話用這個)
https://download.csdn.net/download/wangrui1605/11312034
1 創建java安裝目錄
mkdir /opt/java
2 解壓下好的jdk到安裝目錄
tar -xzvf jdk-7u80-linux-x64.tar.gz -C /opt/java
3 配置環境變量並生效
--打開配置文件
vim /etc/profile
--加入下面的配置 shift + g 到最後一行。 o 切換到下一行進行編輯
export JAVA_HOME=/opt/java/jdk1.7.0_80
export JRE_HOME=/opt/java/jdk1.7.0_80/jre
export CLASSPATH=$JAVA_HOME/lib
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
--加入配置後 wq 保存並且退出
--使用source 命令使配置生效
source /etc/profile
4 檢查java安裝情況
--一般我們使用兩個命令
1 which java
2 java -version
檢查安裝沒有問題後我們就開始安裝hadoop了
現在官網下載好hadoop。這個版本是2.7
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
1 創建安裝目錄
mkdir /opt/hadoop
2 解壓下載好的hadoop 到剛纔創建的目錄。
tar -xzvf hadoop-2.7.6.tar.gz -C /opt/hadoop
3 配置環境變量並生效
--打開配置文件
vi /etc/profile
--在文件的末尾加入配置
HADOOP_HOME=/opt/hadoop/hadoop-2.7.6/
PATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:$HADOOP_HOME/sbin
--使配置生效
source /etc/profile
4 檢查配置是否生效
出現上面的顯示說明我們的安裝是成功的
hadoop 的目錄說明
1 bin 二進制的可執行文件(主要是常用的命令)
2 sbin 二進制可執行文件 這裏面的主要是啓動和停止的二進制命令
3 lib 是依賴庫
4 etc hadoop 的配置文件
運行官網提供的測試程序!檢測一下文本中的單詞的出現次數
1 首先準備要運行的數據文件
mkdir /opt/input --創建要執行文件的目錄
cp /opt/hadoop/hadoop-2.7 6/etc/hadoop/*.xml /opt/input --將文件拷貝到將要運行的文件夾中
2 執行wordcount 進程將文件輸出到一個文件夾中(最好使用空白的沒有創建的目錄可以明顯的看出來運算的結果。)
hadoop jar /opt/hadoop/hadoop-2.7 6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /opt/input/ opt/outout
3 計算出單詞的出現的頻率
[外鏈圖片轉存失敗(img-I18McYWH-1562736859904)(/Users/wangrui/Library/Application Support/typora-user-images/image-20190710133100371.png)]
4 去output 目錄查看結果
more part-r-00000
到此單機版的hadoop就算是搭建完成啦!有很多不對的地方歡迎大家指正!