Hadoop單機模式安裝
一、實驗介紹
1.1 實驗內容
hadoop三種安裝模式介紹
hadoop單機模式安裝
測試安裝
1.2 實驗知識點
下載解壓/環境變量配置
Linux/shell
測試WordCount程序
1.3 實驗環境
hadoop2.6.0
Xfce終端
1.4 適合人羣
本課程難度爲一般，屬於初級級別課程，適合具有linux基礎的用戶。
二、Hadoop啓動模式
Hadoop集羣有三種啓動模式：
單機模式：默認情況下運行爲一個單獨機器上的獨立Java進程，主要用於調試環境
僞分佈模式：在單個機器上模擬成分佈式多節點環境，每一個Hadoop守護進程都作爲一個獨立的Java進程運行
完全分佈式模式：真實的生產環境，搭建在完全分佈式的集羣環境
三、用戶及用戶組
需要先添加用來運行Hadoop進程的用戶組hadoop及用戶hadoop。
3.1 添加用戶及用戶組
注意：實驗樓環境裏已經配置好hadoop用戶，此步驟可以跳過。 創建用戶hadoop
$ sudo adduser hadoop
並按照提示輸入hadoop用戶的密碼，例如密碼設定爲 hadoop。注意輸入密碼的時候是不顯示的。
將hadoop用戶添加進sudo用戶組
$ sudo usermod -G sudo hadoop
四、安裝及配置依賴的軟件包
4.1 安裝jdk
注意：實驗樓環境裏已經配置jdk環境變量，此步驟可以跳過。
$ echo $JAVA_HOME
$ java -version
4.2 配置ssh免密碼登錄
切換到 hadoop 用戶，hadoop 用戶時密碼爲 hadoop。後續步驟都將在 hadoop 用戶的環境中執行。
$ su hadoop # 密碼爲hadoop
配置ssh環境免密碼登錄。 注意：實驗樓環境裏已經配置 ssh 環境免密碼登錄，此步驟可以跳過。 在/home/hadoop目錄下執行
$cd ~
$ ssh-keygen -t rsa #一路回車
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
$ chmod 600 .ssh/authorized_keys
驗證登錄本機是否還需要密碼，第一次需要密碼以後不需要密碼就可以登錄。
$ ssh localhost #僅需輸入一次hadoop密碼，以後不需要輸入
五、下載並安裝Hadoop
在hadoop用戶登錄的環境中進行下列操作：
5.1 下載Hadoop 2.6.0
$ wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz
5.2 解壓並安裝
$ tar zxvf hadoop-2.6.0.tar.gz
$ rm -r /home/hadoop/hdfs #刪除原本目錄中的hdfs文件夾
$ mv hadoop-2.6.0 /home/hadoop/hdfs
$ chmod 777 /home/hadoop/hdfs
5.3 配置Hadoop
$ vim /home/hadoop/.bashrc
在/home/hadoop/.bashrc文件末尾添加下列內容：
#HADOOP START
export HADOOP_HOME=/home/hadoop/hdfs
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
#HADOOP END
在/home/hadoop/.bashrc文件中PATH路徑更改HADOOP相關內容：
export PATH=/usr/local/sbin:/usr/local/bin/:/usr/bin:/usr/sbin:/sbin:/bin:/home/hadoop/hdfs/bin:/home/hadoop/hdfs/sbin
環境中的hive以及hbase等環境本次實驗不會用到可以刪去，保存退出後，激活新加的環境變量。
$ source ~/.bashrc
至此，Hadoop單機模式安裝完成，可以通過下述步驟的測試來驗證安裝是否成功。
六、測試驗證
創建輸入的數據，暫時採用/etc/protocols文件作爲測試
$ cd /home/hadoop/hdfs
$ mkdir input
$ cp /etc/protocols ./input
執行Hadoop WordCount應用（詞頻統計）
$ hadoop jar /home/hadoop/hdfs/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar wordcount input output
若以上語句執行錯誤可以嘗試應用以下語句執行
$ hadoop jar /home/hadoop/hdfs/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output
查看生成的單詞統計數據
$ cat output/*
注意：如果要繼續下一節“僞分佈式部署”實驗，請勿停止本實驗環境，直接點擊文檔上方的“下一個實驗”按鈕進入，因爲僞分佈式部署模式需要在單機模式基礎上進行配置。
七、小結
本實驗中介紹了Hadoop單機模式的安裝方法，並運行wordcount進行基本測試。
八、課後作業
請使用hadoop的wordcount對日誌文件/var/log/dpkg.log進行詞頻統計。
實驗中有任何問題歡迎到實驗樓問答提問。
九、參考文檔
本實驗參考下列文檔內容製作：
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
http://www.cnblogs.com/kinglau/p/3794433.html
*本課程內容，由作者授權實驗樓發佈，未經允許，禁止轉載、下載及非法傳播。
來源: 實驗樓
鏈接: https://www.shiyanlou.com/courses/35
本課程內容，由作者授權實驗樓發佈，未經允許，禁止轉載、下載及非法傳播