1.安裝jdk
步驟1:
啓動終端:使用快捷鍵 Ctrl+Alt+T啓動。也可以單擊快捷工具欄的“終端”程序圖標來啓動。
步驟2:查看java當前版本
java -version
爲了獲得最新軟件包,首先進行更新
sudo apt-get update
下載和安裝jdk
sudo apt-get install default-jdk
安裝完成後重新查看版本
java -version
運行結果
2.下載Hadoop
有的同學用的安裝教程版本比較舊,但是一些舊版本的Hadoop版本不知道從哪裏下載,下面給大家一個網址,可以隨意的選擇自己想要的版本。
https://archive.apache.org/dist/hadoop/common/
1.下載
window系統用習慣了,不知道linux中怎麼下載,簡單,直接上命令,我安裝的時候就用的是Hadoop2.6.4版本,所以這裏以2.6.4爲例:
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop2.6.4.tar.gz
2.解壓Hadoop
sudo tar -zxvf hadoop-2.6.4.tar.gz
3.將Hadoop移動到/usr/local
sudo mv hadoop-2.6.4 /usr/local/hadoop
3.設置Hadoop環境變量
運行Hadoop必須設置很多環境變量,可是如果每次登陸時都必須重新設置一次就會很麻煩,因此我們可以在~/.bashrc 文件中設置每次登陸時都會自動運行一次環境變量設置。
1.編輯 ~/.bashrc
終端輸入命令:
sudo gedit ~/.bashrc
然後回車鍵,輸入下面內容:
2.設置路徑:
》1.設置jdk路徑
》2.設置HADOOP_HOME爲Hadoop安裝路徑
》3.設置Hadoop其他環境變量
3.讓~/.bashrc設置生效
source ~/bashrc
運行結果見上圖。
4.Hadoop配置文件設置
接下來就是Hadoop配置設置,包括 Hadoop-env.sh,core-site.xml,YARN-site.xml。
1.設置Hadoop-env.sh 配置文件
1.編輯Hadoop-env.sh
sudo gedit /usr/local/hadoop/hadoop-env.sh
原本文件中JAVA_HOME的設置爲:
export JAVA_HOME=${JAVA_HOME}
修改後
注意:先保存,再關閉gedit。
2.設置core-site.xml
修改core-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
編輯後:
先保存,再關閉gedit。
3.設置YARN-site.xml
YARN-site.xml文件中含有MapReduce2相關配置設置,可在終端程序中輸入以下命令:
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
編輯文件
先保存,再關閉gedit。
4.設置mapred-site.xml
mapred-site,xml 用於監控map和reduce程序的JobTracker任務分配情況以及T愛上Tracker任務運行情況,Hadoop提供設置模板,可自行復制修改,在終端程序中輸入以下命令
複製模板文件,由mapred-site.xml.template至mapred-site.xml
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/mapred-site.xml
模板複製成功,接下來繼續編輯mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
編輯
先保存,在關閉geidit。
5.設置hdfs-site.xml
hdfs-site.xml用於設置HDFS分佈式文件系統,在終端程序中輸入以下命令:
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
編輯
先保存,再關閉gedit。
5.創建並格式化 hdfs目錄
1.創建namenode數據存儲目錄:
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
2.創建datanode數據存儲目錄:
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
3.將Hadoop目錄所有者改爲hduser
sudo chown hduser:hduser -R /usr/local/hadoop
6.關閉防火牆
1.切換到root用戶
su
2.關閉防火牆
sudo ufw disable
2.格式化HDFS
hadoop namenode -format
7.啓動Hadoop
啓動Hadoop可以分爲分爲兩種,一種是分別啓動HDFS,YARN.一種是同時啓動HDFS,YARN.
1.分別啓動
start-hdfs.sh
start-yarn.sh
2.同時啓動
start-all.sh
同上。
3.查看NameNode和DataNode是否啓動
jps
8.打開Hadoop web界面
1.打開Hadoop resourcemanager web界面用於查看Hadoop狀態:node節點,應用程序和運行狀態。
步驟1:打開瀏覽器Firefox,在網址中輸入:
http://localhost:8088/
2.打開HDFS web 界面可以檢查HDFS與DataNode的運行情況
步驟1:打開瀏覽器Firefox,在網址中輸入:
http://localhost:50070/
注意:如果界面不顯示,可以先用ifconfig查詢一下網絡
ifconfig
發現ip地址爲:10.0.2.15.則在瀏覽器輸入
http://10.0.2.15:8088/