Hadoop大數據實戰(二)--ubtuntu14.0安裝Hadoop2.6.4

1.安裝jdk

步驟1:

啓動終端:使用快捷鍵 Ctrl+Alt+T啓動。也可以單擊快捷工具欄的“終端”程序圖標來啓動。

步驟2:查看java當前版本
java -version

在這裏插入圖片描述

爲了獲得最新軟件包,首先進行更新
sudo apt-get update
下載和安裝jdk
sudo apt-get install default-jdk

安裝完成後重新查看版本

java -version

運行結果
在這裏插入圖片描述

2.下載Hadoop

有的同學用的安裝教程版本比較舊,但是一些舊版本的Hadoop版本不知道從哪裏下載,下面給大家一個網址,可以隨意的選擇自己想要的版本。

https://archive.apache.org/dist/hadoop/common/

在這裏插入圖片描述
1.下載
window系統用習慣了,不知道linux中怎麼下載,簡單,直接上命令,我安裝的時候就用的是Hadoop2.6.4版本,所以這裏以2.6.4爲例:

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop2.6.4.tar.gz

2.解壓Hadoop

sudo tar -zxvf hadoop-2.6.4.tar.gz

在這裏插入圖片描述
3.將Hadoop移動到/usr/local

sudo mv hadoop-2.6.4 /usr/local/hadoop

在這裏插入圖片描述

3.設置Hadoop環境變量

運行Hadoop必須設置很多環境變量,可是如果每次登陸時都必須重新設置一次就會很麻煩,因此我們可以在~/.bashrc 文件中設置每次登陸時都會自動運行一次環境變量設置。

1.編輯 ~/.bashrc
終端輸入命令:

sudo gedit ~/.bashrc

然後回車鍵,輸入下面內容:
在這裏插入圖片描述
2.設置路徑:
》1.設置jdk路徑
》2.設置HADOOP_HOME爲Hadoop安裝路徑
》3.設置Hadoop其他環境變量

在這裏插入圖片描述
3.讓~/.bashrc設置生效

source ~/bashrc

運行結果見上圖。

4.Hadoop配置文件設置

接下來就是Hadoop配置設置,包括 Hadoop-env.sh,core-site.xml,YARN-site.xml。
1.設置Hadoop-env.sh 配置文件

1.編輯Hadoop-env.sh

sudo gedit /usr/local/hadoop/hadoop-env.sh

在這裏插入圖片描述
原本文件中JAVA_HOME的設置爲:

export JAVA_HOME=${JAVA_HOME}

修改後
在這裏插入圖片描述
注意:先保存,再關閉gedit。
2.設置core-site.xml
修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

在這裏插入圖片描述
編輯後:
在這裏插入圖片描述
先保存,再關閉gedit。

3.設置YARN-site.xml
YARN-site.xml文件中含有MapReduce2相關配置設置,可在終端程序中輸入以下命令:

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

在這裏插入圖片描述
編輯文件
在這裏插入圖片描述
先保存,再關閉gedit。
4.設置mapred-site.xml
mapred-site,xml 用於監控map和reduce程序的JobTracker任務分配情況以及T愛上Tracker任務運行情況,Hadoop提供設置模板,可自行復制修改,在終端程序中輸入以下命令
複製模板文件,由mapred-site.xml.template至mapred-site.xml

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/mapred-site.xml

在這裏插入圖片描述
模板複製成功,接下來繼續編輯mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

在這裏插入圖片描述
編輯
在這裏插入圖片描述
先保存,在關閉geidit。

5.設置hdfs-site.xml
hdfs-site.xml用於設置HDFS分佈式文件系統,在終端程序中輸入以下命令:

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在這裏插入圖片描述
編輯
在這裏插入圖片描述
先保存,再關閉gedit。

5.創建並格式化 hdfs目錄

1.創建namenode數據存儲目錄:

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

2.創建datanode數據存儲目錄:

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

3.將Hadoop目錄所有者改爲hduser

sudo chown hduser:hduser -R /usr/local/hadoop

在這裏插入圖片描述

6.關閉防火牆

1.切換到root用戶

su

2.關閉防火牆

sudo ufw disable

在這裏插入圖片描述
2.格式化HDFS

hadoop namenode -format

在這裏插入圖片描述

7.啓動Hadoop

啓動Hadoop可以分爲分爲兩種,一種是分別啓動HDFS,YARN.一種是同時啓動HDFS,YARN.
1.分別啓動

start-hdfs.sh

在這裏插入圖片描述

start-yarn.sh

在這裏插入圖片描述

2.同時啓動

start-all.sh

同上。

3.查看NameNode和DataNode是否啓動

jps

8.打開Hadoop web界面

1.打開Hadoop resourcemanager web界面用於查看Hadoop狀態:node節點,應用程序和運行狀態。
步驟1:打開瀏覽器Firefox,在網址中輸入:

http://localhost:8088/

2.打開HDFS web 界面可以檢查HDFS與DataNode的運行情況
步驟1:打開瀏覽器Firefox,在網址中輸入:

http://localhost:50070/

在這裏插入圖片描述
注意:如果界面不顯示,可以先用ifconfig查詢一下網絡

ifconfig

在這裏插入圖片描述
發現ip地址爲:10.0.2.15.則在瀏覽器輸入

http://10.0.2.15:8088/

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章