大數據實踐(三)--Hadoop集羣搭建(Ubuntu)

大數據實踐(三)–Hadoop集羣搭建(Ubuntu)

前置環境

原單機配置前置環境:

hadoop2.7.3

Ubuntu16

VirtualBox

jdk1.8

還需要yarn管理集羣

001、整體路線

使用虛擬機搭建三個節點,分別名爲master、node2、node3.

由於我的主節點配置高於從節點,所以更多負載在主節點上。

hadoop

002、前置條件

1、jdk、hadoop都已經加入環境變量。
2、複製兩臺虛擬機,將所有節點配置好靜態ip。
master :192.168.56.102
node2  :192.168.56.103
node3  :192.168.56.104
3、修改主機名稱:

​ 在各自節點上修改:

 sudo vim /etc/hostname

#master節點
master

#node2節點
node2

#node3節點
node3
4、修改hosts文件,使主機名和ip對應。

所有節點都要修改;

sudo vim /etc/hosts


192.168.56.102  master
192.168.56.103 node2
192.168.56.104 node3

以上修改完畢後建議重啓系統。

5、配置ssh遠程登陸

把master上的公鑰文件,拷貝到node1,node2上;

scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

其實本步驟基本可以略去,由於都是複製來的虛擬機,基本都有相同的配置。

在master上使用ssh node2、ssh node3測試,如果沒問題即可。

003、修改配置文件

在所有節點上都要修改。

1、修改hadoop-env.sh(略去)
2、修改core-site.xml
	<property>
        <!--指定 namenode 的 hdfs 協議文件系統的通信地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.56.102:8020</value>
    </property>  
  <property>
        <!--指定 hadoop 集羣存儲臨時文件的目錄-->
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoopDir</value>
    </property>

3、修改hdfs-site.xml
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namedir</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datadir</value>
  </property>

4、修改yarn-site.xml
 <property>
        <!--配置 NodeManager 上運行的附屬服務。需要配置成 mapreduce_shuffle 後纔可以在 Yarn 上運行 MapReduce 程序。-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <!--resourcemanager 的主機名-->
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
5、修改mapred-site.xml

如果沒有該文件,cp mapred-site.xml.template mapred-site.xml.

<configuration>
    <property>
        <!--指定 mapreduce 作業運行在 yarn 上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
6、修改slaves

在slaves文件中,加入以下:

配置所有節點的主機名或 IP 地址,每行一個.

master
node2
node3

004、啓動集羣

1、初始化namenode

在master上使用該命令即可:

hdfs namenode -format  #只使用一次,使用多次可能會造成衝突
2、啓動hdfs服務

master啓動:

start-dfs.sh

master下啓動了以下進程:

2728 DataNode
2920 SecondaryNameNode
2569 NameNode

其他節點只有:

2728 DataNode
3、啓動yarn服務
start-yarn.sh

master啓動了以下進程:

3220 NodeManager
2728 DataNode
2920 SecondaryNameNode
3090 ResourceManager
2569 NameNode

其他節點只有 :

3220 NodeManager
2728 DataNode

005、web ui界面

1、hadoop ui

在瀏覽器打開master的50070端口:

在這裏插入圖片描述

2、yarn ui

打開8088端口:

在這裏插入圖片描述

關閉進程的話可以使用:

stop-dfs.sh 
stop-yarn.sh

#全部關閉
stop-all.sh
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章