大數據-Hadoop集羣搭建（配置免密登錄及配置環境）

目錄

安裝Hadoop

集羣佈局

克隆

配置免密登錄

集羣配置

驗證集羣

總結

---

安裝Hadoop

上傳壓縮包。

在hadoop用戶下，新建一個apps目錄，進入該目錄。可以通過文件的屬性中的安全選項卡找到完整路徑，並複製，和安裝jdk時一樣，使用SecureCRT的sftp上傳即可。

文件路徑

解壓在該目錄下即可。

解壓

可以看到hadoop裏面的內容，在sbin目錄下有一些腳本，以後會用到。

hadoop的內容

• vim ~/.bashrc
• 在最後面加入以下語句：

  export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• source ~/.bashrc（使新配置的環境變量生效）

配置hadoop

至此，母版虛擬機已經設置完畢，接下來將進行克隆與整體佈局。

集羣佈局

集羣佈局

虛擬機名	h1	h2	h3
HostName	hadoop1	hadoop2	hadoop3
ip	192.168.74.121	192.168.74.122	192.168.74.123
NameNode	√	×	×
SecondryNameNode	×	√	×
ResourceManager	×	×	√
DataNode	√	√	√
NodeManager	√	√	√

 

 

 

 

 

 

 

 

克隆

運行內存有限，建議3~4臺，這裏克隆三臺。關閉母版虛擬機，以第一臺爲例，母版虛擬機上右鍵，選擇管理，然後選擇克隆。

克隆第一臺

依次克隆另外兩臺，分別命名爲h2、h3。

網絡連接

vi /etc/udev/rules.d/70-persistent-net.rules，以h1爲例，將eth0所在行註釋或刪除，將eth1改爲eth0，其他兩臺一樣。

h1修改前

h1修改後

 sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0，將HWADDR和UUID所在行刪除或註釋掉，修改IPADDR。

h1靜態ip修改

 sudo vi /etc/sysconfig/network,修改hostname，SecureCRT下方右鍵，可以對多個會話一起發命令，比較方便，三臺虛擬機一起修改。

修改hostname

sudo vi /etc/hosts，修改主機映射，保存後，使用init 6命令重啓網卡。

標題更改主機映射

也可以添加本機的主機映射，在SecureCRT和瀏覽器地址用主機名代替，更加方便。

本機主機映射

 

配置免密登錄

爲什麼要配置免密登錄？

未配置免密登錄前

未配置免密登錄前，在hadoop1登錄hadoop2需要輸入密碼，這對以後的工作會產生很多麻煩。

在 hadoop 用戶下，輸入命令 ssh-keygen ，連按 3 次回車，之後你會發現，在/home/hadoop/.ssh 目錄下生成了一對密鑰。每臺虛擬就都需要，使用發送所有對話框，輸入一次就好，比較方便。

生成密鑰

 再分別輸入ssh-copy-id hadoop1、ssh-copy-id hadoop2、ssh-copy-id hadoop3。每次需要輸入yes及密碼。這樣就會在每臺虛擬機的.ssh/authorized_keys中存在三臺虛擬機的密鑰。

複製密鑰

複製密鑰成功

可以在任一臺虛擬機，使用ssh 主機名的方式登錄其他虛擬機，使用exit退出。

集羣配置前先同步時間

• date（查看時間）
• sudo ntpdate ntp1.aliyun.com（與阿里雲的同步）

同步時間

集羣配置

需要配置的文件，如圖中的畫紅勾的那些。你可以照着Hadoop官網所給提示來敲，也可以從我的百度網盤下載，直接上傳覆蓋（上傳前記得修改文件爲自己的路徑、用戶名等）。

hadoop的配置文件

core-site.xml的配置

指定了工作目錄等，讀者根據自己的用戶名等進行修改。

core-site.xml的配置

hadoop-env.sh的配置

指定了jdk路徑，讀者根據自己的進行修改。

hadoop-env.sh的配置

hdf-site.xml的配置

指令了一些數據目錄等，讀者根據自己的進行修改。

hdf-site.xml的配置

mapred-site.xml的配置

hadoop自帶的是.template結尾的，如果你不是上傳的我的文件，是自己在vi/vim編輯器下編輯的，記得改後綴。

標題

slaves的配置

填入主機名即可，讀者根據自己的進行修改。

slaves的配置

 yarn-site.xml的配置

添加了yarn結點的主機名等，讀者根據自己的進行修改。

yarn-site.xml的配置

• cd ~/apps/hadoop-2.7.5/etc/hadoop/
• put D:\hadoopconfig\*  (\*是上傳所有文件，這樣就會覆蓋掉了)

使用hadoop namenode -format,初始化namenode。

初始化

start-dfs.sh(任意結點啓動dfs均可)、使用stop-dfs.sh關閉。

啓動dfs

start-yarn.sh（只能在YARN的主節點啓動，否則ResourceManager進程無法啓動，YARN主節點設置的爲hadoop3 ）、使用stop-yarn.sh關閉。

啓動yar成功

驗證集羣

1、使用jps

dfs啓動後

dfs啓動後的hadoop1

dfs啓動後的hadoop2

dfs啓動後的hadoop3

 yarn啓動後

yarn啓動後的h1

yarn啓動後的h2

yarn啓動後的h3

可以看到，每臺虛擬機作爲什麼結點，如同規劃的一樣。

2、web驗證

可以在本機的hosts裏面也添加映射，如同上篇文章的hadoop001一樣，這樣在SecureCRT以及瀏覽器地址欄用主機名代替ip即可，比較方便。輸入hadoop1:50070，即可打開如下界面，可以看到激活了。

namenode查看

 輸入hadoop3:8088即可查看到如下界面。

yarn結點查看

總結

今天主要學習了以下內容

安裝hadoop並配置

克隆虛擬機，搭建集羣

配置免密登錄

配置集羣

網盤鏈接：

鏈接：https://pan.baidu.com/s/1yIHOlRPpcGYkKTYM4-64bA
提取碼：ims7

更多大數據知識請查看：大數據自學目錄

有問題請下方評論，轉載請註明出處，並附有原文鏈接，謝謝！如有侵權，請及時聯繫。