hadoop集羣搭建

1.hadoop的分佈式安裝過程

1.1 分佈結構主節點(1個,是hadoop0):NameNode、JobTracker、SecondaryNameNode

從節點(2個,是hadoop1、hadoop2):DataNode、TaskTracker


可以使用虛擬機克隆系統,分配512M內存,使用文本界面(節省內存)

網絡連接方式爲橋接

master:192.168.110.100
修改主機名爲host0  /etc/hostname爲hadoop0域名:/etc/hosts:hadoop0  
配置文件 core-site.xml 和 mapred-site.xml 中的域名也要改爲hadoop0
在windows下ping 192.168.110.100,看能夠ping 通麼。

servant1:192.168.110.101
修改主機名爲host1  /etc/hostname爲hadoop1域名:/etc/hosts:hadoop1
在windows下ping 192.168.110.101,看能夠ping 通麼。

servant2:192.168.110.102
修改主機名爲host1  /etc/hostname爲hadoop2域名:/etc/hosts:hadoop2
在windows下ping 192.168.110.102,看能夠ping 通麼。

1.2 各節點重新產生ssh加密文件
假設servant1和servant2是新的機器,需要設置免密碼登錄。首先要把克隆過來的ssh密鑰和原來的hadoop安 裝文件以及jdk,還有/etc/profile中的配置信息等刪除。
重新設置免密碼登錄以及從master將hadoop和jdk複製進來。

步驟:
1.2.1:產生私鑰和公鑰
輸入命令:ssh-keygen -t rsa
一直按回車;
此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者爲私鑰,後者爲公鑰。
1.2.2:下面我們將公鑰追加到authorized_keys中
輸入命令:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
1.2.3:登錄ssh
ssh localhost
若使用ssh hadoop1的形式,需要配置ip與hostname的映射信息


1.3 編輯各個節點的/etc/hosts,在該文件中含有所有節點的ip與hostname的映射信息
1.1中已經完成

1.4 爲了互相訪問主機,兩兩節點之間也需要SSH免密碼登陸

1.4.1:把集羣中其他主機ip與hostname的映射關係,加到機器上。
例如在hadoop0中添加hadoop1和hadoop2的ip與域名映射。/etc/hosts
其他兩個也要添加,可以手工改,但是數量多時,不方便,可以複製。

1.4.2:設置主機之間的ssh免密碼登錄。
1.將hadoop0的公鑰,複製到hadoop1中。
執行命令:ssh-copy-id -i hadoop1
執行命令:ssh hadoop1發現,無需登錄密碼。
 2:將hadoop:2的公鑰,複製到hadoop1中。
執行命令:ssh-copy-id -i hadoop1
執行命令:ssh hadoop1發現,無需登錄密碼。
3.現在hadoop1已經有了hadoop0和hadoop2的公鑰,同理hadoop0和hadoop2也應該有除了自己之外的其他機器的公鑰。
 可以將hadoop1的新公鑰複製到hadoop0和hadoop2中。
 執行命令:scp authorized_keys hadoop0:/home/hadoop/.ssh/
 執行命令:scp authorized_keys hadoop0:/home/hadoop/.ssh/
 
1.5 把hadoop0的hadoop目錄下的logs和tmp刪除
因爲hadoop0是從之前的僞分佈式克隆而來的。
執行命令:rm -rf logs/
執行命令:rm -rf tmp/

1.6 把hadoop0中的jdk、hadoop文件夾複製到hadoop1和hadoop2節點
scp  -r /usr/local/hadoop   hadoop1:/usr/local/
如果hadoop1不是root用戶,可能會沒有權限,可以先scp到hadoop1當前用戶下,然後再mv

1.7 把hadoop0的/etc/profile複製到hadoop1和hadoop2節點,在目標節點中執行source  /etc/profile

1.8 編輯hadoop0的配置文件slaves,改爲從節點的hostname,分別是hadoop1和hadoop2

1.9 格式化,在hadoop0節點執行hadoop namenode -format

注意:對於配置文件core-site.xml和mapred-site.xml在所有節點中都是相同的內容。


1.10 啓動,在hadoop0節點執行start-all.sh

下圖是啓動信息:


下圖是主節點hadoop0的進程信息:可以看出主節點有3個進程:NameNode,JobTracker,SecondaryNameNode



下面兩個圖,分別是兩個從節點hadoop1和hadoop2,可以看出這個從節點只有2個進程:DataNode和TaskTracker




1.11 通過瀏覽器,查看集羣信息:

修改C:\Windows\System32\drivers\etc\hosts文件,增加下面信息

192.168.110.100 hadoop0

192.168.110.101 hadoop1
192.168.110.102 hadoop2

(1) 查看






發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章