Hadoop部署之虛擬機準備

Hadoop試驗之虛擬機準備

配置規劃

一直使用virtualbox學習Linux,大多時都用單機模式,對多臺虛擬機組集羣一知半解。現在需要在本地PC部署一個多節點的Hadoop集羣,於是學習了下virtualbox的集中虛擬網絡配置。

隨後成功使用host-only模式部署好集羣。相比橋接模式,host-only模式可以固定各節點ip,省去每次開機設置ip;相比內部網絡模式,該模式虛擬機宿主機可以相互通信;爲了使虛擬機連接外網,添加了第二塊網卡,設爲NAT模式。

集羣節點配置思路:先安裝、配置好一臺虛擬機,然後使用virtualbox複製功能快速得到兩臺虛擬機。新複製主機需要更改ip和hostname,最後各節點生成ssh密鑰對,在第一臺虛擬機上配好authorized_keys文件分發到其餘節點。

下面把詳細配置過程寫下來,以備後查。

安裝centos

安裝virtualbox就不贅述了,開源的軟件直接下載用就好。需要注意兩點,一是默認虛擬系統存放在C盤,建議在“全局設定”裏更改下;二是添加配置host-only網卡,這個在後面會詳細敘述。

Linux系統我使用CentOS,最小化安裝。

配置第一臺節點

在virtualbox軟件上添加host-only網卡,該操作會在Windows創建一張虛擬網卡。在virtualbox配置網卡ip、mask,關閉DHCP服務器,該ip就是宿主機ip。

在這裏插入圖片描述

然後虛擬機關機狀態下設置“網絡”選項,添加兩張網卡,第一張host-only,第二張選NAT。

在這裏插入圖片描述

然後開啓虛擬機,root登錄。配置第一張網卡vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 。第一張網卡是host-only模式。bootproto改爲static,onboot改爲yes,ip、netmask參考第一步創建網卡時的網段,網關和DNS不用配(因爲這張網卡只負責同一網段局域網通信)。

在這裏插入圖片描述

配置第二張網卡vi /etc/sysconfig/network-scripts/ifcfg-enp0s8 。bootproto改爲dhcp,onboot改爲yes,ip、gateway等不用配,因爲第二張網卡使用NAT模式,virtualbox會自動轉發流量。

在這裏插入圖片描述

兩張網卡配置文件裏不能有UUID識別類的選項,方便後面快速複製虛擬機。

更改hostname: hostnamectl set-hostname centos01 。最後關閉虛擬機。

複製虛擬機

上面安裝配置好模板centos01,可以做一個備份,方便今後恢復。

使用複製功能,得到centos02、centos03兩臺虛擬機。複製時記得選重置所有網卡MAC地址。然後開機修改兩臺虛擬機的hostname和網卡1的ip。

配置ssh密鑰對

開啓三臺虛擬機。先給宿主機生成ssh密鑰對。我用的PuTTy,具體過程不贅述了。

把宿主機的公鑰拷到centos01:/root/.ssh/authorized_keys文件裏。然後就可以用私鑰無障礙訪問centos01了。

然後分別在centos02和centos03上生成ssh密鑰對:ssh-keygen 。把兩個公鑰追加到centos01上面那個文件裏:ssh-copy-id root@centos01

把centos01的authorized_keys文件分發給另外兩臺虛擬機,注意路徑一致。

最後在centos01上配置hosts文件:vi /etc/hosts,寫入三臺虛擬機ip和hostname,分發給另外兩臺虛擬機。

總結

至此,三臺互通的虛擬機配置完成。重點在網卡配置和模板機配置。其實還可以安裝好JDK和常用軟件包,然後再對模板機做複製。這樣後面部署Hadoop集羣時也會少一點工作。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章