1.3 virtualbox高級應用構建本地大數據集羣服務器

1.3 virtualbox高級應用構建本地大數據集羣服務器

開源地址 https://github.com/wangxiaoleiAI/big-data

卜算子·大數據 目錄

開源“卜算子·大數據”系列文章、源碼，面向大數據（分佈式計算）的編程、應用、架構——每週更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oozie、flink…etc

本節主要講解內容：
- 如何通過virtualbox構建“真正”的服務器
- virtualbox網絡設置，使得的主機與虛擬機，虛擬機與虛擬機互相登錄。
- 搭建三臺可以互通linux服務器版本的虛擬機，主機也可以登錄到任意一臺虛擬機上。
- 關於Ubuntu環境下如何設置virtualbox網絡可以查看我之前的一篇文章VirtualBox NAT host-only高級網絡配置
上一節1.1已經講解了如何來快速安裝、配置virtualbox，並已經安裝了Ubuntu18.04桌面版，如果不清楚步驟請查看1.1 Virtualbox虛擬機快速入門

1.3.1 設置virtualbox的網絡（以Mac爲例，其他平臺大同小異）

file–>Host Network Manager–>Create–>查看分配的網段並取消DHCP

至此就已經設置好了host-only所需的網段了。

1.3.2 配置虛擬機靜態ip，設置虛擬機中的Ubuntu桌面版的網絡，可以讓主機與虛擬機之間互動。

1.3.2.1 首先開啓、並查看已有的桌面版網絡情況

# 安裝網絡工具
sudo apt install net-tools
# 查看本地網絡情況
ifconfig

當前網絡 10.0.2.15主機是ping不通的。關閉虛擬機。

1.3.2.2 虛擬機Ubuntu關機，開始配置可以ping通的網絡。

默認配置了NAT網絡，這樣可以讓虛擬機連接互聯網（這個需要的）

接下來配置第二塊網卡，設置爲Host-only模式，然後（自動）選擇1.2.1設置的網絡vboxnet0，保存。此時，虛擬機就具備了第二塊網卡，但是因爲取消了DHCP自動分配網絡ip，所以需要手動的去虛擬機中配置靜態ip。

1.3.3 配置虛擬機的靜態ip，開啓虛擬機，修改虛擬機本機的網絡配置文件。

開啓虛擬機，最新版Ubuntu18.04 網絡配置需要安裝ifupdown使得修改生效

sudo apt install ifupdown

查看當前網絡

ls /sys/class/net

修改網絡配置文件

sudo vim /etc/network/interfaces

添加如下內容

# 增加的Host-only靜態IP設置 (enp0s8 是根據拓撲關係映射的網卡名稱（舊規則是eth0,eth1）)
# 可以通過 ```ls /sys/class/net```查看，是否爲enp0s8
auto enp0s8
iface enp0s8 inet static
address 192.168.56.101
netmask 255.255.255.0

重啓虛擬機生效。

1.3.4 配置完成靜態ip後，主機與虛擬機可以相互ping通

#linux、mac查看本機ip
ifconfig
# window用ipconfig

1.3.4.1 主機ping虛擬機

1.3.4.2 主機登錄虛擬機（重要是這裏，這樣可以通過主機就可以直接登錄虛擬機操作了），其實就是你本地機器登錄服務器的場景（即本地登錄上到雲服務器）

sudo apt install openssh-server

1.3.4.3 虛擬機ping主機

1.3.5 安裝三臺服務器版Ubuntu(Ubuntu18.04 server),爲大數據集羣做準備。

1.3.5.1 virtualbox創建三臺虛擬機分別爲Master、Worker1、Worker2

• 配置1. 內存分別爲2G，磁盤空間爲20G。
• 配置2. 添加第二塊網卡，即增加Host-only網絡。

1.3.5.2 分別安裝server版的Ubuntu18.04系統。

• 點擊下載服務器版鏡像

• 服務器安裝過程注意事項

  • 設置主機名稱，比如master，就該設置成master，worker1，就設置成worker1
  • 設置用戶名稱，統一設置爲hadoop用戶，username需要相同，同一用戶可以解決涉及到權限和登錄問題。
  • 若查看詳細的安裝步驟，請查看完整安裝記錄圖片（install-ubuntu-18.04-server-1.png 從1到8）

至此安裝完成，接下來修改虛擬機的網絡配置文件。

1.3.5.3 修改服務器版網絡配置文件，支持，主機與虛擬機，虛擬機與虛擬機（服務器與服務器）互通（此處以master爲例，可按照此步驟依次更改）。

• ip分配
  
  • master 靜態ip配置爲 192.168.56.106
  • worker1 靜態ip配置爲 192.168.56.107
  • worker2 靜態ip配置爲 192.168.56.108

例如：修改master網絡配置文件，設置靜態ip爲 192.168.56.106

最新版Ubuntu18.04 網絡配置需要安裝ifupdown使得修改生效

sudo apt install ifupdown

sudo vim /etc/network/interfaces

添加如下內容

# (註釋的內容忽略)增加的Host-only靜態IP設置 (enp0s8 是根據拓撲關係映射的網卡名稱（舊規則是eth0,eth1）)
# 可以通過 ```ls /sys/class/net```查看，是否爲enp0s8

auto enp0s8
iface enp0s8 inet static
address 192.168.56.106
netmask 255.255.255.0

重啓生效，如此依次更改其他服務器

1.3.6 最終

三臺虛擬服務器，可以通過本地登錄，並執行操作。

至此完成虛擬機高級教程，已經可以通過虛擬機搭建“真正”的服務器了。

就開始真正的大數據之旅吧。

開源地址：https://github.com/wangxiaoleiAI/big-data

大數據完整知識體系原創分享，長按關注微信公衆號【從入門到精通】，進羣交流、獲取一手更新資訊。