Spark2.0 + Hadoop2.7.2 + Centos7 集羣部署

Centos7 集羣部署

1. 到官網下載 virtualbox安裝文件 https://www.virtualbox.org/wiki/Downloads
2. 到官網下載centos7鏡像文件  http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso
3. 安裝好virtualbox之後，把centos7鏡像文件導入virtualbox中，內存和磁盤空間根據機器情況自行配置(注：本人搭建的是4 個node的集羣，存儲空間需根據各自需求配置)

• 安裝centos7 的時候，在其中某一步選擇 GNOME Desktop, 並在右側選擇相應的安裝軟件。這樣安裝好centos之後，就不用自己下載網卡、顯卡等系統軟件了。

安裝centos7 之後， 然後進行 Network Configuration。

• 首先關閉centos7，在virtualbox中再加入一個Adapter，其中一個Adapter 的 Attached to方式爲 NAT，這塊網卡是用來連接網絡的。另外一個Adapter 的 連接方式爲 Internal Network, 這塊網卡是爲了集羣內部各個節點之間的通信。
• 配置/etc/sysconfig/network

              <script src="https://code.csdn.net/snippets/1885762"> </script>

• 配置/etc/sysconfig/network-scripts/ifcfg-enp0s3,這個文件是系統默認創建有的，修改該文件即可。該配置對應於NAT連接方式，是爲了訪問外網。

             <script  src="https://code.csdn.net/snippets/1885794"></script>

            

• 配置/etc/sysconfig/network-scripts/ifcfg-enp0s4，這個文件需要自己手動創建，對應於Internal Network 連接方式，是爲了節點之間相互通信。

             <script src="https://code.csdn.net/snippets/1885800"></script>

• 配置 /etc/selinux/config

    <script src="https://code.csdn.net/snippets/1885802"></script>

• 配置 /etc/hosts

    <script src="https://code.csdn.net/snippets/1885826"></script>

• 配置ssh

      <script src="https://code.csdn.net/snippets/1885833"></script>

• /etc/ssh/ssh_config

        <script src="https://code.csdn.net/snippets/1885836"></script>

至此，所有配置基本完成。關閉node1節點，在virtualbox中，選擇配置好的node1，右鍵選擇clone。clone其餘三個節點node2、node3、node4。在其他三個節點中，分別修改

• /etc/sysconfig/network-scripts/ifcfg-enp0s4,把IPADDR="192.168.3.[n]"設置成相應的ip
• /etc/sysconfig/network, 把HOSTNAME=node[n].cdm.com設置成相應的name

在四個節點中運行 sudo service NetworkManager restart,以及 sudo service network restart。 運行完這兩條命令之後，所有節點之間的都可以互相訪問，所有節點都可以訪問外網。