Spark2.0 + Hadoop2.7.2 + Centos7 集群部署

Centos7 集群部署

1. 到官网下载 virtualbox安装文件 https://www.virtualbox.org/wiki/Downloads
2. 到官网下载centos7镜像文件  http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso
3. 安装好virtualbox之后，把centos7镜像文件导入virtualbox中，内存和磁盘空间根据机器情况自行配置(注：本人搭建的是4 个node的集群，存储空间需根据各自需求配置)

• 安装centos7 的时候，在其中某一步选择 GNOME Desktop, 并在右侧选择相应的安装软件。这样安装好centos之后，就不用自己下载网卡、显卡等系统软件了。

安装centos7 之后， 然后进行 Network Configuration。

• 首先关闭centos7，在virtualbox中再加入一个Adapter，其中一个Adapter 的 Attached to方式为 NAT，这块网卡是用来连接网络的。另外一个Adapter 的 连接方式为 Internal Network, 这块网卡是为了集群内部各个节点之间的通信。
• 配置/etc/sysconfig/network

              <script src="https://code.csdn.net/snippets/1885762"> </script>

• 配置/etc/sysconfig/network-scripts/ifcfg-enp0s3,这个文件是系统默认创建有的，修改该文件即可。该配置对应于NAT连接方式，是为了访问外网。

             <script  src="https://code.csdn.net/snippets/1885794"></script>

            

• 配置/etc/sysconfig/network-scripts/ifcfg-enp0s4，这个文件需要自己手动创建，对应于Internal Network 连接方式，是为了节点之间相互通信。

             <script src="https://code.csdn.net/snippets/1885800"></script>

• 配置 /etc/selinux/config

    <script src="https://code.csdn.net/snippets/1885802"></script>

• 配置 /etc/hosts

    <script src="https://code.csdn.net/snippets/1885826"></script>

• 配置ssh

      <script src="https://code.csdn.net/snippets/1885833"></script>

• /etc/ssh/ssh_config

        <script src="https://code.csdn.net/snippets/1885836"></script>

至此，所有配置基本完成。关闭node1节点，在virtualbox中，选择配置好的node1，右键选择clone。clone其余三个节点node2、node3、node4。在其他三个节点中，分别修改

• /etc/sysconfig/network-scripts/ifcfg-enp0s4,把IPADDR="192.168.3.[n]"设置成相应的ip
• /etc/sysconfig/network, 把HOSTNAME=node[n].cdm.com设置成相应的name

在四个节点中运行 sudo service NetworkManager restart,以及 sudo service network restart。 运行完这两条命令之后，所有节点之间的都可以互相访问，所有节点都可以访问外网。