大数据(一)--------环境搭建

一、安装虚拟机及Linux

        虚拟机我装的VMware14，Linux我装的CentOS8，具体安装的过程网上教程很多，我就不再赘述了，装的过程中遇到的问题我都汇总在了另一篇文章中”大数据学习遇到的那些坑“。

      能到上图所示的时候就说明虚拟机以及Linux系统已经安装好了。

二、让虚拟机能够联网

1、虚拟机设置固定IP

        将虚拟机设置成固定ip的好处在于每次使用它的ip都是固定的，方便，而且有时候电脑连无线的时候ip回经常变化，而且家里的网和公司的网ip不一样，如果不设置成固定ip的话每次都需要手动去执行读取文件统一ip的操作，不是方便。

        设置方法：打开VMware并保证里面的系统都处于关闭状态；然后点击“编辑  ---->  虚拟网络编辑器”

        按图示步骤依次点击进行设置。比如我这里想设置的ip是“192.168.1.***”，所以编号为3的地方需要设置为 192.168.1.0，编号4的地方需要设置为如下：只需修改所示位置即可

       编号5的位置设置如下：所示位置前三个网段保持一致，最后一个是一个范围，可设置在0-255之间，需要注意的是你之后打算用的IP需要在这个范围之内；比如我之后打算用 192.168.1.112，因此我这设置的范围就是 110-254 。

2、windows网络设置

        找到下图所示的东西，右键” 属性“；

        打开之后双击 ipv4

        使用gudingip并作如下设置

3、关闭防火墙

      进入虚拟机后打开centOS系统并登录，进行如下操作：

      查看防火墙：systemctl status firewalld.service

      关闭防火墙：systemctl stop firewalld.service

      禁用防火墙：systemctl disable firewalld.service

4、修改selinux

     用命令打开该文件： vi /etc/selinux/config

     将 SELINUX=enforcing 改为 SELINUX=disabled

5、修改IP

    使用如下命令打开文件进行修改配置：

     vi /etc/sysconfig/network-scripts/ifcfg-ens33     用tab键自动补全，因为最后带颜色的部分不同电脑可能会不太一样

修改以下几项：带颜色的表示修改或增加

BOOTPROTO=static

ONBOOT=yes

IPADDR=192.168.1.111 

GATEWAY=192.168.1.2

DNS1=8.8.8.8

DNS2=8.8.4.4

NETMASK=255.255.255.0

 

    使用命令打开文件：vi /etc/resolv.conf

 

nameserver 8.8.8.8

nameserver 8.8.4.4

 

6、重启网络

       service network restart 

       CentOS7及之前是这个命令，之后的版本命令有所变化。

 

上面的操作全部做完之后就可以检查能否连上网了。

 检测能否连外网：ping www.baidu.com

检查能否连本机：ping 192.168.1.2

       出现如下图所示的状态表示虚拟机系统可以联网了。

7、IP与主机名进行映射

      使用命令：  vi  /etc/hosts    打开文件，添加下面的设置

192.168.1.111 bigdata111

192.168.1.112 bigdata112

192.168.1.113 bigdata113

       再在 windows 的 C:\Windows\System32\drivers\etc 路径下找到 hosts 并添加

 192.168.1.111 bigdata111

192.168.1.112 bigdata112

192.168.1.113 bigdata113

      做这个映射的目的在于将主机名字和唯一IP进行绑定，之后就可以使用主机名更方便的代替IP进行操作。

三、用Xshell连接虚拟机

         首先点击图标新建连接

          在输入连接的主机ip，之后点击”用户身份验证

         输入用户名和密码后点击“确定”开始连接；

           然后出现的弹出框点击“保存并接受”就可以了，连接上之后状态如下：

四、安装并配置JDK及hadoop

          先查询是否有java，使用命令 rpm -qa|grep java查看，如果有就不用安装，如果不想要需要卸载可以使用命令  rpm -e 软件包名字 ；我这没有需要安装。

         首先在Linux系统的 /opt目录下新建两个文件夹，module作为安装路径，software作为安装包路径

        然后点击Xshell里面的文件传输，将左边windows里面的文件传输到右边Linux对应的目录下

       传了两个安装包，一个是java的jdk，一个是hadoop，注意两个都要是Linux系统的。之后使用命令将安装包解压到module目录下： tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/，hadoop的解压方式相同

环境变量的配置

          解压完之后进入到对应的目录之下配置环境变量。首先到对应的目录下找到JDK和HADOOP的绝对路径，如图：

        然后执行命令 vi /etc/profile 打开该文件，在最后添加环境变量：

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

 

export HADOOP_HOME=/opt/module/hadoop-2.8.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

        添加并保存后，执行命令 source /etc/profile 使刚才的配置被激活

验证是否配置成功

         执行命令 javac，能看到很多java相关信息；再执行命令 java -version能看到java的版本信息则说明JDK配置成功。

          start-dfs.sh，不执行该命令，但是用 tab 键能够补全该命令则说明 HADOOP 配置成功。

再执行命令 jps 查看进程，看到有进程在运行。

 

          至此，基本的 LINUX 环境已经搭建好，而且装好了 java 和 hadoop，接下来就可以搭建伪分布式和完全分布式了。