大數據(一)--------環境搭建

一、安裝虛擬機及Linux

        虛擬機我裝的VMware14,Linux我裝的CentOS8,具體安裝的過程網上教程很多,我就不再贅述了,裝的過程中遇到的問題我都彙總在了另一篇文章中”大數據學習遇到的那些坑“。

      能到上圖所示的時候就說明虛擬機以及Linux系統已經安裝好了。

二、讓虛擬機能夠聯網

1、虛擬機設置固定IP

        將虛擬機設置成固定ip的好處在於每次使用它的ip都是固定的,方便,而且有時候電腦連無線的時候ip回經常變化,而且家裏的網和公司的網ip不一樣,如果不設置成固定ip的話每次都需要手動去執行讀取文件統一ip的操作,不是方便。

        設置方法:打開VMware並保證裏面的系統都處於關閉狀態;然後點擊“編輯  ---->  虛擬網絡編輯器”

        按圖示步驟依次點擊進行設置。比如我這裏想設置的ip是“192.168.1.***”,所以編號爲3的地方需要設置爲 192.168.1.0,編號4的地方需要設置爲如下:只需修改所示位置即可

       編號5的位置設置如下:所示位置前三個網段保持一致,最後一個是一個範圍,可設置在0-255之間,需要注意的是你之後打算用的IP需要在這個範圍之內;比如我之後打算用 192.168.1.112,因此我這設置的範圍就是 110-254 。

2、windows網絡設置

        找到下圖所示的東西,右鍵” 屬性“;

        打開之後雙擊 ipv4

        使用gudingip並作如下設置

3、關閉防火牆

      進入虛擬機後打開centOS系統並登錄,進行如下操作:

      查看防火牆:systemctl status firewalld.service

      關閉防火牆:systemctl stop firewalld.service

      禁用防火牆:systemctl disable firewalld.service

4、修改selinux

     用命令打開該文件: vi /etc/selinux/config

     將 SELINUX=enforcing 改爲 SELINUX=disabled

5、修改IP

    使用如下命令打開文件進行修改配置:

     vi /etc/sysconfig/network-scripts/ifcfg-ens33     用tab鍵自動補全,因爲最後帶顏色的部分不同電腦可能會不太一樣

修改以下幾項:帶顏色的表示修改或增加

BOOTPROTO=static

ONBOOT=yes

IPADDR=192.168.1.111 

GATEWAY=192.168.1.2

DNS1=8.8.8.8

DNS2=8.8.4.4

NETMASK=255.255.255.0

 
    使用命令打開文件:vi /etc/resolv.conf
 
nameserver 8.8.8.8
nameserver 8.8.4.4

 

6、重啓網絡

       service network restart 

       CentOS7及之前是這個命令,之後的版本命令有所變化。

 

上面的操作全部做完之後就可以檢查能否連上網了。

 檢測能否連外網:ping www.baidu.com

檢查能否連本機:ping 192.168.1.2

       出現如下圖所示的狀態表示虛擬機系統可以聯網了。

7、IP與主機名進行映射

      使用命令:  vi  /etc/hosts    打開文件,添加下面的設置

192.168.1.111 bigdata111
192.168.1.112 bigdata112
192.168.1.113 bigdata113

       再在 windows 的 C:\Windows\System32\drivers\etc 路徑下找到 hosts 並添加

 192.168.1.111 bigdata111

192.168.1.112 bigdata112

192.168.1.113 bigdata113

      做這個映射的目的在於將主機名字和唯一IP進行綁定,之後就可以使用主機名更方便的代替IP進行操作。

三、用Xshell連接虛擬機

         首先點擊圖標新建連接

          在輸入連接的主機ip,之後點擊”用戶身份驗證

         輸入用戶名和密碼後點擊“確定”開始連接;

           然後出現的彈出框點擊“保存並接受”就可以了,連接上之後狀態如下:

四、安裝並配置JDK及hadoop

          先查詢是否有java,使用命令 rpm -qa|grep java查看,如果有就不用安裝,如果不想要需要卸載可以使用命令  rpm -e 軟件包名字 ;我這沒有需要安裝。

         首先在Linux系統的 /opt目錄下新建兩個文件夾,module作爲安裝路徑,software作爲安裝包路徑

        然後點擊Xshell裏面的文件傳輸,將左邊windows裏面的文件傳輸到右邊Linux對應的目錄下

       傳了兩個安裝包,一個是java的jdk,一個是hadoop,注意兩個都要是Linux系統的。之後使用命令將安裝包解壓到module目錄下: tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/,hadoop的解壓方式相同

環境變量的配置

          解壓完之後進入到對應的目錄之下配置環境變量。首先到對應的目錄下找到JDK和HADOOP的絕對路徑,如圖:

        然後執行命令 vi /etc/profile 打開該文件,在最後添加環境變量:

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
 
export HADOOP_HOME=/opt/module/hadoop-2.8.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

        添加並保存後,執行命令 source /etc/profile 使剛纔的配置被激活

驗證是否配置成功

         執行命令 javac,能看到很多java相關信息;再執行命令 java -version能看到java的版本信息則說明JDK配置成功。

          start-dfs.sh,不執行該命令,但是用 tab 鍵能夠補全該命令則說明 HADOOP 配置成功。

再執行命令 jps 查看進程,看到有進程在運行。

 

          至此,基本的 LINUX 環境已經搭建好,而且裝好了 java 和 hadoop,接下來就可以搭建僞分佈式和完全分佈式了。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章