一、安裝虛擬機及Linux
虛擬機我裝的VMware14,Linux我裝的CentOS8,具體安裝的過程網上教程很多,我就不再贅述了,裝的過程中遇到的問題我都彙總在了另一篇文章中”大數據學習遇到的那些坑“。
能到上圖所示的時候就說明虛擬機以及Linux系統已經安裝好了。
二、讓虛擬機能夠聯網
1、虛擬機設置固定IP
將虛擬機設置成固定ip的好處在於每次使用它的ip都是固定的,方便,而且有時候電腦連無線的時候ip回經常變化,而且家裏的網和公司的網ip不一樣,如果不設置成固定ip的話每次都需要手動去執行讀取文件統一ip的操作,不是方便。
設置方法:打開VMware並保證裏面的系統都處於關閉狀態;然後點擊“編輯 ----> 虛擬網絡編輯器”
按圖示步驟依次點擊進行設置。比如我這裏想設置的ip是“192.168.1.***”,所以編號爲3的地方需要設置爲 192.168.1.0,編號4的地方需要設置爲如下:只需修改所示位置即可
編號5的位置設置如下:所示位置前三個網段保持一致,最後一個是一個範圍,可設置在0-255之間,需要注意的是你之後打算用的IP需要在這個範圍之內;比如我之後打算用 192.168.1.112,因此我這設置的範圍就是 110-254 。
2、windows網絡設置
找到下圖所示的東西,右鍵” 屬性“;
打開之後雙擊 ipv4
使用gudingip並作如下設置
3、關閉防火牆
進入虛擬機後打開centOS系統並登錄,進行如下操作:
查看防火牆:systemctl status firewalld.service
關閉防火牆:systemctl stop firewalld.service
禁用防火牆:systemctl disable firewalld.service
4、修改selinux
用命令打開該文件: vi /etc/selinux/config
將 SELINUX=enforcing 改爲 SELINUX=disabled
5、修改IP
使用如下命令打開文件進行修改配置:
vi /etc/sysconfig/network-scripts/ifcfg-ens33 用tab鍵自動補全,因爲最後帶顏色的部分不同電腦可能會不太一樣
修改以下幾項:帶顏色的表示修改或增加
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.111
GATEWAY=192.168.1.2
DNS1=8.8.8.8
DNS2=8.8.4.4
NETMASK=255.255.255.0
6、重啓網絡
service network restart
CentOS7及之前是這個命令,之後的版本命令有所變化。
上面的操作全部做完之後就可以檢查能否連上網了。
檢測能否連外網:ping www.baidu.com
檢查能否連本機:ping 192.168.1.2
出現如下圖所示的狀態表示虛擬機系統可以聯網了。
7、IP與主機名進行映射
使用命令: vi /etc/hosts 打開文件,添加下面的設置
再在 windows 的 C:\Windows\System32\drivers\etc 路徑下找到 hosts 並添加
192.168.1.111 bigdata111
192.168.1.112 bigdata112
192.168.1.113 bigdata113
做這個映射的目的在於將主機名字和唯一IP進行綁定,之後就可以使用主機名更方便的代替IP進行操作。
三、用Xshell連接虛擬機
首先點擊圖標新建連接
在輸入連接的主機ip,之後點擊”用戶身份驗證
輸入用戶名和密碼後點擊“確定”開始連接;
然後出現的彈出框點擊“保存並接受”就可以了,連接上之後狀態如下:
四、安裝並配置JDK及hadoop
先查詢是否有java,使用命令 rpm -qa|grep java查看,如果有就不用安裝,如果不想要需要卸載可以使用命令 rpm -e 軟件包名字 ;我這沒有需要安裝。
首先在Linux系統的 /opt目錄下新建兩個文件夾,module作爲安裝路徑,software作爲安裝包路徑
然後點擊Xshell裏面的文件傳輸,將左邊windows裏面的文件傳輸到右邊Linux對應的目錄下
傳了兩個安裝包,一個是java的jdk,一個是hadoop,注意兩個都要是Linux系統的。之後使用命令將安裝包解壓到module目錄下: tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/,hadoop的解壓方式相同
環境變量的配置
解壓完之後進入到對應的目錄之下配置環境變量。首先到對應的目錄下找到JDK和HADOOP的絕對路徑,如圖:
然後執行命令 vi /etc/profile 打開該文件,在最後添加環境變量:
添加並保存後,執行命令 source /etc/profile 使剛纔的配置被激活
驗證是否配置成功
執行命令 javac,能看到很多java相關信息;再執行命令 java -version能看到java的版本信息則說明JDK配置成功。
start-dfs.sh,不執行該命令,但是用 tab 鍵能夠補全該命令則說明 HADOOP 配置成功。
再執行命令 jps 查看進程,看到有進程在運行。
至此,基本的 LINUX 環境已經搭建好,而且裝好了 java 和 hadoop,接下來就可以搭建僞分佈式和完全分佈式了。