安裝Hadoop集羣的準備工作(詳細附圖)

​ 在搭建Hadoop集羣之前,已經在虛擬機上安裝了三臺Linux服務器,並且Linux的IP地址也已經配置好了,所以安裝Linux服務器的過程省略了。本文主要講述如何在此基礎上,逐步搭建Hadoop環境。
**備註:**如果需要相關軟件,可以私信發百度雲鏈接

設備信息

  • 虛擬機版本:VMware-workstation-full-12.5.0-4352439.exe
  • Linux鏡像:CentOS-7-x86_64-DVD-1511.iso
  • 三臺Linux服務器,SecureCRT遠程連接工具,WinSCP遠程文件傳輸工具。注意:SecureCRT是爲了用命令行來操作,當然也可以進行文件傳輸,如果Linux操作命令不是很熟練的話,建議還是用SecureCRT來加強印象,如果熟練的話,可以直接用WinSCP來進行文件傳輸操作。

Linux服務器信息:主要是三臺Linux服務器的IP地址

  • 第一臺:192.168.152.128
  • 第二臺:192.168.152.129
  • 第三臺:192.168.152.130

Linux連接外網設置
首先更改網絡適配器:
在這裏插入圖片描述
找到Vmnet8的網卡,點擊屬性進入
在這裏插入圖片描述
點擊修改ipv4的地址,個人設置的爲192.168.152.1

在這裏插入圖片描述
以上步驟完成之後,Windows的ip就配置好了

然後配置Linux的信息:
首先打開Linux的虛擬網絡編輯器,選擇Vmnet8的nat模式,並將IP地址寫成剛剛在Windows上的Ipv4的地址,子網掩碼相同。
在這裏插入圖片描述
接着設置Nat,點擊NAT設置
在這裏插入圖片描述
將子網和網關還是寫成Windows的Ipv4的地址,注意,最後一位隨意。
在這裏插入圖片描述
最後是DHCP設置
點擊DHCP設置
在這裏插入圖片描述
設置IP起始地址和結束地址,前面三位相同,最後一位介於1~254之間即可。

在這裏插入圖片描述
至此,Windows和Linux的IP就配置成完成了!

接着就是修改Linux的IP,擇其中一臺主機,
然後輸入:vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
將BOOTPRPTO這一行註釋掉,然後添加
IPADDR=192.168.152.128
NETMASK=255.255.255.0
GATEWAY=192.168.152.2
DNS1=8.8.8.8
然後退出並保存。
在這裏插入圖片描述
然後重啓網卡,輸入命令:service network restart
接着查看IP是否修改成功,輸入命令:ip addr
在這裏插入圖片描述
結果顯示,IP修改成功。
在ping 一下百度,看是否能夠ping通,輸入命令: www.baidu.com
在這裏插入圖片描述
結果顯示能夠ping通。


1:集羣準備工作

​1.1 :關閉防火牆

​ 查看防火牆狀態:firewall-cmd --state

​ 當前關閉:systemctl stop firewalld ------ 關閉當前的防火牆,但下次重啓之後防火牆還會生效;

​ 永久關閉:systemctl -disable firewalld ------永久性關閉防火牆,以後重啓之後防火牆自動關閉。

因爲要進行遠程連接,所以選擇永久關閉防火牆

在這裏插入圖片描述

注意:三臺機器都要永久性關閉,然後關閉Linux服務器再重啓,用SecureCRT重新連接之後,輸入命令:firewall-cmd --state 來檢查防火牆狀態,如果顯示 not running,表示防火牆已經永久性關閉:
在這裏插入圖片描述

結果顯示,防火牆已經關閉


1.2:永久性修改主機名

​ 總是輸入IP地址顯得太繁瑣,並且容易出錯,所以修改主機名的目的是爲了後面方便文件傳輸和信息配置。

​ 修改主機名命令:vi /etc/hosts

​ 注意:需要重啓生效->reboot

查看當前主機名:是在當前192.168.152.128的主機上
在這裏插入圖片描述

​ 然後輸入vi /etc/hosts修改主機名,

在這裏插入圖片描述

查看是否修改成功:cat /etc/hosts

在這裏插入圖片描述

​ 結果顯示修改成功!

注意:這是在192.168.152.128的服務器上修改主機名,因此後面兩臺192.168.152.129和192.168.152.129也需要修改步驟和上面一樣,但是這裏有一個技巧:將192.168.152.128修改後的信息直接傳輸到後兩臺機器中

傳輸命令:scp -r /etc/hosts 192.168.152.129:/etc/

​ scp:表示傳輸命令

​ -r :表示傳輸文件

​ /etc/hosts :表示當前需要傳輸文件的所在目錄

​ 192.168.152.129 :表示要傳輸的服務器IP地址

​ /etc/ :表示要傳輸的服務器的目錄,因爲之前是在128的主機的/etc/hosts目下修改主機名,所以要傳輸到129主機的etc的目錄下,128的hosts目錄會將129的hosts目錄覆蓋。

在這裏插入圖片描述

然後在129的主機上查看是否修改成功,命令:

在這裏插入圖片描述
​ 顯示修改成功。

在128的主機上,再將128的信息傳輸到130的主機上,步驟同上,只需要將傳輸命令改成

scp -r /etc/hosts 192.168.152.130:/etc/ 即可

結果顯示:
在這裏插入圖片描述

​ 130的主機也修改成功!

當三臺機器主機名都修改成功後,需要重啓生效

在每臺機器下輸入命令:reboot


1.3: 配置映射文件

​ 需要的配置版本信息:

  • jdK版本:jdk-8u144-linux-x64.tar.gz

在128的主機上,進行遠程傳輸,輸入命令:Alt+p 後,會打開了128主機的SFTP頁面。
在這裏插入圖片描述然後將jdk-8u144-linux-x64.tar.gz拖拽到SFTP頁面。

回到128主機上,mkdir hd ,這裏是創建一個hd文件,爲了將jdk-8u144-linux-x64.tar.gz解壓到hd文件中。

然後輸入解壓命令:tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/hd/
在這裏插入圖片描述

顯示jdk-8u144-linux-x64.tar.gz上傳成功,文件夾hd創建成功,並且hd文件夾中也有了jdk-8u144-linux-x64.tar.gz解壓後的文件,所以將原始壓縮包刪除,節省資源。

刪除命令: rm -rf jdk-8u144-linux-x64.tar.gz


1.4:配置環境變量

​ Linux配置java環境變量的目的與Windows相同,是爲了可以在任意目錄下使用java。

​ 進入上面創建的hd文件夾中,進行修改配置文件

查看jdk 所在的路徑:pwd
在這裏插入圖片描述

修改配置文件命令:vi /etc/profile

在最後添加兩行代碼: export JAVA_HOME=/root/hd/jdk1.8.0_144
export PATH=PATH:PATH:JAVA_HOME/bin
在這裏插入圖片描述
修改好之後,注意:一定要加載環境變量 source /etc/profile
在這裏插入圖片描述

在任意目錄下,輸入java後,能夠顯示信息,表示環境變量已經加載成功。


1.5:發送到另外兩臺機器

​ 當128(也就是hd9-01的機器,因爲主機名已經修改好)的環境變量加載完成之後,其他兩臺(129,130,分別對應主機名hd9-02,hd9-03)機器。

​ 同樣在128的機器上,用遠程傳輸命令,分別發送到另外兩臺。

傳輸命令:scp -r hd/jdk1.8.0_144/ hd09-02:/root/hd/
在這裏插入圖片描述

在129的機器上查看:
在這裏插入圖片描述

可以看到,雖然129機器之前沒有hd文件夾,但是遠程傳輸之後會自動創建。

接着在回到128機器上,將環境變量也發送到129的機器上

傳輸命令:scp -r /etc/profile hd09-02:/etc
在這裏插入圖片描述

切換到129機器上,查看是否傳輸成功:
在這裏插入圖片描述

結果顯示,傳輸成功。同樣,130機器也是如此。


1.6:免密登錄設置

​ 在剛剛傳輸文件的過程中,每次都需要輸入登錄密碼,有點麻煩,此時,可以設置免密登錄。

免密登陸設置:

  • ssh-keygen
  • ssh-copy-id 自己
  • ssh-copy-id 其他
  • ssh-copy-id 其他

在這裏插入圖片描述

再接着ssh到第二臺機器hd9-02
在這裏插入圖片描述

再接着SSH到第三臺機器
在這裏插入圖片描述

2: 安裝步驟總體大綱

裝好一臺虛擬機後,先進行第一步:配置靜態ip,

(1)
查看防火牆:firewall-cmd --state
關閉防火牆:systemctl stop firewalld
永久性關閉:systemctl disable firewalld.service

查看當前IP: ip addr

修改IP配置:vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
(主要是修改IP)

重啓網卡:service network restart

重新檢查IP是否修改成功:ip addr

注意:一定是先重啓網卡,再檢查IP是否正確,否則顯示的還是原始克隆後的IP地址

(2)將第一臺已經配置成功的虛擬機克隆
同樣進行以上操作。注意,在進行修改IP配置時,不能重複,選擇遞增或者遞減的ip,後面的步驟一樣

然後設置主機名:
vi etc/hostname
然後直接輸入要改的主機名: hd09-01 (只需要輸入一個對應的主機名就行)

三臺機器都修改主機名後,需要重啓Linux,否則不能生效
在secureCRT下重啓: 輸入命令reboot (三臺都需要重啓)
然後secureCRT重新連接三臺服務器,查看主機名是否修改成功:直接輸入命令:hostname

免密登陸設置(爲了傳輸文件到別的主機而不需要輸入密碼):
在主機(192.168.152.128輸入命令:ssh-keygen
第一步在ssh自己: ssh-copy-id hd09-01(hd09-01爲ip192.168.152.128對應的主機名)
第二步ssh hd09-02的機器:ssh-copy-id hd09-02
第三部ssh hd09-03的機器:ssh-copy-id hd09-03

修改映射文件:
命令:vi /etc/hosts
在hd09-01(192.168.152.128)連接的scureCRT下,根據服務器數量,修改成如下格式:
192.168.152.128 hd-01
192.168.152.129 hd-02
192.168.152.130 hd-03

然後發送至hd09-02的主機上:scp -r /etc/hosts 192.168.152.129:/etc/
再發送至hd09-03的主機上:scp -r /etc/hosts 192.168.152.130:/etc/

安裝JDK:
在指定的主機上(hd09-01: 192.168.152.128)的根目錄下,先創建一個文件夾hd,然後alt+p 再cd hd進入目錄,
上傳完畢之後,進入hd,查看是否上傳成功

修改環境變量: vi /etc/profile  
進入配置頁面後,在最後添加如下語句:
export JAVA_HOME=/root/hd/jdk1.8.0_144   ---注意,如果不知道jdk路徑,可以克隆當前會話,進入jdk目錄下,
                    輸入pwd 然後複製到‘’JAVA_HOME= ‘’的後面
再添加到PATH路徑下:
export PATH=$PATH:$JAVA_HOME/bin

​ 退回根目錄下,然後加載環境變量,輸入命令:
​ source /etc/profile

​ 在任意目錄下輸入:java 沒有報錯證明修改成功

​ 然後再第二臺機子上,創建一個與第一臺主機一樣的目錄: mkdir hd

​ 然後在回到第一臺主機中輸入命令:scp -r hd/jdk1.8.0_144/ hd09-02:hd/jdk1.8.0_144/
​ 再輸入:scp -r hd/jdk1.8.0_144/ hd09-03:hd/jdk1.8.0_144/
​ 然後在每臺機子上輸入java ,看是否報錯

============================================================
其實以上可以一步執行:直接將主機hd傳輸到另外兩臺機子

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章