hadoop-3.0.0-beta1運維手冊(003):安裝全分佈式HDFS3.0.0-準備軟件和配置CentOS網絡

3.1 準備軟件

HDFSHadoop的一個組件,它並沒有單獨發佈,因此,我們需要下載Hadoop的安裝包。

1. 下載Hadoop3.0.0-beta1,保存到d:\hdfs3\soft

3-1 Hadoop存儲路徑圖

有關beta1版本的介紹:它是API穩定的版本,但不保證質量,並且不打算用於生產環境。因此,此版本可以用來提前學習,待stable版本出來後,可以直接替換上生產環境。

 

 2. 下載JDK

Hadoop是用java編寫的,JDK提供了java程序的運行環境,因此,需要下載JDK

Hadoop3.0版本要求JDK1.8以上,不兼容JDK1.7以及之前的版本。

JDK1.832bit64bit兩種,那麼我們應該選哪一個版本呢?

Java程序本身不區分32bit64bit,因爲它面對的是一個統一的JVMJDK則區分32bit64bitJDK 32bit表示它運行在32位機器上,JDK 64bit則表示它運行在64位的機器上。

我們安裝的Centos764位的,因此,要選擇64bitJDK

下載jdk-8u152-linux-x64.tar.gz

同樣保存到d:\hdfs3\soft

3.2 配置Centos網絡

我們下載的Hadoop3.0.0JDK1.8保存在Host(Win7)上,需要通過網絡上傳到GuestCentos7)。因此,需要配置Guest上的網絡,使得HostGuest能夠聯通。

HostGuest之間的網絡連接如下圖所示:

 

 

3-2 Vmware workstation host-only虛擬網絡連接圖

1. HostGuest之間是通過Host-only虛擬網絡連接的。

注意HostGuest之間有3種類型的虛擬網絡可以連接,分別是BridgedNATHost-only。其中Bridge可以使得Guest能夠被Host所連接的網絡上的機器所訪問,但它需要Host真正連接到了一個物理網絡;NAT可以共享Host的外部IP上互聯網;Host-onlyGuestHost之間的一個私有網絡,它不要求Host真正連接到一個物理網絡,因此,最方便。有關這三種網絡的原理和使用,請參考艾叔的高清視頻VMware Workstation虛擬機實戰入門》,視頻中有詳細的說明。

2. Host連接到虛擬網絡的網卡名字是VMNet1。這是如何知道的呢?我們可以打開VMware workstationVirtual Network Editor,如下圖。

 

3-3 Vmware workstation 虛擬網絡編輯器

然後,我們可以看到虛擬網絡的信息,我們看到的VMnet0對應Bridged虛擬網絡,VMnet1對應Host-only虛擬網絡;VMnet8對應NAT虛擬網絡。

選中VMnet1,向下紅色的部分,我們可以看到Host virtual adapter name: VMware Network Adapter VMnet1”,這個就是Host-only虛擬網絡中,Host主機的虛擬網卡名。如果我們選中VMnet0,則可以看到Bridged虛擬網絡中,Host主機的虛擬網卡名爲VMnet0

3-4 Vmware workstation host-only虛擬網絡配置界面

3. VMnet1IP地址是192.168.182.1。這個是如何知道的呢?

首先,我們看VMnet1虛擬網絡子網地址是:192.168.182.0VMnet1網卡具體的IP地址,要到Windows的網絡連接裏去看。

打開Windows的網絡連接,找到網卡VMnet1,如下。

3-5 Vmware workstation host虛擬網卡

查看IP地址,可以看到是192.168.182.1

3-6 Vmware workstation host-only虛擬網絡連接圖

驗證,在CMDping 192.168.182.1

注意:這一步非常重要!!!

3-7 Vmware workstation host ping自己

注意:如果Ping不通的話,Guest關機,然後嘗試恢復虛擬機網絡的默認值,如下,點擊Restore Default

恢復需要等待一段時間,然後Host-only的子網地址會改變,VMnet1IP同樣會改變。因此,需要再次查看VMnet1IP,然後ping這個新的IP

3-8 Vmware workstation 恢復默認網絡設置圖

4. 我們要檢查Guest是否選擇了Host-only網絡

首先,確認下面的Device status的複選框都選中;

其次,Network connection下面的單選框要選中:Host-only,如下紅線所示。

3-9 Vmware workstation 網絡設備狀態圖

5. 查看Guest上的網絡的網卡和IP

Guest登錄

輸入命令:ip a

將顯示Guest上的網卡和IP信息,我們可以看到Guest上有一塊網卡,名字爲ens33,它的Mac地址爲:00:0C:29:77:B8:70IP地址由於沒有設置,因此,在mac地址下面沒有顯示。

3-10 CentOS網絡設備查看圖

6. 設置IP

使用文本編輯器vi(有關Linux命令,vi的使用,請參考高清視頻《艾叔:Linux入門-零基礎會用Linux,精選了Linux下使用最頻繁的命令進行講解,用最短的時間掌握最有用的操作。)打開網卡的配置文件。

3-11 vi編輯網卡配置文件

內容如下

3-12 CentOS網卡配置圖

按下i,應該可以看到左下角出現INSERT

3-13 vi插入狀態圖

編輯下面紅色的部分

3-14 新的CentOS網卡配置圖

按下ESC,應該可以看到左下角的INSERT消失

輸入引號:,左下角應該出現一個引號

3-15 vi末行狀態

輸入wq

3-16 vi保存退出

回車,此時保存文件並退出

關閉網卡

3-17 CentOS關閉網絡

啓動網卡,將加載我們剛纔的配置

 

3-18 CentOS開啓網絡

驗證,可以看到網卡ens33IP已經設置

3-19 CentOS查看網絡

重啓,看配置是否仍然生效

 

3-20 CentOS重啓

重啓登錄,查看IP地址,可以看到192.168.182.11,說明配置已經生效

 

3-21 CentOS查看IP地址

驗證GuestHost是否聯通

HostPing Guest,看是否能夠Ping通,如下所示,是可以Ping通的。

3-22 Host ping Guest

3.3 上傳軟件到Centos

1. 創建普通用戶

在上傳軟件之前,我們要在Centos上創建一個普通用戶,在Linux下,我們要儘可能地在普通用戶下工作,這是一個好習慣。

使用下面的命令創建一個普通用戶,用戶名爲user,並且爲該用戶���������建它的home目錄。

3-23 創建普通用戶及其home目錄

設置user用戶的密碼,爲簡單起見,我們密碼同樣設置爲123456

注意,設置密碼的命令爲:passwd user

在下面的橫線處,輸入123456,注意123456不會有回顯。

3-24 設置普通用戶密碼

如果我們可以看到sucessfully,則說明設置成功。

切換到user,切換過去後,我們可以看到#變成了$$表示當前用戶爲普通用戶。

3-25 切換到普通用戶

打印當前工作路徑,是/home/user,這個是userhome目錄,後續我們將軟件上傳到此目錄下。

3-26 顯示當前工作路徑

2. 確認sshd服務

通過sshd服務,我們可以軟件從Host上傳到Guest,下面的命令將確認Centos上是否開啓了sshd服務,如果可以看到紅圈內的22,則說明服務已經開啓。

 

3-27 顯示當前端口

3. 下載WinSCP

WinSCP是一個WindowsHost)下的軟件,它與Guest上的sshd交互,可以完成文件的傳輸。

下載後,直接解壓即可,無需安裝。

3-28 解壓目錄

點擊WinSCP

在右側文件協議中選擇SCP

主機名:192.168.182.11

端口號:22

用戶名:user,密碼:123456

點擊登錄

 

3-29 winscp連接配置界面

在彈出的對話框中選擇Y

 

3-30 winscp連接對話框

登錄,界面如下,左側爲Host主機的目錄,右側爲Guest主機的目錄

3-31 winscp傳輸界面

右側Guest目錄爲/home/user

在左側找到我們要上傳的文件,然後將其拖拽到右側,如下,注意紅線所指的路徑是/home/user

 

3-32 winscp本地存儲路徑

上一篇:hadoop-3.0.0-beta1運維手冊(002):安裝Guest操作系統》

原創文章,轉載請註明: 轉載自大數據學習網,作者:艾叔

本文鏈接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章