VMware中配置Hadoop環境

P.S.

完成畢業設計時,虛擬機hadoop101及其IP地址已被佔用,撰寫本文時,重新創建了Hadoop100 並按照步驟進行,但是後文對應的完全分佈式還是要用hadoop101 下拷貝文件,所以讀者自己配置時能 區分一下hadoop100 和hadoop101。直接配置hadoop101即可。 

 

目錄

1.虛擬機環境準備:

1.1 克隆虛擬機

1.1.1 創建hadoop_clean

1.1.2 克隆虛擬機hadoop100

1.2  連接XShell 工具

1.3 安裝JDK

1.3.1 卸載現有JDK

1.3.2 將JDK 導入opt/software

1.3.3 在Linux系統下的opt目錄中查看軟件包是否導入成功

1.3.4 解壓JDK到/opt/modules 目錄下

1.3.5 配置JDK環境變量

1.3.6 測試 JDK 是否安裝成功

1.3.7 重啓虛擬機。

1.4 安裝Hadoop

1.4.1 下載安裝包,並將其放入到 /opt/software中

1.4.2 進入到Hadoop安裝包路徑下並解壓安裝文件到/opt/modules 下

1.4.3 查看是否解壓成功

1.4.4 將 Hadoop 添加到環境變量

1.5 Hadoop目錄結構

1.5.1 查看Hadoop目錄結構

1.5.2 重要目錄



 

 

前期準備:
1.VMare WorkStation Pro
2.CentOS-6.10
3.Hadoop-2.9.2
4.Xshell


1.虛擬機環境準備:

1.1 克隆虛擬機

1.1.1 創建hadoop_clean

爲了方便克隆,我們首先配置一臺模板機。命名爲 hadoop_clean。按照正常的流程走下去就可以。

這裏要選擇CentOS-6.10的映像文件

將之命名爲hadoop_clean。

接下來按需分配資源即可。安裝完成後啓動。

啓動完成後關機。需要改兩個設置:

(1). 更改網絡模式   

(2). 更改映像文件

 hadoop_clean的安裝大功告成。

1.1.2 克隆虛擬機hadoop100

利用hadoop_clean克隆一臺虛擬機: hadoop100,再次完成上述兩個設置,並啓動。

打開終端進行下述配置:

切換至root用戶:

1.1.2.1 修改網絡屬性

vim /etc/udev/rules.d/70-persistent-net.rules 

(1). 刪除紅框部分

(2). 把最後的eth1改成eth0

(3). 複製下ATTR{address}的內容,如上圖的“00:0c:29:b4:c9:b0”

1.1.2.2.修改克隆機的靜態ip  

vim /etc/sysconfig/network-scripts/ifcfg-eth0

(1). 把紅線上的物理地址修改成我們上一步操作中複製下來的物理地址

(2). 加上ip地址網關dns。具體對應自己的本機ip地址要查看Vmware中 (編輯-虛擬網絡編輯器)

1.1.2.2*.修改克隆機的靜態ip

在1.1.2.2 中,我與參考教程中的步驟不同,我是手動配置的IP地址。

  

然後手動配置IP地址。

1.1.2.3.修改主機名

vim /etc/sysconfig/network

修改主機名爲hadoop100

1.1.2.4.添加hadoop用戶:

useradd atlingtree
passwd atlingtree

1.1.2.5 爲hadoop用戶配置root權限

併爲用戶atlingtree加上權限:

vim /etc/sudoers

輸入set nu 可以查看行號,在第92行加入代碼:

atlingtree ALL=(ALL)    NOPASSWD:ALL

1.1.2.6. 修改hosts文件:

vim /etc/hosts

在末尾添加:

192.168.100.10 hadoop100
192.168.100.11 hadoop101
192.168.100.12 hadoop102
192.168.100.13 hadoop103
192.168.100.14 hadoop104

1.1.2.7 關閉防火牆

chkconfig iptables off

完畢,重啓虛擬機。

這裏要用atlingtree 用戶登錄

可以看到網絡已經連接,

嘗試ping一下自己的主機與百度,都可以ping通。

1.1.2.8 在/opt目錄下創建文件夾

(1) 在/opt目錄下創建module、software文件夾

[atlingtree@hadoop ~]$ cd /opt
[atlingtree@hadoop100 opt]$ sudo mkdir modules
[atlingtree@hadoop100 opt]$ sudo mkdir software
[atlingtree@hadoop opt]$ ls
modules  rh  software

(2). 修改 modules、software 文件夾的所有者cd

[atlingtree@hadoop100 opt]$ sudo chown atlingtree:atlingtree modules/ software/

重新啓動。


1.2  連接XShell 工具

打開XShell,新建鏈接

 

進行配對之後成功。


1.3 安裝JDK

1.3.1 卸載現有JDK

1.3.1.1 查詢是否安裝Java軟件:

[atlingtree@hadoop100 opt]$ rpm -qa | grep java

1.3.1.2 如果安裝的版本低於1.7,卸載該JDK:

[atlingtree@hadoop100 opt]$ sudo rpm -e 軟件包

1.3.1.2 查看JKD安裝路徑:

[atlingtree@hadoop100 opt]$ which java

1.3.2 將JDK 導入opt/software

將JDK和Hadoop的安裝包直接拖到右邊框中 的對應文件夾下。

1.3.3 在Linux系統下的opt目錄中查看軟件包是否導入成功

[atlingtree@hadoop100 ~]$ cd /opt/software/
[atlingtree@hadoop100 software]$ ls
hadoop-2.9.2.tar.gz  jdk-8u241-linux-x64.tar.gz

1.3.4 解壓JDK到/opt/modules 目錄下

[atlingtree@hadoop100 software]$ tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/modules/

1.3.5 配置JDK環境變量

1.3.5.1 獲取JDK路徑

[atlingtree@hadoop software]$ cd /opt/modules/jdk1.8.0_241/
[atlingtree@hadoop100 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

1.3.5.2 打開 並修改 /etc/profile 文件

[atlingtree@hadoop100 ~]$ sudo vim /etc/profile

在profile 文件末尾添加JDK路徑

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

(上圖中得jkd8是因爲我更改了jdk的名字,按照正常獲取的JDK路徑配置即可)

1.3.5.3 保存後退出

vim 編輯器模式下,退出的操作: 先按 冒號 “ : ” , 然後發現光標跳到了最下方。 輸入wq即可退出

1.3.5.4 刷新文件,讓修改後的文件生效

[atlingtree@hadoop100 ~]$ source /etc/profile

1.3.6 測試 JDK 是否安裝成功

[atlingtree@hadoop100 ~]# java -version
java version "1.8.0_144"

1.3.7 重啓虛擬機。

[atlingtree@hadoop101 jdk1.8.0_144]$ sync
[atlingtree@hadoop101 jdk1.8.0_144]$ sudo reboot

1.4 安裝Hadoop

1.4.1 下載安裝包,並將其放入到 /opt/software中

在安裝JDK時已經順手將Hadoop的安裝包放進去了。

1.4.2 進入到Hadoop安裝包路徑下並解壓安裝文件到/opt/modules 下

[atlingtree@hadoop100 ~]$ cd /opt/software/
[atlingtree@hadoop100 software]$ tar -zxvf hadoop-2.9.2.tar.gz -C /opt/modules/

1.4.3 查看是否解壓成功

[atlingtree@hadoop100 software]$ ls /opt/modules/
hadoop-2.9.2

1.4.4 將 Hadoop 添加到環境變量

1.4.4.1 獲取 Hadoop 安裝路徑

[atlingtree@hadoop100 software]$ cd /opt/modules/hadoop-2.9.2
[atlingtree@hadoop100 hadoop-2.9.2]$ pwd
/opt/module/hadoop-2.9.2

1.4.4.2 打開 並修改 /etc/profile 文件

[atlingtree@hadoop100 hadoop-2.9.2]$ sudo vim /etc/profile

在profile文件末尾添加JDK路徑:(shitf+g)

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

1.4.4.3 保存後退出

:wq

1.4.4.4 刷新文件,讓修改後的文件生效

[atlingtree@ hadoop100 hadoop-2.9.2]$ source /etc/profile

1.4.4.5 測試是否安裝成功

[atlingtree@hadoop100 hadoop-2.9.2]$ hadoop version
Hadoop 2.9.2

1.4.4.6 重啓虛擬機

[atlingtree@ hadoop100 hadoop-2.9.2]$ sync
[atlingtree@ hadoop100 hadoop-2.9.2]$ sudo reboot

1.5 Hadoop目錄結構

1.5.1 查看Hadoop目錄結構

[atlingtree@hadoop101 hadoop-2.9.2]$ ll
總用量 52
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月  22 2017 bin
drwxr-xr-x. 3 atlingtree atlingtree 4096 5月  22 2017 etc
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月  22 2017 include
drwxr-xr-x. 3 atlingtree atlingtree 4096 5月  22 2017 lib
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月  22 2017 libexec
-rw-r--r--. 1 atlingtree atlingtree 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atlingtree atlingtree  101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atlingtree atlingtree 1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月  22 2017 sbin
drwxr-xr-x. 4 atlingtree atlingtree 4096 5月  22 2017 share

1.5.2 重要目錄

bin目錄:存放對Hadoop相關服務(HDFS,YARN)進行操作的腳本
etc目錄:Hadoop的配置文件目錄,存放Hadoop的配置文件
lib目錄:存放Hadoop的本地庫(對數據進行壓縮解壓縮功能)
sbin目錄:存放啓動或停止Hadoop相關服務的腳本
share目錄:存放Hadoop的依賴jar包、文檔、和官方案例

 

環境搭建就完成了。
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章