P.S.
完成畢業設計時,虛擬機hadoop101及其IP地址已被佔用,撰寫本文時,重新創建了Hadoop100 並按照步驟進行,但是後文對應的完全分佈式還是要用hadoop101 下拷貝文件,所以讀者自己配置時能 區分一下hadoop100 和hadoop101。直接配置hadoop101即可。
目錄
1.3.3 在Linux系統下的opt目錄中查看軟件包是否導入成功
1.4.1 下載安裝包,並將其放入到 /opt/software中
1.4.2 進入到Hadoop安裝包路徑下並解壓安裝文件到/opt/modules 下
前期準備:
1.VMare WorkStation Pro
2.CentOS-6.10
3.Hadoop-2.9.2
4.Xshell
1.虛擬機環境準備:
1.1 克隆虛擬機
1.1.1 創建hadoop_clean
爲了方便克隆,我們首先配置一臺模板機。命名爲 hadoop_clean。按照正常的流程走下去就可以。
這裏要選擇CentOS-6.10的映像文件
將之命名爲hadoop_clean。
接下來按需分配資源即可。安裝完成後啓動。
啓動完成後關機。需要改兩個設置:
(1). 更改網絡模式
(2). 更改映像文件
hadoop_clean的安裝大功告成。
1.1.2 克隆虛擬機hadoop100
利用hadoop_clean克隆一臺虛擬機: hadoop100,再次完成上述兩個設置,並啓動。
打開終端進行下述配置:
切換至root用戶:
1.1.2.1 修改網絡屬性
vim /etc/udev/rules.d/70-persistent-net.rules
(1). 刪除紅框部分
(2). 把最後的eth1改成eth0
(3). 複製下ATTR{address}的內容,如上圖的“00:0c:29:b4:c9:b0”
1.1.2.2.修改克隆機的靜態ip
vim /etc/sysconfig/network-scripts/ifcfg-eth0
(1). 把紅線上的物理地址修改成我們上一步操作中複製下來的物理地址
(2). 加上ip地址網關dns。具體對應自己的本機ip地址要查看Vmware中 (編輯-虛擬網絡編輯器)
1.1.2.2*.修改克隆機的靜態ip
在1.1.2.2 中,我與參考教程中的步驟不同,我是手動配置的IP地址。
然後手動配置IP地址。
1.1.2.3.修改主機名
vim /etc/sysconfig/network
修改主機名爲hadoop100
1.1.2.4.添加hadoop用戶:
useradd atlingtree
passwd atlingtree
1.1.2.5 爲hadoop用戶配置root權限
併爲用戶atlingtree加上權限:
vim /etc/sudoers
輸入set nu 可以查看行號,在第92行加入代碼:
atlingtree ALL=(ALL) NOPASSWD:ALL
1.1.2.6. 修改hosts文件:
vim /etc/hosts
在末尾添加:
192.168.100.10 hadoop100
192.168.100.11 hadoop101
192.168.100.12 hadoop102
192.168.100.13 hadoop103
192.168.100.14 hadoop104
1.1.2.7 關閉防火牆
chkconfig iptables off
完畢,重啓虛擬機。
這裏要用atlingtree 用戶登錄
可以看到網絡已經連接,
嘗試ping一下自己的主機與百度,都可以ping通。
1.1.2.8 在/opt目錄下創建文件夾
(1) 在/opt目錄下創建module、software文件夾
[atlingtree@hadoop ~]$ cd /opt
[atlingtree@hadoop100 opt]$ sudo mkdir modules
[atlingtree@hadoop100 opt]$ sudo mkdir software
[atlingtree@hadoop opt]$ ls
modules rh software
(2). 修改 modules、software 文件夾的所有者cd
[atlingtree@hadoop100 opt]$ sudo chown atlingtree:atlingtree modules/ software/
重新啓動。
1.2 連接XShell 工具
打開XShell,新建鏈接
進行配對之後成功。
1.3 安裝JDK
1.3.1 卸載現有JDK
1.3.1.1 查詢是否安裝Java軟件:
[atlingtree@hadoop100 opt]$ rpm -qa | grep java
1.3.1.2 如果安裝的版本低於1.7,卸載該JDK:
[atlingtree@hadoop100 opt]$ sudo rpm -e 軟件包
1.3.1.2 查看JKD安裝路徑:
[atlingtree@hadoop100 opt]$ which java
1.3.2 將JDK 導入opt/software
將JDK和Hadoop的安裝包直接拖到右邊框中 的對應文件夾下。
1.3.3 在Linux系統下的opt目錄中查看軟件包是否導入成功
[atlingtree@hadoop100 ~]$ cd /opt/software/
[atlingtree@hadoop100 software]$ ls
hadoop-2.9.2.tar.gz jdk-8u241-linux-x64.tar.gz
1.3.4 解壓JDK到/opt/modules 目錄下
[atlingtree@hadoop100 software]$ tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/modules/
1.3.5 配置JDK環境變量
1.3.5.1 獲取JDK路徑
[atlingtree@hadoop software]$ cd /opt/modules/jdk1.8.0_241/
[atlingtree@hadoop100 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
1.3.5.2 打開 並修改 /etc/profile 文件
[atlingtree@hadoop100 ~]$ sudo vim /etc/profile
在profile 文件末尾添加JDK路徑
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
(上圖中得jkd8是因爲我更改了jdk的名字,按照正常獲取的JDK路徑配置即可)
1.3.5.3 保存後退出
vim 編輯器模式下,退出的操作: 先按 冒號 “ : ” , 然後發現光標跳到了最下方。 輸入wq即可退出
1.3.5.4 刷新文件,讓修改後的文件生效
[atlingtree@hadoop100 ~]$ source /etc/profile
1.3.6 測試 JDK 是否安裝成功
[atlingtree@hadoop100 ~]# java -version
java version "1.8.0_144"
1.3.7 重啓虛擬機。
[atlingtree@hadoop101 jdk1.8.0_144]$ sync
[atlingtree@hadoop101 jdk1.8.0_144]$ sudo reboot
1.4 安裝Hadoop
1.4.1 下載安裝包,並將其放入到 /opt/software中
在安裝JDK時已經順手將Hadoop的安裝包放進去了。
1.4.2 進入到Hadoop安裝包路徑下並解壓安裝文件到/opt/modules 下
[atlingtree@hadoop100 ~]$ cd /opt/software/
[atlingtree@hadoop100 software]$ tar -zxvf hadoop-2.9.2.tar.gz -C /opt/modules/
1.4.3 查看是否解壓成功
[atlingtree@hadoop100 software]$ ls /opt/modules/
hadoop-2.9.2
1.4.4 將 Hadoop 添加到環境變量
1.4.4.1 獲取 Hadoop 安裝路徑
[atlingtree@hadoop100 software]$ cd /opt/modules/hadoop-2.9.2
[atlingtree@hadoop100 hadoop-2.9.2]$ pwd
/opt/module/hadoop-2.9.2
1.4.4.2 打開 並修改 /etc/profile 文件
[atlingtree@hadoop100 hadoop-2.9.2]$ sudo vim /etc/profile
在profile文件末尾添加JDK路徑:(shitf+g)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
1.4.4.3 保存後退出
:wq
1.4.4.4 刷新文件,讓修改後的文件生效
[atlingtree@ hadoop100 hadoop-2.9.2]$ source /etc/profile
1.4.4.5 測試是否安裝成功
[atlingtree@hadoop100 hadoop-2.9.2]$ hadoop version
Hadoop 2.9.2
1.4.4.6 重啓虛擬機
[atlingtree@ hadoop100 hadoop-2.9.2]$ sync
[atlingtree@ hadoop100 hadoop-2.9.2]$ sudo reboot
1.5 Hadoop目錄結構
1.5.1 查看Hadoop目錄結構
[atlingtree@hadoop101 hadoop-2.9.2]$ ll
總用量 52
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月 22 2017 bin
drwxr-xr-x. 3 atlingtree atlingtree 4096 5月 22 2017 etc
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月 22 2017 include
drwxr-xr-x. 3 atlingtree atlingtree 4096 5月 22 2017 lib
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月 22 2017 libexec
-rw-r--r--. 1 atlingtree atlingtree 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 atlingtree atlingtree 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 atlingtree atlingtree 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 atlingtree atlingtree 4096 5月 22 2017 sbin
drwxr-xr-x. 4 atlingtree atlingtree 4096 5月 22 2017 share
1.5.2 重要目錄
bin目錄:存放對Hadoop相關服務(HDFS,YARN)進行操作的腳本
etc目錄:Hadoop的配置文件目錄,存放Hadoop的配置文件
lib目錄:存放Hadoop的本地庫(對數據進行壓縮解壓縮功能)
sbin目錄:存放啓動或停止Hadoop相關服務的腳本
share目錄:存放Hadoop的依賴jar包、文檔、和官方案例
環境搭建就完成了。