Hadoop運行環境搭建（含Linux網絡配置和系統管理操作）

虛擬機環境準備

1. 克隆虛擬機

2. 修改克隆虛擬機的靜態ip

• 修改IP地址，如圖

[root@hadoop100 桌面]#vim /etc/sysconfig/network-scripts/ifcfg-eth0

下圖紅框選中的項必須修改，有值的按照下面的值修改，沒有該項的要增加。

DEVICE=eth0                #接口名（設備,網卡）
HWADDR=00:0C:2x:6x:0x:xx   #MAC地址 
TYPE=Ethernet               #網絡類型（通常是Ethemet）
UUID=926a57ba-92c6-4231-bacb-f27e5e6a9f44  #隨機id
#系統啓動的時候網絡接口是否有效（yes/no）
ONBOOT=yes                
# IP的配置方法[none|static|bootp|dhcp]（引導時不使用協議|靜態分配IP|BOOTP協議|DHCP協議）
BOOTPROTO=static      
#IP地址
IPADDR=192.168.1.101   
#網關  
GATEWAY=192.168.1.2      
#域名解析器
DNS1=192.168.1.2

修改後

:wq 保存退出

• 執行service network restart
  
• 如果報錯，reboot，重啓虛擬機

3. 修改主機名

①hostname 顯示和設置系統的主機名稱

（1）基本語法

hostname        （功能描述：查看當前服務器的主機名稱）

（2）舉個栗子
  查看當前服務器主機名稱

[root@hadoop100 桌面]# hostname

②修改主機名稱

（1）修改linux的主機映射文件（hosts文件）
 Ⅰ.進入Linux系統查看本機的主機名。通過hostname命令查看

[root@hadoop100 桌面]# hostname
hadoop100

 Ⅱ.如果感覺此主機名不合適，我們可以進行修改。通過編輯/etc/sysconfig/network文件

[root@hadoop100 桌面]# vi /etc/sysconfig/network

#文件中內容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop100
#注意：主機名稱不要有“_”下劃線

 Ⅲ.打開此文件後，可以看到主機名。修改此主機名爲我們想要修改的主機名hadoop100。
 Ⅳ.保存退出。
 Ⅴ.打開/etc/hosts

[root@hadoop100 桌面]# vim /etc/hosts

#添加如下內容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

 Ⅵ.並重啓設備，重啓後，查看主機名，已經修改成功
（2）修改windows7的主機映射文件（hosts文件）
 Ⅰ.進入C:\Windows\System32\drivers\etc路徑
 Ⅱ.打開hosts文件並添加如下內容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

（3）修改windows10的主機映射文件（hosts文件）
 Ⅰ.進入C:\Windows\System32\drivers\etc路徑
 Ⅱ.拷貝hosts文件到桌面
 Ⅲ.打開桌面hosts文件並添加如下內容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

 Ⅳ.將桌面hosts文件覆蓋C:\Windows\System32\drivers\etc路徑hosts文件

4. 關閉防火牆

①service 後臺服務管理

（1）基本語法

service 服務名 start （功能描述：開啓服務）
service 服務名 stop （功能描述：關閉服務）
service 服務名 restart （功能描述：重新啓動服務）
service 服務名 status （功能描述：查看服務狀態）

（2）老司機帶路
  查看服務的方法：/etc/init.d/服務名

[root@hadoop100 init.d]# pwd
/etc/init.d
[root@hadoop100 init.d]# ls -al

（3）舉個栗子
 Ⅰ.查看網絡服務的狀態

[root@hadoop100 桌面]#service network status

 Ⅱ .停止網絡服務

[root@hadoop100 桌面]#service network stop

 Ⅲ. 啓動網絡服務

[root@hadoop100 桌面]#service network start

 Ⅳ. 重啓網絡服務

[root@hadoop100 桌面]#service network restart

 Ⅴ.查看系統中所有的後臺服務

[root@hadoop100 桌面]#service --status-all

②chkconfig 設置後臺服務的自啓配置

（1）基本語法
chkconfig      （功能描述：查看所有服務器自啓配置）
chkconfig 服務名 off （功能描述：關掉指定服務的自動啓動）
chkconfig 服務名 on （功能描述：開啓指定服務的自動啓動）
chkconfig 服務名 –list （功能描述：查看服務開機啓動狀態）

（2）舉個栗子
 Ⅰ.關閉iptables服務的自動啓動

[root@hadoop100 桌面]#chkconfig iptables off

 Ⅱ.開啓iptables服務的自動啓動

[root@hadoop100 桌面]#chkconfig iptables on

③關閉防火牆

（1）臨時關閉防火牆
 Ⅰ.查看防火牆狀態

[root@hadoop100桌面]# service iptables status

 Ⅱ.臨時關閉防火牆

[root@hadoop100桌面]# service iptables stop

（2）開機啓動時關閉防火牆
 Ⅰ.查看防火牆開機啓動狀態

[root@hadoop100桌面]#chkconfig iptables --list    

 Ⅱ.設置開機時關閉防火牆

[root@hadoop100桌面]#chkconfig iptables off

5. 創建用戶，如(admin)

①useradd 添加新用戶

（1）基本語法

    useradd 用戶名         （功能描述：添加新用戶）
    useradd -g 組名 用戶名   （功能描述：添加新用戶到某個組）

（2）舉個栗子
 添加一個用戶

[root@hadoop101 ~]# useradd tangseng
[root@hadoop101 ~]#ll /home/

②passwd 設置用戶密碼

（1）基本語法

    passwd 用戶名  （功能描述：設置用戶密碼）

（2）舉個栗子
 設置用戶的密碼

[root@hadoop101 ~]# passwd tangseng

③id 查看用戶是否存在

（1）基本語法

id 用戶名

（2）舉個栗子
 查看用戶是否存在

    [root@hadoop101 ~]#id tangseng

6. 配置admin(普通用戶)用戶具有root權限

①添加admin用戶，並對其設置密碼。

[root@hadoop101 ~]#useradd admin
[root@hadoop101 ~]#passwd admin

②修改配置文件

[root@hadoop101 ~]#vi /etc/sudoers

 修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下:

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
admin   ALL=(ALL)     ALL

 或者配置成採用sudo命令時，不需要輸入密碼

## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL
admin   ALL=(ALL)     NOPASSWD:ALL

 修改完畢，現在可以用admin帳號登錄，然後用命令 sudo ，即可獲得root權限進行操作。

③舉個栗子

 用普通用戶在/opt目錄下創建一個文件夾

[admin@hadoop101 opt]$ sudo mkdir module
[root@hadoop101 opt]# chown admin:admin module/

7．在/opt目錄下創建文件夾

①在/opt目錄下創建module、software文件夾

[admin@hadoop101 opt]$ sudo mkdir module
[admin@hadoop101 opt]$ sudo mkdir software

②修改module、software文件夾的所有者

[admin@hadoop101 opt]$ sudo chown admin:admin module/ software/
[admin@hadoop101 opt]$ ll
總用量 8
drwxr-xr-x. 2 admin admin 4096 1月  17 14:37 module
drwxr-xr-x. 2 admin admin 4096 1月  17 14:38 software

安裝jdk

①卸載現有jdk

（1）查詢是否安裝java軟件：

[admin@hadoop101 opt]$ rpm -qa | grep java

（2）如果安裝的版本低於1.7，卸載該jdk：

[admin@hadoop101 opt]$ sudo rpm -e 軟件包

②用SecureCRT工具(或FileZilla Client)將jdk導入到opt目錄下面的software文件夾下面，如圖

“alt+p”進入sftp模式，如圖

選擇jdk1.8拖入，如圖

③在linux系統下的opt目錄中查看軟件包是否導入成功

[admin@hadoop101 opt]$ cd software/
[admin@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

④解壓jdk到/opt/module目錄下

[admin@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

⑤配置jdk環境變量

（1）先獲取jdk路徑：

[atgui@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

（2）打開/etc/profile文件：

[admin@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加jdk路徑：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3）保存後退出：

:wq

（4）讓修改後的文件生效：

[admin@hadoop101 jdk1.8.0_144]$ source /etc/profile

⑥測試jdk是否安裝成功

[admin@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

注意：重啓（如果java -version可以用就不用重啓）

[admin@hadoop101 jdk1.8.0_144]$ sync
[admin@hadoop101 jdk1.8.0_144]$ sudo reboot

安裝Hadoop

Hadoop下載地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

①用SecureCRT工具(或FileZilla Client)將hadoop-2.7.2.tar.gz導入到opt目錄下面的software文件夾下面

切換到sftp連接頁面，選擇Linux下編譯的hadoop jar包拖入，如圖

②進入到Hadoop安裝包路徑下

[admin@hadoop101 ~]$ cd /opt/software/

③解壓安裝文件到/opt/module下面

[admin@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

④查看是否解壓成功

[admin@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2

⑤將hadoop添加到環境變量

（1）獲取hadoop安裝路徑：

[admin@ hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打開/etc/profile文件：

[admin@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

    在profie文件末尾添加jdk路徑：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存後退出：

:wq

（4）讓修改後的文件生效：

[admin@ hadoop101 hadoop-2.7.2]$ source /etc/profile

⑥ 測試是否安裝成功

[admin@hadoop102 ~]$ hadoop version
Hadoop 2.7.2

⑦重啓(如果hadoop命令不能用再重啓)

[admin@ hadoop101 hadoop-2.7.2]$ sync
[admin@ hadoop101 hadoop-2.7.2]$ sudo reboot

---