*** 解決方式:禁用NetworkManager(虛擬機上不去網了)
-
- systemctl stop NetworkManager
-
- systemctl disable NetworkManager
一、搭建hadoop環境(centos7)
第 1 節 虛擬機環境準備
-
- 三臺虛擬機(靜態IP,關閉防⽕牆,修改主機名,配置免密登錄,集羣時間同步)
(1)靜態IP配置 編輯 vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=84435f7d-0321-4f1a-817f-0f9f1cf39d43
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.101
NETMASK=255.255.255.0
GATEWAY=192.168.80.2
DNS1=8.8.8.8
DNS2=8.8.4.4
** systemctl restart network
(2)關閉防火牆
systemctl status firewalld.service 查看firewall狀態
systemctl stop firewalld.service 停⽌firewall
systemctl disable firewalld.service 禁⽌firewall開機啓動
關閉本機電腦防⽕牆後,可以在本地ping 虛擬機ip
(2.1)三態機器關閉selinux
安全增強型 Linux(Security-Enhanced Linux)簡稱 SELinux,它是一個 Linux 內核模塊,也是 Linux 的一個安全子系
統。
關閉安全策略否則SELinux服務開啓後導致SSH連接異常。
修改文件
vi /etc/selinux/config
(3)修改主機名
vi /etc/sysconfig/network
(4) 配置hostname與IP映射
(5)配置免密登錄
前提:配置hostname與IP映射
第一步:在三臺機器器執行行以下命令,生成公鑰與私鑰
第二步:將centos7-2和centos7-3的公鑰拷貝到centos7-1
第三步:再將centos7-1的公鑰分發給centos7-2和centos7-3
第一步: ssh-keygen -t rsa 在centos7-1和centos7-2和centos7-3上面都要執行,產生公鑰和私鑰
第二步:在centos7-1 ,centos7-2和centos7-3上執行: ssh-copy-id centos7-1 將公鑰拷貝到centos7-1上面去
第三步: scp authorized_keys centos7-2:$PWD scp authorized_keys centos7-3:$PWD
使用ssh完成免密登錄即可 (ssh centos7-2)
(6)集羣時間同步
6.1. 查看本機當前時間--date
6.2. 設置本機當前時間
date -s "2018-08-17 20:08:09"
6.3. 通過命名和時鐘服務器同步時間:
網絡計時協議(NTP) : net time protocal
ntpdate us.pool.ntp.org
6.4. 編輯定時任務
crontab -e
6.5) 定時任務內容如下
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
每隔1分鐘執行指令一次
-
- 在/opt⽬錄下創建⽂件夾
mkdir -p /opt/lagou/software --軟件安裝包存放⽬錄
mkdir -p /opt/lagou/servers --軟件安裝⽬錄
- 3 Hadoop下載地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
第 2 節 集羣規劃
第 3 節 安裝Hadoop(前提是配置好jdk的環境)
- 登錄linux121節點;進⼊/opt/lagou/software,解壓安裝⽂件到/opt/lagou/servers
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
- 查看是否解壓成功
ll /opt/lagou/servers/hadoop-2.9.2
- 添加Hadoop到環境變量 vim /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- 使環境變量⽣效
source /etc/profile
- 驗證hadoop
hadoop version
- hadoop 目錄
drwxr-xr-x 2 root root 194 Nov 13 2018 bin
drwxr-xr-x 3 root root 17 Oct 31 01:09 data
drwxr-xr-x 3 root root 20 Nov 13 2018 etc
drwxr-xr-x 2 root root 106 Nov 13 2018 include
drwxr-xr-x 3 root root 20 Nov 13 2018 lib
drwxr-xr-x 2 root root 239 Nov 13 2018 libexec
-rw-r--r-- 1 root root 106210 Nov 13 2018 LICENSE.txt
drwxr-xr-x 3 root root 4096 Nov 2 07:20 logs
-rw-r--r-- 1 root root 15917 Nov 13 2018 NOTICE.txt
-rw-r--r-- 1 root root 1366 Nov 13 2018 README.txt
drwxr-xr-x 3 root root 4096 Nov 13 2018 sbin
drwxr-xr-x 4 root root 31 Nov 13 2018 share
1. bin⽬錄:對Hadoop進⾏操作的相關命令,如hadoop,hdfs等
2. etc⽬錄:Hadoop的配置⽂件⽬錄,⼊hdfs-site.xml,core-site.xml等
3. lib⽬錄:Hadoop本地庫(解壓縮的依賴)
4. sbin⽬錄:存放的是Hadoop集羣啓動停⽌相關腳本,命令
5. share⽬錄:Hadoop的⼀些jar,官⽅案例jar,⽂檔等
3.1 集羣配置
(Hadoop集羣配置 = HDFS集羣配置 + MapReduce集羣配置 + Yarn集羣配置)
- HDFS集羣配置
1. 將JDK路徑明確配置給HDFS(修改hadoop-env.sh)
2. 指定NameNode節點以及數據存儲⽬錄(修改core-site.xml)
3. 指定SecondaryNameNode節點(修改hdfs-site.xml)
4. 指定DataNode從節點(修改etc/hadoop/slaves⽂件,每個節點配置信息佔⼀⾏)
- MapReduce集羣配置
1. 將JDK路徑明確配置給MapReduce(修改mapred-env.sh)
2. 指定MapReduce計算框架運⾏Yarn資源調度框架(修改mapred-site.xml)
- Yarn集羣配置
1. 將JDK路徑明確配置給Yarn(修改yarn-env.sh)
2. 指定ResourceManager⽼⼤節點所在計算機節點(修改yarn-site.xml)
3. 指定NodeManager節點(會通過slaves⽂件內容確定)
** 集羣配置具體步驟:
HDFS集羣配置
1.配置:hadoop-env.sh
將JDK路徑明確配置給HDFS
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
2.指定NameNode節點以及數據存儲⽬錄(修改core-site.xml)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop運⾏時產⽣⽂件的存儲⽬錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>
2.1.core-site.xml的默認配置:
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core default.xml
3.指定secondarynamenode節點(修改hdfs-site.xml)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!-- 指定Hadoop輔助名稱節點主機配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>linux123:50090</value>
</property>
<!--副本數量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
3.1官⽅默認配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop hdfs/hdfs-default.xml
4.指定datanode從節點(修改slaves⽂件,每個節點配置信息佔⼀⾏)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/slaves
linux121
linux122
linux123
** 注意:該⽂件中添加的內容結尾不允許有空格,⽂件中不允許有空⾏。
MapReduce集羣配置
1.指定MapReduce使⽤的jdk路徑(修改mapred-env.sh)
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
2. 指定MapReduce計算框架運⾏Yarn資源調度框架(修改mapred-site.xml)
2.1 mv mapred-site.xml.template mapred-site.xml
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml
<!-- 指定MR運⾏在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.2 mapred-site.xml默認配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop mapreduce-client-core/mapred-default.xml
Yarn集羣配置
1.指定JDK路徑
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/yarn-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
2.指定ResourceMnager的master節點信息(修改yarn-site.xml)
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux123</value>
</property>
<!-- Reducer獲取數據的⽅式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.1 yarn-site.xml的默認配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn default.xml
3. 指定NodeManager節點(slaves⽂件已修改)
** 注意
Hadoop安裝⽬錄所屬⽤戶和所屬⽤戶組信息,默認是501 dialout,⽽我們操作Hadoop集羣的⽤戶使
⽤的是虛擬機的root⽤戶,
所以爲了避免出現信息混亂,修改Hadoop安裝⽬錄所屬⽤戶和⽤戶組!!
chown -R root:root /opt/lagou/servers/hadoop-2.9.2
3.2 分發配置
編寫集羣分發腳本rsync-script
- rsync 遠程同步⼯具
rsync主要⽤於備份和鏡像。具有速度快、避免複製相同內容和⽀持符號鏈接的優點。
rsync和scp區別:⽤rsync做⽂件的複製要⽐scp的速度快,rsync只對差異⽂件做更新。scp是把所有⽂ 件都複製過去。
3.2.1. 基本語法
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname
3.2.2. 三臺虛擬機安裝rsync (執⾏安裝需要保證機器聯⽹)
yum install -y rsync
3.2.3. 把linux121機器上的/opt/lagou/software⽬錄同步到linux122服務器的root⽤戶下的/opt/⽬錄
rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software
3.2.4 分發腳本
#!/bin/bash
#1 獲取命令輸⼊參數的個數,如果個數爲0,直接退出命令
paramnum= $#
if ((paramnum == 0 )) ; then
echo no params;
exit ;
fi
#2 根據傳⼊參數獲取⽂件名稱
p1= $1
file_name= `basename $p1 `
echo fname= $file_name
#3 獲取輸⼊參數的絕對路徑
pdir= `cd -P $(dirname $p1 ) ; pwd`
echo pdir= $pdir
#4 獲取⽤戶名稱
user= `whoami`
#5 循環執⾏rsync
for ((host = 101 ; host < 104 ; host ++ )) ; do
echo ------------------- linux $host --------------
rsync -rvl $pdir / $file_name $user @hadoop $host : $pdir
done
3.2.5 修改腳本 rsync-script 具有執⾏權限
[root@linux121 bin]$ chmod 777 rsync-script
3.2.6 調⽤腳本形式:rsync-script ⽂件名稱
[root@linux121 bin]$ rsync-script /home/root/bin
3.2.7 調⽤腳本分發Hadoop安裝⽬錄到其它節點
[root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2
第 4 節 啓動集羣
** 注意:如果集羣是第⼀次啓動,需要在Namenode所在節點格式化NameNode,⾮第⼀次不⽤執⾏格 式化Namenode操作!!
4.1 單節點啓動
[root@linux121 hadoop-2.9.2]$ hadoop namenode -format
格式化命令執行效果
1.在linux121上啓動NameNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[root@linux121 hadoop-2.9.2]$ jps
2. 在linux121、linux122以及linux123上分別啓動DataNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux121 hadoop-2.9.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux122 hadoop-2.9.2]$ jps
3190 DataNode
3279 Jps
[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux123 hadoop-2.9.2]$ jps
3237 Jps
3163 DataNode
3. web端查看Hdfs界⾯
http://linux121:50070/dfshealth.html#tab-overview
4. Yarn集羣單節點啓動
[root@linux123 servers]# yarn-daemon.sh start resourcemanager
[root@linux123 servers]# jps
7881 ResourceManager
8094 Jps
[root@linux122 servers]# yarn-daemon.sh start nodemanager
[root@linux122 servers]# jps
8166 NodeManager
8223 Jps
[root@linux121 servers]# yarn-daemon.sh start nodemanager
[root@linux121 servers]# jps
8166 NodeManager
8223 Jps
4.2 集羣羣起
-
- 如果已經單節點⽅式啓動了Hadoop,可以先停⽌之前的啓動的Namenode與Datanode進程,如果 之前Namenode沒有執⾏格式化,這⾥需要執⾏格式化!!!!
hadoop namenode -format
2. 啓動HDFS
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh
[root@linux121 hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[root@linux122 hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps
[root@linux123 hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
3. 啓動YARN
[root@linux122 hadoop-2.9.2]$ sbin/start-yarn.sh
- 注意:NameNode和ResourceManger不是在同⼀臺機器,不能在NameNode上啓動 YARN,應該 在ResouceManager所在的機器上啓動YARN。
4.3 Hadoop集羣啓動停⽌命令彙總
1. 各個服務組件逐⼀啓動/停⽌
(1)分別啓動/停⽌HDFS組件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
(2) 啓動/停⽌YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
2. 各個模塊分開啓動/停⽌(配置ssh是前提)常⽤
(1) 整體啓動/停⽌HDFS
start-dfs.sh / stop-dfs.sh
(2) 整體啓動/停⽌YARN
start-yarn.sh / stop-yarn.sh