hadoop集羣搭建
hadoop搭建前配置
通過虛擬機進行搭建 對第一臺進行配置
- 配置網絡
[root@lsl001 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Etherne
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.138.100
NETMASK=255.255.255.0
GATEWAY=192.168.138.2
DNS1=114.114.114.114
DNS2=192.168.138.2
重啓網絡
[root@lsl001 ~]# service network restart
- 修改主機名
[root@lsl001 ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=lsl001
- 修改映射關係
[root@lsl001 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.138.100 lsl001
192.168.138.101 lsl002
192.168.138.102 lsl003
- 安裝JDK並配置環境
https://blog.csdn.net/weixin_41303204/article/details/83419941 - 安裝ssh客戶端（opensshd-clients）
[root@lsl001 ~]# yum install -y openssh-clients
將虛擬機關機對其進行克隆將虛擬機關機對其進行克隆（3-4臺）
- 刪除網卡
[root@lsl002 ~]# vi /etc/udev/rules.d/70-persistent-net.rules
2. 配置主機名
[root@lsl002 ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=lsl002
- 配置網絡，修改IP
root@lsl002 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Etherne
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.138.101
NETMASK=255.255.255.0
GATEWAY=192.168.138.2
DNS1=114.114.114.114
DNS2=192.168.138.2
- reboot重啓虛擬機
[root@lsl002 ~]# reboot
進行免密登陸配置
通過自動化腳本進行配置
https://blog.csdn.net/weixin_41303204/article/details/83446244
現在開始安裝Hadoop
在第一臺主機上解壓安裝hadoop
1.解壓安裝包
[root@lsl001 usr]# tar -zxvf hadoop-2.7.3.tar.gz -C local
2.配置環境變量
[root@lsl001 usr]# vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_102
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[root@lsl001 usr]# source /etc/profile
3.進入hadoop/etc/hadoop中修改配置文件
[root@lsl001 /]# cd /usr/local/hadoop-2.7.3/etc/hadoop/
3.1修改hadoop-env.sh文件
[root@lsl001 hadoop]# vi hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_102
3.2修改core-site.xml文件, 修改主機名和hadoop版本
[root@lsl001 hadoop]# vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lsl001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>
3.3修改hdfs-site.xml文件 ，修改其中的主機名和hadoop版本
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>lsl001:50090</value>
</property>
</configuration>
3.4修改mapred-site.xml文件
安裝文件中沒有mapred-site.xml文件，只有mapred-site.xml.template零時文件，需要先複製一份命名爲mapred-site.xml
[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop01 hadoop]# vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.5修改yarn-site.xml文件 ，修改主機名
[root@hadoop01 hadoop]# vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>lsl001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.6修改slaves文件，將除本機外的主機名寫入
[root@hadoop01 hadoop]# vi slaves
lsl002
lsl003
4.將hadoop文件夾、profile環境變量文件發送給其他克隆主機
[root@lsl001 local]# scp -r hadoop-2.7.3 lsl002:/usr/local
[root@lsl001 local]# scp -r hadoop-2.7.3 lsl003:/usr/local
[root@lsl001 local]# scp /etc/profile lsl002:/etc
[root@lsl001 local]# scp /etc/profile lsl003:/etc
5.啓動集羣
5.1初始化HDFS(在hadoop01進行操作)（操作一次就ok）
[root@lsl001 hadoop-2.7.3]# bin/hadoop namenode -format
出現上述表示初始化成功
5.2啓動HDFS
[root@lsl001 hadoop-2.7.3]# sbin/start-dfs.sh
通過jps命令查看進程
在lsl001上查看
在其他子主機上查看
5.3啓動YARN
root@lsl001 hadoop-2.7.3]# sbin/start-yarn.sh
通過jps命令查看進程
在lsl001上查看
在其他子主機上查看
通過瀏覽器進行查看
在瀏覽器中輸入主主機的ip加端口50070
在瀏覽器中輸入主主機的ip加端口8088
都可以顯示證明集羣搭建成功