文章目录
Hadoop集群配置
本文档演示采用Ubuntu 18.04系统，下载地址：http://mirrors.aliyun.com/ubuntu-releases/18.04
桌面虚拟计算机软件采用VMware workstation 15.5.0
参考：https://www.cnblogs.com/guangluwutu/p/9705136.html
Java和Hadoop安装及环境变量配置请参考其他教程 （注意jdk及Hadoop版本不同导致的安装目录不同的问题），请完成后再进行Hadoop集群配置。
如无特别说明，则该操作是在主机上完成
前置准备
可选：拍摄快照，如配置失败可方便回滚
更新apt：
sudo apt-get update
安装net-tools：
sudo apt install net-tools
完整克隆若干份已经安装配置好java和Hadoop的虚拟机作为从机
网络配置
修改主机名（主机和从机都要操作）
sudo gedit /etc/hostname
删除原本的主机名
将主机的主机名修改为master或其他
将从机1的主机名修改为slave1或其他
以此类推
例：
master
保存后重启
将虚拟机改为静态IP（主机和从机都要操作）
ifconfig
记录下inet和netmask
依次点击
修改losts
sudo gedit /etc/hosts
在末尾添加：
主机inet 主机主机名
从机1inet 从机1主机名
……
例：
192.168.159.130 master
192.168.159.131 salve1
配置SSH无密码登陆节点
安装及启动SSH服务（主机和从机都要操作）
安装服务（一路回车即可）：
sudo apt-get install openssh-server
启动服务：
sudo /etc/init.d/ssh restart
关闭防火墙：
sudo ufw disable
执行以下命令看是否成功运行：
ps -e | grep ssh
如果成功会出现如下俩个进程：
生成SSH公钥
cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa* # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa # 一直按回车就可以
让 master 节点可以无密码 SSH 本机：
cat ./id_rsa.pub >> ./authorized_keys
验证：
ssh 主机主机名
如成功会出现如下字符：
退出：
exit
传输公钥（过程中需要输入从机的密码）
scp ~/.ssh/id_rsa.pub 从机用户名@从机主机名:/home/从机用户名/
例：
scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
把公钥加入授权（在从机操作）
mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub
验证：
ssh 从机主机名
如成功会出现如下字符：
退出：
exit
配置分布式集群环境
修改配置文件
修改slaves：
sudo gedit /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/slaves
此文件记录的是将要作为 Datanode 节点的名字，将从机主机名写入。如果想让主机同时作为 Datanode 节点则保留localhost。
从机1主机名
从机2主机名
……
例：
slave1
修改core-site.xml:
sudo gedit /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml
覆盖<configuration>标签:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
修改hdfs-site.xml：
sudo gedit /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
dfs.replication为从机数量，请根据实际更改
覆盖<configuration>标签:
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
修改mapred-site.xml：
sudo gedit /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml
可能默认文件名为 mapred-site.xml.template ，此时需要重命名：
mv mapred-site.xml.template mapred-site.xml
覆盖<configuration>标签:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
修改yarn-site.xml：
sudo gedit /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml
覆盖<configuration>标签:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
将主机的/usr/local/hadoop文件夹传输到从机：
在主机执行：
cd /usr/local
sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo rm -r ./hadoop//hadoop-2.9.2/logs/* # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
cd ~ #跳转到有压缩包的路径下
scp ./hadoop.master.tar.gz 从机主机名:/home/从机用户名
例：
scp ./hadoop.master.tar.gz slave1:/home/hadoop
在从机执行：
sudo rm -r /usr/local/hadoop
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R 从机用户名 /usr/local/hadoop
例：
sudo chown -R hadoop /usr/local/hadoop
启动Hadoop
首次启动需要格式化：
hdfs namenode -format
启动：
start-all.sh
mr-jobhistory-daemon.sh start historyserver
验证（主机和从机都要操作）：
jps
如成功，NameNode节点应有NameNode、ResourceManager、SecondrryNameNode、JobHistoryServe 4个进程，DataNode节点应有DataNode、 NodeManager 2个进程，缺一不可。
主机：
从机：
检查DataNode节点数量：
hdfs dfsadmin -report
若成功，则Live datanode数量与实际数量相等。
附录
从机没有DataNode进程解决方案
原因
主机和从机的clusterID不一致
解决方法
将主机和从机的/usr/local/hadoop/tmp文件夹和/usr/local/hadoop/hadoop-2.9.2/logs文件夹删除，主机再次格式化即可解决问题
WARNING: An illegal……原因
JDK版本过新导致，可以不用理会