一、 安装环境装备
1.准备安装环境
准备三台centos7版本， ip分别是192.168.158.11、192.168.158.12、192.168.158.13，其对应node1，node2,node3
2.三个机器设置hosts，用于hadoop服务器之间访问
echo "192.168.158.11 node1">>/etc/hosts
echo "192.168.158.12 node2">>/etc/hosts
echo "192.168.158.13 node3">>/etc/hosts
3.安装jdk，
jdk的安装目录/usr/local/jdk1.7.0_79 详见https://blog.csdn.net/eakom/article/details/78795083
4.下载hadoop安装包 下载地址
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
5.三个机器配置服务器之间免密登录 （node1中也要设置ssh-copy-id node1）
ssh-keygen
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
二、安装步骤（所有操作在node1中进行）
1.新建Hadoop用户
useradd hadoop
passwd hadoop
2.修改/etc/sudoers文件在，让hadoop用户有root权限
vi /etc/sudoers
在root ALL=(ALL) ALL 行按yyp键复制一行然后把root修改为hadoop，保存
修改后如下：
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL
按:wq保存
3.配置node2和node3的hadoop用户权限，把/etc/sudoers文件scp到其他几个节点
scp /etc/sudoers node2:/etc/sudoers
scp /etc/sudoers node3:/etc/sudoers
4.上传和解压
上传压缩包解压到/home/hadoop
/home/hadoop
mkdir apps
tar -xzvf hadoop-2.9.2.tar.gz -C apps
5.修改配置文件 hadoop-env.sh
cd /apps/hadoop-2.9.2/etc/hadoop
vi hadoop-env.sh
修改export JAVA_HOME=${JAVA_HOME}为
export JAVA_HOME=/usr/local/jdk1.7.0_79
:wq
6.修改配置core-site.xml
vi core-site.xml
在<configuration></configuration>中添加
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/haddop/hdpdata</value>
</property>
:wq
7.修改配置hdfs-site.xml
vi hdfs-site.xml
在<configuration></configuration>中添加
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
:wq
8.修改配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在<configuration></configuration>中添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
:wq
9.修改配置yarn-site.xml
vi yarn-site.xml
在<configuration></configuration>中添加
<property>
<name>yarn.resourcemananger.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
:wq
10.拷贝安装好的hadoop到其他机器
scp -r apps node2:/home/hadoop/
scp -r apps node3:/home/hadoop/
11.配置环境
echo "export HADOOP_HOME=/home/hadoop/apps/hadoop-2.9.2">>/etc/profile
source /etc/profile
echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin">>/etc/profile
source /etc/profile
12.对hadoop文件系统进行格式化
hadoop namenode -format
三、单机启动查看
1.node1节点namenode启动
hadoop-daemon.sh start namenode
查看
jps
显示如下
6231 Jps
2678 QuorumPeerMain
6157 NameNode
浏览器查看
http://192.168.158.11:50070
2.node2节点datanode启动
hadoop-daemon.sh start datanode
查看
jps
显示如下
5998 Jps
5920 DataNode
2243 QuorumPeerMain
浏览器刷新
http://192.168.158.11:50070
Configured Capacity: 发生了变化
四、快速集群启动
1.关闭namenode和datanode
在node1中执行
hadoop-daemon.sh stop datanode
在node2和node3中执行
hadoop-daemon.sh stop namenode
2.集中自动启动脚本
修改slaves配置文件
echo "node2" >> /home/hadoop/apps/hadoop/etc/hadoop/slaves
echo "node3" >> /home/hadoop/apps/hadoop/etc/hadoop/slaves
3.集中启动
start-all.sh
执行后node1的datanode启动，node2和node3也同时启动，可以在浏览器http://192.168.158.11:50070中查看其中状态
4.集中停止
stop-dfs.sh