hadoop安裝教程

一、 安裝環境裝備
1.準備安裝環境
準備三臺centos7版本， ip分別是192.168.158.11、192.168.158.12、192.168.158.13，其對應node1，node2,node3
2.三個機器設置hosts，用於hadoop服務器之間訪問

echo "192.168.158.11 node1">>/etc/hosts
echo "192.168.158.12 node2">>/etc/hosts
echo "192.168.158.13 node3">>/etc/hosts

3.安裝jdk，
jdk的安裝目錄/usr/local/jdk1.7.0_79 詳見https://blog.csdn.net/eakom/article/details/78795083
4.下載hadoop安裝包 下載地址
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
5.三個機器配置服務器之間免密登錄 （node1中也要設置ssh-copy-id node1）

ssh-keygen
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

二、安裝步驟（所有操作在node1中進行）
1.新建Hadoop用戶

useradd hadoop
passwd hadoop

2.修改/etc/sudoers文件在，讓hadoop用戶有root權限

vi /etc/sudoers 

在root ALL=(ALL) ALL 行按yyp鍵複製一行然後把root修改爲hadoop，保存
修改後如下：

root	ALL=(ALL) 	ALL
hadoop	ALL=(ALL) 	ALL

按:wq保存
3.配置node2和node3的hadoop用戶權限，把/etc/sudoers文件scp到其他幾個節點

scp /etc/sudoers node2:/etc/sudoers 
scp /etc/sudoers node3:/etc/sudoers

4.上傳和解壓
上傳壓縮包解壓到/home/hadoop

/home/hadoop
mkdir apps
tar -xzvf hadoop-2.9.2.tar.gz -C apps

5.修改配置文件 hadoop-env.sh

cd /apps/hadoop-2.9.2/etc/hadoop
vi hadoop-env.sh 

修改export JAVA_HOME=${JAVA_HOME}爲

export JAVA_HOME=/usr/local/jdk1.7.0_79
:wq

6.修改配置core-site.xml
vi core-site.xml

在<configuration></configuration>中添加
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/haddop/hdpdata</value>
</property>
:wq

7.修改配置hdfs-site.xml

vi hdfs-site.xml
在<configuration></configuration>中添加
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
:wq

8.修改配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在<configuration></configuration>中添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
:wq

9.修改配置yarn-site.xml

vi yarn-site.xml
在<configuration></configuration>中添加
<property>
<name>yarn.resourcemananger.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
:wq

10.拷貝安裝好的hadoop到其他機器

scp -r apps node2:/home/hadoop/
scp -r apps node3:/home/hadoop/

11.配置環境

echo "export HADOOP_HOME=/home/hadoop/apps/hadoop-2.9.2">>/etc/profile
source /etc/profile
echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin">>/etc/profile
source /etc/profile

12.對hadoop文件系統進行格式化

hadoop namenode -format

三、單機啓動查看

1.node1節點namenode啓動

hadoop-daemon.sh start namenode

查看

jps

顯示如下

6231 Jps
2678 QuorumPeerMain
6157 NameNode

瀏覽器查看
http://192.168.158.11:50070

2.node2節點datanode啓動

hadoop-daemon.sh start datanode

查看

jps

顯示如下

5998 Jps
5920 DataNode
2243 QuorumPeerMain

瀏覽器刷新
http://192.168.158.11:50070
Configured Capacity: 發生了變化
四、快速集羣啓動
1.關閉namenode和datanode
在node1中執行

hadoop-daemon.sh stop datanode

在node2和node3中執行

hadoop-daemon.sh stop namenode

2.集中自動啓動腳本
修改slaves配置文件

echo "node2" >> /home/hadoop/apps/hadoop/etc/hadoop/slaves
echo "node3" >> /home/hadoop/apps/hadoop/etc/hadoop/slaves

3.集中啓動

start-all.sh

執行後node1的datanode啓動，node2和node3也同時啓動，可以在瀏覽器http://192.168.158.11:50070中查看其中狀態
4.集中停止

stop-dfs.sh