Linux CentOS7安裝Hadoop3.2

首先，參考安裝博客爲：Hadoop安裝

不過，在安裝的時候還是遇到了一些問題。

現在將完整過程描述如下：

1，下載Hadoop，官網：Hadoop官網下載

本人使用wget下載：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

2，下載完成後解壓到目錄（這裏到/usr/hadoop3.2）。xxx.gz代表下載的壓縮包

tar -zxvf xxx.gz -C /usr/hadoop3.2

3，配置環境變量

$ vi /etc/profile
 export HADOOP_HOME=/usr/hadoop
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
:wq
$ source /etc/profile

4，修改hadoop的etc/hadoop目錄下core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件。

core-site.xml
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost/9000</value> //默認端口爲：8020；
</property>

hdfs-site.xml
<property>
     <name>dfs.replication</name> //副本數
     <value>1</value> //僞分佈式一額節點
</property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop3.2/dfs/name</value>
    </property>
  <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop3.2/dfs/data</value>
    </property>


mapred-site.xml
<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

yarn-site.xml
<property>
 <name>yarn.resourcemanager.hostname</name> 
<value>localhost</value> 
</property> 
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value>
 </property>

hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121 這裏用絕對路徑

5，修改sbin目錄下文件，如下：

修改start-dfs.sh 和 stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh 和 stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6，ssh免密登錄

cd ~/.ssh
ssh-keygen -t rsa
按enter3次
cp id_rsa.pub ./authorized_keys
記得驗證下是否copy成功
ls -al 查看權限
cat authorized_keys 觀察內容，看是否cp成功

7，至此，準備工作完成。進行初始化：

hdfs namenode -format

8，sbin目錄下執行即可。

./start-all.sh