【大數據環境篇一】 Hadoop 本地環境搭建概述

本環境篇系列，只記錄安裝步驟和配置文件等信息，不講解碰到的問題。

Hadoop 2.10.0

 

安裝HDFS

 

配置文件

etc/hadoop/core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

 

etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <property>

                <name>dfs.name.dir</name>

                <value>/opt/hadoop-2.10.0/dfs/name/</value>

        </property>

        <property>

                <name>dfs.data.dir</name>

                <value>/opt/hadoop-2.10.0/dfs/data/</value>

        </property>

</configuration>

 

 

啓動命令

$HADOOP_HOME/sbin/start-dfs.sh

 

 

關閉命令

$HADOOP_HOME/sbin/stop-dfs.sh

 

安裝YARN

 

配置文件

etc/hadoop/mapred-site.xml

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

 

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

 

etc/hadoop/yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

 

啓動服務

   $HADOOP_HOME/sbin/start-yarn.sh

 

關閉服務

   $HADOOP_HOME/sbin/stop-yarn.sh

 

同時啓動HDFS和Yarn服務

$HADOOP_HOME/sbin/start-all.sh

 

同時關閉HDFS和yarn服務

$HADOOP_HOME/sbin/stop-all.sh

 

參考文章：

https://blog.csdn.net/adorechen/article/details/104589268