hadoop僞分佈模式環境安裝

一：本地模式配置

1.安裝jdk，解壓jdk到/opt/modules下

2.配置環境變量,修改/etc/profile

export JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

3.解壓hadoop到/opt/modules下

4.配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh，添加java環境變量

export JAVA_HOME=/opt/modules/jdk1.7.0_67

5.在$HADOOP_HOME下新建一個input文件夾

6.拷貝$HADOOP_HOME/etc/hadoop文件夾下的所有xml文件到$HADOOP_HOME/的input目錄下

啓動：

bin/hadoop

二：僞分佈式配置

|.HDFS配置

    1.  配置$HADOOP_HOME/etc/hadoop/core-site.xml，添加

    <!--hdfs文件系統所在的主機-->

     <property>

          <name>fs.defaultFS</name>

          <value>hdfs://hadoop-senior.ibeifeng.com1:8020</value>

     </property>

     <!--hadoop運行是的臨時目錄-->

     <property>

          <name>hadoop.tmp.dir</name>

          <value>/opt/modules/hadoop-2.5.0/data/tmp</value>

     </property>

2.配置$HADOOP_HOME/etc/hadoop/hdfs-site.xml，添加

<!--hdfs文件系統上默認存儲的備份數量-->

     <property>

          <name>dfs.replication</name>

          <value>1</value>

     </property>

3.配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改java環境變量

export JAVA_HOME=/opt/modules/jdk1.7.0_67

格式化文件系統

$ bin/hdfs namenode -format

啓動NameNode和DataNode

$ sbin/start-dfs.sh

停止NameNode和DataNode

$ sbin/stop-dfs.sh

||.YARN配置

    1.配置$HADOOP_HOME/etc/hadoop/yarn-env.sh

    export JAVA_HOME=/opt/modules/jdk1.7.0_67

    2.配置$HADOOP_HOME/etc/hadoop/yarn-site.xml

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--resourcemanager節點的主機名-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop-senior.ibeifeng.com1</value>

    </property>

    3.$HADOOP_HOME/etc/hadoop/yarn-env.sh

        export JAVA_HOME=/opt/modules/jdk1.7.0_67

    4.$HADOOP_HOME/etc/hadoop/yarn-site.xml

        <!--NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，纔可運行MapReduce程序-->

     <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--resourcemanager節點的主機名-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop-senior.ibeifeng.com1</value>

    </property>

    5.$HADOOP_HOME/etc/hadoop/mapred-site.xml

    <!--指定mapreduce在yarn上運行-->

     <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

   

    6.$HADOOP_HOME/etc/hadoop/slaves

    hadoop-senior.ibeifeng.com1

啓動ResourceManager和NodeManager

$ sbin/start-yarn.sh

停止ResourceManager和NodeManager

$ sbin/stop-yarn.sh