Hadoop-2.8.0安裝教程---單機/僞分佈式配置

1、安裝環境：

• 硬件：VMware虛擬機
• 操作系統：Centos 7 64位
• IP:192.168.1.134
• 主機名：bogon
• 安裝用戶：hzq
• Java環境：jdk-8u131-linux-x64.tar.gz（具體安裝步驟見：《Linux安裝JDK步驟》）

2、配置免密碼登錄見：《Linux之ssh免密登錄》

3、安裝hadoop-2.8.0

       ①、下載hadoop-2.8.0

        下載地址：http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

       ②、創建安裝目錄及數據存儲目錄，安裝位置“/home/hzq/hadoop”

       mkdir /home/hzq/hadoop
       mkdir /home/hzq/hadoop/data

       ③、解壓“hadoop-2.8.0.tar.gz”到“/home/hzq/hadoop”文件中：

       tar -zxvf hadoop-2.8.0.tar.gz  -C /home/hzq/hadoop/

       ④、配置“/etc/profile”文件，添加如下代碼：

       HADOOP_HOME=/home/hzq/hadoop/hadoop-2.8.0
       PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
       export  PATH HADOOP_HOME

       如圖：

                                          

       配置完成後保存，使用下面命令使配置文件生效：

       source /etc/profile

       ⑤、配置hadoop

       進入/home/hzq/hadoop/hadoop-2.8.0/etc/hadoop目錄，修改如下文件：

• 配置：hadoop-env.sh
  

      # The java implementation to use.
      #export JAVA_HOME=${JAVA_HOME}
      export JAVA_HOME=/home/hzq/software/jdk1.8.0_131

• 配置：core-site.xml 

       <configuration>
               <!-- 指定HADOOP所使用的文件系統schema（URI），HDFS的老大（NameNode）的地址 -->
               <property>
                       <name>fs.defaultFS</name>
                       <value>hdfs://logon:9000</value>
               </property>
               <!-- 指定hadoop運行時產生文件的存儲目錄 -->
               <property>
                       <name>hadoop.tmp.dir</name>
                       <value>/home/hzq/hadoop/data</value>
                </property>
       </configuration>

• 配置：hdfs-site.xml

       <configuration>
               <!-- 指定HDFS副本的數量 -->
               <property>
                       <name>dfs.replication</name>
                       <value>1</value>
               </property>
       </configuration>

• 配置：“mapred-site.xml“文件，但是我們發現沒有這個文件，有一個“mapred-site.xml.template”文件，我們將其修改成“mapred-site.xml”文件，進行配置。

       <configuration>
               <!-- 指定mr運行在yarn上 -->
               <property>
                       <name>mapreduce.framework.name</name>
                       <value>yarn</value>
               </property>

       </configuration>

• 配置：yarn-site.xml

       <configuration>
           <!-- Site specific YARN configuration properties -->
           <!-- 指定YARN的老大（ResourceManager）的地址 -->
           <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>bogon</value>
           </property>
                       <!-- reducer獲取數據的方式 -->
           <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
            </property>
       </configuration>

4、啓動hadoop

       ①、格式化namenode

       hadoop namenode -format

        如圖：表示成功

        
       ②、啓動NameNode和DataNode守護進程

       start-dfs.sh 

       使用“jps”查看是否啓動完成：

         

       ③、啓動“yarn”：

       start-yarn.sh 

       使用“jps”查看是否啓動完成：

         

5、驗證是否啓動成功

      使用“jps”命令驗證：

                                      

         http://192.168.1.134:50070 （HDFS管理界面）
         http://192.168.1.134:8088 （MR管理界面）

總結：初學hadoop，望路過大神不喜勿噴！！！