Hadoop-2.8.0安裝教程---單機/僞分佈式配置

1、安裝環境:

  • 硬件:VMware虛擬機
  • 操作系統:Centos 7 64位
  • IP:192.168.1.134
  • 主機名:bogon
  • 安裝用戶:hzq
  • Java環境:jdk-8u131-linux-x64.tar.gz(具體安裝步驟見:《Linux安裝JDK步驟》

2、配置免密碼登錄見《Linux之ssh免密登錄》

3、安裝hadoop-2.8.0

       ①、下載hadoop-2.8.0

        下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

       ②、創建安裝目錄及數據存儲目錄,安裝位置“/home/hzq/hadoop”

       mkdir /home/hzq/hadoop
       mkdir /home/hzq/hadoop/data
       ③、解壓“hadoop-2.8.0.tar.gz”到“/home/hzq/hadoop”文件中:

       tar -zxvf hadoop-2.8.0.tar.gz  -C /home/hzq/hadoop/
       ④、配置“/etc/profile”文件,添加如下代碼:

       HADOOP_HOME=/home/hzq/hadoop/hadoop-2.8.0
       PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
       export  PATH HADOOP_HOME
       如圖:

                                          

       配置完成後保存,使用下面命令使配置文件生效:

       source /etc/profile

       ⑤、配置hadoop

       進入/home/hzq/hadoop/hadoop-2.8.0/etc/hadoop目錄,修改如下文件:

  • 配置:hadoop-env.sh
      # The java implementation to use.
      #export JAVA_HOME=${JAVA_HOME}
      export JAVA_HOME=/home/hzq/software/jdk1.8.0_131
  • 配置:core-site.xml 
       <configuration>
               <!-- 指定HADOOP所使用的文件系統schema(URI),HDFS的老大(NameNode)的地址 -->
               <property>
                       <name>fs.defaultFS</name>
                       <value>hdfs://logon:9000</value>
               </property>
               <!-- 指定hadoop運行時產生文件的存儲目錄 -->
               <property>
                       <name>hadoop.tmp.dir</name>
                       <value>/home/hzq/hadoop/data</value>
                </property>
       </configuration>
  • 配置:hdfs-site.xml
       <configuration>
               <!-- 指定HDFS副本的數量 -->
               <property>
                       <name>dfs.replication</name>
                       <value>1</value>
               </property>
       </configuration>
  • 配置:“mapred-site.xml“文件,但是我們發現沒有這個文件,有一個“mapred-site.xml.template”文件,我們將其修改成“mapred-site.xml”文件,進行配置。
       <configuration>
               <!-- 指定mr運行在yarn上 -->
               <property>
                       <name>mapreduce.framework.name</name>
                       <value>yarn</value>
               </property>

       </configuration>
  • 配置:yarn-site.xml
       <configuration>
           <!-- Site specific YARN configuration properties -->
           <!-- 指定YARN的老大(ResourceManager)的地址 -->
           <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>bogon</value>
           </property>
                       <!-- reducer獲取數據的方式 -->
           <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
            </property>
       </configuration>

4、啓動hadoop

       ①、格式化namenode

       hadoop namenode -format
        如圖:表示成功

        
       ②、啓動NameNode和DataNode守護進程

       start-dfs.sh 
       使用“jps”查看是否啓動完成:

         

       ③、啓動“yarn”:

       start-yarn.sh 
       使用“jps”查看是否啓動完成:

         

5、驗證是否啓動成功

      使用“jps”命令驗證:

                                      

         http://192.168.1.134:50070 (HDFS管理界面)
         http://192.168.1.134:8088 (MR管理界面)


總結:初學hadoop,望路過大神不喜勿噴!!!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章