僞分佈式模式的Hadoop環境搭建

一、本文說明:
     本次測試在一臺虛擬機系統上進行僞分佈式搭建。Hadoop僞分佈式模式是在單機上模擬Hadoop分佈式,單機上的分佈式並不是真正的僞分佈式,而是使 用線程模擬分佈式。Hadoop本身是無法區分僞分佈式和分佈式的,兩種配置也很相似。唯一不同的地方是僞分佈式是在單機器上配置,數據節點和名字節點均 是一個機器。
 
二、環境說明:
      操作系統:Cent Os 6.7
      hadoop版本:hadoop-2.7.2
      JDK版本:jdk1.8_77
     備註:基於獨立模式基礎上搭建,參考文章:獨立模式的Hadoop環境搭建
 
三、基本環境配置
       1、針對不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夾
            獨立模式:hadoop_alone(建議)
            僞分佈模式:hadoop_presudo(建議)
            完全分佈模式:hadoop_cluster(建議)
      2、參數配置目錄的指定方式
              A、默認方式:${HADOOP_HOME}/etc/hadoop/*.xml
              B、通過啓動參數指定配置目錄
                     Start-dfs.sh –config=/path
              C、通過環境變量HADOOP_CONF_DIR=/path(/etc/profile)
       備註:因爲搭建僞分佈模式:我這裏配置的${HADOOP_HOME}/etc/hadoop_presudo
       20160413040129321.png
       20160413040147148.png
 
三、環境搭建
     1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml
     20160413040608831.png

     2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml
    20160413040716768.png

 
    3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml
    20160413040805330.png

 
     4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml
     20160413040859775.png

 
    5、格式化HDFS文件系統
     20160413040923742.png

     20160413041032792.png

    6、啓動HDFS和YRAN的守護進程(start-dfs.sh,start-yarn.sh)
     20160413041057741.png  

     20160413041134146.png     
備註:停止進程是按照YARN先關閉 然後關閉HDFS,不要頻繁的格式化名稱節點
 

   7、通過fs操作HDFS裏面的文件
              A、創建目錄:hadoop fs -mkdir -p /user/Ubuntu
              B、顯示目錄:hadoop fs -ls -R /
              ……



   8、訪問:http://IP:50070
       20160413041224922.png
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章