完全分佈式模式的Hadoop環境搭建

一、本文說明:
本次測試在五臺虛擬機系統上進行完全分佈式搭建。Hadoop分佈式模式是在多臺機器上分佈式部署,配置非常類似於僞分佈式,名稱節點和數據節點都分佈在不同的主機上,每臺數據節點上都有相應的任務調度。
 
二、環境說明:
       虛擬軟件:VM10.0
       操作系統:Cent Os 6.7
       hadoop版本:hadoop-2.7.2
       JDK版本:jdk1.8_77
備註:基於獨立模式基礎上搭建,參考文章:獨立模式的Hadoop環境搭建
 
三、基本環境配置
       1、針對不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夾
            獨立模式:hadoop_alone(建議)
            僞分佈模式:hadoop_presudo(建議)
            完全分佈模式:hadoop_cluster(建議)
 
       2、參數配置目錄的指定方式
              A、默認方式:${HADOOP_HOME}/etc/hadoop/*.xml
              B、通過啓動參數指定配置目錄
                     Start-dfs.sh –config=/path
              C、通過環境變量HADOOP_CONF_DIR=/path(/etc/profile)
       備註:因爲搭建完全分佈模式:我這裏格式化名稱節點和啓動Hadoop的時候採用的B種方式。
四、環境搭建
第1步:在母機上搭建好JAVA和Hadoop基礎環境
       參考文章:獨立模式的Hadoop環境搭建
 
第2步:在母機上配置ssh
20160414065505551.png

第3步:在母機上配置hosts
20160414065538112.png

 
第4步:克隆4臺虛擬機並修改這4臺的網卡配置
       參考文章:克隆Linux後網卡修改方法
             
第5步:在母機上配置${HADOOP_HOME}/etc/hadoop_ cluster/core-site.xml   20160414065602348.png

             
 第6步 :配置${HADOOP_HOME}/etc/hadoop_cluster/hdfs-site.xml
20160414065621844.png

 
第7步、配置${HADOOP_HOME}/etc/hadoop_cluster/mapred-site.xml
20160414070011229.png


 
第8步、配置${HADOOP_HOME}/etc/hadoop_cluster/ yarn-site.xml 20160414070045314.png

 
第9步、刪除另外四臺主機上的${HADOOP_HOME}/etc/hadoop_cluster
 
第10步、將母機上${HADOOP_HOME}/etc/hadoop_cluster遠程拷貝給另外四臺機子上的${HADOOP_HOME}/etc/下
 20160414065737404.png

以此類推……
 
第11步、在母機上格式化HDFS文件系統
 20160414070118629.png

      
第12步、啓動HDFS和YRAN的守護進程(start-dfs.sh,start-yarn.sh)
       start-dfs.sh --config /home/program/hadoop/etc/hadoop_cluster/
       start-yarn.sh --config /home/program/hadoop/etc/hadoop_cluster/
       備註 停止進程是按照YARN先關閉 然後關閉HDFS,不要頻繁的格式化名稱節點
 
第13步、通過fs操作HDFS裏面的文件
       A、創建目錄:hadoop fs -mkdir -p /user/Ubuntu
       B、顯示目錄:hadoop fs -ls -R /
       ……
第14步、訪問:http://IP:50070
               訪問:http://IP:8088
 20160414070141437.png
20160414070144910.png


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章