完全分佈式模式的Hadoop環境搭建
一、本文說明:
本次測試在五臺虛擬機系統上進行完全分佈式搭建。Hadoop分佈式模式是在多臺機器上分佈式部署,配置非常類似於僞分佈式,名稱節點和數據節點都分佈在不同的主機上,每臺數據節點上都有相應的任務調度。
二、環境說明:
虛擬軟件:VM10.0
操作系統:Cent Os 6.7
hadoop版本:hadoop-2.7.2
JDK版本:jdk1.8_77
備註:基於獨立模式基礎上搭建,參考文章:獨立模式的Hadoop環境搭建。
三、基本環境配置
1、針對不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夾
獨立模式:hadoop_alone(建議)
僞分佈模式:hadoop_presudo(建議)
完全分佈模式:hadoop_cluster(建議)
2、參數配置目錄的指定方式
A、默認方式:${HADOOP_HOME}/etc/hadoop/*.xml
B、通過啓動參數指定配置目錄
Start-dfs.sh –config=/path
C、通過環境變量HADOOP_CONF_DIR=/path(/etc/profile)
備註:因爲搭建完全分佈模式:我這裏格式化名稱節點和啓動Hadoop的時候採用的B種方式。
四、環境搭建
第1步:在母機上搭建好JAVA和Hadoop基礎環境
參考文章:獨立模式的Hadoop環境搭建
第2步:在母機上配置ssh
第3步:在母機上配置hosts
第4步:克隆4臺虛擬機並修改這4臺的網卡配置
參考文章:克隆Linux後網卡修改方法
第5步:在母機上配置${HADOOP_HOME}/etc/hadoop_ cluster/core-site.xml
第6步 :配置${HADOOP_HOME}/etc/hadoop_cluster/hdfs-site.xml
第7步、配置${HADOOP_HOME}/etc/hadoop_cluster/mapred-site.xml
第8步、配置${HADOOP_HOME}/etc/hadoop_cluster/ yarn-site.xml
第9步、刪除另外四臺主機上的${HADOOP_HOME}/etc/hadoop_cluster
第10步、將母機上${HADOOP_HOME}/etc/hadoop_cluster遠程拷貝給另外四臺機子上的${HADOOP_HOME}/etc/下
以此類推……
第11步、在母機上格式化HDFS文件系統
第12步、啓動HDFS和YRAN的守護進程(start-dfs.sh,start-yarn.sh)
start-dfs.sh --config /home/program/hadoop/etc/hadoop_cluster/
start-yarn.sh --config /home/program/hadoop/etc/hadoop_cluster/
備註 停止進程是按照YARN先關閉 然後關閉HDFS,不要頻繁的格式化名稱節點
第13步、通過fs操作HDFS裏面的文件
A、創建目錄:hadoop fs -mkdir -p /user/Ubuntu
B、顯示目錄:hadoop fs -ls -R /
……
第14步、訪問:http://IP:50070
訪問:http://IP:8088
本次測試在五臺虛擬機系統上進行完全分佈式搭建。Hadoop分佈式模式是在多臺機器上分佈式部署,配置非常類似於僞分佈式,名稱節點和數據節點都分佈在不同的主機上,每臺數據節點上都有相應的任務調度。
二、環境說明:
虛擬軟件:VM10.0
操作系統:Cent Os 6.7
hadoop版本:hadoop-2.7.2
JDK版本:jdk1.8_77
備註:基於獨立模式基礎上搭建,參考文章:獨立模式的Hadoop環境搭建。
三、基本環境配置
1、針對不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夾
獨立模式:hadoop_alone(建議)
僞分佈模式:hadoop_presudo(建議)
完全分佈模式:hadoop_cluster(建議)
2、參數配置目錄的指定方式
A、默認方式:${HADOOP_HOME}/etc/hadoop/*.xml
B、通過啓動參數指定配置目錄
Start-dfs.sh –config=/path
C、通過環境變量HADOOP_CONF_DIR=/path(/etc/profile)
備註:因爲搭建完全分佈模式:我這裏格式化名稱節點和啓動Hadoop的時候採用的B種方式。
四、環境搭建
第1步:在母機上搭建好JAVA和Hadoop基礎環境
參考文章:獨立模式的Hadoop環境搭建
第2步:在母機上配置ssh
第3步:在母機上配置hosts
第4步:克隆4臺虛擬機並修改這4臺的網卡配置
參考文章:克隆Linux後網卡修改方法
第5步:在母機上配置${HADOOP_HOME}/etc/hadoop_ cluster/core-site.xml
第6步 :配置${HADOOP_HOME}/etc/hadoop_cluster/hdfs-site.xml
第7步、配置${HADOOP_HOME}/etc/hadoop_cluster/mapred-site.xml
第8步、配置${HADOOP_HOME}/etc/hadoop_cluster/ yarn-site.xml
第9步、刪除另外四臺主機上的${HADOOP_HOME}/etc/hadoop_cluster
第10步、將母機上${HADOOP_HOME}/etc/hadoop_cluster遠程拷貝給另外四臺機子上的${HADOOP_HOME}/etc/下
以此類推……
第11步、在母機上格式化HDFS文件系統
第12步、啓動HDFS和YRAN的守護進程(start-dfs.sh,start-yarn.sh)
start-dfs.sh --config /home/program/hadoop/etc/hadoop_cluster/
start-yarn.sh --config /home/program/hadoop/etc/hadoop_cluster/
備註 停止進程是按照YARN先關閉 然後關閉HDFS,不要頻繁的格式化名稱節點
第13步、通過fs操作HDFS裏面的文件
A、創建目錄:hadoop fs -mkdir -p /user/Ubuntu
B、顯示目錄:hadoop fs -ls -R /
……
第14步、訪問:http://IP:50070
訪問:http://IP:8088
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.