僞分佈式模式的Hadoop環境搭建
一、本文說明:
本次測試在一臺虛擬機系統上進行僞分佈式搭建。Hadoop僞分佈式模式是在單機上模擬Hadoop分佈式,單機上的分佈式並不是真正的僞分佈式,而是使 用線程模擬分佈式。Hadoop本身是無法區分僞分佈式和分佈式的,兩種配置也很相似。唯一不同的地方是僞分佈式是在單機器上配置,數據節點和名字節點均 是一個機器。
二、環境說明:
操作系統:Cent Os 6.7
hadoop版本:hadoop-2.7.2
JDK版本:jdk1.8_77
備註:基於獨立模式基礎上搭建,參考文章:獨立模式的Hadoop環境搭建。
三、基本環境配置
1、針對不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夾
獨立模式:hadoop_alone(建議)
僞分佈模式:hadoop_presudo(建議)
完全分佈模式:hadoop_cluster(建議)
2、參數配置目錄的指定方式
A、默認方式:${HADOOP_HOME}/etc/hadoop/*.xml
B、通過啓動參數指定配置目錄
Start-dfs.sh –config=/path
C、通過環境變量HADOOP_CONF_DIR=/path(/etc/profile)
備註:因爲搭建僞分佈模式:我這裏配置的${HADOOP_HOME}/etc/hadoop_presudo
三、環境搭建
1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml
2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml
3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml
4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml
5、格式化HDFS文件系統
6、啓動HDFS和YRAN的守護進程(start-dfs.sh,start-yarn.sh)
備註:停止進程是按照YARN先關閉 然後關閉HDFS,不要頻繁的格式化名稱節點
7、通過fs操作HDFS裏面的文件
A、創建目錄:hadoop fs -mkdir -p /user/Ubuntu
B、顯示目錄:hadoop fs -ls -R /
……
8、訪問:http://IP:50070
本次測試在一臺虛擬機系統上進行僞分佈式搭建。Hadoop僞分佈式模式是在單機上模擬Hadoop分佈式,單機上的分佈式並不是真正的僞分佈式,而是使 用線程模擬分佈式。Hadoop本身是無法區分僞分佈式和分佈式的,兩種配置也很相似。唯一不同的地方是僞分佈式是在單機器上配置,數據節點和名字節點均 是一個機器。
二、環境說明:
操作系統:Cent Os 6.7
hadoop版本:hadoop-2.7.2
JDK版本:jdk1.8_77
備註:基於獨立模式基礎上搭建,參考文章:獨立模式的Hadoop環境搭建。
三、基本環境配置
1、針對不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夾
獨立模式:hadoop_alone(建議)
僞分佈模式:hadoop_presudo(建議)
完全分佈模式:hadoop_cluster(建議)
2、參數配置目錄的指定方式
A、默認方式:${HADOOP_HOME}/etc/hadoop/*.xml
B、通過啓動參數指定配置目錄
Start-dfs.sh –config=/path
C、通過環境變量HADOOP_CONF_DIR=/path(/etc/profile)
備註:因爲搭建僞分佈模式:我這裏配置的${HADOOP_HOME}/etc/hadoop_presudo
三、環境搭建
1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml
2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml
3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml
4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml
5、格式化HDFS文件系統
6、啓動HDFS和YRAN的守護進程(start-dfs.sh,start-yarn.sh)
備註:停止進程是按照YARN先關閉 然後關閉HDFS,不要頻繁的格式化名稱節點
7、通過fs操作HDFS裏面的文件
A、創建目錄:hadoop fs -mkdir -p /user/Ubuntu
B、顯示目錄:hadoop fs -ls -R /
……
8、訪問:http://IP:50070
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.