Hadoop系列之十:Hadoop配置文件及常用配置參數詳解(未完成)

版權聲明:原創作品,如需轉載,請與作者聯繫。否則將追究法律責任。
學習聯繫QQ:1660809109、1661815153、2813150558
更多資訊:www.magedu.com

1、Hadoop的配置文件
 
hadoop-env.sh: 用於定義hadoop運行環境相關的配置信息,比如配置JAVA_HOME環境變量、爲hadoop的JVM指定特定的選項、指定日誌文件所在的目錄路徑以及master和slave文件的位置等;
 
core-site.xml: 用於定義系統級別的參數,如HDFS URL、Hadoop的臨時目錄以及用於rack-aware集羣中的配置文件的配置等,此中的參數定義會覆蓋core-default.xml文件中的默認配置;
 
hdfs-site.xml: HDFS的相關設定,如文件副本的個數、塊大小及是否使用強制權限等,此中的參數定義會覆蓋hdfs-default.xml文件中的默認配置;
 
mapred-site.xml:HDFS的相關設定,如reduce任務的默認個數、任務所能夠使用內存的默認上下限等,此中的參數定義會覆蓋mapred-default.xml文件中的默認配置;
 
masters: hadoop的secondary-masters主機列表,當啓動Hadoop時,其會在當前主機上啓動NameNode和JobTracker,然後通過SSH連接此文件中的主機以作爲備用NameNode; 
 

slaves:Hadoop集羣的slave主機列表,master啓動時會通過SSH連接至此列表中的所有主機併爲其啓動DataNode和taskTracker進程; 

本文出自 “馬哥教育Linux運維培訓” 博客,轉載請與作者聯繫!

學習聯繫QQ:1660809109、1661815153、2813150558
更多資訊:www.magedu.com

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章