hadoop常用配置項

記一下hadoop安裝常用的配置項,防止安裝軟件的時候遺漏掉什麼

core-size.xml

fs.defaultFS 默認文件系統路徑

hadoop.tmp.dir 臨時文件目錄

hdfs-site.xml

dfs.namenode.http-address namenode節點路徑

dfs.datanode.secondary.http-address secondnamenode節點路徑

dfs.replication 文件副本數

mapred-site.xml

mapreduce.framework.name mapreduce框架

mapreduce.jobhistory.address jobhistory內部路徑

mapreduce.jobhistory.webapp.address jobhistory網頁路徑

mapreduce.map.output.compress mapreduce壓縮

mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.SnappyCodec 使用snappy壓縮

yarn-site.xml

yarn.resourcemanager.hostname resourcemanager路徑

yarn.nodemanager.aux-services mapreduce_shuffle

yarn.log-aggregation-enable yarn日誌聚合

yarn.log-aggregation.retain-seconds 日誌聚合保留時間

具體詳細配置參照以下的類似文件點擊打開鏈接

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章