一、Hadoop集羣參數配置
在hadoop集羣中，需要配置的文件主要包括四個，分別是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，這四個文件分別是對不同組件的配置參數，具體如下：
- core-site.xml，集羣全局參數。用於定義系統級別的參數，如HDFS、URL、Hadoop的臨時目錄等。
- hdfs-site.xml，HDFS參數。如名字節點和數據節點的存放位置、文件副本的個數、文件讀取權限等。
- yarn-site.xml，集羣資源管理系統參數。配置ResourceManager、NodeManager的通信端口，web監控端口等。
- mapred-site.xml，MapReduce參數。包括JobHistory Server和應用程序參數兩部分，如reduce任務的默認個數、任務所能使用內存的默認上下限等。
1.1 core-site.xml
|
參數名稱 |
默認值/缺省值 |
說明 |
|
fs.defaultFS |
file:/// |