一、Hadoop集群参数配置
在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这四个文件分别是对不同组件的配置参数，具体如下：
- core-site.xml，集群全局参数。用于定义系统级别的参数，如HDFS、URL、Hadoop的临时目录等。
- hdfs-site.xml，HDFS参数。如名字节点和数据节点的存放位置、文件副本的个数、文件读取权限等。
- yarn-site.xml，集群资源管理系统参数。配置ResourceManager、NodeManager的通信端口，web监控端口等。
- mapred-site.xml，MapReduce参数。包括JobHistory Server和应用程序参数两部分，如reduce任务的默认个数、任务所能使用内存的默认上下限等。
1.1 core-site.xml
|
参数名称 |
默认值/缺省值 |
说明 |
|
fs.defaultFS |
file:/// |