hadoop的HDFS部分配置說明

原創

枫叶的记忆

2020-02-21 07:21

1. Core-site.xml配置說明（文件所在目錄：${Hadoop_Home}/etc/hadoop/）

（1）配置namdenode節點URI

<name>fs.defaultFS</name>

<value>hdfs://bigdata1:8020</value>

</ property >

（2）設置回收站

默認trash功能沒有啓動，生產環境中最好可以把他起來，以恢復誤刪數據。啓用回收站後，用戶刪除的目錄和文件會移到自己家目錄下的.trash文件夾暫時保存。可以配置一個延遲時間，文件到期就會被刪除。如果誤刪文件，直接把文件從.trash目錄拷出來即可。如果刪除時需要馬上釋放空間，可以使用能夠下面語句刪除文件：

[root@hexel ~]#hadoop fs -rm -skipTrash /index.php

回收站重要參數

fs.trash.interval：表示文件可以存放的事件，以分鐘爲單位，0表示禁用trash。CDH4.2以上可以在server和client兩端設置，Server端的值優先於Client.

fs.trash.checkpoint.interval:表示回收站檢查點的間隔時間，單位也是分鐘，只能在服務端設置。這個參數默認是0，就等於fs.trash.interval。

本文兩個參數配置如下：

<name>fs.trash.checkpoint.interval</name>

</property>

<name>fs.trash.interval</name>

</property>

2. Hdfs-site.xml配置說明（文件所在目錄：${Hadoop_Home}/etc/hadoop/）

（1）關閉權限檢查

關閉權限檢查後，任何客戶端都可以登錄hadoop進行操作,不受權限影響

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

（2）namenode節點數據放置位置

最好寫多個路徑，不同路徑的數據是冗餘關係

<name>dfs.namenode.name.dir</name>

<value>/hadoop/hadoop-2.0.0-cdh4.5.0/name1,/hadoop/hadoop-2.0.0-cdh4.5.0/name2</value>

</property>

（3）啓用WebHDFS

Namenode的web訪問方式是否開啓，默認已經開啓了，要關閉就設成false:

<name>dfs.webhdfs.enabled</name>

</property>

（4）配置namenode節點的http訪問地址和端口

默認端口是50070,可手動設置：

<name>dfs.namenode.http-address</name>

<value>bigdata1:50071</value>

</property>

（5）datanode節點數據存放位置

多個路徑之間是循環寫入，負載均衡的關係：

<name>dfs.datanode.data.dir</name>

<value>/hadoop/hadoop-2.0.0-cdh4.5.0/data1,/hadoop/hadoop-2.0.0-cdh4.5.0/data2</value>

</property>

（6）配置數據副本份數

默認是3份，這裏暫時寫成兩份：

<name>dfs.replication</name>

</property>

（7）配置block的大小

Hdfs的塊大小由dfs.block.size參數決定，默認是67108864

<name>dfs.block.size</name>

<description>Thedefault block size for new files</description>

</property>

（8）配置數據節點本地磁盤目錄失效的閥值

默認條件下，數據節點上單個數據目錄失效會導致datanode進程關閉,namenode節點將在其他datanode節點上覆制該datanode節點上的數據，以保證冗餘度。但是實際上該datanode上正常目錄的數據是不需要複製的，參數dfs.datanode.failed.volumes.tolerated可以改變這個特性。假定設定爲3，只有當datanode節點上4個以上目錄失效，datanode進程纔會關閉。如果目錄本來就較少，那麼不建議設置這個數