白名單:表示在白名單的主機IP地址可以,用來存儲數據。
配置白名單步驟如下:
1)在NameNode節點的/opt/module/hadoop-3.1.4/etc/hadoop目錄下分別創建whitelist 和blacklist文件
(1)創建白名單
[lytfly@hadoop102 hadoop]$ vim whitelist
在whitelist中添加如下主機名稱,假如集羣正常工作的節點爲102 103
hadoop102
hadoop103
(2)創建黑名單
[lytfly@hadoop102 hadoop]$ touch blacklist
保持空的就可以
2)在hdfs-site.xml配置文件中增加dfs.hosts配置參數
<!-- 白名單 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.4/etc/hadoop/whitelist</value>
</property>
<!-- 黑名單 -->
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.4/etc/hadoop/blacklist</value>
</property>
3)分發配置文件whitelist,hdfs-site.xml
[lytfly@hadoop102 hadoop]$ xsync hdfs-site.xml whitelist
4)第一次添加白名單必須重啓集羣,不是第一次,只需要刷新NameNode節點即可
[lytfly@hadoop102 hadoop-3.1.4]$ myhadoop.sh stop
[lytfly@hadoop102 hadoop-3.1.4]$ myhadoop.sh start
5)在web瀏覽器上查看DN,http://hadoop102:9870/dfshealth.html#tab-datanode
至此白名單添加成功。下面進行白名單的實現:
6)在hadoop104上執行上傳數據數據失敗
[lytfly@hadoop104 hadoop-3.1.4]$ hadoop fs -put NOTICE.txt /
7)二次修改白名單,增加hadoop104
[lytfly@hadoop102 hadoop]$ vim whitelist
修改爲如下內容:
hadoop102
hadoop103
hadoop104
8)刷新NameNode
[lytfly@hadoop102 hadoop-3.1.4]$ hdfs dfsadmin -refreshNodes
9)在web瀏覽器上查看DN,http://hadoop102:9870/dfshealth.html#tab-datanode