HDFS(退役節點),集羣擴展(擴容)節點 圖文詳解,

在HDFS集羣內退役一個集羣分幾步

第一步
在NameNode主節點新添加一個文件
在這裏插入圖片描述
在dfs.hosts.exclude文件內添加需要退役的節點主機名、

第二步
在NameNode主節點的hdfs-site.xml文件添加配置,讓dfs.hosts.exclude文件生效
在這裏插入圖片描述
第三步 刷新
在NameNode主節點的hadoop安裝目錄下執行以下命令
在這裏插入圖片描述
在Web頁面查看
在這裏插入圖片描述
如果頁面沒有結果請重啓集羣,強制刷新Web頁面(測試的話,需要多刷幾次,電腦NB請略過)
http://node01:50070/dfshealth.html#tab-datanode

隨着公司業務的增長,數據量越來越大,原有的數據節點的容量已經不能滿足存儲數據的需求,需要在原有集羣基礎上動態添加新的數據節點。
第一步:準備一個純淨的能ping通主節點的虛擬機,作爲新節點

1.關閉防火牆
在這裏插入圖片描述
2.關閉seLinux
在這裏插入圖片描述
3.修改主機名(重啓後生效)
在這裏插入圖片描述
在這裏插入圖片描述
4. 配置主機名與IP對應關係
在這裏插入圖片描述
5. SSH免密碼登錄
在這裏插入圖片描述
在這裏插入圖片描述
6. 安裝JDK1.8
上傳jdk到Linux 放到指定路徑(規範路徑也可以放在其他路徑)
安裝包放在 /export/soft 目錄
解壓到 /export/servers 目錄
配置JDK環境變量
測試 jps命令是否可用
查看 java -version 是否是1.8版本

第二步:將新節點添加到集羣中
從主節點遠程拷貝hadoop到新節點的 /export/sources目錄下
刪除新增節點hadoop安裝目錄下的hadoopDatas(新解壓的hadoop沒有此目錄跳過此步)
在這裏插入圖片描述
在NameNode主節點的hadoop安裝目錄下的etx/hadoop內添加一個新文件
在這裏插入圖片描述
在這裏插入圖片描述
讓dfs.hosts文件在集羣中生效,在當前路徑下的hdfs-xite.xml加載dfs.hosts文件
在這裏插入圖片描述
刷新NameNode節點
在這裏插入圖片描述
修改NameNode的配置文件下的slaves配置文件,把包含新節點的所有的節點都添加到裏面
在這裏插入圖片描述
回到新節點啓動對應的服務“”在這裏插入圖片描述
打開瀏覽器查看
http://IP:50070/dfshealth.html#tab-overview
http://IP:8088/cluster

第三步:執行負載均衡
NameNode主節點在hadoop安裝目錄下執行以下命令

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章