HDFS的Trash回收站功能

文件的刪除和恢復博客

和Linux系統的回收站設計一樣,HDFS會爲每一個用戶創建一個回收站目錄:/user/用戶名/.Trash/,每一個被用戶通過Shell刪除的文件/目錄,在系統回收站中都一個週期,也就是當系統回收站中的文件/目錄在一段時間之後沒有被用戶恢復的話,HDFS就會自動的把這個文件/目錄徹底刪除,之後,用戶就永遠也找不回這個文件/目錄了。在HDFS內部的具體實現就是在NameNode中開啓了一個後臺線程Emptier,這個線程專門管理和監控系統回收站下面的所有文件/目錄,對於已經超過生命週期的文件/目錄,這個線程就會自動的刪除它們,不過這個管理的粒度很大。另外,用戶也可以手動清空回收站,清空回收站的操作和刪除普通的文件目錄是一樣的,只不過HDFS會自動檢測這個文件目錄是不是回收站,如果是,HDFS當然不會再把它放入用戶的回收站中了。

–此處注意:hdfs會爲每個用戶都建一個回收站,用戶刪除文件時,文件並不是徹底地消失了,而是mv到了/user/用戶名/.Trash/這個文件下,在一段時間內,用戶可以恢復這些已經刪除的文件。如果用戶沒有主動刪除,那麼系統會根據用戶設置的時間把文件刪除掉(某些默認設置是360分鐘,用戶也可以自己設置這個刪除的時間設置),用戶也可以手動清空回收站,這樣刪除的文件就再也找不回來了。

根據上面的介紹,用戶通過命令行即HDFS的shell命令刪除某個文件,這個文件並沒有立刻從HDFS中刪除。相反,HDFS將這個文件重命名,並轉移到操作用戶的回收站目錄中(如/user/hdfs/.Trash/Current, 其中hdfs是操作的用戶名)。如果用戶的回收站中已經存在了用戶當前刪除的文件/目錄,則HDFS會將這個當前被刪除的文件/目錄重命名,命名規則很簡單就是在這個被刪除的文件/目錄名後面緊跟一個編號(從1開始知道沒有重名爲止)。

當文件還在/user/hdfs/.Trash/Current目錄時,該文件可以被迅速地恢復。文件在/user/hdfs/.Trash/Current中保存的時間是可配置的,當超過這個時間,Namenode就會將該文件從namespace中刪除。 文件的刪除,也將釋放關聯該文件的數據塊。注意到,在文件被用戶刪除和HDFS空閒的增加之間會有一個等待時間延遲。
當被刪除的文件還保留在/user/hdfs/.Trash/Current目錄中的時候,如果用戶想恢復這個文件,可以檢索瀏覽/user/hdfs/.Trash/Current目錄並檢索該文件。/user/hdfs/.Trash/Current目錄僅僅保存被刪除 文件的最近一次拷貝。/user/dfs/.Trash/Current目錄與其他文件目錄沒有什麼不同,除了一點:HDFS在該目錄上應用了一個特殊的策略來自動刪除文件,目前的默認策略是 刪除保留超過6小時的文件,這個策略以後會定義成可配置的接口。

還有,NameNode是通過後臺線程(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier,也可以通過fs.trash.classname指定TrashPolicy類)來定時清空所有用戶回收站中的文件/目錄的,它每隔interval分鐘就清空一次用戶回收站。具體的操作步驟是,先檢查用戶回收站目錄/user/用戶名/.Trash下的所有yyMMddHHmm形式的目錄,然後刪除壽命超過interval的目錄,最後將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名爲一個/user/用戶名/.Trash/yyMMddHHmm.

從這個回收線程(Emptier)的實現可以看出,被用戶用命令刪除的文件最多可在其回收站中保存2*interval分鐘,最少可保存interval分鐘,過了這個有效期,用戶刪除的文件就永遠也不可能恢復了。

配置

在每個節點(不僅僅是主節點)上添加配置 /etc/hadoop/conf/core-site.xml,增加如下內容

<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

示例:執行 Hadoop fs -rm -f /文件路徑,將文件刪除時,文件並不是直接消失在系統中,而是被從當前目錄move到了所屬用戶的回收站中。保留時間(1440分鐘=24小時),24小時內,用戶可以去回收站找到這個文件,並且恢復它。24小時過後,系統會自動刪除這個文件,於是這個文件徹底被刪除了。
輸入命令:

hdfs  dfs -du /user/*

可以找到你的用戶相關的回收站文件 /user/fughting/.Trash/Current 文件
輸入命令:

hdfs  dfs  -rm  -r   /user/fughting/.Trash/Current

就可以清空fighting這個用戶的回收站了

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章