如果一個數據塊需要冗餘,會將其加入pendingReplications集合,如果塊副本冗餘完畢到某DataNode節點,該DN節點會報告給NameNode,然後NameNode從pendingReplications將塊刪除,如果一致沒報告上來,會在一定時間範圍內存儲在pendingReplications內。pendingReplications爲Map<Block,PendingBlockInfo>類型集合,鍵爲PendingBlockInfo類,該類包含了一個正在被冗餘的塊的信息,包含了系統開始冗餘該塊副本的時間,也記錄了正在處理的塊的副本數量,而PendingReplicationMonitor類就負責掃描pendingReplications內冗餘請求超時的塊,默認掃描週期爲5分鐘,超時時間也爲5分鐘,如果PendingReplicationMonitor內記錄的時間戳timeStamp超過5分鐘,則將該塊加入timedOutItems集合,該集合會在後面的ReplicationMonitor管理器用到,會將該集合內存儲的塊再次放到neededReplications集合裏面去。
hadoop2.0之HDFS集羣管理:PendingReplicationMonitor
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
cdh設置hdfs權限
原創
2022-12-19 09:37:26
Java操作HDFS示例
原創
2021-01-30 09:17:43
Hadoop學習筆記_4:運行模式之僞分佈式模式
编程小透明
2020-07-07 23:10:59
HBase 增量備份
胡同里的民工
2020-07-07 09:10:55
HDFS一致性和高可用原理
zhaofuwu
2020-07-07 03:17:06
HDFS Rolling Upgrade的實現要點分析
Android路上的人
2020-07-07 01:28:48
HBase系列(三)HBase物理架構與工作流程詳解--收藏這一份就夠了!!!
NICEDAYSS
2020-07-03 09:59:23
Hive自定義表生成函數UDTF的自定義實現Demo
TomAndersen
2020-07-03 03:17:36
Hive之配置使用snappy壓縮
TomAndersen
2020-07-03 03:17:36
HBase API 操作:實現將HDFS中的數據寫入HBase表實例
Adder&&
2020-07-01 22:45:12
24小時熱門文章