現象
日誌報錯:
#4, table=null, attempt=1/0 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region TraceV2
查詢偶爾也會報錯:
一旦查詢的數據在有異常的region上時就會報錯。
處理過程:
1、查看hbase ui
有4個region無法上線
2、執行hbase健康檢查
hbase hbck
Status:INCONSISTENT,表示有不一致問題。
3、嘗試修復
hbase hbck -fixAssignments
結果超時後仍然無法修復
4、查看name ui
丟失了90個數據塊,無法恢復了,應該是有人誤刪了
5、刪除無法修復的數據塊
./hdfs fsck -delete