现象
日志报错:
#4, table=null, attempt=1/0 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region TraceV2
查询偶尔也会报错:
一旦查询的数据在有异常的region上时就会报错。
处理过程:
1、查看hbase ui
有4个region无法上线
2、执行hbase健康检查
hbase hbck
Status:INCONSISTENT,表示有不一致问题。
3、尝试修复
hbase hbck -fixAssignments
结果超时后仍然无法修复
4、查看name ui
丢失了90个数据块,无法恢复了,应该是有人误删了
5、删除无法修复的数据块
./hdfs fsck -delete