背景
在使用impala drop表然後新建該表再插入數據時,發現以前的數據還在裏面。
drop和create過程都沒有報錯。。。
實際分析發現,drop表後再select報錯,報表不存在,但實際應該是刪除了映射關係,但是hdfs上的文件並沒有刪掉,然後新建表後,再插入數據,數據又寫入到了以前的文件裏,造成該現象。
處理方案
impala 在執行 drop table 操作時,需要把文件移到到 hdfs 的回收站,所以需要創建一個hdfs的目錄 /user/impala,並將其設置爲impala 用戶可寫。
hadoop fs -mkdir -p /user/impala
hadoop fs -chown impala /user/impala