[Hive on Tez] Input path does not exists error

Issue

hive metadata有分區信息 partition=x, hdfs路徑不存在分區目錄partition=x時。執行一些hive sql就會報錯： org.apache.hadoop.mapred.InvalidInputException: Input path does not exist。

這個問題算是Tez很平常的目錄不一致問題了。

見 issue:  https://issues.apache.org/jira/browse/HIVE-13781

影響：Hive on Tez. Hive3

解決方案

• 在執行hive sql執行保證hdfs目錄和hive metadata的一致性
• 回退hive on mr
• 外表drop掉所有分區，執行msck repair table修復全表（或者使用mask repair table sync partitions同步hdfs上的分區文件夾信息）