分區表無法查詢手動put進hdfs的數據問題

問題描述：hive表查hdfs目錄文件有數據，但在hive命令行查分區表查不到數據

向hive表對應hdfs中新建目錄，put數據後，在hive命令行查詢，查不到put進分區的數據，下面記錄處理方法：

分區既然是HDFS目錄，那就可以通過hdfs put命令直接向HDFS添加分區。然而，元存儲擁有所有表的元數據，它不會自動識別這些直接被添加到HDFS的分區。Hive提供了命令MSCK REPAIR TABLE tableName;，可以自動地更新元存儲來恢復分區。如果基於亞馬遜EMR，這個命令是ALTER TABLE tableName RECOVER PARTITIONS;。

測試如下：

hadoop fs -mkdir hdfs://yhd-jqhadoop2.int.yihaodian.com:8020/user/hive/warehouse/testtmp.db/denglg/step=4

hive> select * from denglg where step='4';

OK

Time taken: 0.067 seconds

hadoop fs -cp hdfs://yhd-jqhadoop2.int.yihaodian.com:8020/user/hive/warehouse/testtmp.db/denglg/step=3/000000_0 hdfs://yhd-          jqhadoop2.int.yihaodian.com:8020/user/hive/warehouse/testtmp.db/denglg/step=4/000000_0

hive> select * from denglg where step='4';

OK

Time taken: 0.066 seconds

hive> MSCK REPAIR TABLE denglg;

OK

Partitions not in metastore:    denglg:step=4

Repair: Added partition to metastore denglg:step=4

Time taken: 0.156 seconds, Fetched: 2 row(s)

hive> select * from denglg where step='4';

OK

111    222    333    4

Time taken: 0.068 seconds, Fetched: 1 row(s)