Hive Union all/ Union 操作中產生文件夾

背景:

    今天在工作中遇到一個問題, 使用Union/Union ALL的時候, 結果表數據, 不會直接存放在表文件夾下面, 而是在表文件夾下面建個二級文件夾, 再內部纔是HDFS文件.

    結果表, 並不是分區表, 從而導致Spark無法正常讀取Hive數據. 

    網上找了下結果, 但是並沒有解決這個問題, 記錄下.

類似解決方案: 

1、https://stackoverflow.com/questions/38669535/hive-creating-extra-subfolders-under-partitioned-directories-on-insert-overwrite

2、http://lxw1234.com/archives/2015/07/382.htm

後續1, 

    我用了小數據去測試, 發現Union和UnionALL 都不會產生二級文件.

發佈了49 篇原創文章 · 獲贊 13 · 訪問量 7萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章