關於hive和impala互爲前後臺的兩個坑

Impala 與 Hive 之間互爲前後臺

有時候你會發現,切換到 Hive 執行下數據加載或轉換操作比較方便,特別是處理 RCFile, SequenceFile, 和 Avro 等這些 Impala 暫時只支持查詢不支持寫入的數據文件格式

無論你在 Hive 中 create, drop, 或 alter 了一個表或其他對象,當切換回 impala-shell 時,立即執行一個 INVALIDATE METADATA 語句,這樣 Impala 纔會承認新增或修改的對象。

無論你在 Hive 中 load, insert, 或 change 了現存表中的數據 (乃至直接通過 HDFS 操作如 hdfs 命令),當切換回 impala-shell 時,立即執行 REFRESH table_name 語句,這樣 Impala 纔會承認新增或修改的數據。

關於 REFRESH 語句處理過程的演示,可以查看在 Impala 中創建 RCFile 和 SequenceFile 表,通過 Hive 加載數據,通過 Impala 查詢數據的例子。 參見 Using the RCFile File Format with Impala Tables 和 Using the SequenceFile File Format with Impala Tables 。

關於 INVALIDATE METADATA 語句處理過程的演示,可以查看在 Hive 中創建 Avro 表並加載數據,通過Impala查詢的例子,參見Using the Avro File Format with Impala Tables

發佈了189 篇原創文章 · 獲贊 80 · 訪問量 41萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章