Delta Lake 0.5.0 正式發佈,支持包括 Hive/Presto 等多種查詢引擎

Delta Lake 0.5.0 於2019年12月13日正式發佈,正式版本可以到 這裏 下載使用。這個版本支持多種查詢引擎查詢 Delta Lake 的數據,比如常見的 Hive、Presto 查詢引擎。併發操作得到改進。當然,這個版本還是不支持直接使用 SQL 去增刪改查 Delta Lake 的數據,這個可能得等到明年1月的 Apache Spark 3.0.0 的發佈。好了,下面我們來詳細介紹這個版本的關鍵特性。

通過使用 manifest 文件來支持多種查詢引擎

在之前版本的 Delta Lake,只支持使用 Spark 去查詢 Delta Lake 的數據,使得它的使用場景有點限制。但是通過引入了 manifest 文件(參見 #76),我們可以使用 Presto/Amazon Athena 等查詢引擎去查詢 Delta



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章