實戰 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

本文轉載自公衆號: eBay技術薈
作者 | 金瀾濤
原文鏈接:https://mp.weixin.qq.com/s/L64xhtKztwWhlBQrreiDfQ


摘要

大數據處理技術朝傳統數據庫領域靠攏已經成爲行業趨勢,目前開源的大數據處理引擎,如Apache Spark、Apache Hadoop、Apache Flink等等都已經支持SQL接口,且SQL的使用往往佔據主導地位。各個公司使用以上開源軟件構建自己的ETL框架和OLAP技術,但在OLTP技術上,仍然是傳統數據庫的強項。其中的一個主要原因是傳統數據庫對ACID的支持。具有ACID能力的傳統商用數據庫基本都實現了完整的CRUD操作。而在大數據技術領域,由於缺少ACID的支持,基本只實現了C/R操作,對U/D操作很少涉及。

eBay數據倉庫的部分基礎設施是構建在商用數據產品Ter


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章