实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

本文转载自公众号: eBay技术荟
作者 | 金澜涛
原文链接:https://mp.weixin.qq.com/s/L64xhtKztwWhlBQrreiDfQ


摘要

大数据处理技术朝传统数据库领域靠拢已经成为行业趋势,目前开源的大数据处理引擎,如Apache Spark、Apache Hadoop、Apache Flink等等都已经支持SQL接口,且SQL的使用往往占据主导地位。各个公司使用以上开源软件构建自己的ETL框架和OLAP技术,但在OLTP技术上,仍然是传统数据库的强项。其中的一个主要原因是传统数据库对ACID的支持。具有ACID能力的传统商用数据库基本都实现了完整的CRUD操作。而在大数据技术领域,由于缺少ACID的支持,基本只实现了C/R操作,对U/D操作很少涉及。

eBay数据仓库的部分基础设施是构建在商用数据产品Ter


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章