本文轉載自公衆號: eBay技術薈
作者 | 金瀾濤
原文鏈接:https://mp.weixin.qq.com/s/L64xhtKztwWhlBQrreiDfQ
摘要
大數據處理技術朝傳統數據庫領域靠攏已經成爲行業趨勢,目前開源的大數據處理引擎,如Apache Spark、Apache Hadoop、Apache Flink等等都已經支持SQL接口,且SQL的使用往往佔據主導地位。各個公司使用以上開源軟件構建自己的ETL框架和OLAP技術,但在OLTP技術上,仍然是傳統數據庫的強項。其中的一個主要原因是傳統數據庫對ACID的支持。具有ACID能力的傳統商用數據庫基本都實現了完整的CRUD操作。而在大數據技術領域,由於缺少ACID的支持,基本只實現了C/R操作,對U/D操作很少涉及。
eBay數據倉庫的部分基礎設施是構建在商用數據產品Ter