Spark在云原生时代的发展

作者：邵赛赛
转载自公众号：数据湖技术
原文链接：https://mp.weixin.qq.com/s/dgLrh2GqnMu1rRqYpCtjoA

前言

在ABC (AI, BigData, Cloud)时代，传统的大数据解决方案和厂商 (Cloudera, Hortonworks) 略显颓势，而云厂商 (AWS, Azure, GCP) 和云原生解决方案 (Databricks Cloud, Snowflake, ElasticSearch等) 则愈加迸发出活力。在这个云原生的时代拥抱云变成了不二之选，那么对于Spark[1]来说它是如何在云原生时代积极拥抱云的呢？

背景

10多年前，Google的3篇论文拉开了大数据时代的大幕，这3篇论文不仅从理论上详尽地阐述了分布式大数据的经典算法，更从工程上解决了普通商业硬件的分布式架构之道，同时也

---