MaxCompute Spark與Spark SQL對比分析及使用注意事項

演講嘉賓簡介：沐行，阿里雲智能技術支持工程師。

本次直播視頻精彩回顧，戳這裏！
以下內容根據演講視頻以及PPT整理而成。
本次分享主要圍繞以下三個方面：

一、功能特性
二、代碼開發
三、DataWorks模式

一、功能特性

1.Spark部署模式
Spark開源文檔中表明部署模式支持幾種部署模式，如stand alone模式、on yarn模式、on k8s模式等。但是其中並不包括Spark on MaxCompute模式。Spark on MaxCompute其實是 MaxCompute平臺對開源的Spark做的兼容支持，使得 MaxCompute平臺得以支持運行Spark的作業。在部署的集羣方式上，on yarn、on k8s集羣雲上部署時需要購買ECS部署Hadoop集羣或者容器集羣，或者是使用阿里雲的產品，如EMR、容器服務。與用於自己搭建