Apache Spark Delta Lake 寫數據使用及實現原理代碼解析

Apache Spark Delta Lake 寫數據使用及實現原理代碼解析

Delta Lake 寫數據是其最基本的功能，而且其使用和現有的 Spark 寫 Parquet 文件基本一致，在介紹 Delta Lake 實現原理之前先來看看如何使用它，具體使用如下：

df.write.format("delta").save("/data/yangping.wyp/delta/test/")
 
//數據按照 dt 分區
df.write.format("delta").partitionBy("dt").save("/data/yangping.wyp/delta/test/")
 
// 覆蓋之前的數據
df.write.format("delta").mode(SaveMode.Overwrite).save("/data/ya