Spark SQL数据倾斜解决方案

由于Spark都是基于RDD的特性，所以可以用纯RDD的方法，实现和Spark SQL一模一样的功能。

之前在Spark Core中的数据倾斜的七种解决方案，全部都可以直接套用在Spark SQL上。

Spark SQL的数据倾斜解决方案：

1. 聚合源数据：Spark Core和Spark SQL没有任何区别
2. 过滤导致倾斜的key：在sql中用where条件
3. 提高shuffle并行度：groupByKey(1000)，spark.sql.shuffle.partitions（默认是200）
4. 双重groupBy：改写SQL，两次groupBy
5. reduce join转换为map join：spark.sql.autoBroadcastJoinThreshold（默认是10485760）；可以自己将表做成RDD，自己手动去实现map join；SparkSQL内置的map join，默认如果有一个10M以内的小表，会将该表进行broadcast，然后执行map join；调节这个阈值，比如调节到20M、50M、甚至1G。
6. 采样倾斜key并单独进行join：纯Spark Core的一种方式，sample、filter等算子
7. 随机key与扩容表：Spark SQL+Spark Core