Where分区剪裁--SQL优化

Where分区剪裁

Join语句中Where条件的位置
当两个表进行Join操作时，主表的Where限制可以写在最后，但从表分区限制条件不要写在Where条件中，建议写在ON条件或者子查询中。主表的分区限制条件可以写在Where条件中（最好先用子查询过滤）。
示例如下。
第二个语句会先Join，后进行分区裁剪，数据量变大，性能下降。在实际使用过程中，应该尽量

避免第二种用法。

select * from A join (select * from B where dt=20150301)B on B.id=A.id where A.dt=20150301；
select * from A join B on B.id=A.id where B.dt=20150301；
select * from (select * from A where dt=20150301)A join (select * from B where dt=20150301)B on B.id=A.id；

数据倾斜
产生数据倾斜的根本原因是有少数Worker处理的数据量远远超过其他Worker处理的数据量，从而导致少数Worker的运行时长远远超过其他Worker的平均运行时长，从而导致整个任务运行时间超长，造成任务延迟。