一、控制参数
Sqoop 可以通过以下参数控制并发读取的 Mapper 个数加快读取速度。
sqoop import -m <mapper_num> --split-by pk
或者
sqoop import --num-mappers <mapper_num> --split-by pk
Sqoop 计算每个 Mapper 读取的数据范围的时候,会遵循很简单的公式计算:
range = (max(pk) - min(pk)) / mapper
然后会把max、min之间的区间平均分为mapper分,最后mapper个并行的map去找数据库,导数据就正式开始啦!
如果不指定–split-by,默认是主键,Sqoop当前无法在多列索引上拆分。如果您的表没有索引列,或者具有多列键,那么您还必须手动选择一个拆分列,拆分列为null的行不会导入
二、问题
sqoop数据倾斜
如果主键不连续出现大幅度跳跃,就会导致 Sqoop 导入的时候出现严重的数据倾斜。比如某张表的主键分布是这样的:
1
2
3
...
1000
1001
100000
100001
几乎出现所有的数据 load 都集中在第一个 mapper 上,整体同步相当于没有并发。
解决:
1.可以手动split-by指定一个分布均匀number列,但是number为null的数据不会导入,优选选择非空的number列
2.将row_num添加到现有的表模式中并创建一个实体化视图。split-by指定为row_num,数据将平均分配到了映射器中。
3.给业务表添加自增列ID
相关链接
http://abhinaysandeboina.blogspot.com/2017/08/avoiding-data-skew-in-sqoop.html