Sqoop採集數據的時候出現數據傾斜解決方法(--split-by --num-mappers)

在這裏插入圖片描述
注意:
–split-by 後面要是int類型,並且是連續遞增的,那麼sqpli-by 會平分的很均勻,要是不是自增的那麼有的maptask還是很忙,而有的maptask則不是很忙
–num-mappers 後面設置的maptask數目大於1的話,那麼–split-by 後面必須跟字段,因爲–num-mappers 後面要是1的話,那麼
–split-mappers 後面跟不跟字段都沒有意義,因爲,他只會啓動一個maptask進行數據處理。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章