注意:
–split-by 後面要是int類型,並且是連續遞增的,那麼sqpli-by 會平分的很均勻,要是不是自增的那麼有的maptask還是很忙,而有的maptask則不是很忙
–num-mappers 後面設置的maptask數目大於1的話,那麼–split-by 後面必須跟字段,因爲–num-mappers 後面要是1的話,那麼
–split-mappers 後面跟不跟字段都沒有意義,因爲,他只會啓動一個maptask進行數據處理。
Sqoop採集數據的時候出現數據傾斜解決方法(--split-by --num-mappers)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
java調用sqoop api用法
lishengping_max
2020-07-06 15:30:54
sqoop的安裝及簡單使用
时不我待,一日千里
2020-07-06 04:31:20
sqoop使用過程中遇到的坑
时不我待,一日千里
2020-07-06 03:53:24
sqoop之hive數據導入mysql
时不我待,一日千里
2020-07-06 03:53:24
sqoop之mysql數據導入hive
时不我待,一日千里
2020-07-06 03:53:24
Sqoop--源數據含有默認換行符導致的數據不正確
lishengping_max
2020-07-05 15:07:56
Sqoop併發控制及相關問題
lishengping_max
2020-07-05 15:07:56
java api併發調用sqoop異常記錄
lishengping_max
2020-07-05 15:07:56
用戶畫像 --運用sqoop導入數據 HBase ImportTSV HBase Bulkload MapReduce導入
kismetG
2020-07-03 05:17:29
Centons7下安裝配置Sqoop、Linux下安裝配置Sqoop
zjh_746140129
2020-07-02 20:00:08
【Sqoop】sqoop導入導出
NextAction
2020-06-30 17:03:22
sqoop之從oracle導入hbase的問題與sqoop hbase 需要注意的一個問題
一无所有自知之明
2020-06-28 16:45:11
sqoop job命令自動生成
ggzone
2020-06-28 04:44:37