sqoop開啓多並行度時報錯

使用sqoop傳輸數據時,如果開啓多並行度會產生各種問題,比如傳輸完成後缺少一部分數據、傳輸過程中報錯等,解決方法爲並行度-m設爲1,但是寫多個傳輸腳本同時進行傳輸,提高傳輸效率,讓多個腳本同時傳輸的命令如下:

sh sqoop_oracle_to_hive_1.sh>sqoop_oracle_to_hive_1.log 2>&1 &
sh sqoop_oracle_to_hive_2.sh>sqoop_oracle_to_hive_2.log 2>&1 &
sh sqoop_oracle_to_hive_3.sh>sqoop_oracle_to_hive_3.log 2>&1 &
sh sqoop_oracle_to_hive_4.sh>sqoop_oracle_to_hive_4.log 2>&1 &
sh sqoop_oracle_to_hive_5.sh>sqoop_oracle_to_hive_5.log 2>&1 &
sh sqoop_oracle_to_hive_6.sh>sqoop_oracle_to_hive_6.log 2>&1 &
sh sqoop_oracle_to_hive_7.sh>sqoop_oracle_to_hive_7.log 2>&1 &
sh sqoop_oracle_to_hive_8.sh>sqoop_oracle_to_hive_8.log 2>&1 &
sh sqoop_oracle_to_hive_9.sh>sqoop_oracle_to_hive_9.log 2>&1 &
sh sqoop_oracle_to_hive_10.sh>sqoop_oracle_to_hive_10.log 2>&1 &

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章