spark submit腳本中向main方法傳遞參數,如果參數中包含空格該如何處理

提交命令如下

spark-submit  --master yarn --class org.example.SparkDemoClass spark-demo-1.0-SNAPSHOT.jar param1,param2,"param3,param3.1" --jars /local/jars/hive-hcatalog-core-2.0.0.jar,/local/jars/mysql-connector-java-5.1.46.jar
  • 傳遞給main方法的參數,按照添加順序依次傳入,如果某個參數含有空格則需要使用雙引號將該參數擴起來;

spark submit腳本中各參數順序的注意事項:

  • 每個參數(最後一個參數除外)後需要先空格再使用\表示結尾;
  • spark-submit必須寫在最前面;
  • class、master yarn、deploy-mode client等使用了--標註的參數的順序可以相互調整;
  • application jar名這個參數必須寫在使用了--標註的參數後;
  • 向main方法傳遞的參數必須寫在application jar之後。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章