提交命令如下
spark-submit --master yarn --class org.example.SparkDemoClass spark-demo-1.0-SNAPSHOT.jar param1,param2,"param3,param3.1" --jars /local/jars/hive-hcatalog-core-2.0.0.jar,/local/jars/mysql-connector-java-5.1.46.jar
- 傳遞給main方法的參數,按照添加順序依次傳入,如果某個參數含有空格則需要使用雙引號將該參數擴起來;
spark submit腳本中各參數順序的注意事項:
- 每個參數(最後一個參數除外)後需要先空格再使用\表示結尾;
- spark-submit必須寫在最前面;
- class、master yarn、deploy-mode client等使用了--標註的參數的順序可以相互調整;
- application jar名這個參數必須寫在使用了--標註的參數後;
- 向main方法傳遞的參數必須寫在application jar之後。