Options:
--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local.
--deploy-mode DEPLOY_MODE 通過 ("client") or ("cluster")模式啓動你的集羣 (Default: client).
--class CLASS_NAME 應用程序的類名 (for Java / Scala apps).
--name NAME A name of your application.
--jars JARS jar包位置
--exclude-packages 用逗號分隔的groupId列表:artifactId,以排除包中提供的依賴項以避免依賴衝突
--driver-memory MEM 驅動內存大小 (e.g. 1000M, 2G) (Default: 1024M).
--driver-java-options 傳遞給驅動程序的額外java選項
--driver-library-path 要傳遞給驅動程序的額外庫路徑
--driver-class-path 要傳遞給驅動程序的額外類路徑條目。注意jar包會自動包含在類路徑
--executor-memory MEM 每個 executor的內存 (e.g. 1000M, 2G) (Default: 1G).
--help, -h Show this help message and exit.
--verbose, -v Print additional debug output.
--version, Print the version of current Spark.
spark standlone模式和cluster模式部署特有:
--driver-cores NUM driver佔cup核的數量 (Default: 1).
spark standlone模式和Mesos cluster模式部署特有:
--supervise 如果給定,失敗時重新啓動驅動程序
--kill SUBMISSION_ID 如果給定,kill指定程序
--status SUBMISSION_ID 如果給定請求指定驅動的狀態
spark standalone模式和 Mesos模式特有:
--total-executor-cores NUM 所有的executors總共的cpu核心數.
spark standalone模和YARN模式特有:
--executor-cores NUM 每個executor佔用的核心數. (Default: YARN模式是1,
Standalone模式是所有可用的核心數)
YARN模式特有:
--driver-cores NUM driver所用的cup的核, only in cluster mode (Default: 1).
--queue QUEUE_NAME 提交到yarn的隊列 (Default: "default").
--num-executors NUM executors 的數量 (Default: 2).
如果啓用了動態分配,那麼執行器的初始數量是NUM
--archives ARCHIVES 要提取到每個執行程序的工作目錄中的存檔列表,用逗號分隔。
--principal PRINCIPAL 在安全的HDFS上運行時,用於登錄到KDC的主體。