spark提交任務參數總結

Options:

  --master MASTER_URL                               spark://host:port, mesos://host:port, yarn, or local.

  --deploy-mode DEPLOY_MODE               通過 ("client") or ("cluster")模式啓動你的集羣 (Default: client).

  --class CLASS_NAME                                應用程序的類名 (for Java / Scala apps).

  --name NAME                                               A name of your application.

  --jars JARS                                                   jar包位置                          

  --exclude-packages                                    用逗號分隔的groupId列表:artifactId,以排除包中提供的依賴項以避免依賴衝突

 

  --driver-memory MEM                                 驅動內存大小 (e.g. 1000M, 2G) (Default: 1024M).

  --driver-java-options                                    傳遞給驅動程序的額外java選項

  --driver-library-path                                      要傳遞給驅動程序的額外庫路徑

  --driver-class-path                                        要傳遞給驅動程序的額外類路徑條目。注意jar包會自動包含在類路徑

  --executor-memory MEM                             每個 executor的內存 (e.g. 1000M, 2G) (Default: 1G).

  --help, -h                                                        Show this help message and exit.

  --verbose, -v                                                  Print additional debug output.

  --version,                                                       Print the version of current Spark.

 

spark standlone模式和cluster模式部署特有:

  --driver-cores  NUM                                       driver佔cup核的數量 (Default: 1).

 

spark standlone模式和Mesos cluster模式部署特有:

  --supervise                                                     如果給定,失敗時重新啓動驅動程序

  --kill SUBMISSION_ID                                  如果給定,kill指定程序

  --status SUBMISSION_ID                            如果給定請求指定驅動的狀態

 

spark standalone模式和 Mesos模式特有:

  --total-executor-cores NUM                         所有的executors總共的cpu核心數.

 

spark standalone模和YARN模式特有:

  --executor-cores NUM                                每個executor佔用的核心數. (Default: YARN模式是1,

                                                                         Standalone模式是所有可用的核心數)

 

YARN模式特有:

  --driver-cores NUM                                      driver所用的cup的核, only in cluster mode (Default: 1).

  --queue QUEUE_NAME                             提交到yarn的隊列 (Default: "default").

  --num-executors NUM                                  executors 的數量 (Default: 2).

                                                                         如果啓用了動態分配,那麼執行器的初始數量是NUM

  --archives ARCHIVES                                要提取到每個執行程序的工作目錄中的存檔列表,用逗號分隔。

  --principal PRINCIPAL                                 在安全的HDFS上運行時,用於登錄到KDC的主體。

 

 

發佈了33 篇原創文章 · 獲贊 9 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章