spark提交任务参数总结

Options:

  --master MASTER_URL                               spark://host:port, mesos://host:port, yarn, or local.

  --deploy-mode DEPLOY_MODE               通过 ("client") or ("cluster")模式启动你的集群 (Default: client).

  --class CLASS_NAME                                应用程序的类名 (for Java / Scala apps).

  --name NAME                                               A name of your application.

  --jars JARS                                                   jar包位置                          

  --exclude-packages                                    用逗号分隔的groupId列表:artifactId,以排除包中提供的依赖项以避免依赖冲突

 

  --driver-memory MEM                                 驱动内存大小 (e.g. 1000M, 2G) (Default: 1024M).

  --driver-java-options                                    传递给驱动程序的额外java选项

  --driver-library-path                                      要传递给驱动程序的额外库路径

  --driver-class-path                                        要传递给驱动程序的额外类路径条目。注意jar包会自动包含在类路径

  --executor-memory MEM                             每个 executor的内存 (e.g. 1000M, 2G) (Default: 1G).

  --help, -h                                                        Show this help message and exit.

  --verbose, -v                                                  Print additional debug output.

  --version,                                                       Print the version of current Spark.

 

spark standlone模式和cluster模式部署特有:

  --driver-cores  NUM                                       driver占cup核的数量 (Default: 1).

 

spark standlone模式和Mesos cluster模式部署特有:

  --supervise                                                     如果给定,失败时重新启动驱动程序

  --kill SUBMISSION_ID                                  如果给定,kill指定程序

  --status SUBMISSION_ID                            如果给定请求指定驱动的状态

 

spark standalone模式和 Mesos模式特有:

  --total-executor-cores NUM                         所有的executors总共的cpu核心数.

 

spark standalone模和YARN模式特有:

  --executor-cores NUM                                每个executor占用的核心数. (Default: YARN模式是1,

                                                                         Standalone模式是所有可用的核心数)

 

YARN模式特有:

  --driver-cores NUM                                      driver所用的cup的核, only in cluster mode (Default: 1).

  --queue QUEUE_NAME                             提交到yarn的队列 (Default: "default").

  --num-executors NUM                                  executors 的数量 (Default: 2).

                                                                         如果启用了动态分配,那么执行器的初始数量是NUM

  --archives ARCHIVES                                要提取到每个执行程序的工作目录中的存档列表,用逗号分隔。

  --principal PRINCIPAL                                 在安全的HDFS上运行时,用于登录到KDC的主体。

 

 

发布了33 篇原创文章 · 获赞 9 · 访问量 1万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章