SparkSubmit提交參數(日常版)

--master yarn
--deploy-mode cluster
--queue XXXX
--name ${spark_job_name}
--executor-memory 8G
--num-executors 32
--executor-cores 4
--conf spark.yarn.executor.memoryOverhead=4G
--conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console"
--conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+UseG1GC"
--driver-memory 4g
--conf spark.yarn.maxAppAttempts=1
--conf spark.locality.wait=60000
--conf spark.dynamicAllocation.enabled=true
--conf spark.rpc.askTimeout=6000
--conf spark.core.connection.ack.wait.timeout=6000
--conf spark.storage.memoryFraction=0.5
--conf spark.shuffle.memoryFraction=0.3
--conf spark.rpc.netty.dispatcher.numThreads=64
--conf spark.default.parallelism=3000

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章