【场景】
Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数，生产环境中，任务资源分配不足会导致该job执行中断、失败等问题，所以对Spark的job资源参数分配调优非常重要。
spark提交作业，yarn-cluster模式示例：
./bin/spark-submit\
--class com.ww.rdd.wordcount \
--master yarn \
--deploy-mode cluster \
--executor-memory 4G \
--num-executors 50 \
--driver-memory 1G \
--conf spark.default.parallelism=1000 \
--conf spark.memory.fraction=0.75 \
--conf spark.memory.storageFraction=0.5 \
/home/spark/wordcount.jar \
1000 #入参
【参数】
num-executors
参数说明：该参数用于设置每个Spark作业总共要用多少个Executor进程来执行。例如Driver向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照该配置在集群的各个worker节点上启动相应数量的Executor进程。这个参数非常重要，如果不设置的话，Spark默认只启动少量的Executor进程，意味着该Spark作业并行度不足，如果作业计算多、数据很大，会导致运行速度非常慢甚至资源不足，异常中断，无法完成等。
调优建议：num-executors设置太少或太多的Executor进程都不好。设置的太少，无法充分利用集群资源；设置的太多的话，大部分队列可能无法给予充分的资源。生产环境摸索的经验是每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适。
executor-memory
参数说明：该参数用于设置每个Executor进程的内存。Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关系。
调优建议：如果内存资源充足的前提下，一般每个job给每个Executor进程的内存设置4G~8G较为合适，供参考。具体的设置还得根据Spark集群可以占用的内存资源总量来定。num-executors * executor-memory，是本Spark作业申请到的内存资源量，这个值是不能超过Spark集群可以占用的内存资源总量的。
executor-cores
参数说明：该参数用于设置每个Executor进程的CPU cores数量。这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程，因此每个Executor进程的CPU cores数量越多，越能够快速地并行执行完分配给自己的所有task线程。
调优建议：如果CPU核数资源充足的前提下，一般每个job给每个Executor的CPU core数量设置为2~4个较为合适，供参考。具体的设置还得根据Spark集群可以占用的CPU core数量资源总量来定。num-executors * executor-cores，是本Spark作业申请到的CPU core数量，这个值是不能超过Spark集群可以占用的CPU core数量资源总量的。
driver-memory
参数说明：该参数用于设置Driver进程的内存。
调优建议：Driver的内存通常来说不设置，或者设置1G左右应该就够了。唯一需要注意的一点是，如果需要使用collect算子将RDD的数据全部拉取到Driver上进行处理，那么必须确保Driver的内存足够大，否则会出现OOM内存溢出的问题。
spark.default.parallelism
参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响Spark作业性能。
调优建议：如果不设置这个参数，会导致Spark自己根据底层HDFS的block数量来设置task的数量，默认是一个HDFS block对应一个task。通常来说，Spark默认设置的数量是偏少的（比如就几十个task），如果task数量偏少的话，就会导致你前面设置好的Executor的参数都前功尽弃。试想一下，无论Executor进程有多少个，内存和CPU资源分配有多充足，但是task只有1个或者10个，那么90%的Executor进程可能根本就没有task执行，也就是白白浪费了宝贵的内存和CPU资源！因此Spark官网建议的设置原则是，设置该参数为num-executors * executor-cores的2~3倍较为合适，例如，Executor的总CPU core数量为300个，那么设置1000个task是可以的，此时可以充分地利用Spark集群的资源，也就是说，1个cpu core并发跑2~3个task是较为合适的。
spark.memory.fraction、spark.memory.storageFraction
【Spark内存模型】
Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。
1. storage内存：存储broadcast，cache，persist数据的地方。
2. execution内存：执行内存，join、aggregate、map等shuffle中间结果都缓存在这部分内存中，满了再写入磁盘，能够减少IO。其实map过程也是在这个内存中执行的。
3. other内存：程序代码执行时预留给自己的内存。
其中，execution和storage是Spark的Executor中内存的占用大户，other占用内存相对少很多。
【spark1.6.0之前版本】
spark1.6.0之前版本，execution和storage的内存分配是独立配置的，使用的参数配置分别是：
spark.storage.memoryFraction：storage内存占Executor总内存比例，default 0.6。
spark.shuffle.memoryFraction：execution内存占Executor总内存比例，default 0.2。
spark1.6.0之前版本，上述两块内存是互相隔离的，无法空闲借用。这就导致了Executor的内存利用率不高，而且需要根据Application的具体情况，使用者自己来调节这两个参数优化Spark的内存使用。
【spark1.6.0及之后版本】
spark1.6.0及之后版本，execution内存和storage内存支持合并配置，使用的参数配置分别是：
spark.memory.fraction：“execution内存+storage内存” 占Executor总内存比例，default 0.75。
spark.memory.storageFraction：storage内存 默认 占Executor总内存比例，default 0.5，如果运行时不够用，且execution内存有空闲，可以借用execution内存。
execution内存和storage内存可以相互借用，提高了内存的Spark中内存的使用率，同时也减少了OOM的情况。
【其他】
1.spark.memory.useLegacyMode：默认值是false，也就是使用上述spark1.6.0及之后版本新的内存管理模型，推荐使用。如果非要想用老的spark1.6.0之前版本老的内存管理模型，配置为true。
2.如果发现task由于频繁的gc导致运行缓慢（通过spark web ui可以观察到作业的gc耗时），意味着task执行用户代码的内存，也就是上述other内存不够用，尝试调低execution和storage内存看看。
参考：
https://www.cnblogs.com/wwcom123/p/10561806.html
https://www.cnblogs.com/wwcom123/p/10549714.html