遇到的問題
部分pod 執行s3操作和日誌打印debug失敗，沒有讀取配置的log4j.properties文件和spark-defaults.conf的配置。
比如在conf目錄中放入log4j.properties文件，已經在spark-defaults.conf中指定配置如下:
spark.driver.extraJavaOptions -Dcom.amazonaws.services.s3.enableV4
spark.executor.extraJavaOptions -Dcom.amazonaws.services.s3.enableV4
實際executor的pod執行時 並未加載:
+ CMD=(${JAVA_HOME}/bin/java "${SPARK_EXECUTOR_JAVA_OPTS[@]}" -Xms$SPARK_EXECUTOR_MEMORY -Xmx$SPARK_EXECUTOR_MEMORY -cp "$SPARK_CLASSPATH" org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url $SPARK_DRIVER_URL --executor-id $SPARK_EXECUTOR_ID --cores $SPARK_EXECUTOR_CORES --app-id $SPARK_APPLICATION_ID --hostname $SPARK_EXECUTOR_POD_IP)
+ exec /usr/bin/tini -s -- /usr/local/openjdk-8/bin/java -Xms1g -Xmx1g -cp './hail-all-spark.jar:/opt/spark/jars/*' org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://[email protected]:42963 --executor-id 29 --cores 1 --