spark中直接使用es的client

因爲jar衝突,es client使用的httpjar被忽略,所以導致報錯,所以使用以下命令確保用戶的jar被優先加載。

spark-submit --class SparkTest --master yarn  --deploy-mode client \

--driver-cores 1 \
--driver-memory 1G \
--num-executors 1 \
--executor-cores 1 \
--executor-memory 1G \
--conf spark.io.compression.codec=org.apache.spark.io.LZ4CompressionCodec   \
--conf spark.serializer=org.apache.spark.serializer.JavaSerializer  \
--conf spark.executor.userClassPathFirst=true  \
es-1.0-SNAPSHOT.jar
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章