通過執行spark-submit XXX 命令來執行jar包的時候可能會出現以下錯誤:
Java 堆內存溢出,出現這種情況可能是因爲spark默認分配給Java driver執行內存不夠,需要我們手動設定Java driver內存。
解決方案:
spark submit命令後添加配置項: --driver-memory 8G
通過執行spark-submit XXX 命令來執行jar包的時候可能會出現以下錯誤:
Java 堆內存溢出,出現這種情況可能是因爲spark默認分配給Java driver執行內存不夠,需要我們手動設定Java driver內存。
解決方案:
spark submit命令後添加配置項: --driver-memory 8G