解決spark submit jar包出現OM問題

通過執行spark-submit XXX 命令來執行jar包的時候可能會出現以下錯誤:

 

Java 堆內存溢出,出現這種情況可能是因爲spark默認分配給Java driver執行內存不夠,需要我們手動設定Java driver內存。

解決方案:

spark submit命令後添加配置項: --driver-memory 8G 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章