Spark 錯誤記錄

  1. scheduler.LiveListenerBus: Listener SQLListener threw an exception
    java.lang.NullPointerException
image.png

在這個報錯中沒有顯示自己編寫代碼的問題,一開始度娘了很久都沒結果,一樣的代碼在其他地方能執行,在這裏就執行不了。
由於我的每個任務都有不同的執行參數,所以每個參數都寫在一個文件裏面直接拷貝。這次出問題就出在

image.png

--num-executors 16
--executor-cores 8
--executor-memory 16G \

image.png

--executor-memory 16G \ 這個參數漏了
賊低級錯 但是很難排查出來

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章