解決Spark standalone部署模式cores爲0的問題

在docker中運行spark程序,發現docker日誌打印如下內容:

[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl    : 
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

意思是說初始化任務沒有獲取到任何資源,去spark UI頁面查看一下:
可以看到已經沒有活着的slave了
可以看到,集羣已經沒有活着的worker了,spark application的狀態是WATING。

啓動spark集羣master的sbin目錄下的start-slaves.sh
重啓slave之後恢復正常
可以看到,當slaves都啓動之後,就恢復正常了,UI頁面有幾臺worker的信息,Spark應用的狀態恢復爲RUNNING。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章