在docker中運行spark程序,發現docker日誌打印如下內容:
[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl :
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
意思是說初始化任務沒有獲取到任何資源,去spark UI頁面查看一下:
可以看到,集羣已經沒有活着的worker了,spark application的狀態是WATING。
啓動spark集羣master的sbin目錄下的start-slaves.sh。
可以看到,當slaves都啓動之後,就恢復正常了,UI頁面有幾臺worker的信息,Spark應用的狀態恢復爲RUNNING。