解决Spark standalone部署模式cores为0的问题

在docker中运行spark程序,发现docker日志打印如下内容:

[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl    : 
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

意思是说初始化任务没有获取到任何资源,去spark UI页面查看一下:
可以看到已经没有活着的slave了
可以看到,集群已经没有活着的worker了,spark application的状态是WATING。

启动spark集群master的sbin目录下的start-slaves.sh
重启slave之后恢复正常
可以看到,当slaves都启动之后,就恢复正常了,UI页面有几台worker的信息,Spark应用的状态恢复为RUNNING。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章