1、cdh在spark的conf中沒有slaves文件
解決方法:在spark的conf目錄下添加slaves文件,內容爲worker節點名
2、yarn的端口和spark的worker端口衝突都是7337,導致worker進程不能正常工作
解決辦法:在spark的conf目錄下修改spark-default.conf文件,把裏面的7337端口
改成其他的端口
安裝cdh時啓動spark一個坑
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
掌握Spark机器学习库 大数据开发技能更进一步
wy53780
2020-04-23 15:40:06
Spark + ElasticSearch 构建电商用户标签系统实现精准营销
wy53780
2020-04-23 14:05:49
基於spark排序的一種更廉價的實現方案-附基於spark的性能測試
wx58a7bb5e188a6
2019-02-23 00:26:45
8.spark core之讀寫數據
菲立思教育
2019-02-23 00:14:30
5.spark core之RDD編程
菲立思教育
2019-02-23 00:14:30
4.spark快速入門
菲立思教育
2019-02-23 00:14:28
2.spark基本概念
菲立思教育
2019-02-23 00:14:28
spark-shell開發wordcount程序
九月朦朧
2019-02-22 23:14:22
unable create table from sparksql
xiaobin0303
2019-02-22 23:09:30
Spark RDDs vs DataFrames vs SparkSQL
yrgw
2019-02-22 22:41:14
如何在Spark集羣的work節點上啓動多個Executor?
moviebat
2019-02-22 22:38:43
hadoop的集羣配置,原創解決了好多個問題(spark+hadoop+scala集羣配置)
moviebat
2019-02-22 22:38:43