spark有兩種集羣模式
分別是spark on yarn和standalone
spark on yarn:
運行在 yarn(Yet Another Resource Negotiator) 資源管理器框架之上,由 yarn 負責資源管理,Spark 負責任務調度和計算。
standalone:
類似於單機模式
我的配置環境:
軟件環境:
Ubuntu 14.04
Hadoop 2.6.2
Spark 1.5.2
JDK 1.80u66
Scala 2.10.6
參照鏈接:
www.aboutyun.com/thread-12798-1-1.html
這個鏈接用來安裝hadoop
wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/
這個鏈接實現hadoop yarn的搭建(yarn原來是hadoop的框架,spark也可在上面跑)+spark的安裝和配置,安裝yarn前需要先安裝hadoop的
值得注意的點:
環境變量一定要正確
文件的權限要正確
ip不要經常變,不要拔網線(因爲配置了ssh免密登陸)