spark on yarn 的安裝

spark有兩種集羣模式

分別是spark on yarn和standalone

spark on yarn:

運行在 yarn(Yet Another Resource Negotiator) 資源管理器框架之上,由 yarn 負責資源管理,Spark 負責任務調度和計算。

standalone:

類似於單機模式



我的配置環境:

軟件環境:

Ubuntu 14.04

Hadoop 2.6.2

Spark 1.5.2

JDK 1.80u66

Scala 2.10.6


參照鏈接:

www.aboutyun.com/thread-12798-1-1.html

這個鏈接用來安裝hadoop

wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

這個鏈接實現hadoop yarn的搭建(yarn原來是hadoop的框架,spark也可在上面跑)+spark的安裝和配置,安裝yarn前需要先安裝hadoop的


值得注意的點:

環境變量一定要正確

文件的權限要正確

ip不要經常變,不要拔網線(因爲配置了ssh免密登陸)





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章