Spark master HA 高可用模式

standalone和mesos集羣部署情況:
     使用zk連接多個mast er並存儲state(只對standalone和mesos有用),master主要負責調度。

[配置]  

[spark/conf/spark-env.sh]
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181 -Dspark.deploy.zookeeper.dir=/spark"
    
park.deploy.recoveryMode=ZOOKEEPER                       #設置zookeeper去啓動備用master(默認none)
spark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181  #zookeeper集羣
spark.deploy.zookeeper.dir=/spark/ha                      #zookeeper保存恢復狀態的目錄(默認、spark)

    分發配置文件spark-env.sh到其他spark(worker)服務器    

 [啓動方式]
    直接在多個節點上啓動master進程。自動從zk中添加或刪除.
    可通過指定多個master連接地址實現。
    spark://host1:port1,host2:port2.
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章