standalone和mesos集羣部署情況:
使用zk連接多個mast er並存儲state(只對standalone和mesos有用),master主要負責調度。
[配置]
[spark/conf/spark-env.sh]
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181 -Dspark.deploy.zookeeper.dir=/spark"
park.deploy.recoveryMode=ZOOKEEPER #設置zookeeper去啓動備用master(默認none)
spark.deploy.zookeeper.url=s201:2181,s202:2181,s203:2181 #zookeeper集羣
spark.deploy.zookeeper.dir=/spark/ha #zookeeper保存恢復狀態的目錄(默認、spark)
分發配置文件spark-env.sh到其他spark(worker)服務器
[啓動方式]
直接在多個節點上啓動master進程。自動從zk中添加或刪除.
可通過指定多個master連接地址實現。
spark://host1:port1,host2:port2.