flink on yarn HA高可用集群搭建

无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManager节点如果宕机,那么整个Flink集群就不会正常运转,所以接下来搭建Flink on YARN HA集群

安装步骤

hadoop/yarn-site.xml

在这里插入图片描述
在这里插入图片描述

<property> 
	<name>yarn.resourcemanager.am.max-attempts</name> 
	<value>10</value> 
	<description> The maximum number of application master execution attempts AppMaster最大 重试次数 </description> 
</property>

分发至其他节点:并重启
在这里插入图片描述
在这里插入图片描述

flink/flink-conf.yaml

在这里插入图片描述
在这里插入图片描述

HA测试

Application Master就是Job Manager。
在node02上kill掉JM进程后,发现JM又会在node04上重启,已经实现了HA:
在这里插入图片描述
在这里插入图片描述
查看node04的日志:
在这里插入图片描述
提交一个flink job:
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章