flink on yarn HA高可用集羣搭建

無論以什麼樣的模式提交Application到Yarn中運行,都會啓動一個yarn-session(Flink 集羣),依然是由JobManager和TaskManager組成,那麼JobManager節點如果宕機,那麼整個Flink集羣就不會正常運轉,所以接下來搭建Flink on YARN HA集羣

安裝步驟

hadoop/yarn-site.xml

在這裏插入圖片描述
在這裏插入圖片描述

<property> 
	<name>yarn.resourcemanager.am.max-attempts</name> 
	<value>10</value> 
	<description> The maximum number of application master execution attempts AppMaster最大 重試次數 </description> 
</property>

分發至其他節點:並重啓
在這裏插入圖片描述
在這裏插入圖片描述

flink/flink-conf.yaml

在這裏插入圖片描述
在這裏插入圖片描述

HA測試

Application Master就是Job Manager。
在node02上kill掉JM進程後,發現JM又會在node04上重啓,已經實現了HA:
在這裏插入圖片描述
在這裏插入圖片描述
查看node04的日誌:
在這裏插入圖片描述
提交一個flink job:
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章