無論以什麼樣的模式提交Application到Yarn中運行,都會啓動一個yarn-session(Flink 集羣),依然是由JobManager和TaskManager組成,那麼JobManager節點如果宕機,那麼整個Flink集羣就不會正常運轉,所以接下來搭建Flink on YARN HA集羣
安裝步驟
hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>10</value>
<description> The maximum number of application master execution attempts AppMaster最大 重試次數 </description>
</property>
分發至其他節點:並重啓
flink/flink-conf.yaml
HA測試
Application Master就是Job Manager。
在node02上kill掉JM進程後,發現JM又會在node04上重啓,已經實現了HA:
查看node04的日誌:
提交一個flink job: