flink on yarn有兩種模式:yarn-seeion 和yarn-job:
yarn-seeion:在yarn中初始化一個flink集羣,任務都提交到flink集羣,flink集羣會常駐yarn中,除非手動停止。
yarn-job:每次提交的任務都會創建一個新的flink集羣,任務間相互獨立,任務執行完之後flink集羣消失。
yarn-session
在yarn中初始化一個flink集羣,任務都提交到flink集羣,flink集羣會常駐yarn中,除非手動停止。
創建集羣:
創建命令
yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
命令腳本
綁定集羣:
yarn-session.sh -id applicationId
執行flink任務:
yarn-session.sh -id ./examples/wordcount.jar