尚硅谷Flink教程學習筆記(Flink運行時架構)

source 讀取數據源,rebalance 隨機重新分區,flatmap基於 hashcode 重分區,key aggregate 聚合操作,最後傳播到 sink 進行輸出
在這裏插入圖片描述
在這裏插入圖片描述

這裏面涉及到寬依賴和窄依賴的知識
在這裏插入圖片描述

在這裏插入圖片描述
比如說StreamWordCount代碼裏的filter、map、keyby就是一個任務鏈,當具有相同並行度的時候就會被Flink鏈接成一個任務鏈,也即看做一個task,裏面有三個算子filter、map、keyby
來看一下:
啓動我們的集羣:
在這裏插入圖片描述
然後到webUI界面看一下我們提交的StreamWordConnt代碼的Jar包的Job,可以看到下圖只有一個TaskManager和一個TaskSlots,然後available Task Slots爲0,因爲唯一的一個已經被分配給stream word count job了
在這裏插入圖片描述

然後紅色方框裏就會我們的flink的task流,其中有兩個任務鏈Operator Chains,因爲我在代碼裏沒有設置並行度,在開啓job的時候提交的並行度參數是2,所以可以看到有兩個藍色框,然後每個藍色框裏面是一個任務流,裏面包含着one-to-one的並行度都爲1的算子,裏面的每個算子都是subtask
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章