【Flink 基礎】-- TaskManager、Solt和 Parallelism 說明及設置

一、概念理解

  • solt:把 slot 看做 cpu 的核一個slot一可以並行跑很多作業
  • 併發度:一個算子有多少個運行實例
  • 關係: slot數 = 最大併發度、一個slot一可以同時運行不同算子的一個實例

參考:點擊

二、參數設置說明

舉例

  1. 計算 TaskManager 數量: 50/4 = 13 , 13個TM一共可以提供13*4=52 個 slot。最大併發是50,只佔了 50 slot,還剩下52-50=2 空閒,所以建議設置 算子並行度 爲 52,避免浪費
  2. 設置 TaskManager 內存: 2G/4=500MB 左右,可適當調大些,具體要看監控,避免 OOM
  3. 設置 Solt 的數量: 不能超過單臺設備 cpu 的 core 數量,一般設置 2。
  4. 設置 JobManager 內存: 主要是管理 TaskManger ,所以 TaskManager 不多的情況下,只需要 1GB 內存就行
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章