Flink 系例 之 Dashboard安裝與界面操作

前期入門講解了需多常用算子、方法、和連接器的使用與代碼示例,本文講解如何安裝Apache Flink Dashboard平臺與界面基本操作。

Apache Flink Dashboard 是Flink的客戶端管理控制平臺,也是JOB運行時任務跟蹤與管理的顯示平臺。撐握基本的應用是學習Flink必備的,通過管理控制檯界面的操作,我們能夠知曉:

  • Task JOB的運行健康狀態;
  • 上傳打包的客戶端應用程序;
  • 運行Task JOB如何分配可用資源;
  • 啓停Task JOB任務、查看Task JOB執行能力;
  • 查看Task JOB監控維度指標;

安裝Flink服務

參見另一文章:  linux 安裝 flink 1.11.1

Dashboard基本操作

參考上述“安裝Flink服務”後,訪問:http://localhost:8081

主頁

默認進入的是客戶端主頁,在主頁中顯示Available Task Slots(翻譯過來叫可用的任務槽),是Flink根據flink-1.11.1/conf/flink-conf.yaml配置文件中的taskmanager.numberOfTaskSlots值顯示,按照網上有一個 Flink Task Slots 計算公式:
Flink Available Task Slots = Total Task Slots - 每個任務中的最大並行數(Parallelism)
但我個人的理解,即當前TaskJOB中所有算子並行度合計的最大可用數,即爲 Flink Available Task Slots 的剩餘數;
這個我沒有認真去求證,但有一篇博文件可以作爲參考來理解 slot https://blog.csdn.net/kzw11/article/details/104016868
所以實際生產使用,需要評估job客戶端運用量,以免無法最大化發揮與利用平臺有效資源;

  • 左上爲集羣數量;
  • 右上爲正在運行任務數量;
  • 中間爲運行任務作業列表;
  • 下方爲已完成的任務作業列表;
完成的工作

Completed Jobs 列表中顯示Job名稱,起動進間,用時時長,結束時間,任務個數(起始個數,已完成個數,失敗任務,未運行任務),Status:顯示完成狀態(falied:失敗,finished:已完成)
任務總覽

從運行列表中點擊JOB名稱,進入JOB作業的詳細監控界面
 
  • 上方顯示任務名,此次執行任務的標識ID,開始時間,結束時間,執行時長;
  • 中間爲執行流程,請示數據流的輸入,算子運行模型,數據流的輸出;
  • 下方列表分別爲:數據源,計算方式,已計算的字節大小,並行度,起動時間,用時進長結束時間等,任務個數等;
Job作業管理
用於顯示當前作業的服務信息與運行時的服務日誌、客戶端打印日誌等;

  • Configuration:顯示當前jobManager的所在主機的基本信息(jobManager在master服務上運行),如:服務地址,端口,內存池大小,CPU總進程數,數據緩存臨時目錄,ssh端口等;
  • Logs:爲jobManager運行時的服務日誌
  • Stdout:爲運行客戶端時向控制檯輸出的日誌信息
  • Log List:flink平臺所有日誌清單,有多種類型的輸出日誌文件,點擊對應的日誌文件名,可實時查看當前Job作業的打印日誌,一般在此列表中排查job作業的運行故障日誌;

提交新工作
1.Add New:新建客戶端,點擊按鈕彈出窗口,添加與選擇本地目錄下的客戶端jar包,將客戶端上傳Job列表;
2.點擊列表中JobName,則顯示參數與配置項,輸入相關配置,點擊Submit提交與運行Job任務;
3.任務提交後,則可以“任務總覽”界面查看Task JOB運行過程與運行狀態;

說明:
  • 事件執行類 Entry Class: com.flink.demo.FlinkWordCount
  • 執行參數 Program Arguments:/opt/flink-1.11.1/temp/2.txt
  • 並行度數量Parallelism:1(可改)
 

Apache Flink Dashboard界面總體功能不多,但簡捷實用,對於後續監控、跟蹤、管理Task JOB有不可缺的作用,儘可能多熟悉操作界面的功能與指標。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章