Flink術語表(Glossary)

原文鏈接

 

Flink Application Cluster

        Flink應用程序集羣是一個專用的Flink集羣(Flink Cluster),它只執行一個Flink作業。Flink集羣的生存期與Flink作業的生存期綁定。以前的Flink應用程序集羣也稱爲作業模式下的Flink集羣。與Flink會話集羣相比。

 

Flink Cluster

        由一個Flink主進程(Flink Master )和一個或多個Flink TaskManager進程組成的分佈式系統。這裏說的一個Flink Master是典型的Flink Cluster,對於實現HA的Flink Cluster,可以有多個Master,一個leader,其餘是standby。

 

注:Flink Cluster就是我們通常所說的Flink集羣,而Flink Application Cluster是與具體的job息息相關的。

 

Event

 

Flink Master

        Flink Master是Flink集羣的主服務器。它包含三個不同的組件:Flink資源管理器(Resource Manager)、Flink調度器( Flink Dispatcher)和Flink作業管理器(Flink JobManager)。

 

Flink JobManager

        JobManagers是在Flink主服務器中運行的組件之一。JobManager負責監督單個作業任務的執行。在歷史上,整個Flink Master被稱爲JobManager。

 

Logical Graph

        邏輯圖是描述流處理程序高級邏輯的有向圖。節點是操作符,邊表示操作符的輸入/輸出關係,並對應於數據流或數據集。

 

Operator

        邏輯圖(Logical Graph)的節點。運算符執行某種操作,通常由函數執行。源和匯是數據攝入和數據出口的特殊操作符。

 

Flink Job

        Flink作業是Flink程序的運行時表示。Flink作業可以提交給長時間運行的Flink會話集羣(Flink Session Cluster),也可以作爲獨立的Flink應用程序集羣啓動( Flink Application Cluster)。

 

Sub-Task

        子任務是負責處理數據流的一個分區的任務。術語“子任務”強調同一個操作算子或操作算子鏈有多個並行任務。

 

Physical Graph

        物理圖是在分佈式運行時中轉換邏輯圖執行的結果。節點是任務,邊表示輸入/輸出關係或數據流或數據集的分區。

 

Task

        物理圖形的節點。任務是基本的工作單元,由Flink的運行時執行。任務恰好封裝運算符或運算符鏈的一個並行實例。

 

Function

        函數由用戶實現,並封裝了Flink程序的應用邏輯。大多數函數都由相應的操作算子(Operator)包裝。 

 

Transformation

        轉換應用於一個或多個數據流(data streams)或數據集(data sets),併產生一個或多個輸出數據流或數據集。轉換可以以每個記錄爲基礎更改數據流或數據集,但也可能只更改其分區或執行聚合。雖然操作算子(Operators)和函數(Functions )是Flink API的“物理”部分,但轉換隻是一個API概念。具體地說,大多數轉換是由某些操作算子實現的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章