Flink的作業鏈

基本概念

**概念:**使用鏈條將相關性強的操作綁定在一起,讓上下游的Task在同一個Pipeline中執性
**好處:**避免因爲數據在網絡或者線程間傳輸導致的開銷

禁用全局鏈條

streamExecutionEnvrinonment.disableOperatorChaining()

關閉全局作業鏈後,使用startNewChain()創建對應Operator的鏈條,創建的鏈條只對當前操作符及之後的操作符有效

dataStream.filter(...).map(...).startNewChain().map(...)

兩個map進行綁定,對filter無影響

禁用局部鏈條

使用disableChaining()禁用當前操作符上的鏈條

dataStream.map(...).disableChaining

只禁用map操作上的鏈條,且不會對其他操作符產生影響

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章