Flink的作业链

基本概念

**概念:**使用链条将相关性强的操作绑定在一起,让上下游的Task在同一个Pipeline中执性
**好处:**避免因为数据在网络或者线程间传输导致的开销

禁用全局链条

streamExecutionEnvrinonment.disableOperatorChaining()

关闭全局作业链后,使用startNewChain()创建对应Operator的链条,创建的链条只对当前操作符及之后的操作符有效

dataStream.filter(...).map(...).startNewChain().map(...)

两个map进行绑定,对filter无影响

禁用局部链条

使用disableChaining()禁用当前操作符上的链条

dataStream.map(...).disableChaining

只禁用map操作上的链条,且不会对其他操作符产生影响

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章