掃一掃加入大數據公衆號和技術交流羣，瞭解更多大數據技術，還有免費資料等你哦
簡介
流處理系統必須能優雅地處理反壓（backpressure）問題，因爲實時流處理必然會遇到這樣的場景：短時負載高峯導致系統接收數據的速率遠高於它處理數據的速率。反壓如果不能得到正確的處理，可能會導致資源耗盡甚至系統崩潰，目前主流的流處理系統Storm/Spark Streaming/Flink 都已經提供了反壓機制，不過其實現各不相同。spark的反壓機制參考我的上篇博客：https://blog.csdn.net/aA518189/article/details/86175816
背壓指標計算
介紹反壓之前我們先把背壓指標計算的原理介紹一下，明白背壓指標背後的計算邏輯後，再去看反壓機制或許更好理解。如果您看到某個任務的反壓力警告（例如High），則表示它正在產生的數據快於下游操作員可以消耗的速度。下游工作流中的記錄（例如，從源到匯），背壓沿相反的方向傳播到上游。Web界面中顯示阻塞在內部方