Spark定製班第22課:Spark Streaming架構源碼圖解

本期內容:
1. Spark Streaming再思考
2. Spark Streaming架構源碼圖解

Spark Streaming的基本架構可以類比食物的消化,來理解流數據的處理。

Spark Streaming有多種數據源,流進Spark集羣。Spark集羣的Receiver收到通訊後,通過RPC通訊機制給Driver,Driver的DStream按照時間進行計算,會生成RDD,RDD的多項操作也都是在Spark集羣上進行的。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章