大數據處理6種技術架構模式

1、批處理架構

批處理架構

關鍵:全量數據、ETL、批處理、非實時
優點:簡單
缺點:非實時
適用場景:離線數據處理

2、流處理架構

流處理架構

關鍵:流處理、實時、可不存儲全量數據
優點:實時
缺點:無法做離線分析
適用場景:實時數據處理

3、Lambda架構

Lambda架構

Lambda架構

Lambda架構

關鍵:批處理+流處理,全量數據存儲,合併結果
優點:在線+離線
缺點:無法重放數據,只可一次性流處理
適用場景:在線處理+離線處理

4、Kappa架構

Kappa架構

Kappa架構

Kappa架構

關鍵:Lambda+數據重放
優點:支持多次流處理
缺點:數據重放複雜
適用場景:在線處理+離線處理,多次流處理

Unifield架構

Unifield架構

關鍵:Lambda/Kappa+機器學習
優點:支持機器學習
缺點:複雜度更高,實施難
適用場景:大數據+機器學習

6、IoTA架構

IoTA架構

通過Common Data Model的設計,專注在某一個具體領域的數據標準化和計算,從而可以從SDK端開始計算,邊緣計算,中央端只做採集、建立索引和查詢,提高整體數據分析的效率

關鍵:特定領域、去ETL化、IoT、邊緣計算、Ad-hoc查詢、實時
優點:簡化數據處理
缺點:數據採集要求標準化,實施困難
適用場景:IoT

結論

Lambda 架構是兼容了 batch layer, speed layer(real-time processing)的架構,Kappa 架構則是用 speed layer(real-time processing) 全程處理實時數據和歷史數據,Unified 架構進一步引入了機器學習能力。

參考資料

1、http://xhrong.github.io/2019/03/01/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%866%E7%A7%8D%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84%E6%A8%A1%E5%BC%8F
2、https://docherish.com/post/da-shu-ju-chang-yong-de-jia-gou-lambda-he-kappa/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章