druid.io架構的個人理解學習

druid官方文檔

架構圖

在這裏插入圖片描述

需要回答的問題

數據怎麼進入系統

實時數據,離線數據直接創建任務發送到Overlord (外部系統傳輸數據到Druid)

數據怎麼存儲

離線(非實時部分)數據:存儲到深度存儲,數據元信息寫入元數據庫,由coordinator將數據加載到historical
實時數據:存在middle的堆內/堆外內存中

數據怎麼查詢,爲什麼能實時查詢

有broker節點轉發查詢到 historical 和 middle, 完成查詢(即:支持離線和實時數據查詢)

查詢爲什麼很快(很多方面)

coordinator定時任務會均衡數據在historical的分佈,查詢分散到由很多historical處理,所有historical都處理好了之後再在broker做排序歸併

  • 查詢簡化圖
    在這裏插入圖片描述

兩篇關於druid.io架構的思考文章

part 1
part 2

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章