什麼是 Druid

Apache Druid 是一個實時分析型數據庫,旨在對大型數據集進行快速查詢和分析(“OLAP” 查詢)。

Druid 最常被當做數據庫,用以支持實時攝取、高查詢性能和高穩定運行的應用場景。例如,Druid 通常被用來作爲圖形分析工具的數據源來提供數據,或當有需要高聚和高併發的後端 API。同時 Druid 也非常適合針對面向事件類型的數據。

通常可以使用 Druid 作爲數據源的系統包括有:

  • 點擊流量分析(Web 或者移動分析)

  • 網絡監測分析(網絡性能監控)

  • 服務器存儲指標

  • 供應鏈分析(生產數據指標)

  • 應用性能指標

  • 數字廣告分析

  • 商業整合 / OLAP

Druid 的核心架構集合了數據倉庫(data warehouses),時序數據庫(timeseries databases),日誌分析系統(logsearch systems)的概念。

 


 

如果你對上面的各種數據類型,數據庫不是非常瞭解的話,那麼我們建議你進行一些搜索來了解相關的一些定義和提供的功能。

Druid 的一些關鍵特性包括有:

  1. 列示存儲格式(Columnar storage format) Druid 使用列式存儲,這意味着在一個特定的數據查詢中它只需要查詢特定的列。這樣的設計極大的提高了部分列查詢場景性能。另外,每一列數據都針對特定數據類型做了優化存儲,從而能夠支持快速掃描和聚合。

  2. 可擴展的分佈式系統(Scalable distributed system) Druid通常部署在數十到數百臺服務器的集羣中, 並且可以提供每秒數百萬級的數據導入,並且保存有萬億級的數據,同時提供 100ms 到 幾秒鐘之間的查詢延遲。

  3. 高性能併發處理(Massively parallel processing) Druid 可以在整個集羣中並行處理查詢。

  4. 實時或者批量數據處理(Realtime or batch ingestion) Druid 可以實時(已經被導入和攝取的數據可立即用於查詢)導入攝取數據庫或批量導入攝取數據。

  5. 自我修復、自我平衡、易於操作(Self-healing, self-balancing, easy to operate) 爲集羣運維操作人員,要伸縮集羣只需添加或刪除服務,集羣就會在後臺自動重新平衡自身,而不會造成任何停機。如果任何一臺 Druid 服務器發生故障,系統將自動繞過損壞的節點而保持無間斷運行。Druid 被設計爲 7*24 運行,無需設計任何原因的計劃內停機(例如需要更改配置或者進行軟件更新)。

  6. 原生結合雲的容錯架構,不丟失數據(Cloud-native, fault-tolerant architecture that won’t lose data) 一旦 Druid 獲得了數據,那麼獲得的數據將會安全的保存在 深度存儲 (通常是雲存儲,HDFS 或共享文件系統)中。即使單個個 Druid 服務發生故障,你的數據也可以從深度存儲中進行恢復。對於僅影響少數 Druid 服務的有限故障,保存的副本可確保在系統恢復期間仍然可以進行查詢。

  7. 針對快速過濾的索引(Indexes for quick filtering) Druid 使用 Roaring 或 CONCISE 來壓縮 bitmap indexes 後來創建索引,以支持快速過濾和跨多列搜索。

  8. 基於時間的分區(Time-based partitioning) Druid 首先按時間對數據進行分區,同時也可以根據其他字段進行分區。這意味着基於時間的查詢將僅訪問與查詢時間範圍匹配的分區,這將大大提高基於時間的數據處理性能。

  9. 近似算法(Approximate algorithms) Druid應用了近似 count-distinct,近似排序以及近似直方圖和分位數計算的算法。這些算法佔用有限的內存使用量,通常比精確計算要快得多。對於精度要求比速度更重要的場景,Druid 還提供了exact count-distinct 和 exact ranking。

  10. 在數據攝取的時候自動進行彙總(Automatic summarization at ingest time) Druid 支持在數據攝取階段可選地進行數據彙總,這種彙總會部分預先聚合您的數據,並可以節省大量成本並提高性能。

 



本文分享自微信公衆號 - CWIKIUS(CWIKIUS)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章