Druid 集羣方式部署 —— 選擇硬件

Apache Druid 被設計部署爲可擴展和容錯的集羣部署方式。

在本文檔中,我們將會設置一個示例集羣,並且進行一些討論,你可以進行那些修改來滿足你的需求。

這個簡單的集羣包括有下面的特性:

  • 主服務器(Master Server)將會運行 Coordinator 和 Overlord 進程
  • 2 個可擴展和容錯的數據服務器將會運行 Historical 和 MiddleManager 進程
  • 一個查詢服務器(Query Server)將會運行 Broker 和 Router 進程

在生產環境中,我們建議你部署多個 Master 服務器和多個 Query 服務器,服務器的高可用性(fault-tolerant)配置與你的數據特性和容錯性要求息息相關。
但是你可以使用一個主服務器(Master Server) 和 一個查詢服務器(Query Server)來啓動服務,隨着需求的增加你可以隨時增加更多的服務器節點。

選擇硬件

全新部署

如果你沒有已經存在的 Druid 集羣,但是你希望開始在你的環境中使用集羣方式部署 Druid,本文檔將會使用預配置(pre-made configurations)內容來幫助你開始部署 Druid 的集羣。

主服務器(Master Server)

Coordinator 和 Overlord 進程將會負責處理 metadata 數據和在你集羣中進行協調。這 2 個進程可以合併在同一個服務器上。

在本示例中,我們將會在 AWS m5.2xlarge 部署一個評估的服務器和實例。

AWS 上面硬件的配置爲:

  • 8 vCPUs
  • 31 GB RAM

有關本服務器的配置信息和有關硬件大小的建議,可以在文件 conf/druid/cluster/master 中找到。

數據服務器(Data server)

Historicals 和 MiddleManagers 可以合併到同一個服務器上,這個 2 個進程在你的集羣中用於處理實際的數據。通常來說越大 CPU, RAM, SSDs硬盤越好。

在本示例中,我們將會在 i3.4xlarge 部署一個評估的服務器和實例。

AWS 上面硬件的配置爲:

  • 16 vCPUs
  • 122 GB RAM
  • 2 * 1.9TB SSD storage

有關本服務器的配置信息和有關硬件大小的建議,可以在文件 conf/druid/cluster/data 中找到。

查詢服務器(Query server)

Druid Brokers 可以接受查詢,並且將接受的查詢發送到集羣中處理。同時他們也負責維護內存中的查詢緩存, 常來說越大的 CPU, RAM 越好。

在本示例中,我們將會在 m5.2xlarge 部署一個評估的服務器和實例。

AWS 上面硬件的配置爲:

  • 8 vCPUs
  • 31 GB RAM

你也可以考慮在運行 Broker 進程的查詢服務器上部署任何開源的 UI 或者查詢庫。

有關本服務器的配置信息和有關硬件大小的建議,可以在文件,可以在文件 conf/druid/cluster/query 中找到。

其他硬件大小

上面的示例集羣配置是從多種確定 Druid 集羣可能的配置方式中選擇的一個示例。

您可以根據自己的特定需求和要求來選擇 較小/較大的硬件配置或 較少/更多的服務器數量。 如果你的使用實例有比較複雜的可擴展性要求,你也可以選擇不將進程合併到服務器上的配置方案,而針對每一個進程配置一臺服務器(例如,你可以配置一個獨立的 Historical 服務器)。

 

An-overview-of-a-Druid-cluster-and-the-flow-of-data-through-the-cluster

 

有關更多的配置信息,請參考頁面 basic cluster tuning guide 中的內容,能夠幫助你如何對你的配置進行配置和擴展。

 

https://www.ossez.com/t/druid/13642

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章