Druid的底層存儲

底層存儲是segment存儲的地方,druid並沒有規定它的存儲機制。底層存儲架構決定了我們的數據持久性的級別,只要druid進程可以識別這個存儲架構並能獲取存儲在其上的segment,不管我們的druid 節點有多少個失聯,都不用擔心數據的丟失。如果segment在底層存儲裏面丟失了,那麼我們將會丟失存儲在這個segment上面的數據。

本地掛載


本地掛載也可以用於存儲segment。這將允許我們使用本地文件系統或者其他的可以掛載到本地的像NFS,Ceph等等。這是默認的底層存儲的實現。
爲了使用本地掛載的底層存儲,我們需要在通用配置裏面進行如下的配置:


注意:正常情況下我們需要設置druid.storage.storageDirectory的值與druid.segmentCache.locations 和 druid.segmentCache.infoDir不同
如果我們在本地模式下使用Hadoop indexer,那麼只需給它一個本地文件作爲輸出目錄,它就可以工作了。

兼容S3


參考:druid-s3-extensions extension documentation.


HDFS


參考:druid-hdfs-storage extension documentation.


其他的底層存儲


參考: extensions list.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章