Doris是什麼?

一、什麼是Doris
Doris 是一個 MPP 的 OLAP 系統,主要整合了 Google Mesa(數據模型),Apache Impala(MPP Query Engine) 和 Apache ORCFile (存儲格式,編碼和壓縮) 的技術。

開源地址:http://doris.apache.org/documentation/cn/installing/index.html
下載地址:http://doris.apache.org/documentation/cn/downloads/downloads.html

二、Doris架構

在這裏插入圖片描述

FE:Frontend,即 Doris 的前端節點。主要負責接收和返回客戶端請求、元數據以及集羣管理、查詢計劃生成等工作。
BE:Backend,即 Doris 的後端節點。主要負責數據存儲與管理、查詢計劃執行等工作。

三、作用
1、對數據分析、統計
2、報表
3、多維分析
4、Doris 是從百度內部自主研發並貢獻到 Apache 開源社區的 ROLAP 數據庫。
5、Doris 整合了 Google Mesa(數據模型),Apache Impala(MPP Query Engine) 和 Apache ORCFile (存儲格式,編碼和壓縮) 技術,在數據查詢延遲上表現非常突出。
6、Doris 的聚合模型主要用於數據的彙總分析,明細模型主要用於明細數據的查詢。
7、相對於 Kylin 只支持彙總模型,Doris 適用的數據場景更加廣泛。

四、安裝部署

開發環境:

Java 1.8 及以上
GCC 4.8.2 及以上

開發環境:

Frontend 8核+ 8GB+ SSD 或 SATA,10GB+ * 千兆網卡 1
Backend 8核+ 16GB+ SSD 或 SATA,50GB+ * 千兆網卡 1-3 *

注意1:

FE 的磁盤空間主要用於存儲元數據,包括日誌和 image。通常從幾百 MB 到幾個 GB 不等。
BE 的磁盤空間主要用於存放用戶數據,總磁盤空間按用戶總數據量 * 3(3副本)計算,然後再預留額外 40% 的空間用作後臺 compaction 以及一些中間數據的存放。
一臺機器上可以部署多個 BE 實例,但是隻能部署一個 FE。如果需要 3 副本數據,那麼至少需要 3 臺機器各部署一個 BE 實例(而不是1臺機器部署3個BE實例)。多個FE所在服務器的時鐘必須保持一致(允許最多5秒的時鐘偏差)
測試環境也可以僅適用一個 BE 進行測試。實際生產環境,BE 實例數量直接決定了整體查詢延遲。
所有部署節點關閉 Swap。

注意2:FE 節點的數量

FE 角色分爲 Follower 和 Observer,(Leader 爲 Follower 組中選舉出來的一種角色,以下統稱 Follower,具體含義見 元數據設計文檔)。
FE 節點數據至少爲1(1 個 Follower)。當部署 1 個 Follower 和 1 個 Observer 時,可以實現讀高可用。當部署 3 個 Follower 時,可以實現讀寫高可用(HA)。
Follower 的數量必須爲奇數,Observer 數量隨意。
根據以往經驗,當集羣可用性要求很高是(比如提供在線業務),可以部署 3 個 Follower 和 1-3 個 Observer。如果是離線業務,建議部署 1 個 Follower 和 1-3 個 Observer。

安裝docker

yum -y install docker-io
service docker start

下載doris

docker pull apachedoris/doris-dev:build-env

檢查鏡像:

$ docker images

運行:

docker run -it apachedoris/doris-dev:build-env
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章