doris 部署centos

 

官網地址：https://doris.apache.org/master/zh-CN/downloads/downloads.html

1.利用了百度的doris 版本

版本號	大小	下載鏈接	更新時間
0.12.21	447MB	Link	2020-08-11
0.13.15	554MB	Link	2021-01-05
0.14.7	611MB	Link	2021-04-06
0.14.12.4	783MB	Link	2021-06-22
0.14.13.1	847MB	Link	2021-09-17
0.14.13.1-no-avx2	847MB	Link	2021-09-17
0.15.1-rc09	1.05GB	Link	2021-11-15
0.15.1-rc09-no-avx2	1.05GB	Link	2021-11-15

0.14.13.1 及之後的版本需要運行環境的 CPU 支持 avx2 指令，你可以通過 cat /proc/cpuinfo 查看是否支持。如果不支持，請使用帶 no-avx2 後綴的版本。avx2 指令會顯著提升 bloomfilter 等數據結構的計算效率，從而影響索引過濾、runtime filter 等功能的效率。arm 版本爲實驗性質版本，用在以 ARM 環境下運行 Palo。歡迎下載使用並在 Discussions 反饋問題。

 0.14.13.1 = https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/PALO-0.14.13.1-release-binary.tar.gz

0.14.13.1 -no-avx2=https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/PALO-0.14.13.1-release-no-avx2-binary.tar.gz

二.在centos上下載後

  下載： wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/PALO-0.14.13.1-release-binary.tar.gz   
  解壓：tar -xzvf PALO-0.14.13.1-release-binary.tar.gz
  修改名字：mv PALO-0.14.13.1-release-binary Doris-0.14.13.1

doris 需要java_jdk8;

需要安裝jdk 8;

• 配置 FE

  1. 配置文件爲 conf/fe.conf。其中注意：meta_dir是元數據存放位置。默認值爲 ${DORIS_HOME}/doris-meta。需手動創建該目錄。

     注意：生產環境強烈建議單獨指定目錄不要放在Doris安裝目錄下，最好是單獨的磁盤（如果有SSD最好），測試開發環境可以使用默認配置

  2. fe.conf 中 JAVA_OPTS 默認 java 最大堆內存爲 4GB，建議生產環境調整至 8G 以上。

• 啓動FE

  sh bin/start_fe.sh --daemon

      FE進程啓動進入後臺執行。日誌默認存放在 log/ 目錄下。如啓動失敗，可以通過查看 log/fe.log 或者 log/fe.out 查看錯誤信息。

 查看是否運行成成功

利用mysql 客戶端連接 FE

mysql -h 192.168.0.11 -P9030 -uroot
查看狀態 Alive:true 表示正常

mysql> SHOW PROC '/frontends'\G
*************************** 1. row ***************************
Name: 192.168.0.11_9010_1641534384317
IP: 192.168.0.11
HostName: instance-0k9n9mw6
EditLogPort: 9010
HttpPort: 8030
QueryPort: 9030
RpcPort: 9020
Role: FOLLOWER
IsMaster: true
ClusterId: 2096529762
Join: true
Alive: true
ReplayedJournalId: 382
LastHeartbeat: 2022-01-07 14:07:35
IsHelper: true
ErrMsg:
Version: 0.14.13.1-Unknown
1 row in set (0.03 sec)

 

BE 部署

• 拷貝 BE 部署文件到所有要部署 BE 的節點

  將源碼編譯生成的 output 下的 be 文件夾拷貝到 BE 的節點的指定部署路徑下。

• 修改所有 BE 的配置

  修改 be/conf/be.conf。主要是配置 storage_root_path：數據存放目錄。默認在be/storage下，需要手動創建該目錄。多個路徑之間使用英文狀態的分號 ; 分隔（最後一個目錄後不要加 ;）。可以通過路徑區別存儲目錄的介質，HDD或SSD。可以添加容量限制在每個路徑的末尾，通過英文狀態逗號,隔開。

  示例1如下：

  注意：如果是SSD磁盤要在目錄後面加上.SSD,HDD磁盤在目錄後面加.HDD

  storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris

  說明

  • /home/disk1/doris.HDD, 50，表示存儲限制爲50GB, HDD;
  • /home/disk2/doris.SSD 10， 存儲限制爲10GB，SSD；
  • /home/disk2/doris，存儲限制爲磁盤最大容量，默認爲HDD

  示例2如下：

• cat /sys/block/vda/queue/rotational
  返回值0：ssd盤
  返回值1：hdd盤

•  

  注意：不論HHD磁盤目錄還是SSD磁盤目錄，都無需添加後綴，storage_root_path參數裏指定medium即可

  storage_root_path=/home/disk1/doris,medium:hdd,capacity:50;/home/disk2/doris,medium:ssd,capacity:50

  說明

  • /home/disk1/doris,medium:hdd,capacity:10，表示存儲限制爲10GB, HHD;
  • /home/disk2/doris,medium:ssd,capacity:50，表示存儲限制爲50GB, SSD;

• BE webserver_port端口配置

  如果 be 部署在 hadoop 集羣中，注意調整 be.conf 中的 webserver_port = 8040 ,以免造成端口衝突

• 在 FE 中添加所有 BE 節點

  BE 節點需要先在 FE 中添加：

  ./mysql-client -h host -P port -uroot

  其中 host 爲 FE 所在節點 ip；port 爲 fe/conf/fe.conf 中的 query_port；默認使用 root 賬戶，無密碼登錄。

  登錄後，執行以下命令來添加每一個 BE：

  ALTER SYSTEM ADD BACKEND "host:port";

• alter system add backend "192.168.0.74:9050"; 添加 be

• ALTER SYSTEM DROPP BACKEND "192.168.0.74:9050"; 刪除be

• 其中 host 爲 BE 所在節點 ip；port 爲 be/conf/be.conf 中的 heartbeat_service_port。

• 啓動 BE

  sh bin/start_be.sh --daemon

  BE 進程將啓動並進入後臺執行。日誌默認存放在 be/log/ 目錄下。如啓動失敗，可以通過查看 be/log/be.log 或者 be/log/be.out 查看錯誤信息。

• 查看BE狀態

  使用 mysql-client 連接到 FE，並執行 SHOW PROC '/backends'; 查看 BE 運行情況。如一切正常，isAlive 列應爲 true。

查看狀態

mysql> SHOW PROC '/backends'\G
*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 192.168.0.74
             HostName: instance-709sbyb5-2.bj.baidu.internal
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
        LastStartTime: 2022-01-07 15:04:32
        LastHeartbeat: 2022-01-07 15:04:52
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 0
     DataUsedCapacity: .000
        AvailCapacity: 1.000 B
        TotalCapacity: .000
              UsedPct: 0.00 %
       MaxDiskUsedPct: 0.00 %
               ErrMsg:
              Version: 0.14.13.1-Unknown
               Status: {"lastSuccessReportTabletsTime":"N/A","lastStreamLoadTime":-1}
1 row in set (0.00 sec)