RocketMQ4.5.1兩主兩從集羣部署

原創 sqtce 2019-06-15 14:04

RockerMQ簡介

RocektMQ是阿里巴巴在2012年開源的一個純java、分佈式、隊列模型的第三代消息中間件，不僅在傳統高頻交易鏈路有着低延遲的出色表現，在實時計算等大數據領域也有着不錯的吞吐。


2016年11月11號，雙十一大促見證了RocketMQ低延遲存儲架構的成功試水，99.996%的延遲落在了10ms以內，極個別由於GC引發的停頓在50ms以內，其高性能、低延時和高可靠的特性承載了近年來雙十一17萬筆/秒的交易峯值，在整個生產鏈路上都有着穩定和出色的表現。其在同年捐贈給Apache後正式進入孵化期。並於2017年9月RocketMQ正式從Apache社區正式畢業，成爲Apache頂級項目。


服務器配置表

ip地址部署角色模式
192.168.1.20Nameserver1，Brokerserver1Master1
192.168.1.20Nameserver1，Brokerserver1Master2-Slave
192.168.1.21Nameserver2，Brokerserver2Master2
192.168.1.21Nameserver2，Brokerserver2Master1-Slave


系統部署架構圖

image.png


分別修改20 和21的服務器hosts 文件

$sudo vim /etc/hosts
IP                NAME
192.168.1.20      nameserver1
192.168.1.20      master1
192.168.1.20      master1-slave1
192.168.1.21      nameserver2
192.168.1.21      master2
192.168.1.21      master2-slave2
下載官方源碼
下載地址 
$unzip rocketmq-all-4.5.1-bin-release.zip -d /workspace/

分別在20和21兩臺服務器上創建持久化存儲目錄
Msater 目錄設置
mkdir /data/rocketMQ-2m2s/store
mkdir /hdata/rocketMQ-2m2s/store/commitlog
mkdir /data/rocketMQ-2m2s/store/consumequeue
mkdir /data/rocketMQ-2m2s/store/index

Slave目錄設置
mkdir /data/rocketMQ-2m2s/store-s
mkdir /hdata/rocketMQ-2m2s/store-s/commitlog
mkdir /data/rocketMQ-2m2s/store-s/consumequeue
mkdir /data/rocketMQ-2m2s/store-s/index

RocketMQ配置文件

20服務器配置

sudo vim /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-a.properties

sudo vim /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-b-s.properties


21服務器配置

sudo vim /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-b.properties

sudo vim /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-a-s.properties


20服務器 broker-a.properties配置文件


#所屬集羣名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此處不同的配置文件填寫的不一樣

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分號分割

namesrvAddr=192.168.1.20:9876;192.168.1.21:9876

#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數

defaultTopicQueueNums=4

#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉

autoCreateTopicEnable=true

#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉

autoCreateSubscriptionGroup=true

#Broker 對外服務的監聽端口

listenPort=10911

haListenPort=10912

#刪除文件時間點，默認凌晨 4點

deleteWhen=04

#文件保留時間，默認 48 小時

fileReservedTime=18

#commitLog每個文件的大小默認1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每個文件默認存30W條，根據業務情況調整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#檢測物理文件磁盤空間

diskMaxUsedSpaceRatio=88

#存儲路徑

storePathRootDir=/data/rocketMQ-2m2s/store

#commitLog 存儲路徑

storePathCommitLog=/data/rocketMQ-2m2s/store/commitlog

#消費隊列存儲路徑存儲路徑

storePathConsumeQueue=/data/rocketMQ-2m2s/store/consumequeue

#消息索引存儲路徑

storePathIndex=/data/rocketMQ-2m2s/store/index

#checkpoint 文件存儲路徑

storeCheckpoint=/data/rocketMQ-2m2s/store/checkpoint

#abort 文件存儲路徑

abortFile=/data/rocketMQ-2m2s/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 異步複製Master

#- SYNC_MASTER 同步雙寫Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盤方式

#- ASYNC_FLUSH 異步刷盤

#- SYNC_FLUSH 同步刷盤

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#發消息線程池數量

#sendMessageThreadPoolNums=128

#拉消息線程池數量

#pullMessageThreadPoolNums=128

#強制指定本機IP，需要根據每臺機器進行修改。官方介紹可爲空，系統默認自動識別，但多網卡時IP地址可能讀取錯誤

brokerIP1=192.168.1.20


21服務器 broker-a-s.properties配置文件


#所屬集羣名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此處不同的配置文件填寫的不一樣

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分號分割

namesrvAddr=192.168.1.20:9876;192.168.1.21:9876

#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數

defaultTopicQueueNums=4

#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉

autoCreateTopicEnable=true

#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉

autoCreateSubscriptionGroup=true

#Broker 對外服務的監聽端口

listenPort=10923

haListenPort=10924

#刪除文件時間點，默認凌晨 4點

deleteWhen=04

#文件保留時間，默認 48 小時

fileReservedTime=18

#commitLog每個文件的大小默認1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每個文件默認存30W條，根據業務情況調整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#檢測物理文件磁盤空間

diskMaxUsedSpaceRatio=88

#存儲路徑

storePathRootDir=/data/rocketMQ-2m2s/store-s

#commitLog 存儲路徑

storePathCommitLog=/data/rocketMQ-2m2s/store-s/commitlog

#消費隊列存儲路徑存儲路徑

storePathConsumeQueue=/data/rocketMQ-2m2s/store-s/consumequeue

#消息索引存儲路徑

storePathIndex=/data/rocketMQ-2m2s/store-s/index

#checkpoint 文件存儲路徑

storeCheckpoint=/data/rocketMQ-2m2s/store-s/checkpoint

#abort 文件存儲路徑

abortFile=/data/rocketMQ-2m2s/store-s/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushConsumeQueueLeastPages=2#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 異步複製Master

#- SYNC_MASTER 同步雙寫Master

#- SLAVE

brokerRole=SLAVE

#刷盤方式

#- ASYNC_FLUSH 異步刷盤

#- SYNC_FLUSH 同步刷盤

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#發消息線程池數量

#sendMessageThreadPoolNums=128

#拉消息線程池數量

#pullMessageThreadPoolNums=128

#強制指定本機IP，需要根據每臺機器進行修改。官方介紹可爲空，系統默認自動識別，但多網卡時IP地址可能讀取錯誤

brokerIP1=192.168.1.21



21服務器 broker-b.properties配置文件


#所屬集羣名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此處不同的配置文件填寫的不一樣

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分號分割

namesrvAddr=192.168.1.20:9876;192.168.1.21:9876

#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數

defaultTopicQueueNums=4

#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉

autoCreateTopicEnable=true

#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉

autoCreateSubscriptionGroup=true

#Broker 對外服務的監聽端口

listenPort=10911

haListenPort=10912

#刪除文件時間點，默認凌晨 4點

deleteWhen=04

#文件保留時間，默認 48 小時

fileReservedTime=18

#commitLog每個文件的大小默認1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每個文件默認存30W條，根據業務情況調整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#檢測物理文件磁盤空間

diskMaxUsedSpaceRatio=88

#存儲路徑

storePathRootDir=/data/rocketMQ-2m2s/store

#commitLog 存儲路徑

storePathCommitLog=/data/rocketMQ-2m2s/store/commitlog

#消費隊列存儲路徑存儲路徑

storePathConsumeQueue=/datarocketMQ-2m2s/store/consumequeue

#消息索引存儲路徑

storePathIndex=/data/rocketMQ-2m2s/store/index

#checkpoint 文件存儲路徑

storeCheckpoint=/data/rocketMQ-2m2s/store/checkpoint

#abort 文件存儲路徑

abortFile=/data/rocketMQ-2m2s/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 異步複製Master

#- SYNC_MASTER 同步雙寫Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盤方式

#- ASYNC_FLUSH 異步刷盤

#- SYNC_FLUSH 同步刷盤

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#發消息線程池數量

#sendMessageThreadPoolNums=128

#拉消息線程池數量

#pullMessageThreadPoolNums=128

#強制指定本機IP，需要根據每臺機器進行修改。官方介紹可爲空，系統默認自動識別，但多網卡時IP地址可能讀取錯誤

brokerIP1=192.168.1.21



20服務器 broker-b-s.properties配置文件

#所屬集羣名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此處不同的配置文件填寫的不一樣

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分號分割

namesrvAddr=192.168.1.20:9876;192.168.1.21:9876

#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數

defaultTopicQueueNums=4

#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉

autoCreateTopicEnable=true

#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉

autoCreateSubscriptionGroup=true

#Broker 對外服務的監聽端口

listenPort=10923

haListenPort=10924

#刪除文件時間點，默認凌晨 4點

deleteWhen=04

#文件保留時間，默認 48 小時

fileReservedTime=18

#commitLog每個文件的大小默認1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每個文件默認存30W條，根據業務情況調整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#檢測物理文件磁盤空間

diskMaxUsedSpaceRatio=88

#存儲路徑

storePathRootDir=/data/rocketMQ-2m2s/store-s

#commitLog 存儲路徑

storePathCommitLog=/data/rocketMQ-2m2s/store-s/commitlog

#消費隊列存儲路徑存儲路徑

storePathConsumeQueue=/data/rocketMQ-2m2s/store-s/consumequeue

#消息索引存儲路徑

storePathIndex=/data/rocketMQ-2m2s/store-s/index

#checkpoint 文件存儲路徑

storeCheckpoint=/home/rocketMQ/ZHF/rocketMQ-2m2s/store-s/checkpoint

#abort 文件存儲路徑

abortFile=/data/rocketMQ-2m2s/store-s/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 異步複製Master

#- SYNC_MASTER 同步雙寫Master

#- SLAVE

brokerRole=SLAVE

#刷盤方式

#- ASYNC_FLUSH 異步刷盤

#- SYNC_FLUSH 同步刷盤

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#發消息線程池數量

#sendMessageThreadPoolNums=128

#拉消息線程池數量

#pullMessageThreadPoolNums=128

#強制指定本機IP，需要根據每臺機器進行修改。官方介紹可爲空，系統默認自動識別，但多網卡時IP地址可能讀取錯誤

brokerIP1=192.168.1.20


啓動參數設置

RocketMQ啓動文件位於/workspace/rocketmq-all-4.5.1-bin-release/bin/目錄下，Linux中nameserver啓動文件爲：mqnamesrv，broker啓動文件爲：mqbroker，mqnamesrv和mqbroker啓動文件分別調用了runserver.sh和runbroker.sh文件，這兩個文件分別設置了nameserver和broker的啓動內存，目前內存啓動參數分別爲nameserver啓動內存4G，最大內存4G，新生代2G，broker啓動內存8G，最大內存8G，新生代4G。


啓動Nameserver

分別啓動20、21的Nameserver

cd /workspace/rocketmq-all-4.5.1-bin-release/bin/

nohup sh mqnamesrv &


啓動Broker

20上Master啓動：

nohup sh mqbroker -c /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-a.properties &

21上Master啓動：

nohup sh mqbroker -c /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-b.properties &

20上Slave啓動：

nohup sh mqbroker -c /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-b-s.properties &

21上Slave啓動：

nohup sh mqbroker -c /workspace/rocketmq-all-4.5.1-bin-release/conf/2m-2s-async/broker-a-s.properties &

至此，Nameserver、Broker啓動完成，可以用jobs命令查看當前運行進程，如下是服務端相關shutdown，即在bin目錄下：

sh mqshutdown namesrv

sh mqshutdown broker


RocketMQ監控平臺部署

Apache版的RocketMQ管理界面部署工具可以從github上下載源碼，地址：https://github.com/apache/rocketmq-externals，部署流程如下


修改配置文件，關聯rocketMQ集羣到管理界面


首先解壓並進入解壓後rockemq-externals-master目錄rocketmq-externals-master/rocketmq-externals-master/rocketmq-console/src/main/resources，修改目錄下application.properties配置文件

rocketmq.config.nameservAddr=192.168.1.20:9876,192.168.1.21:9876

rocketmq.config.dataPath=/data/rocketMQ-2m2s

然後編譯打包成rocketmq-console-ng-1.0.0.jar 上傳到服務器

運行jar包

nohup java -jar rocketmq-console-ng-1.0.0.jar -Xms512m -Xmx512m -Xmn256m -XX:MaxMetaspaceSize=64m -XX:MetaspaceSize=64m > /dev/null &

訪問管理界面

瀏覽器輸入：http://192.168.1.20:8080/回車顯示監控界面


image.png



































發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

消費者太多！RocketMQ又炸了！

去年寫過一篇《Topic數量太多！RocketMQ炸了！》，大家評價還不錯。 結果，2024年的開頭，我們的RocketMQ又炸了！ 1、問題現象 先說明下RocketMQ版本， 4.6.0的老版本了。 線下環境客戶端啓動會頻

原創 2024-05-13 12:34:50

Sermant在異地多活場景下的實踐

本文分享自華爲雲社區《Sermant在異地多活場景下的實踐》，作者：華爲雲開源。 Sermant社區在1.3.0和1.4.0版本相繼推出了消息隊列禁止消費插件和數據庫禁寫插件，分別用於解決異地多活場景下的故障切流和保護數據一致性問題。本文將

原創 2024-05-08 10:34:22

Apache RocketMQ ACL 2.0 全新升級

作者：徒鍾 引言 RocketMQ 作爲一款流行的分佈式消息中間件，被廣泛應用於各種大型分佈式系統和微服務中，承擔着異步通信、系統解耦、削峯填谷和消息通知等重要的角色。隨着技術的演進和業務規模的擴大，安全相關的挑戰日益突出，消息系統的訪問控

原創 2024-04-26 21:12:10

RocketMQ 之 IoT 消息解析：物聯網需要什麼樣的消息技術?

前言： 從初代開源消息隊列崛起，到 PC 互聯網、移動互聯網爆發式發展，再到如今 IoT、雲計算、雲原生引領了新的技術趨勢，消息中間件的發展已經走過了 30 多個年頭。 目前，消息中間件在國內許多行業的關鍵應用中扮演着至關重要的角色。隨着數

原創 2024-04-24 23:40:04

活動回顧丨雲原生開源開發者沙龍北京站回放 & PPT 下載

“零信任架構” 是一種安全概念，它要求在任何時候不對任何請求默認信任，無論它的來源內部還是外部。服務安全性已成爲企業的核心關切，4 月 13 日，雲原生開源開發者沙龍在北京順利開展。阿里雲一線工程師圍繞《微服務面臨的安全挑戰、趨勢與解決方

原創 2024-04-22 21:12:01

RocketMQ 事件驅動：雲時代的事件驅動有啥不同？

作者：林清山（隆基） 前言： 從初代開源消息隊列崛起，到 PC 互聯網、移動互聯網爆發式發展，再到如今 IoT、雲計算、雲原生引領了新的技術趨勢，消息中間件的發展已經走過了 30 多個年頭。 目前，消息中間件在國內許多行業的關鍵應用中扮演着

原創 2024-04-15 21:12:21

飛天發佈時刻丨阿里雲 ApsaraMQ 全面升級，攜手 Confluent 發佈全新產品

隨着雲計算和大數據的快速發展，雲原生消息隊列作爲分佈式系統架構中的關鍵組件，正以前所未有的速度向前發展。3 月 29 日 10:00，阿里雲飛天發佈時刻，阿里雲消息隊列服務將宣佈向 ApsaraMQ 進行全面升級，實現全系產品 Server

原創 2024-04-01 21:12:26

阿里雲 ApsaraMQ 率先完成消息隊列全系 Serverless 化，攜手 Confluent 發佈新產品

雲原生時代，消息隊列成爲現代化應用的關鍵組件，也是雲原生架構底層通信的基礎設施。阿里雲消息隊列發展至今已有十多年曆程。 3 月 29 日，在阿里雲最新一期的“飛天發佈時刻”上，阿里云云原生應用平臺負責人丁宇宣佈，雲消息隊列產品升級全新品牌

原創 2024-04-01 21:12:25

RocketMQ 流存儲解析：面向流場景的關鍵特性與典型案例

作者：林清山（隆基） 前言： 從初代開源消息隊列崛起，到 PC 互聯網、移動互聯網爆發式發展，再到如今 IoT、雲計算、雲原生引領了新的技術趨勢，消息中間件的發展已經走過了 30 多個年頭。 目前，消息中間件在國內許多行業的關鍵應用中扮演

原創 2024-03-21 21:13:43

Spring Cloud Alibaba Version 畢業版本依賴關係(推薦使用)

畢業版本依賴關係(推薦使用) 由於 Spring Boot 3.0，Spring Boot 2.7~2.4 和 2.4 以下版本之間變化較大，目前企業級客戶老項目相關 Spring Boot 版本仍停留在 Spring B

微學網絡 2024-03-14 11:08:30

解讀 EventBridge Transform，數據轉換和處理的靈活能力

阿里雲 EventBridge 提供了強大而靈活的事件總線服務，它可以連接應用程序、阿里云云服務和阿里雲 Serverless 服務來快速構建 EDA（Event-driven Architectures）事件驅動架構，驅動應用與應用，應用

原創 2024-02-20 01:34:42

自定義消息隊列組件 mq-spring-boot-starter

目錄爲什麼要自定義準備工作架構構思消息對象抽取消息訂閱和發佈者抽取如何使用 爲什麼要自定義 爲什麼要自定義消息隊列組件 mq-spring-boot-starter ？ 考慮到公司同一套系統能支持阿里雲上部署和客戶內網部署，業務代

小时候的阳光 2020-07-06 18:52:19

爲什麼要用消息隊列+各個消息隊列框架該如何選擇？

爲什麼要使用消息隊列 消息隊列中間件是分佈式系統中非常重要的分佈式架構，主要提供異步消息、流量消峯、應用解耦、消息通訊等功能。 1、異步處理 舉個例子：我們在某個系統網站中註冊賬號後，需要的操作爲將賬號信息添加進數據庫、發送註冊郵

一名程序媛-张慧颖 2020-07-06 17:22:36

消息隊列學習、使用、理解

MQ練習、使用、理解消息隊列rocketMqrocketMq使用場景rocketMq事務消息kafkakakfa使用場景交流交流 消息隊列 rocketMq，kafka，rabbitMq 項目基本springboot，myba

youngogo 2020-07-05 18:34:34

rocketmq簡介和使用

1.簡介 rocketmq是一個輕量級，低延時，高可用，支持億級消息處理的消息中間件。rocketmq使用起來方便簡單，具備傳統的消息中間件所不具備的特性，例如低延遲，高負載，事物消息等特性，受到越來越多的開發者喜愛。 1.1 整

forwardMyLife 2020-07-04 22:44:15