RocketMQ安裝與入門介紹

1. MQ介紹

1.1 爲什麼要用MQ

消息隊列是一種“先進先出”的數據結構

其應用場景主要包含以下3個方面

• 應用解耦

系統的耦合性越高，容錯性就越低。以電商應用爲例，用戶創建訂單後，如果耦合調用庫存系統、物流系統、支付系統，任何一個子系統出了故障或者因爲升級等原因暫時不可用，都會造成下單操作異常，影響用戶使用體驗。

使用消息隊列解耦合，系統的耦合性就會提高了。比如物流系統發生故障，需要幾分鐘才能來修復，在這段時間內，物流系統要處理的數據被緩存到消息隊列中，用戶的下單操作正常完成。當物流系統回覆後，補充處理存在消息隊列中的訂單消息即可，終端系統感知不到物流系統發生過幾分鐘故障。

• 流量削峯

應用系統如果遇到系統請求流量的瞬間猛增，有可能會將系統壓垮。有了消息隊列可以將大量請求緩存起來，分散到很長一段時間處理，這樣可以大大提到系統的穩定性和用戶體驗。

一般情況，爲了保證系統的穩定性，如果系統負載超過閾值，就會阻止用戶請求，這會影響用戶體驗，而如果使用消息隊列將請求緩存起來，等待系統處理完畢後通知用戶下單完畢，這樣總不能下單體驗要好。

處於經濟考量目的：

業務系統正常時段的QPS如果是1000，流量最高峯是10000，爲了應對流量高峯配置高性能的服務器顯然不划算，這時可以使用消息隊列對峯值流量削峯

• 數據分發

通過消息隊列可以讓數據在多個系統更加之間進行流通。數據的產生方不需要關心誰來使用數據，只需要將數據發送到消息隊列，數據使用方直接在消息隊列中直接獲取數據即可

1.2 MQ的優點和缺點

優點：解耦、削峯、數據分發

缺點包含以下幾點：

• 系統可用性降低

  系統引入的外部依賴越多，系統穩定性越差。一旦MQ宕機，就會對業務造成影響。

  如何保證MQ的高可用？

• 系統複雜度提高

  MQ的加入大大增加了系統的複雜度，以前系統間是同步的遠程調用，現在是通過MQ進行異步調用。

  如何保證消息沒有被重複消費？怎麼處理消息丟失情況？那麼保證消息傳遞的順序性？

• 一致性問題

  A系統處理完業務，通過MQ給B、C、D三個系統發消息數據，如果B系統、C系統處理成功，D系統處理失敗。

  如何保證消息數據處理的一致性？

1.3 各種MQ產品的比較

常見的MQ產品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。

2. RocketMQ快速入門

RocketMQ是阿里巴巴2016年MQ中間件，使用Java語言開發，在阿里內部，RocketMQ承接了例如“雙11”等高併發場景的消息流轉，能夠處理萬億級別的消息。

2.1 準備工作

2.1.1 下載RocketMQ

RocketMQ最新版本：4.5.1

下載地址

2.2.2 環境要求

• Linux64位系統

• JDK1.8(64位)

• 源碼安裝需要安裝Maven 3.2.x

2.2 安裝RocketMQ

2.2.1 安裝步驟

本教程以二進制包方式安裝

1. 解壓安裝包
2. 進入安裝目錄

2.2.2 目錄介紹

• bin：啓動腳本，包括shell腳本和CMD腳本
• conf：實例配置文件 ，包括broker配置文件、logback配置文件等
• lib：依賴jar包，包括Netty、commons-lang、FastJSON等

2.3 啓動RocketMQ

1. 啓動NameServer

# 1.啓動NameServer
nohup sh bin/mqnamesrv &
# 2.查看啓動日誌
tail -f ~/logs/rocketmqlogs/namesrv.log

2. 啓動Broker

# 1.啓動Broker
nohup sh bin/mqbroker -n localhost:9876 &
# 2.查看啓動日誌
tail -f ~/logs/rocketmqlogs/broker.log 

• 問題描述：

  RocketMQ默認的虛擬機內存較大，啓動Broker如果因爲內存不足失敗，需要編輯如下兩個配置文件，修改JVM內存大小

# 編輯runbroker.sh和runserver.sh修改默認JVM大小
vi runbroker.sh
vi runserver.sh

• 參考設置：

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

2.4 測試RocketMQ

2.4.1 發送消息

# 1.設置環境變量
export NAMESRV_ADDR=localhost:9876
# 2.使用安裝包的Demo發送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

2.4.2 接收消息

# 1.設置環境變量
export NAMESRV_ADDR=localhost:9876
# 2.接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

2.5 關閉RocketMQ

# 1.關閉NameServer
sh bin/mqshutdown namesrv
# 2.關閉Broker
sh bin/mqshutdown broker

3. RocketMQ集羣搭建

3.1 各角色介紹

• Producer：消息的發送者；舉例：發信者
• Consumer：消息接收者；舉例：收信者
• Broker：暫存和傳輸消息；舉例：郵局
• NameServer：管理Broker；舉例：各個郵局的管理機構
• Topic：區分消息的種類；一個發送者可以發送消息給一個或者多個Topic；一個消息的接收者可以訂閱一個或者多個Topic消息
• Message Queue：相當於是Topic的分區；用於並行發送和接收消息

3.2 集羣搭建方式

3.2.1 集羣特點

• NameServer是一個幾乎無狀態節點，可集羣部署，節點之間無任何信息同步。

• Broker部署相對複雜，Broker分爲Master與Slave，一個Master可以對應多個Slave，但是一個Slave只能對應一個Master，Master與Slave的對應關係通過指定相同的BrokerName，不同的BrokerId來定義，BrokerId爲0表示Master，非0表示Slave。Master也可以部署多個。每個Broker與NameServer集羣中的所有節點建立長連接，定時註冊Topic信息到所有NameServer。

• Producer與NameServer集羣中的其中一個節點（隨機選擇）建立長連接，定期從NameServer取Topic路由信息，並向提供Topic服務的Master建立長連接，且定時向Master發送心跳。Producer完全無狀態，可集羣部署。

• Consumer與NameServer集羣中的其中一個節點（隨機選擇）建立長連接，定期從NameServer取Topic路由信息，並向提供Topic服務的Master、Slave建立長連接，且定時向Master、Slave發送心跳。Consumer既可以從Master訂閱消息，也可以從Slave訂閱消息，訂閱規則由Broker配置決定。

3.2.3 集羣模式

1）單Master模式

這種方式風險較大，一旦Broker重啓或者宕機時，會導致整個服務不可用。不建議線上環境使用,可以用於本地測試。

2）多Master模式

一個集羣無Slave，全是Master，例如2個Master或者3個Master，這種模式的優缺點如下：

• 優點：配置簡單，單個Master宕機或重啓維護對應用無影響，在磁盤配置爲RAID10時，即使機器宕機不可恢復情況下，由於RAID10磁盤非常可靠，消息也不會丟（異步刷盤丟失少量消息，同步刷盤一條不丟），性能最高；
• 缺點：單臺機器宕機期間，這臺機器上未被消費的消息在機器恢復之前不可訂閱，消息實時性會受到影響。

3）多Master多Slave模式（異步）

每個Master配置一個Slave，有多對Master-Slave，HA採用異步複製方式，主備有短暫消息延遲（毫秒級），這種模式的優缺點如下：

• 優點：即使磁盤損壞，消息丟失的非常少，且消息實時性不會受影響，同時Master宕機後，消費者仍然可以從Slave消費，而且此過程對應用透明，不需要人工干預，性能同多Master模式幾乎一樣；
• 缺點：Master宕機，磁盤損壞情況下會丟失少量消息。

4）多Master多Slave模式（同步）

每個Master配置一個Slave，有多對Master-Slave，HA採用同步雙寫方式，即只有主備都寫成功，才嚮應用返回成功，這種模式的優缺點如下：

• 優點：數據與服務都無單點故障，Master宕機情況下，消息無延遲，服務可用性與數據可用性都非常高；
• 缺點：性能比異步複製模式略低（大約低10%左右），發送單個消息的RT會略高，且目前版本在主節點宕機後，備機不能自動切換爲主機。

3.3 雙主雙從集羣搭建

3.3.1 總體架構

消息高可用採用2m-2s（同步雙寫）方式

3.3.2 集羣工作流程

1. 啓動NameServer，NameServer起來後監聽端口，等待Broker、Producer、Consumer連上來，相當於一個路由控制中心。
2. Broker啓動，跟所有的NameServer保持長連接，定時發送心跳包。心跳包中包含當前Broker信息(IP+端口等)以及存儲所有Topic信息。註冊成功後，NameServer集羣中就有Topic跟Broker的映射關係。
3. 收發消息前，先創建Topic，創建Topic時需要指定該Topic要存儲在哪些Broker上，也可以在發送消息時自動創建Topic。
4. Producer發送消息，啓動時先跟NameServer集羣中的其中一臺建立長連接，並從NameServer中獲取當前發送的Topic存在哪些Broker上，輪詢從隊列列表中選擇一個隊列，然後與隊列所在的Broker建立長連接從而向Broker發消息。
5. Consumer跟Producer類似，跟其中一臺NameServer建立長連接，獲取當前訂閱Topic存在哪些Broker上，然後直接跟Broker建立連接通道，開始消費消息。

3.3.3 服務器環境

序號	IP	角色	架構模式
1	192.168.25.135	nameserver、brokerserver	Master1、Slave2
2	192.168.25.138	nameserver、brokerserver	Master2、Slave1

3.3.4 Host添加信息

vim /etc/hosts

配置如下:

# nameserver
192.168.25.135 rocketmq-nameserver1
192.168.25.138 rocketmq-nameserver2
# broker
192.168.25.135 rocketmq-master1
192.168.25.135 rocketmq-slave2
192.168.25.138 rocketmq-master2
192.168.25.138 rocketmq-slave1

配置完成後, 重啓網卡

systemctl restart network

3.3.5 防火牆配置

宿主機需要遠程訪問虛擬機的rocketmq服務和web服務，需要開放相關的端口號，簡單粗暴的方式是直接關閉防火牆

# 關閉防火牆
systemctl stop firewalld.service 
# 查看防火牆的狀態
firewall-cmd --state 
# 禁止firewall開機啓動
systemctl disable firewalld.service

或者爲了安全，只開放特定的端口號，RocketMQ默認使用3個端口：9876 、10911 、11011 。如果防火牆沒有關閉的話，那麼防火牆就必須開放這些端口：

• nameserver 默認使用 9876 端口
• master 默認使用 10911 端口
• slave 默認使用11011 端口

執行以下命令：

# 開放name server默認端口
firewall-cmd --remove-port=9876/tcp --permanent
# 開放master默認端口
firewall-cmd --remove-port=10911/tcp --permanent
# 開放slave默認端口 (當前集羣模式可不開啓)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重啓防火牆
firewall-cmd --reload

3.3.6 環境變量配置

vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.4.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

輸入:wq! 保存並退出， 並使得配置立刻生效：

source /etc/profile

3.3.7 創建消息存儲路徑

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

3.3.8 broker配置文件

1）master1

服務器：192.168.25.135

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所屬集羣名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

2）slave2

服務器：192.168.25.135

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

#所屬集羣名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=11011
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

3）master2

服務器：192.168.25.138

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#所屬集羣名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

4）slave1

服務器：192.168.25.138

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#所屬集羣名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=11011
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

3.3.9 修改啓動腳本文件

1）runbroker.sh

vi /usr/local/rocketmq/bin/runbroker.sh

需要根據內存大小進行適當的對JVM參數進行調整：

#===================================================
# 開發環境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

####2）runserver.sh

vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.3.10 服務啓動

1）啓動NameServe集羣

分別在192.168.25.135和192.168.25.138啓動NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &

2）啓動Broker集羣

• 在192.168.25.135上啓動master1和slave2

master1：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-syncbroker-a.properties &

slave2：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

• 在192.168.25.138上啓動master2和slave2

master2

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

3.3.11 查看進程狀態

啓動後通過JPS查看啓動進程

3.3.12 查看日誌

# 查看nameServer日誌
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日誌
tail -500f ~/logs/rocketmqlogs/broker.log

3.4 mqadmin管理工具

3.4.1 使用方式

進入RocketMQ安裝位置，在bin目錄下執行./mqadmin {command} {args}

###3.4.2 命令介紹

1）Topic相關

名稱	含義	命令選項	說明
updateTopic	創建更新Topic配置	-b	Broker 地址，表示 topic 所在 Broker，只支持單臺Broker，地址爲ip:port
		-c	cluster 名稱，表示 topic 所在集羣（集羣可通過 clusterList 查詢）
		-h-	打印幫助
		-n	NameServer服務地址，格式 ip:port
		-p	指定新topic的讀寫權限( W=2|R=4|WR=6 )
		-r	可讀隊列數（默認爲 8）
		-w	可寫隊列數（默認爲 8）
		-t	topic 名稱（名稱只能使用字符 ^[a-zA-Z0-9_-]+$ ）
deleteTopic	刪除Topic	-c	cluster 名稱，表示刪除某集羣下的某個 topic （集羣 可通過 clusterList 查詢）
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic 名稱（名稱只能使用字符 ^[a-zA-Z0-9_-]+$ ）
topicList	查看 Topic 列表信息	-h	打印幫助
		-c	不配置-c只返回topic列表，增加-c返回clusterName, topic, consumerGroup信息，即topic的所屬集羣和訂閱關係，沒有參數
		-n	NameServer 服務地址，格式 ip:port
topicRoute	查看 Topic 路由信息	-t	topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
topicStatus	查看 Topic 消息隊列offset	-t	topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
topicClusterList	查看 Topic 所在集羣列表	-t	topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
updateTopicPerm	更新 Topic 讀寫權限	-t	topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-b	Broker 地址，表示 topic 所在 Broker，只支持單臺Broker，地址爲ip:port
		-p	指定新 topic 的讀寫權限( W=2|R=4|WR=6 )
		-c	cluster 名稱，表示 topic 所在集羣（集羣可通過 clusterList 查詢），-b優先，如果沒有-b，則對集羣中所有Broker執行命令
updateOrderConf	從NameServer上創建、刪除、獲取特定命名空間的kv配置，目前還未啓用	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic，鍵
		-v	orderConf，值
		-m	method，可選get、put、delete
allocateMQ	以平均負載算法計算消費者列表負載消息隊列的負載結果	-t	topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-i	ipList，用逗號分隔，計算這些ip去負載Topic的消息隊列
statsAll	打印Topic訂閱關係、TPS、積累量、24h讀寫總量等信息	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-a	是否只打印活躍topic
		-t	指定topic

####2）集羣相關

名稱	含義	命令選項	說明
clusterList	查看集羣信息，集羣、BrokerName、BrokerId、TPS等信息	-m	打印更多信息 (增加打印出如下信息 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday)
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-i	打印間隔，單位秒
clusterRT	發送消息檢測集羣各Broker RT。消息發往${BrokerName} Topic。	-a	amount，每次探測的總數，RT = 總時間 / amount
		-s	消息大小，單位B
		-c	探測哪個集羣
		-p	是否打印格式化日誌，以|分割，默認不打印
		-h	打印幫助
		-m	所屬機房，打印使用
		-i	發送間隔，單位秒
		-n	NameServer 服務地址，格式 ip:port

####3）Broker相關

名稱	含義	命令選項	說明
updateBrokerConfig	更新 Broker 配置文件，會修改Broker.conf	-b	Broker 地址，格式爲ip:port
		-c	cluster 名稱
		-k	key 值
		-v	value 值
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
brokerStatus	查看 Broker 統計信息、運行狀態（你想要的信息幾乎都在裏面）	-b	Broker 地址，地址爲ip:port
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
brokerConsumeStats	Broker中各個消費者的消費情況，按Message Queue維度返回Consume Offset，Broker Offset，Diff，TImestamp等信息	-b	Broker 地址，地址爲ip:port
		-t	請求超時時間
		-l	diff閾值，超過閾值纔打印
		-o	是否爲順序topic，一般爲false
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
getBrokerConfig	獲取Broker配置	-b	Broker 地址，地址爲ip:port
		-n	NameServer 服務地址，格式 ip:port
wipeWritePerm	從NameServer上清除 Broker寫權限	-b	Broker 地址，地址爲ip:port
		-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
cleanExpiredCQ	清理Broker上過期的Consume Queue，如果手動減少對列數可能產生過期隊列	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-b	Broker 地址，地址爲ip:port
		-c	集羣名稱
cleanUnusedTopic	清理Broker上不使用的Topic，從內存中釋放Topic的Consume Queue，如果手動刪除Topic會產生不使用的Topic	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-b	Broker 地址，地址爲ip:port
		-c	集羣名稱
sendMsgStatus	向Broker發消息，返回發送狀態和RT	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-b	BrokerName，注意不同於Broker地址
		-s	消息大小，單位B
		-c	發送次數

####4）消息相關

名稱	含義	命令選項	說明
queryMsgById	根據offsetMsgId查詢msg，如果使用開源控制檯，應使用offsetMsgId，此命令還有其他參數，具體作用請閱讀QueryMsgByIdSubCommand。	-i	msgId
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
queryMsgByKey	根據消息 Key 查詢消息	-k	msgKey
		-t	Topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
queryMsgByOffset	根據 Offset 查詢消息	-b	Broker 名稱，（這裏需要注意 填寫的是 Broker 的名稱，不是 Broker 的地址，Broker 名稱可以在 clusterList 查到）
		-i	query 隊列 id
		-o	offset 值
		-t	topic 名稱
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
queryMsgByUniqueKey	根據msgId查詢，msgId不同於offsetMsgId，區別詳見常見運維問題。-g，-d配合使用，查到消息後嘗試讓特定的消費者消費消息並返回消費結果	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-i	uniqe msg id
		-g	consumerGroup
		-d	clientId
		-t	topic名稱
checkMsgSendRT	檢測向topic發消息的RT，功能類似clusterRT	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-a	探測次數
		-s	消息大小
sendMessage	發送一條消息，可以根據配置發往特定Message Queue，或普通發送。	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-p	body，消息體
		-k	keys
		-c	tags
		-b	BrokerName
		-i	queueId
consumeMessage	消費消息。可以根據offset、開始&結束時間戳、消息隊列消費消息，配置不同執行不同消費邏輯，詳見ConsumeMessageCommand。	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-b	BrokerName
		-o	從offset開始消費
		-i	queueId
		-g	消費者分組
		-s	開始時間戳，格式詳見-h
		-d	結束時間戳
		-c	消費多少條消息
printMsg	從Broker消費消息並打印，可選時間段	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-c	字符集，例如UTF-8
		-s	subExpress，過濾表達式
		-b	開始時間戳，格式參見-h
		-e	結束時間戳
		-d	是否打印消息體
printMsgByQueue	類似printMsg，但指定Message Queue	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-i	queueId
		-a	BrokerName
		-c	字符集，例如UTF-8
		-s	subExpress，過濾表達式
		-b	開始時間戳，格式參見-h
		-e	結束時間戳
		-p	是否打印消息
		-d	是否打印消息體
		-f	是否統計tag數量並打印
resetOffsetByTime	按時間戳重置offset，Broker和consumer都會重置	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-g	消費者分組
		-t	topic名稱
		-s	重置爲此時間戳對應的offset
		-f	是否強制重置，如果false，只支持回溯offset，如果true，不管時間戳對應offset與consumeOffset關係
		-c	是否重置c++客戶端offset

5）消費者、消費組相關

名稱	含義	命令選項	說明
consumerProgress	查看訂閱組消費狀態，可以查看具體的client IP的消息積累量	-g	消費者所屬組名
		-s	是否打印client IP
		-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
consumerStatus	查看消費者狀態，包括同一個分組中是否都是相同的訂閱，分析Process Queue是否堆積，返回消費者jstack結果，內容較多，使用者參見ConsumerStatusSubCommand	-h	打印幫助
		-n	NameServer 服務地址，格式 ip:port
		-g	consumer group
		-i	clientId
		-s	是否執行jstack
getConsumerStatus	獲取 Consumer 消費進度	-g	消費者所屬組名
		-t	查詢主題
		-i	Consumer 客戶端 ip
		-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
updateSubGroup	更新或創建訂閱關係	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-b	Broker地址
		-c	集羣名稱
		-g	消費者分組名稱
		-s	分組是否允許消費
		-m	是否從最小offset開始消費
		-d	是否是廣播模式
		-q	重試隊列數量
		-r	最大重試次數
		-i	當slaveReadEnable開啓時有效，且還未達到從slave消費時建議從哪個BrokerId消費，可以配置備機id，主動從備機消費
		-w	如果Broker建議從slave消費，配置決定從哪個slave消費，配置BrokerId，例如1
		-a	當消費者數量變化時是否通知其他消費者負載均衡
deleteSubGroup	從Broker刪除訂閱關係	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-b	Broker地址
		-c	集羣名稱
		-g	消費者分組名稱
cloneGroupOffset	在目標羣組中使用源羣組的offset	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-s	源消費者組
		-d	目標消費者組
		-t	topic名稱
		-o	暫未使用

6）連接相關

名稱	含義	命令選項	說明
consumerConnec tion	查詢 Consumer 的網絡連接	-g	消費者所屬組名
		-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
producerConnec tion	查詢 Producer 的網絡連接	-g	生產者所屬組名
		-t	主題名稱
		-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助

7）NameServer相關

名稱	含義	命令選項	說明
updateKvConfig	更新NameServer的kv配置，目前還未使用	-s	命名空間
		-k	key
		-v	value
		-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
deleteKvConfig	刪除NameServer的kv配置	-s	命名空間
		-k	key
		-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
getNamesrvConfig	獲取NameServer配置	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
updateNamesrvConfig	修改NameServer配置	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助
		-k	key
		-v	value

8）其他

名稱	含義	命令選項	說明
startMonitoring	開啓監控進程，監控消息誤刪、重試隊列消息數等	-n	NameServer 服務地址，格式 ip:port
		-h	打印幫助

3.4.3 注意事項

• 幾乎所有命令都需要配置-n表示NameServer地址，格式爲ip:port
• 幾乎所有命令都可以通過-h獲取幫助
• 如果既有Broker地址（-b）配置項又有clusterName（-c）配置項，則優先以Broker地址執行命令；如果不配置Broker地址，則對集羣中所有主機執行命令

3.5 集羣監控平臺搭建

3.5.1 概述

RocketMQ有一個對其擴展的開源項目incubator-rocketmq-externals，這個項目中有一個子模塊叫rocketmq-console，這個便是管理控制檯項目了，先將incubator-rocketmq-externals拉到本地，因爲我們需要自己對rocketmq-console進行編譯打包運行。

3.5.2 下載並編譯打包

git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
mvn clean package -Dmaven.test.skip=true

注意：打包前在rocketmq-console中配置namesrv集羣地址：

rocketmq.config.namesrvAddr=192.168.25.135:9876;192.168.25.138:9876

啓動rocketmq-console：

java -jar rocketmq-console-ng-1.0.0.jar

啓動成功後，我們就可以通過瀏覽器訪問http://localhost:8080進入控制檯界面了，如下圖：

集羣狀態：

更多前沿技術，面試技巧，內推信息請掃碼關注公衆號“雲計算平臺技術”