消息隊列

基本概述

MQ,Message Queue,基於TCP協議構建的簡單協議，區別於具體的通信協議。

基於通信協議定義和抽象的更高層次的通信模型,一般都是生產者和消費者模型，又或者說服務端和客戶端模型。
生產者/消費者模型：一般通過定義生產者和消費者實現消息通信從而屏蔽複雜的底層通信協議。應用於分佈式應用系統，而且爲之提供異步解耦和削峯填谷的能力，同時也具備互聯網應用所需的海量堆積，高吞吐和可靠性重試機制的特性。

核心概念

消息主題：Message Topic,一級消息類型，生產者向其發送消息
消息生產者：Message Producer，消息發佈者，或者消息服務終端，負責生產消息和發送消息到消息主題
消息消費者：Message Consumer，消息訂閱者，或者消息客戶終端，負責從消息主題接收並處理消費消息
消息實體：Message Object,消息對象，生產者向消息主題發送並最終傳送給消息者的數據和屬性的符號以及組合
消息屬性：Message Attributes,消息內容，生產者對消息進行抽象和定義的相關屬性，包含Message Key 和Message Target
消息組：Message Group，消息分類組別，通稱一類生產者和消費者，通常生產和消費同一類消息，且消息發佈和訂閱的邏輯基本一致

編程思想

數據結構：消息隊列的數據結構採用FIFO方式來定義與實現
設計模式：採用觀察者模式

觀察者模式：定義對象間一對多的依賴關係，當一個對象的狀態發生改變時，所有依賴於它的對象都得到通知自動更新

消息流派：

有Broker：基於消息中間件，所有消息通過中間件中轉，基於Broker把消息推送給消費者[消費者主動輪詢]
1.重Topic：Kafka和RocketMq,Activemq，生產者把消息發送Key和數據到Broker，然後由Broker比較Key之後決定推送給具體的消費者[推送消息給消費者]
2.輕Topic：Rabbitmq[AMQP],生產者把生產消息且發送Key和數據，消費者定義訂閱的隊列，Broker收到請求之後，按照一定的邏輯和規則計算出相應的Key對應的隊列，然後把消息推送給具體的消費者[消費者向生產者訂閱消息，消費者主動拉取消息]
無Broker：基於Socket網絡[傳輸層]直連通信，代表作ZeroMQ

基本概述

NameServer：名稱服務器[MQ命名空間服務器],大致相當於 jndi技術，更新和發現 broker服務。用於保存Broker相關元信息，並給生產者和消費者查找Broker消息。每個Broker在啓動都會在名稱服務器[NameServer]註冊,生產者在發送消息前會根據消息主題到名稱服務器查詢獲取Broker路由消息，消費者也會定時獲取主題的路由消息。

ps：屬於無狀態服務設計，可橫向擴展，節點之間無通信，可以部署多臺機器來標識僞集羣。

Broker:消息存儲中心[消息中轉角色]，負責存儲和轉發消息。接收來自生產者的消息並進行存儲，消費者從這拉取消息。存儲與消息相關的元數據，主要包括用戶組,消息進度偏移量，隊列消息等。其中Broker分爲Master和Slave節點：

Master節點：可讀可寫
Slave節點：只可讀不可寫
其部署方式：

單機Master:Broker重啓和宕機之後服務不可用,不建議生產使用
多機Master:所有消息服務器均是Master,沒有Slave。
優點：配置簡單，單個Master重啓和宕機維護對應用無影響
缺點：單機重啓和宕機期間，機器上未被消費的消息在機器恢復期間不可訂閱，消息實時性會受影響
多機Master多機Slave[同步雙寫]:
優點：數據和服務無單點故障，Master重啓和宕機消息無延遲,數據和服務可用高
缺點：相對異步複製性能較低，發送消息的延時較高
多機Master多機Slave[異步複製]:
優點：消息丟失較少，實時性高，Master重啓和宕機可繼續從Slave消費
缺點：Master重啓和宕機後在磁盤損壞會導致消息丟失，但是情況比較少

ps：一個Master可以對應多個Slave，但是一個Slave只能對應一個Master。Master和Slave的對應關係通過指定相同的BrokerName，不同的BrokerId來定義。BrokerId爲0表示Master，BrokerId非0表示Slave。然後所有的Broker和Name Server上的節點建立長連接,定時註冊Topic信息到所有Name Server。

Producer：消息生產者->負責生產消息,生產者向消息服務器發送業務應用程序生成的消息。主要有同步發送和異步發送方式兩種，其中：

同步發送：消息發送方發出數據後，在消息接收方發送響應之後再發送下一個數據。一般適用於重要消息通知場景[重要通知郵件，營銷短信推送]
異步發送：消息發送方發出數據後，不用等待接收方發回響應，接着發送下一個數據。一般適用於鏈路耗時較長，而對響應時間敏感的業務場景[視頻上傳通知啓動自動轉碼服務處理通知]
單向發送：負責發送消息而不等待服務器迴應且沒有回調函數觸發。一般適用於對可靠性要求不高的業務場景[日誌收集]

ps：Producer與Name Server其中一個節點建立連接。定期從Name Server取Topic信息。並與提供該Topic信息的Master建立長連接。Producer也可以集羣部署。

Consumer：消息消費者 負責消費消息，從消息服務器拉取消息並將其輸入用戶應用程序中。主要分爲拉取型消費者和推送型消費者：
拉取型消費者：Pull Consumer->主動從消息服務器拉取消息，只要批量拉取消息,用戶就會啓動消費過程
推送型消費者：Push Consumer->封裝消息的拉取,消費進度和其它內部維護工作，消息到達之後便執行回調接口留給用戶應用程序來實現。屬於被動消費類型，Push拉取時需要註冊消息費者監聽器，當監聽器被觸發之後開始消費消息。

ps：Consumer 與Name Server 集羣中的其中一個節點（隨機選擇）建立長連接，定期從Name Server 取Topic 路由信息，並向提供Topic服務的Master、Slave建立長連接，且定時向Master、Slave發送心跳。Consumer既可以從Master訂閱消息，也可以從Slave訂閱消息，訂閱規則由Broker配置決定。

部署Rocketmq

拉取rocketmq鏡像：docker pull foxiswho/rocketmq
1.查詢鏡像images：docker search rocketmq

[root@centos-meteor ~]# docker search rocketmq
NAME                               DESCRIPTION                                     STARS               OFFICIAL            AUTOMATED
styletang/rocketmq-console-ng      rocketmq-console-ng                             20                                      
rocketmqinc/rocketmq               Image repository for Apache RocketMQ            17                                      
foxiswho/rocketmq                  rocketmq                                        14                                      
laoyumi/rocketmq                                                                   10                                      [OK]
xlxwhy/rocketmq                    alibaba's rocketmq                              4                                       
huanwei/rocketmq-broker                                                            2                                       
2019liurui/rocketmq-broker         RocketMQ broker image for RocketMQ-Operator     1                                       
2019liurui/rocketmq-namesrv        RocketMQ name service image for RocketMQ-Ope…   1                                       
apacherocketmq/rocketmq            Docker Image for Apache RocketMQ                1                                       
rocketmqinc/rocketmq-operator      The Kubernetes operator for RocketMQ            0                                       
2019liurui/rocketmq-operator       Kubernetes Operator for RocketMQ !              0                                       
apacherocketmq/rocketmq-operator   RocketMQ Operator is to manage RocketMQ serv…   0                                       
coder4/rocketmq                    rocketmq                                        0                                       [OK]
rocketmqinc/rocketmq-namesrv       Customized RocketMQ Name Server Image for Ro…   0                                       
rocketmqinc/rocketmq-broker        Customized RocketMQ Broker Image for RocketM…   0                                       
slpcat/rocketmq-console-ng                                                         0                                       
huanwei/rocketmq                                                                   0                                       
huanwei/rocketmq-broker-k8s                                                        0                                       
king019/rocketmq                   rocketmq                                        0                                       
pengzu/rocketmq-console-ng         web console for rocketmq ,this code is from …   0                                       
fengzt/rocketmq-broker             apache rocketmq 4.2.0 broker server(官方文檔…       0                                       
huanwei/rocketmq-operator                                                          0                                       
slpcat/rocketmq                                                                    0                                       
fengzt/rocketmq-nameserver         apache rocketmq 4.2.0 nameserver                0                                       
icyblazek/rocketmq                 RocketMQ                                        0                                       
[root@centos-meteor ~]#

2.執行：docker pull foxiswho/rocketmq

3.創建docker存儲根目錄並且授權:
mkdir docker && chmod -R 777 docker/

[root@centos-meteor /]# cd docker/
[root@centos-meteor docker]# pwd
/docker
[root@centos-meteor docker]#

4.部署名稱服務器rocketmq-namesrv-server[9876]:

rocketmq-namesrv-server

docker run -itd --restart=always --privileged=true -p 9876:9876 --name rocketmq-namesrv-server -v /docker/rocketmq/namesrv/logs:/root/rocketmq/logs -v /docker/rocketmq/namesrv/store:/root/rocketmq/store -e "MAX_POSSIBLE_HEAP=100000000" -e "JAVA_OPTS=-Duser.home=/opt" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m" rocketmqinc/rocketmq sh mqnamesrv

docker run -itd --restart=always --privileged=true -p 9876:9876 --name  rocketmq-namesrv-server -v /docker/rocketmq/namesrv/logs:/root/rocketmq/logs -v /docker/rocketmq/namesrv/store:/root/rocketmq/store -e "MAX_POSSIBLE_HEAP=100000000" -e "JAVA_OPTS=-Duser.home=/opt" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m" rocketmqinc/rocketmq sh mqnamesrv

ps：創建/docker/rocketmq/namesrv/logs和/docker/rocketmq/namesrv/store目錄

5.部署消息服務器rocketmq-broker-server[10911]：

rocketmq-broker-server

docker run -itd --restart=always --privileged=true -p 10909:10909 -p 10911:10911 -p 10912:10912 --name rocketmq-broker-server --link rocketmq-namesrv-server:namesrv -v /docker/rocketmq/broker/logs:/root/rocketmq/logs -v /docker/rocketmq/broker/store:/root/rocketmq/store -v /docker/rocketmq/broker/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf -e "NAMESRV_ADDR=namesrv:9876" -e "MAX_POSSIBLE_HEAP=200000000" -e "JAVA_OPTS=-Duser.home=/opt" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m" rocketmqinc/rocketmq sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf

docker run -itd --restart=always --privileged=true -p 10909:10909 -p 10911:10911 -p 10912:10912 --name  rocketmq-broker-server --link rocketmq-namesrv-server:namesrv -v /docker/rocketmq/broker/logs:/root/rocketmq/logs -v /docker/rocketmq/broker/store:/root/rocketmq/store -v /docker/rocketmq/broker/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf -e "NAMESRV_ADDR=namesrv:9876" -e "MAX_POSSIBLE_HEAP=200000000" -e "JAVA_OPTS=-Duser.home=/opt" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m" rocketmqinc/rocketmq sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf

ps：
1.創建/docker/rocketmq/broker/logs和/docker/rocketmq/broker/store目錄
2.編寫broker.conf配置文件：

brokerClusterName = rocketmq-cluster  
brokerName = broker-server 
brokerId = 0  
deleteWhen = 04  
fileReservedTime = 48  
# Broker 的角色
# - ASYNC_MASTER 異步複製Master
# - SYNC_MASTER 同步雙寫Master
# - SLAVE
brokerRote=ASYNC_MASTER
brokerRole = ASYNC_MASTER  
flushDiskType = ASYNC_FLUSH  
# 如果是本地程序調用雲主機 mq，這個需要設置成 雲主機 IP
brokerIP1=Server-IP
#限制的消息大小
maxMessageSize=65536
# 檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=50000000
#併發send線程數，多線程來發送消息可能會出現broker busy
sendMessageThreadPoolNums=128
useReentrantLockWhenPutMessage=true
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數 
defaultTopicQueueNums=8
highSpeedMode=false
commercialBaseCount=1
maxErrorRateOfBloomFilter=20
accessMessageInMemoryMaxRatio=40
#無讀寫客戶端存活時間
clientChannelMaxIdleTimeSeconds=120
flushDelayOffsetInterval=10000
serverSocketRcvBufSize=131072
#單次 Pull 消息(內存)傳輸的 最大字節數
maxTransferBytesOnMessageInMemory=262144
clientManageThreadPoolNums=32
serverChannelMaxIdleTimeSeconds=120
serverCallbackExecutorThreads=0
enablePropertyFilter=false
transientStorePoolSize=5
enableConsumeQueueExt=false
#rocketmq server config
serverPooledByteBufAllocatorEnable=true
serverSocketRcvBufSize=131072
#rocketmq client config

6.部署控制後臺rocketmq-consloe-server[8082]:

rocketmq-consloe-server

docker run -itd -p 8082:8080 --restart=always --privileged=true --name rocketmq-console-server -v /docker/rocketmq/console/data:/tmp -e "JAVA_OPTS=-Drocketmq.namesrv.addr=47.104.22.10:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m -Duser.home=/opt" styletang/rocketmq-console-ng:latest

docker run -itd -p 8082:8080  --restart=always --privileged=true  --name rocketmq-console-server -v /docker/rocketmq/console/data:/tmp -e "JAVA_OPTS=-Drocketmq.namesrv.addr=Server-IP:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m -Duser.home=/opt" styletang/rocketmq-console-ng:latest

ps：
1.創建/docker/rocketmq/console/data目錄
2.Server-IP爲broker.conf配置brokerIP1值

7.最終部署結果：

整合Rocketmq開發實戰

1.配置Rocketmq的Maven依賴：

<!-- https://mvnrepository.com/artifact/org.apache.rocketmq/rocketmq-client -->
<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.4.0</version>
</dependency>

ps：
1.目前rocketmq最新版本是4.7.1：

<!-- https://mvnrepository.com/artifact/org.apache.rocketmq/rocketmq-client -->
<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.7.1</version>
</dependency>

2.這裏選擇的是rocketmq版本[4.4.0],因爲部署是4.4.0版本，推薦部署版本相同的rocketmq

2.創建pivotal-cloud-queue工程:

ps：創建消息隊列統一模塊工程，在業務應用程序服務模塊依賴該工程，並封裝消息生產者[Producer]和消息消費者[Consumer]處理類。

3.封裝rocketmq屬性配置類:

添加spring-boot-configuration-processor依賴:

  <dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.12</version>
    <scope>provided</scope>
 </dependency>
 <dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-configuration-processor</artifactId>
   <optional>true</optional>
 </dependency>

編寫RocketmqProperties屬性配置類:

package com.pivotal.cloud.queue.properties;

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;

/**
 * @className: com.pivotal.cloud.queue.properties.RocketmqProperties
 * @title: RocketmqProperties
 * @description: 封裝Pivotal項目RocketmqProperties類
 * @content: PivotalCloud項目系統RocketmqProperties自定義屬性配置類
 * @author: marklin
 * @datetime: 2020-07-07 01:32
 * @version: 1.0.0
 * @copyright: Copyright © 2018-2020 Pivotal Systems Incorporated. All rights reserved.
 */
@Data
@Configuration
@ConfigurationProperties(prefix = "pivotal.cloud.rocketmq")
public class RocketmqProperties {
    /**
     * rocketmq消息隊列生產者-Producer
     */
    private final Producer producer = new Producer();

    /**
     * rocketmq消息隊列消費者-Consumer
     */
    private final Consumer consumer = new Consumer();

    @Data
    public static class Producer {
    }

    @Data
    public static class Consumer {
    }
}

編寫RocketmqConfiguration配置類:

package com.pivotal.cloud.queue.configuration;

import com.pivotal.cloud.queue.properties.RocketmqProperties;
import lombok.AllArgsConstructor;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Configuration;

/**
 * @className: com.pivotal.cloud.queue.configuration.RocketmqConfiguration
 * @title: RocketmqConfiguration
 * @description: 封裝Pivotal項目RocketmqConfiguration類
 * @content: //TODO
 * @author: marklin
 * @datetime: 2020-07-07 02:25
 * @version: 1.0.0
 * @copyright: Copyright © 2018-2020 Pivotal Systems Incorporated. All rights reserved.
 */
@AllArgsConstructor
@Configuration(proxyBeanMethods = false)
@EnableConfigurationProperties({RocketmqProperties.class})
public class RocketmqConfiguration {
}

編寫RocketmqTemplate生產者模板類:

package com.pivotal.cloud.queue.template;

/**
 * @className: com.pivotal.cloud.queue.template.RocketmqTemplate
 * @title: RocketmqTemplate
 * @description: 封裝Pivotal項目RocketmqTemplate類
 * @content: PivotalCloud項目系統RocketmqTemplate生產者模板類
 * @author: marklin
 * @datetime: 2020-07-07 02:48
 * @version: 1.0.0
 * @copyright: Copyright © 2018-2020 Pivotal Systems Incorporated. All rights reserved.
 */
public class RocketmqTemplate {
}

編寫RocketmqListener消費者監聽器類:

package com.pivotal.cloud.queue.listener;

/**
 * @className: com.pivotal.cloud.queue.listener.RocketmqListener
 * @title: RocketmqListener
 * @description: 封裝Pivotal項目RocketmqListener類
 * @content: PivotalCloud項目系統RocketmqListener消費者監聽器類
 * @author: marklin
 * @datetime: 2020-07-07 02:52
 * @version: 1.0.0
 * @copyright: Copyright © 2018-2020 Pivotal Systems Incorporated. All rights reserved.
 */
public interface RocketmqListener {
}

編寫META-INF/spring.factories工廠類:

org.springframework.boot.autoconfigure.EnableAutoConfiguration=\
  com.pivotal.cloud.queue.configuration.RocketmqConfiguration,\
  com.pivotal.cloud.queue.configuration.RabbitmqConfiguration,\
  com.pivotal.cloud.queue.configuration.ActivemqConfiguration,\
  com.pivotal.cloud.queue.configuration.KafkaConfiguration,

Linux系統 Centos7 環境基於Docker部署Rocketmq服務

消息隊列

基本概述

核心概念

編程思想

消息流派：

基本概述

部署Rocketmq

rocketmq-namesrv-server

rocketmq-broker-server

rocketmq-consloe-server

整合Rocketmq開發實戰

實錄｜三大AI開發神器亮相！李彥宏：人人都是開發者

實操|基於OceanBase打造更穩定的Zabbix監控系統

Milvus 老友匯｜RAG 場景、電商平臺、AI 平臺……如何用向量數據庫構建業務方案？

提高 RAG 應用準確度，時下流行的 Reranker 瞭解一下？

Java併發編程解析 | 基於JDK源碼解析Java領域中併發鎖之ReentrantReadWriteLock鎖的設計思想與實現原理 (二)

ava併發編程解析 | 基於JDK源碼解析Java領域中併發鎖之StampedLock鎖的設計思想與實現原理 (三)

Java併發編程解析 | 基於JDK源碼解析Java領域中併發鎖之同步器Semaphore，CyclicBarrier以及CountDownLatch等的設計思想與實現原理 (四)

Java併發編程解析 | 基於JDK源碼解析Java領域中ReentrantLock鎖的設計思想與實現原理 (一)

Java 併發編程解析 | 基於JDK源碼解析Java領域中的併發鎖，我們可以從中學習到什麼內容？

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結