大綱
此套免費課程視頻,本人錄播到了騰訊課堂
https://ke.qq.com/course/288116#tuin=5740604a
1.消息中間件概述,使用場景(日誌處理,異步,系統解耦,流量削鋒)
2.Rabbitmq3.7.2安裝,控制檯簡介,管理員添加
3.用戶vhost配置以及介紹
4.java操作簡單隊列,生產者發送消息到隊列,消費者接收消息
5.簡單隊列的缺陷,工作隊列work queues之 輪詢分發(Round-robin),以及輪詢分發現象
6.工作隊列work queues 公平分發(fair dispatch);prefetchCount = 1來限制RabbitMQ發送的消息,手動應答ack。
7.消息應答ack與消息持久化durable
8.publish/subscribe發佈訂閱模式 交換機(轉發器)匿名轉發Nameless exchange, Fanout Exchange不處理路由鍵 , Direct Exchange處理路由鍵, Topic Exchange將路由鍵和某模式進行匹配。隊列綁定交換機(Exchange) ;
9.routing路由模式
10.topic主題模式
11.Rabbitmq之消息確認機制(AMQP事務機制)txSelect(), txCommit()以及txRollback(),事務機制的缺陷
12.Rabbitmq之消息確認機制(Confirm機制串行) waitForConfirms
13.Rabbitmq之消息確認機制(Confirm機制異步) ConfirmListener deliveryTag unconfirm集合維護
14.spring集成rabbitmq-client,template 的使用
15.大數據日誌收集系統消息中間件應用
16.搜索系統DIH消息中間件應用
工作隊列 公平分發
模型
輪詢分發解決了一部分壓力,但是有個問題就是:比如:現在有2個消費者,消費者1都是繁忙的,而消費者2則是輕鬆的。按照輪詢的方式,消費者1所以一直在忙個不停。消費者2則立即完成任務,然後很空閒。
而RabbitMQ則是不瞭解這些的。他是不知道你消費者的處理消息的能力,這是因爲當消息進入隊列,RabbitMQ就會分派消息。而rabbitmq只是盲目的將消息輪詢的發給消費者。你一個我一個的這樣發送.
爲了解決這個問題,我們使用basicQos( prefetchCount = 1)方法,來限制RabbitMQ只發不超過1條的消息給同一個消費者。當消息處理完畢後,有了反饋ack,纔會進行第二次發送。(也就是說需要手動反饋給Rabbitmq )
還有一點需要注意,使用公平分發,必須關閉自動應答,改爲手動應答。
生產者
public class Send {
private final static String QUEUE_NAME = "test_queue_work";
public static void main(String[] argv) throws Exception {
// 獲取到連接以及mq通道
Connection connection = ConnectionUtils.getConnection();
// 創建一個頻道
Channel channel = connection.createChannel();
// 指定一個隊列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
int prefetchCount = 1;
//每個消費者發送確認信號之前,消息隊列不發送下一個消息過來,一次只處理一個消息
//限制發給同一個消費者不得超過1條消息
channel.basicQos(prefetchCount);
// 發送的消息
for (int i = 0; i < 50; i++) {
String message = "." + i;
// 往隊列中發出一條消息
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println(" [x] Sent '" + message + "'");
Thread.sleep(i * 10);
}
// 關閉頻道和連接
channel.close();
connection.close();
}
}
消費者1
public class Recv1 {
private final static String QUEUE_NAME = "test_queue_work";
public static void main(String[] args) throws Exception {
// 獲取到連接以及mq通道
Connection connection = ConnectionUtils.getConnection();
final Channel channel = connection.createChannel();
// 聲明隊列,主要爲了防止消息接收者先運行此程序,隊列還不存在時創建隊列。
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
channel.basicQos(1);//保證一次只分發一個
//定義一個消息的消費者
final Consumer consumer = new DefaultConsumer(channel) {
@Override
public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties properties, byte[] body) throws IOException {
String message = new String(body, "UTF-8");
System.out.println(" [1] Received '" + message + "'");
try {
doWork(message);
} catch (Exception e) {
e.printStackTrace();
} finally {
System.out.println(" [x] Done");
channel.basicAck(envelope.getDeliveryTag(), false);
}
}
};
boolean autoAck = false; //手動確認消息
channel.basicConsume(QUEUE_NAME, autoAck, consumer);
}
private static void doWork(String task) throws InterruptedException {
Thread.sleep(1000);
}
}
消費者2
public class Recv2 {
private final static String QUEUE_NAME = "test_queue_work";
public static void main(String[] args) throws Exception {
// 獲取到連接以及mq通道
Connection connection = ConnectionUtils.getConnection();
final Channel channel = connection.createChannel();
// 聲明隊列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
channel.basicQos(1);//保證一次只分發一個
//定義一個消息的消費者
final Consumer consumer = new DefaultConsumer(channel) {
@Override
public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties properties, byte[] body) throws IOException {
String message = new String(body, "UTF-8");
System.out.println(" [2] Received '" + message + "'");
try {
doWork(message);
} catch (Exception e) {
e.printStackTrace();
} finally {
System.out.println(" [x] Done");
channel.basicAck(envelope.getDeliveryTag(), false);
}
}
};
boolean autoAck = false; //關閉自動 確認
channel.basicConsume(QUEUE_NAME, autoAck, consumer);
}
private static void doWork(String task) throws InterruptedException {
Thread.sleep(2000);
}
public static void oldAPi() throws Exception, TimeoutException {
// 獲取到連接以及mq通道
Connection connection = ConnectionUtils.getConnection();
Channel channel = connection.createChannel();
// 聲明隊列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 同一時刻服務器只會發一條消息給消費者
channel.basicQos(1);
// 定義隊列的消費者
QueueingConsumer consumer = new QueueingConsumer(channel);
// 監聽隊列,手動返回完成狀態
channel.basicConsume(QUEUE_NAME, false, consumer);
// 獲取消息
while (true) {
QueueingConsumer.Delivery delivery = consumer.nextDelivery();
String message = new String(delivery.getBody());
System.out.println(" [x] Received '" + message + "'");
// 休眠1秒
Thread.sleep(1000);
channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
}
}
}
這時候現象就是消費者1 速度大於消費者2