RabbitMQ(二) RabbitMQ高級特性

消息如何保障100%的投遞成功

什麼是生產端的可靠性投遞

保障消息的成功發出
保障MQ節點的成功接收
發送端收到MQ節點(Borker)確認應答
完善的消息進行補償機制

生產端-可靠性投遞(一)

消息落庫，對消息狀態進行打標
消息的延遲投遞，做二次確認，回調檢查

生產端-可靠性投遞(二)

消息落庫，對消息狀態進行打標

消息落庫，對消息進行打標（對消息設置狀態，發送中，broker收到，）

定時器輪訓，檢測未發送的消息，進行二次投遞，最大努力嘗試(設置最大次數)

step1 消息落庫(唯一的消息id) ,一定是數據庫入庫成功以後在進行發送消息
step2 發送消息到MQ Broker
step3 Broker Confirm (發送消息確認)
step4 生產者ConfirmListener (異步監聽，Broker回送的響應)
step5 成功，通過messageId更新消息狀態

補償

分佈式定時任務，抓取數據(超過第一時長)，嘗試重發，重試次數限制

生產端-可靠性投遞(三)

消息的延遲投遞，做二次確認，回調檢查（最大限度的減少消息落庫）

方案一在高併發場景下，每次消息落庫，影響性能（IO操作）

step1: 業務消息落庫 ,一定是數據庫入庫成功以後在進行發送消息

step2:第一次消息的發送

step3:延遲消息的檢測

step4:監聽,處理完，生成一條新消息

step5:通過隊列發送，確認不是之前的ack

冪等性概念

冪等性是什麼

借鑑數據庫的樂觀鎖機制

執行一條更新SQL

 update t_reps set count=count-1,version=version+1  where verison=1

消費端冪等性保障

在業務高峯期，如何避免消息的重複消費問題

消費端實現冪等性，就意味着，我們的消息永遠不會被消費多次，即時收到多條一樣的消息。

冪等性，通俗點說，就一個數據，或者一個請求，給你重複來多次，你得確保對應的數據是不會改變的，不能出錯。
https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/how-to-ensure-that-messages-are-not-repeatedly-consumed.md

業界主流的冪等性操作

唯一ID+指紋碼機制，利用數據庫主鍵去重
利用Redis的原子性實現

方案一：

唯一ID+指紋碼機制

唯一ID+指紋碼機制，利用數據庫主鍵去重
select count(1) from t_order where id=唯一id+指紋碼
好處：實現簡單
壞處：高併發下有數據庫寫入的性能瓶頸
解決方案：跟進ID進行分庫分表進行路由算法

方案二：利用Redis的原子性實現

Confirm確認消息

理解Confirm消息確認機制：

消息的去人，是指生產者投遞消息後，如果Broker收到消息，則會給生產者一個應答
生產者進行接收應該，用來確定這條消息是否正常的發送到broker，這種方式也是消息的可靠性投遞的核心保障

confirm確認消息流程解析

confirm確認消息實現

第一步：在channel上開啓確認模式： channel.sconfirmSelect()
第二步：在channel上添加監聽：addConfirmListener,監聽成功和失敗的返回結果，根據具體的結果對消息進行重新發送、或記錄日誌等後續處理。

示例

生產者

/**
 * @author niugang
 */
public class Producer {
	public static void main(String[] args) throws Exception {		
		//1 創建ConnectionFactory
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		//2 獲取C	onnection
		Connection connection = connectionFactory.newConnection();
		
		//3 通過Connection創建一個新的Channel
		Channel channel = connection.createChannel();		
		//4 指定我們的消息投遞模式: 消息的確認模式 
		channel.confirmSelect();
		
		String exchangeName = "test_confirm_exchange";
		String routingKey = "confirm.save";
		
		//5 發送一條消息
		String msg = "Hello RabbitMQ Send confirm message!";
		channel.basicPublish(exchangeName, routingKey, null, msg.getBytes());
		
		//6 添加一個確認監聽
		channel.addConfirmListener(new ConfirmListener() {
			//失敗
			// deliveryTag 消息唯一標籤
			@Override
			public void handleNack(long deliveryTag, boolean multiple) throws IOException {
				System.err.println("-------no ack!-----------");
			}

			//成功
			@Override
			public void handleAck(long deliveryTag, boolean multiple) throws IOException {
				System.err.println("-------ack!-----------");
			}
		});		
	}
}

消費者

/**
 * @author niugang
 */
public class Consumer {

	
	public static void main(String[] args) throws Exception {
		
		
		//1 創建ConnectionFactory
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		//2 獲取C	onnection
		Connection connection = connectionFactory.newConnection();
		
		//3 通過Connection創建一個新的Channel
		Channel channel = connection.createChannel();
		
		String exchangeName = "test_confirm_exchange";
		String routingKey = "confirm.#";
		String queueName = "test_confirm_queue";
		
		//4 聲明交換機和隊列 然後進行綁定設置, 最後制定路由Key
		channel.exchangeDeclare(exchangeName, "topic", true);
		channel.queueDeclare(queueName, true, false, false, null);
		channel.queueBind(queueName, exchangeName, routingKey);
		
		//5 創建消費者 
		QueueingConsumer queueingConsumer = new QueueingConsumer(channel);
		channel.basicConsume(queueName, true, queueingConsumer);
		
		while(true){
			Delivery delivery = queueingConsumer.nextDelivery();
			String msg = new String(delivery.getBody());
			
			System.err.println("消費端: " + msg);
		}
		
		
	}
}

Return消息機制

Return Listener 用於處理一些不可路由的消息。
我們的消息生產者，通過指定一個Exchange和RoutingKey,把消息送達到某一個隊列中取，然後我們的消費者監聽隊列，進行消費處理操作。
但是在某些情況下，如果我們在發送消息的時候，當前的Exchange不存在或者指定的路由key路由不到，這個時候如果我們需要監聽這種不可達的消息，就要使用Return Listener

配置

在基礎API上有一個關鍵的配置項

Mandatory:如果爲true，則監聽器會接收到路由不可達的消息，然後進行後續處理，如果爲false,那麼broker端自動刪除該消息。

流程

生產者

/**
 * @author niugang
 */
public class Producer {

	public static void main(String[] args) throws Exception {
		
		
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		
		String exchange = "test_return_exchange";
		String routingKey = "return.save";
		String routingKeyError = "abc.save";
		
		String msg = "Hello RabbitMQ Return Message";
		
		
		channel.addReturnListener(new ReturnListener() {
			@Override
			public void handleReturn(int replyCode, String replyText, String exchange,
					String routingKey, AMQP.BasicProperties properties, byte[] body) throws IOException {
				
				System.err.println("---------handle  return----------");
				//響應碼 312
				System.err.println("replyCode: " + replyCode);
				//NO_ROUTE
				System.err.println("replyText: " + replyText);
				System.err.println("exchange: " + exchange);
				System.err.println("routingKey: " + routingKey);
				System.err.println("properties: " + properties);
				System.err.println("body: " + new String(body));
			}
		});
		
		
		channel.basicPublish(exchange, routingKeyError, true, null, msg.getBytes());
		
		//channel.basicPublish(exchange, routingKeyError, true, null, msg.getBytes());	
	}
}

消費者

/**
 * @author niugang
 */
public class Consumer {
	public static void main(String[] args) throws Exception {
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		
		String exchangeName = "test_return_exchange";
		String routingKey = "return.#";
		String queueName = "test_return_queue";
		
		channel.exchangeDeclare(exchangeName, "topic", true, false, null);
		channel.queueDeclare(queueName, true, false, false, null);
		channel.queueBind(queueName, exchangeName, routingKey);	
		QueueingConsumer queueingConsumer = new QueueingConsumer(channel);
		channel.basicConsume(queueName, true, queueingConsumer);
		
		while(true){
			Delivery delivery = queueingConsumer.nextDelivery();
			String msg = new String(delivery.getBody());
			System.err.println("消費者: " + msg);
		}	
	}
}

消費者自定義監聽

我們一般就是在代碼中編寫while循環，進行consumer.nextDelivery方法獲取下一條消息，然後進行消費處理！
但是我們使用自定義的Consumer更加的方便，解耦性更加的強，也是在實際工作中最常用的使用方式！

實現方式

自定義類，繼承 DefaultConsumer

生產者

/**
 * @author niugang
 */
public class Producer {

	
	public static void main(String[] args) throws Exception {
		
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		
		String exchange = "test_consumer_exchange";
		String routingKey = "consumer.save";
		
		String msg = "Hello RabbitMQ Consumer Message";
		
		for(int i =0; i<5; i ++){
			channel.basicPublish(exchange, routingKey, true, null, msg.getBytes());
		}
		
	}
}

自定義消費者

/**
 * 自定義消費者
 * @author niugang
 */
public class MyConsumer extends DefaultConsumer {


	public MyConsumer(Channel channel) {
		super(channel);
	}

	@Override
	public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
		System.err.println("-----------consume message----------");
		//消費標籤
		System.err.println("consumerTag: " + consumerTag);
		System.err.println("envelope: " + envelope);
		System.err.println("properties: " + properties);
		System.err.println("body: " + new String(body));
	}


}

消費者

/**
 * @author niugang
 */
public class Consumer {

	
	public static void main(String[] args) throws Exception {
		
		
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		
		
		String exchangeName = "test_consumer_exchange";
		String routingKey = "consumer.#";
		String queueName = "test_consumer_queue";
		
		channel.exchangeDeclare(exchangeName, "topic", true, false, null);
		channel.queueDeclare(queueName, true, false, false, null);
		channel.queueBind(queueName, exchangeName, routingKey);
		
		channel.basicConsume(queueName, true, new MyConsumer(channel));
		
	
	}
}

消費端限流

什麼是消費端的限流

假設一個場景，首先，我們RabbitMQ服務器上有上萬條未處理的消息，我們隨便打開一個消費者客戶端，會出現下面情況：
巨量的消息瞬間全部推送過來，但是我們單個客戶端無法同時處理這麼多數據；
RabbitMQ提供了一種qos(服務質量保證)功能，即在非自動確認消息(autoAck爲false)的前提下，如果一定數目的消息(通過基於consume或者channel設置Qos的值)未被確認前，不進行消費新的消息。
void BasicQos(uint prefetchSize,ushort prefetchCount,bool global);
prefetchSize:0 #這裏爲0表示不限制
prefetchCount: 會告訴RabbitMQ不要同時給一個消費者推送多於N個消息，即一旦有N個消息還沒有ack，則該consumer將block掉，直到有消息ack; (prefetchCount等於1即可)
global:true\false 是否將上面設置應用於channel
簡單來說，就是上面限制是channel級別的還是consumer級別；

生產者

/**
 * @author niugang
 */
public class Producer {

	
	public static void main(String[] args) throws Exception {
		
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhosy");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		
		String exchange = "test_qos_exchange";
		String routingKey = "qos.save";
		
		String msg = "Hello RabbitMQ QOS Message";
		
		for(int i =0; i<5; i ++){
			channel.basicPublish(exchange, routingKey, true, null, msg.getBytes());
		}
		
	}
}

自定義消費者

public class MyConsumer extends DefaultConsumer {


	private Channel channel ;
	
	public MyConsumer(Channel channel) {
		super(channel);
		this.channel = channel;
	}

	@Override
	public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
		System.err.println("-----------consume message----------");
		System.err.println("consumerTag: " + consumerTag);
		System.err.println("envelope: " + envelope);
		System.err.println("properties: " + properties);
		System.err.println("body: " + new String(body));
		//ack 註釋掉後 控制檯只會接收到一條消息
		channel.basicAck(envelope.getDeliveryTag(), false);
		
	}

}

消費者

/**
 * @author niugang
 */
public class Consumer {
	public static void main(String[] args) throws Exception {
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		String exchangeName = "test_qos_exchange";
		String queueName = "test_qos_queue";
		String routingKey = "qos.#";
		
		channel.exchangeDeclare(exchangeName, "topic", true, false, null);
		channel.queueDeclare(queueName, true, false, false, null);
		channel.queueBind(queueName, exchangeName, routingKey);
		
		//1 限流方式  第一件事就是 autoAck設置爲 false
		//prefetchCount broker 給 消費者 最大推送消息數量
		channel.basicQos(0, 1, false);
		//手工簽收
		channel.basicConsume(queueName, false, new MyConsumer(channel));	
	}
}

消息ACK與重回隊列

消費端的手工ACK和NACK

消費端進行消費的時候，如果由於業務異常我們可以進行日誌的記錄，然後進行補償
如果由於服務器宕機等嚴重問題，那我們就需要手工進行ACK保障消費端消費成功

消費端的重回隊列

消費端重回隊列是爲了對沒有處理成功的消息，把消息重新會遞給Broker (requeue屬性設置)
一般我們在實際應用中，都會關閉重回隊列，也就是設置爲false;

生產者

/**
 * ack 測試生產者
 * @author niugang
 */
public class Producer {
	public static void main(String[] args) throws Exception {
		
		ConnectionFactory connectionFactory = new ConnectionFactory();
		connectionFactory.setHost("localhost");
		connectionFactory.setPort(5672);
		connectionFactory.setVirtualHost("/");
		Connection connection = connectionFactory.newConnection();
		Channel channel = connection.createChannel();
		String exchange = "test_ack_exchange";
		String routingKey = "ack.save";
		for(int i =0; i<5; i ++){
			
			Map<String, Object> headers = new HashMap<String, Object>();
			headers.put("num", i);
			//設置消息屬性
			AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder()
					.deliveryMode(2).expiration("1000")
					.contentEncoding("UTF-8")
					.headers(headers)
					.build();
			String msg = "Hello RabbitMQ ACK Message " + i;
			channel.basicPublish(exchange, routingKey, true, properties, msg.getBytes());
		}
		
	}
}

自定義消費者

/**
 * 自定義消費者
 * @author niugang
 */
public class MyConsumer extends DefaultConsumer {


	private Channel channel ;
	
	public MyConsumer(Channel channel) {
		super(channel);
		this.channel = channel;
	}

	@Override
	public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
		System.err.println("-----------consume message----------");
		System.err.println("body: " + new String(body));
		try {
			Thread.sleep(2000);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
		if((Integer)properties.getHeaders().get("num") == 0) {
			//multiple 是否是批量
			//requeue 重新添加到隊列尾部
			channel.basicNack(envelope.getDeliveryTag(), false, true);
		} else {
			channel.basicAck(envelope.getDeliveryTag(), false);
		}
		
	}
}

消費者

/**
 * 消費者
 * @author niugang
 */
public class Consumer {
    public static void main(String[] args) throws Exception {
        ConnectionFactory connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("localhost");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/");

        Connection connection = connectionFactory.newConnection();
        Channel channel = connection.createChannel();
        String exchangeName = "test_ack_exchange";
        String queueName = "test_ack_queue";
        String routingKey = "ack.#";
        channel.exchangeDeclare(exchangeName, "topic", true, false, null);
        channel.queueDeclare(queueName, true, false, false, null);
        channel.queueBind(queueName, exchangeName, routingKey);
        // 手工簽收 必須要關閉 autoAck = false
        channel.basicConsume(queueName, false, new MyConsumer(channel));

    }
}

TTL隊列/消息

TTL

TTL是Time To Live的縮寫，也就是生存時間
RabbitMQ支持消息的過期時間，在消息發送時可以進行指定。
RabbitMQ支持隊列的過期時間，從消息入隊列開始計算，只要超過了隊列的超時時間配置，那麼消息會自動的刪除。

在控制檯創建隊列

在控制檯創建exchange 並添加binding 然後發送消息，然後在隊列頁面可以看到消息自動被隊列剔除

原生API設置TTL

	AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder()
					.expiration("1000").build();

Spring AMQP設置TTL

MessageProperties messageProperties = new MessageProperties();
 //消息過期時間
messageProperties.setExpiration("1000");
Message stringMessage = new Message("Hello Springboot RabbitMQ".getBytes(), messageProperties);

死信隊列

死信隊列：DLX ,Dead-Letter-Exchange

利用DLX，當消息在一個隊列中變成死信（dead message）之後，它能被重新publish到另一個Exchange，這個Exchange就是DLX;

消息變成死信有以下幾種情況：

消息被拒絕(basic.reject/basic.nack) 並且requeue=false;
消息TTL過期
隊列達到最大長度

死信隊列詳細解釋

DLX也是一個正常的Exchange,和一般的Exchange沒有區別，它能在任何的隊列上被指定，實際上就是設置某個隊列的屬性。
當這個隊列中有死信時，RabbitMQ就會自動的將這個消息重新發布到設置的Exchange上去，進而被路由到另一個隊列。
可以監聽這個隊列中消息做相應的處理，這個特性可以彌補RabbitMQ3.0以前支持的immediate參數的功能；

死信隊列具體設置

step1:首先需要設置死信隊列的exchange和queue,然後進行綁定

例如定義如下exchange和queue

Exchange:dlx.echange
Queue:dlx.queue
RoutingKey:#

step2:

然後我們進行正常聲明交換機、隊列、綁定，只不過我們需要在隊列上加上一個參數即可：arguments.put(“x-dead-letter-exchange”,“dlx.exchange”);

這樣消息在過期、requeue、隊列在達到最大長度時，消息就可以直接路由到死信隊列。

生產者

/**
 * 私信隊列 生產端
 *
 * @author niugang
 */
public class Producer {
    public static void main(String[] args) throws Exception {
        ConnectionFactory connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("localhost");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/");

        Connection connection = connectionFactory.newConnection();
        Channel channel = connection.createChannel();
        //自定義普通的exchange
        String exchange = "test_dlx_exchange";
        String routingKey = "dlx.save";
        String msg = "Hello RabbitMQ DLX Message";
        for (int i = 0; i < 1; i++) {
            AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder()
                    .deliveryMode(2)
                    .contentEncoding("UTF-8")
                    //過期時間爲10s
                    .expiration("10000")
                    .build();
            channel.basicPublish(exchange, routingKey, true, properties, msg.getBytes());
        }

    }
}

自定義消息消費

/**
 * 自定義消息消費
 *
 * @author niugang
 */
public class MyConsumer extends DefaultConsumer {
    public MyConsumer(Channel channel) {
        super(channel);
    }

    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        System.err.println("-----------consume message----------");
        System.err.println("consumerTag: " + consumerTag);
        System.err.println("envelope: " + envelope);
        System.err.println("properties: " + properties);
        System.err.println("body: " + new String(body));
    }
}

生產者

/**
 * 死信隊列消費端
 *
 * @author niugang
 */
public class Consumer {
    public static void main(String[] args) throws Exception {
        ConnectionFactory connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("localhost");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/");

        Connection connection = connectionFactory.newConnection();
        Channel channel = connection.createChannel();

        // 這就是一個普通的交換機 和 隊列 以及路由
        String exchangeName = "test_dlx_exchange";
        String routingKey = "dlx.#";
        String queueName = "test_dlx_queue";

        channel.exchangeDeclare(exchangeName, "topic", true, false, null);

        Map<String, Object> agruments = new HashMap<String, Object>(16);
        //設置死信隊列exchange  這些具體的參數可以通過rabbitmq控制檯查看
        agruments.put("x-dead-letter-exchange", "dlx.exchange");
        //這個agruments屬性，要設置到聲明隊列上
        channel.queueDeclare(queueName, true, false, false, agruments);
        channel.queueBind(queueName, exchangeName, routingKey);

        //要進行死信隊列的聲明:
        channel.exchangeDeclare("dlx.exchange", "topic", true, false, null);
        channel.queueDeclare("dlx.queue", true, false, false, null);
        channel.queueBind("dlx.queue", "dlx.exchange", "#");

        channel.basicConsume(queueName, true, new MyConsumer(channel));
    }
}

RabbitMQ(二) RabbitMQ高級特性

消息如何保障100%的投遞成功

什麼是生產端的可靠性投遞

生產端-可靠性投遞(一)

生產端-可靠性投遞(二)

生產端-可靠性投遞(三)

冪等性概念

冪等性是什麼

消費端冪等性保障

業界主流的冪等性操作

Confirm確認消息

Return消息機制

消費者自定義監聽

消費端限流

消息ACK與重回隊列

TTL隊列/消息

死信隊列

kubernetes-第二篇基礎概念

kubernetes-第一篇相關介紹

致Java初學者-學習方法集

Java導出Execl疑難點處理

FreeMarker導出複雜Excel

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結