RocketMQ--消息配置

引用:https://help.aliyun.com/document_detail/29532.html

消息重試

生產消息重試

生產消息重試可能會造成消息重複

//發送超時時間,默認是3000
producer.setSendMsgTimeout(6000); 

//重試次數 ## 可能會造成消息重複
producer.setRetryTimesWhenSendAsyncFailed(2);
producer.setRetryTimesWhenSendFailed(2);

//在發送失敗時,嘗試使用另外的broker; 默認值爲false
producer.setRetryAnotherBrokerWhenNotStoreOK(false);

消費消息重試

順序消息的重試
對於順序消息,當消費者消費消息失敗後,消息隊列 RocketMQ 會自動不斷進行消息重試(每次間隔時間爲 1 秒),這時,應用會出現消息消費被阻塞的情況。
因此,建議您使用順序消息時,務必保證應用能夠及時監控並處理消費失敗的情況,避免阻塞現象的發生。

無序消息的重試
對於無序消息(普通、定時、延時、事務消息),當消費者消費消息失敗時,您可以通過設置返回狀態達到消息重試的結果。
無序消息的重試只針對集羣消費方式生效;廣播方式不提供失敗重試特性,即消費失敗後,失敗消息不再重試,繼續消費新的消息。

重試次數
消息隊列 RocketMQ 默認允許每條消息最多重試 16 次,每次重試的間隔時間如下:在這裏插入圖片描述

如果消息重試16 次後仍然失敗,消息將不再投遞。
一條消息無論重試多少次,這些重試消息的 Message ID 不會改變。

配置
集羣消費方式下,消息消費失敗後期望消息重試,需要在消息監聽器接口的實現中明確進行配置(三種方式任選一種):

  • 返回 Action.ReconsumeLater (推薦)
  • 返回 Null
  • 拋出異常
	consumer.registerMessageListener(new MessageListenerConcurrently() {
			@Override
			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
			                                                ConsumeConcurrentlyContext context) {
				//todo 處理消息--service...
				
			    //方式1:返回 Action.ReconsumeLater,消息將重試
		        return ConsumeConcurrentlyStatus.RECONSUME_LATER;
			    //方式2:返回 null,消息將重試
				return null;
				//方式3:直接拋出異常, 消息將重試
				throw new RuntimeException("Consumer Message exceotion");
		}

如果期望: 即使消息處理失敗,也不期望重試,則可以通過喫掉exception,返回ConsumeConcurrentlyStatus.CONSUME_SUCCESS;即可。

自定義消息最大重試次數

		/**
		 * 最大重試次數小於等於 16 次,則重試時間間隔同上表描述。
		 * 最大重試次數大於 16 次,超過 16 次的重試時間間隔均爲每次 2 小時。
		 */
		msg.putUserProperty(MessageConst.PROPERTY_MAX_RECONSUME_TIMES,"19");

獲取消息重試次數

		consumer.registerMessageListener(new MessageListenerConcurrently() {
			@Override
			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
			                                                ConsumeConcurrentlyContext context) {
			
			//獲取消息的重試次數
				msgs.get(0).getReconsumeTimes();
				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
			}
		});

消息過濾

MessageSelector.byTag

consumer.subscribe("topic1", "tag1 || tag2");
consumer.registerMessageListener(new MessageListenerConcurrently() {});

因爲每條消息只能有一個tag,這可能不適用於複雜的場景。
可以通過下面的bySql.

MessageSelector.bySql

RocketMQ支持如下語法:

  • 數字表達式: >, >=, <, <=, BETWEEN, =
  • 字符表達式: =, <>, IN, IS NULL or IS NOT NULL ; —字符必須以單引號'包含
  • 邏輯表達式: AND, OR, NOT

//producer配置
Message msg = new Message("topic1",
		"tagA",
		("Hello RocketMQ "+i).getBytes(RemotingHelper.DEFAULT_CHARSET)
);
msg.putUserProperty("a", String.valueOf(i));//設置屬性a
SendResult sendResult = producer.send(msg);

//#####################################################

//consumer配置
consumer.subscribe("topic1", MessageSelector.bySql("a between 0 and 3"));

broker開啓filter

 ##conf/broker.conf 增加配置:
 enablePropertyFilter=true

最佳實踐

消費冪等

消息隊列 RocketMQ 消費者在接收到消息以後,有必要根據業務上的唯一 Key對消息做冪等處理的必要性。

消費冪等的必要性
在互聯網應用中,尤其在網絡不穩定的情況下,消息隊列 RocketMQ 的消息有可能會出現重複,這個重複簡單可以概括爲以下兩種情況:

  • 發送時消息重複:
    當一條消息已被成功發送到服務端並完成持久化,此時出現了網絡閃斷或者客戶端宕機,導致服務端對客戶端應答失敗。 如果此時生產者意識到消息發送失敗並嘗試再次發送消息,消費者後續會收到兩條內容相同並且 Message ID 也相同的消息。
  • 投遞時消息重複:
    消息消費的場景下,消息已投遞到消費者並完成業務處理,當客戶端給服務端反饋應答的時候網絡閃斷。 爲了保證消息至少被消費一次,消息隊列 RocketMQ 的服務端將在網絡恢復後再次嘗試投遞之前已被處理過的消息,消費者後續會收到兩條內容相同並且 Message ID 也相同的消息。
  • 負載均衡時消息重複:
    當消息隊列 RocketMQ 的 Broker 或客戶端重啓、擴容或縮容時,會觸發 Rebalance,此時消費者可能會收到重複消息。

處理建議
因爲 Message ID 有可能出現衝突(重複)情況,所以真正安全的冪等處理,不建議以 Message ID 作爲處理依據。 最好的方式是以業務唯一標識作爲冪等處理的關鍵依據,而業務的唯一標識可以通過消息 Key 進行設置:

//發送消息
Message message = new Message();
message.setKeys("ORDERID_100");
SendResult sendResult = producer.send(message);

//#############

//接收消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
	@Override
	public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
	                                                ConsumeConcurrentlyContext context) {
		for(MessageExt ext : msgs){
			String keys = ext.getKeys();
		}
		return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
	}
});
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章