rocketmq事務消息入門介紹

引出分佈式事務相關內容

這裏主要是想說明下,是什麼背景下面產生了此類問題。

首先我們來說說事務,說道事務,首先讓我想到的就是我大學的時候,老師經常舉例轉賬的事情,例子是這樣的:

銀行轉賬!張三轉100塊到李四的賬戶,這其實需要兩條SQL語句:
給張三的賬戶減去100元
給李四的賬戶加上100元
如果在第一條SQL語句執行成功後,在執行第二條SQL語句之前,程序被中斷了(可能是拋出了某個異常,也可能是其他什麼原因),那麼李四的賬戶沒有加上100元,而張三卻減去了100元。這肯定是不行的!
你現在可能已經知道什麼是事務了吧!事務中的多個操作,要麼完全成功,要麼完全失敗!不可能存在成功一半的情況!也就是說給張三的賬戶減去100元如果成功了,那麼給李四的賬戶加上100元的操作也必須是成功的;否則給張三減去100元,以及給李四加上100元都是失敗的!
如果在單個服務裏面,我們使用spring的話,我們使用一個註解就解決了這個問題(@Transactional註解就解決了,基本上就沒有下文什麼事情了。)

隨着各各公司服務越來越複雜,數據量越來越多,慢慢的公司就引入了微服務以及分庫分表等技術,這些技術的確非常的有用,但是在解決事務方面帶來了一下問題。

強調下:分佈式事務,我們一般都是強調的最終一致性,而不是強一致性!!!

主要概括爲3類:

基於單個JVM,數據庫分庫分表了(跨多個數據庫)。
基於多JVM,服務拆分了(不跨數據庫)。
基於多JVM,服務拆分了 並且數據庫分庫分表了。
正是爲了解決上面的3類問題,才引入了分佈式事務相關的技術來解決這些問題。

Half(Prepare) Message

指的是暫不能投遞的消息,發送方已經將消息成功發送到了 MQ 服務端,但是服務端未收到生產者對該消息的二次確認,此時該消息被標記成“暫不能投遞”狀態,處於該種狀態下的消息即半消息。

消息回查

由於網絡閃斷、生產者應用重啓等原因,導致某條事務消息的二次確認丟失,MQ 服務端通過掃描發現某條消息長期處於“半消息”時,需要主動向消息生產者詢問該消息的最終狀態(Commit 或是 Rollback),該過程即消息回查。

執行流程圖

rocketmq事務消息入門介紹

圖片描述(最多50字)

發送方向 MQ 服務端發送消息。
MQ Server 將消息持久化成功之後,向發送方 ACK 確認消息已經發送成功,此時消息爲半消息。
發送方開始執行本地事務邏輯。
發送方根據本地事務執行結果向 MQ Server 提交二次確認(Commit 或是 Rollback),MQ Server 收到 Commit 狀態則將半消息標記爲可投遞,訂閱方最終將收到該消息;MQ Server 收到 Rollback 狀態則刪除半消息,訂閱方將不會接受該消息。
在斷網或者是應用重啓的特殊情況下,上述步驟4提交的二次確認最終未到達 MQ Server,經過固定時間後 MQ Server 將對該消息發起消息回查。
發送方收到消息回查後,需要檢查對應消息的本地事務執行的最終結果。
發送方根據檢查得到的本地事務的最終狀態再次提交二次確認,MQ Server 仍按照步驟4對半消息進行操作。
事務消息發送對應步驟1、2、3、4,事務消息回查對應步驟5、6、7。

RocketMQ事務消息如何使用

1、引入 rocketmq-client

rocketmq事務消息入門介紹

圖片描述(最多50字)

目前還沒有,等幾天就會有了,或者自己下載源碼進行打包到自己的私有倉庫也是一樣的,經過和4.2.0的引入差不多,就是換成4.3.0即可。

<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-client</artifactId>
<version>4.3.0</version>
</dependency>
2、編寫Producer
rocketmq事務消息入門介紹

圖片描述(最多50字)

備註:和普通消息發送DefaultMQProducer有所不同,這裏使用的是TransactionMQProducer。

rocketmq事務消息入門介紹

圖片描述(最多50字)

關鍵點: 自己實現TransactionListener接口,並實現executeLocalTransaction方法(執行本地事務的,一般就是操作DB相關內容)和checkLocalTransaction方法(用來提供給broker進行會查本地事務消息的,把本地事務執行的結果存儲到redis或者DB中都可以,爲會查做數據準備)。
還是以:給張三的賬戶減去100元, 給李四的賬戶加上100元爲例。這個時候我們發送就相當於做的是張三的賬戶減去100元的操作,並且操作DB成功了,下面就是另外對李四的賬戶加上100元的操作了,這個時候就是相當於定義剛剛發送事務消息的topic,消費端和我們普通的消費端沒有什麼區別。

思考:假如這個時候我們消費端失敗了怎麼辦呢?(這個問題後續有討論,消費失敗有2種,第一種是超時了,我們重試即可,第二種是真的處理失敗了?該怎麼辦呢?)

RocketMQ事務消息是怎麼實現的

第一感覺和定時消息做法非常類似,但是比定時消息要複雜。定時消息內容在:RocketMQ(九):消息發送(續)裏面提到過。

本質: 定時消息先把定時消息的topic修改爲SCHEDULE_TOPIC_XXXX,之後一系列處理……,我們這個事務消息也是一樣,先發送Half(Prepare) Message消息的時候,其實topic內容也繼續了修改(RMQ_SYS_TRANS_HALF_TOPIC),所有consumer是不可見的(如果提交就用真實topic,如果需要回滾那麼就那臨時的topic內容刪除即可。)

Half(Prepare) Message修改topic斷點如下:
rocketmq事務消息入門介紹

圖片描述(最多50字)

本篇僅僅是一個入門介紹,裏面具體細節後續章節會進行分析。
思考: 如果把發送普通消息和本地執行邏輯放在一個事務裏面,如果執行事務成功就發送普通消息,如果失敗就回滾好像也是可以,那麼這種事務消息相對其有什麼優勢或者好處呢??? 思考下。

爲什麼需要事務消息會查機制

其實這個內容在,RocketMQ事務消息介紹裏面也說明了,由於網絡閃斷、生產者應用重啓等原因,導致某條事務消息的二次確認丟失,MQ 服務端通過掃描發現某條消息長期處於“半消息”時,需要主動向消息生產者詢問該消息的最終狀態(Commit 或是 Rollback),該過程即消息回查。那麼RocketMQ到底怎麼做的呢?下面馬上就會介紹。

RocketMQ是怎麼進行事務消息會查的

每60s會對Half(Prepare) Message的topic主題爲RMQ_SYS_TRANS_HALF_TOPIC的消息進行check。

rocketmq事務消息入門介紹

圖片描述(最多50字)

rocketmq事務消息入門介紹

圖片描述(最多50字)

broker會調用自己實現TransactionListener接口的checkLocalTransaction方法。

rocketmq事務消息入門介紹

圖片描述(最多50字)

備註: 就是RocketMQ已經實現這個機制,今天這篇僅僅是入門介紹,並沒有涉及到很多細節,先把大概流程說明白,後續再具體細節進行開篇說明。
RocketMQ對於分佈式事務解決還有那些侷限性?以及說明

在RocketMQ事務消息如何使用的時候我們提到,如果消費失敗怎麼辦?消費失敗有2種,第一種是超時了,我們重試即可,第二種是真的處理失敗了?仔細思考下,這塊還是蠻複雜的,假如需要有7-8個業務模塊呢,其中執行到第6個業務模塊就失敗呢? 這種重試好幾次還是失敗,我們該如何處理呢???是回滾前面5個操作嗎?好複雜好複雜,爲什麼RocketMQ不提供自動回滾呢? 希望大家思考下,如果失敗率比較大,那麼就是系統問題需要優化代碼業務……

據零度瞭解,很多這塊是通過人工介入以及T+1對賬的以及補償機制等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章