聊聊分佈式事務

分佈式事務是企業集成中的一個技術難點,也是每一個分佈式系統架構中都會涉及到的一個東西,特別是在微服務架構中,幾乎可以說是無法避免,本文就分佈式事務來簡單聊一下。

數據庫事務

在說分佈式事務之前,我們先從數據庫事務說起。 數據庫事務可能大家都很熟悉,在開發過程中也會經常使用到。但是即使如此,可能對於一些細節問題,很多人仍然不清楚。比如很多人都知道數據庫事務的幾個特性:原子性(Atomicity )、一致性( Consistency )、隔離性或獨立性( Isolation)和持久性(Durabilily),簡稱就是ACID。但是再往下比如問到隔離性指的是什麼的時候可能就不知道了,或者是知道隔離性是什麼但是再問到數據庫實現隔離的都有哪些級別,或者是每個級別他們有什麼區別的時候可能就不知道了。

本文並不打算介紹這些數據庫事務的這些東西,有興趣可以搜索一下相關資料。不過有一個知識點我們需要了解,就是假如數據庫在提交事務的時候突然斷電,那麼它是怎麼樣恢復的呢? 爲什麼要提到這個知識點呢? 因爲分佈式系統的核心就是處理各種異常情況,這也是分佈式系統複雜的地方,因爲分佈式的網絡環境很複雜,這種“斷電”故障要比單機多很多,所以我們在做分佈式系統的時候,最先考慮的就是這種情況。這些異常可能有 機器宕機、網絡異常、消息丟失、消息亂序、數據錯誤、不可靠的TCP、存儲數據丟失、其他異常等等...

我們接着說本地事務數據庫斷電的這種情況,它是怎麼保證數據一致性的呢?我們使用SQL Server來舉例,我們知道我們在使用 SQL Server 數據庫是由兩個文件組成的,一個數據庫文件和一個日誌文件,通常情況下,日誌文件都要比數據庫文件大很多。數據庫進行任何寫入操作的時候都是要先寫日誌的,同樣的道理,我們在執行事務的時候數據庫首先會記錄下這個事務的redo操作日誌,然後纔開始真正操作數據庫,在操作之前首先會把日誌文件寫入磁盤,那麼當突然斷電的時候,即使操作沒有完成,在重新啓動數據庫時候,數據庫會根據當前數據的情況進行undo回滾或者是redo前滾,這樣就保證了數據的強一致性

接着,我們就說一下分佈式事務

分佈式理論
當我們的單個數據庫的性能產生瓶頸的時候,我們可能會對數據庫進行分區,這裏所說的分區指的是物理分區,分區之後可能不同的庫就處於不同的服務器上了,這個時候單個數據庫的ACID已經不能適應這種情況了,而在這種ACID的集羣環境下,再想保證集羣的ACID幾乎是很難達到,或者即使能達到那麼效率和性能會大幅下降,最爲關鍵的是再很難擴展新的分區了,這個時候如果再追求集羣的ACID會導致我們的系統變得很差,這時我們就需要引入一個新的理論原則來適應這種集羣的情況,就是 CAP 原則或者叫CAP定理,那麼CAP定理指的是什麼呢?

CAP定理
CAP定理是由加州大學伯克利分校Eric Brewer教授提出來的,他指出WEB服務無法同時滿足一下3個屬性:

一致性(Consistency) : 客戶端知道一系列的操作都會同時發生(生效)

可用性(Availability) : 每個操作都必須以可預期的響應結束

分區容錯性(Partition tolerance) : 即使出現單個組件無法可用,操作依然可以完成

具體地講在分佈式系統中,在任何數據庫設計中,一個Web應用至多隻能同時支持上面的兩個屬性。顯然,任何橫向擴展策略都要依賴於數據分區。因此,設計人員必須在一致性與可用性之間做出選擇。

這個定理在迄今爲止的分佈式系統中都是適用的! 爲什麼這麼說呢?

這個時候有同學可能會把數據庫的2PC(兩階段提交)搬出來說話了。OK,我們就來看一下數據庫的兩階段提交。

對數據庫分佈式事務有了解的同學一定知道數據庫支持的2PC,又叫做 XA Transactions。

MySQL從5.5版本開始支持,SQL Server 2005 開始支持,Oracle 7 開始支持。

其中,XA 是一個兩階段提交協議,該協議分爲以下兩個階段:

第一階段:事務協調器要求每個涉及到事務的數據庫預提交(precommit)此操作,並反映是否可以提交.

第二階段:事務協調器要求每個數據庫提交數據。

其中,如果有任何一個數據庫否決此次提交,那麼所有數據庫都會被要求回滾它們在此事務中的那部分信息。這樣做的缺陷是什麼呢? 咋看之下我們可以在數據庫分區之間獲得一致性。

如果CAP 定理是對的,那麼它一定會影響到可用性。

如果說系統的可用性代表的是執行某項操作相關所有組件的可用性的和。那麼在兩階段提交的過程中,可用性就代表了涉及到的每一個數據庫中可用性的和。我們假設兩階段提交的過程中每一個數據庫都具有99.9%的可用性,那麼如果兩階段提交涉及到兩個數據庫,這個結果就是99.8%。根據系統可用性計算公式,假設每個月43200分鐘,99.9%的可用性就是43157分鐘, 99.8%的可用性就是43114分鐘,相當於每個月的宕機時間增加了43分鐘。

以上,可以驗證出來,CAP定理從理論上來講是正確的,CAP我們先看到這裏,等會再接着說。

BASE理論
在分佈式系統中,我們往往追求的是可用性,它的重要程序比一致性要高,那麼如何實現高可用性呢? 前人已經給我們提出來了另外一個理論,就是BASE理論,它是用來對CAP定理進行進一步擴充的。BASE理論指的是:

Basically Available(基本可用)

Soft state(軟狀態)

Eventually consistent(最終一致性)

BASE理論是對CAP中的一致性和可用性進行一個權衡的結果,理論的核心思想就是:我們無法做到強一致,但每個應用都可以根據自身的業務特點,採用適當的方式來使系統達到最終一致性(Eventual consistency)。

有了以上理論之後,我們來看一下分佈式事務的問題。

分佈式事務
在分佈式系統中,要實現分佈式事務,無外乎那幾種解決方案。

一、兩階段提交(2PC)
和上一節中提到的數據庫XA事務一樣,兩階段提交就是使用XA協議的原理,我們可以從下面這個圖的流程來很容易的看出中間的一些比如commit和abort的細節

兩階段提交這種解決方案屬於犧牲了一部分可用性來換取的一致性。在實現方面,在 .NET 中,可以藉助 TransactionScop 提供的 API 來編程實現分佈式系統中的兩階段提交,比如WCF中就有實現這部分功能。不過在多服務器之間,需要依賴於DTC來完成事務一致性,Windows下微軟搞的有MSDTC服務,Linux下就比較悲劇了。

另外說一句,TransactionScop 默認不能用於異步方法之間事務一致,因爲事務上下文是存儲於當前線程中的,所以如果是在異步方法,需要顯式的傳遞事務上下文。

優點: 儘量保證了數據的強一致,適合對數據強一致要求很高的關鍵領域。(其實也不能100%保證強一致)

缺點: 實現複雜,犧牲了可用性,對性能影響較大,不適合高併發高性能場景,如果分佈式系統跨接口調用,目前 .NET 界還沒有實現方案。

二、補償事務(TCC)
TCC 其實就是採用的補償機制,其核心思想是:針對每個操作,都要註冊一個與其對應的確認和補償(撤銷)操作。它分爲三個階段:

Try 階段主要是對業務系統做檢測及資源預留

Confirm 階段主要是對業務系統做確認提交,Try階段執行成功並開始執行 Confirm階段時,默認 Confirm階段是不會出錯的。即:只要Try成功,Confirm一定成功。

Cancel 階段主要是在業務執行錯誤,需要回滾的狀態下執行的業務取消,預留資源釋放。

舉個例子,假入 Bob 要向 Smith 轉賬,思路大概是:
我們有一個本地方法,裏面依次調用
1、首先在 Try 階段,要先調用遠程接口把 Smith 和 Bob 的錢給凍結起來。
2、在 Confirm 階段,執行遠程調用的轉賬的操作,轉賬成功進行解凍。
3、如果第2步執行成功,那麼轉賬成功,如果第二步執行失敗,則調用遠程凍結接口對應的解凍方法 (Cancel)。

優點: 跟2PC比起來,實現以及流程相對簡單了一些,但數據的一致性比2PC也要差一些

缺點: 缺點還是比較明顯的,在2,3步中都有可能失敗。TCC屬於應用層的一種補償方式,所以需要程序員在實現的時候多寫很多補償的代碼,在一些場景中,一些業務流程可能用TCC不太好定義及處理。

三、本地消息表(異步確保)
本地消息表這種實現方式應該是業界使用最多的,其核心思想是將分佈式事務拆分成本地事務進行處理,這種思路是來源於ebay。我們可以從下面的流程圖中看出其中的一些細節:

基本思路就是:

消息生產方,需要額外建一個消息表,並記錄消息發送狀態。消息表和業務數據要在一個事務裏提交,也就是說他們要在一個數據庫裏面。然後消息會經過MQ發送到消息的消費方。如果消息發送失敗,會進行重試發送。

消息消費方,需要處理這個消息,並完成自己的業務邏輯。此時如果本地事務處理成功,表明已經處理成功了,如果處理失敗,那麼就會重試執行。如果是業務上面的失敗,可以給生產方發送一個業務補償消息,通知生產方進行回滾等操作。

生產方和消費方定時掃描本地消息表,把還沒處理完成的消息或者失敗的消息再發送一遍。如果有靠譜的自動對賬補賬邏輯,這種方案還是非常實用的。

這種方案遵循BASE理論,採用的是最終一致性,筆者認爲是這幾種方案裏面比較適合實際業務場景的,即不會出現像2PC那樣複雜的實現(當調用鏈很長的時候,2PC的可用性是非常低的),也不會像TCC那樣可能出現確認或者回滾不了的情況。

優點: 一種非常經典的實現,避免了分佈式事務,實現了最終一致性。在 .NET中 有現成的解決方案。

缺點: 消息表會耦合到業務系統中,如果沒有封裝好的解決方案,會有很多雜活需要處理。

四、MQ 事務消息
有一些第三方的MQ是支持事務消息的,比如RocketMQ,他們支持事務消息的方式也是類似於採用的二階段提交,但是市面上一些主流的MQ都是不支持事務消息的,比如 RabbitMQ 和 Kafka 都不支持。

以阿里的 RocketMQ 中間件爲例,其思路大致爲:

第一階段Prepared消息,會拿到消息的地址。
第二階段執行本地事務,第三階段通過第一階段拿到的地址去訪問消息,並修改狀態。

也就是說在業務方法內要想消息隊列提交兩次請求,一次發送消息和一次確認消息。如果確認消息發送失敗了RocketMQ會定期掃描消息集羣中的事務消息,這時候發現了Prepared消息,它會向消息發送者確認,所以生產方需要實現一個check接口,RocketMQ會根據發送端設置的策略來決定是回滾還是繼續發送確認消息。這樣就保證了消息發送與本地事務同時成功或同時失敗。

優點: 實現了最終一致性,不需要依賴本地數據庫事務。

缺點: 實現難度大,主流MQ不支持,RocketMQ事務消息部分代碼也未開源。

出處:https://www.cnblogs.com/savorboard/p/distributed-system-transaction-consistency.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章