消息服務在電商中的實踐 轉

1 商品和訂單服務中使用MQ

1.1 同步

在訂單生成的時候直接扣庫存,這是最初等的方式扣庫存,這種方式比較簡單,但是也有一系列的問題:

  • 會造成有很多訂單把產品庫存扣除而並沒有支付,這就需要有一個後臺腳本,將一段時間內沒有支付的訂單的庫存釋放,把訂單取消掉
  • 即時扣庫存,併發差

1,3商品服務,操作商品服務的 db
2,4 訂單服務.操作訂單服務的 db

避免訪問不同服務的 db

1.2 改造成基於消息隊列的異步操作

首先考慮只將第四步異步化
分析:2,4都是操作db,第四步不再等待,
1,2,3成功後即反饋給用戶
之後通過消息通知服務異步下單,若第4步異步下單失敗了,傾向於重試操作,試圖重新生成訂單,消息隊列的消息也是可回溯的


訂單創建完成後,處於排隊狀態,然後服務發佈一個事件Order Created 到消息隊列中
即訂單服務向外界發送消息:我創建了一個訂單
由MQ 轉發給訂閱該消息的服務


如果商品服務收到創建訂單消息之後執行扣庫存操作
注意,這裏可能因爲某些不可抗因素導致扣庫存失敗
無論成功與否,商品服務都會發送一個扣庫存消息到 MQ 中,消息內容即扣庫存的結果
訂單服務會訂閱扣庫存的結果,接收到該消息後

  • 如果扣庫存成功,將訂單的狀態改爲已確認,即下單成功
  • 如果扣庫存失敗,將訂單的狀態改爲已取消,即下單失敗

欲實現上述模型要求,需要以下保證

* 可靠消息投遞

服務發出的消息,一定會被MQ收到

* 用戶體驗的變化
前端配合排隊中等界面

商品/訂單服務都變成異步化,適合秒殺類場景,當流量不大時,並不太適合如此改造

2 異步化設計

對於 CAP 理論

  • zk保證 AP
  • eurake 保證 CP

最終分析實例

當訂單支付成功後,會有一個出庫過程,既然有這個過程,就有可能出庫失敗, 他的流程是怎麼樣子的呢?
庫存有兩部分:一個緩存redis層,一個數據庫mysql層

1 當客服新增了5個庫存,那麼,緩存redis和數據庫mysql層都需要增加5個庫存,這個使用分佈式事務的最終一致性來滿足要麼全加,要麼全不加庫存

2 當訂單生成的時候,需要扣除庫存,先扣除redis庫存,如果扣除成功,則生成訂單進行支付,這個過程不扣除mysql庫存

3 當redis庫存扣乾淨,這個產品就無法下單了,下單就會失敗,就把外層的給擋住了

4 在第2步扣除redis庫存成功後,生成訂單,進行支付,支付成功,返回我的訂單中心, 會發現有一個出庫過程

5 出庫過程
一個MQ異步解耦的任務隊列,這個過程是扣除mysql庫存

  • 如果扣mysql庫存成功,出庫成功,完成下訂單整個流程,進入發貨狀態
  • 如果扣mysql庫存失敗,出庫失敗,進行一系列的操作
    • 訂單狀態改成取消
    • 返還redis庫存
    • 退款

redis庫存和mysql庫存

支付前是預扣,是扣redis庫存,是鎖定庫存的過程
支付後是真正扣,扣mysql庫存,保證庫存最終一致

但是,在極端情況下會存在數據不一致

  • 如果redis庫存 = mysql庫存,不會有問題
  • 如果redis庫存 < mysql庫存,不會有超賣問題,但會存在實際有庫存,但是沒有賣的情況
  • 如果redis庫存 > mysql庫存,就會超賣,超賣的訂單,在出庫的過程中會失敗

這樣總體不會出問題,mysql數據庫層,保證庫存最終不會出問題。

但是會有以下的問題:

數據庫庫存和redis庫存不一致,如何檢測?

如果檢測出來不一致,如何同步

沒有想出來好的方案
比較暴力的方式,就是找一個低峯期,譬如凌晨1點,週期性強行覆蓋。 但是極端情況下還是會存在同步後不準確,譬如在同步的過程中,剛好有一個訂單在支付,這個訂單支付成功後,出庫的過程中,扣除了mysql的庫存,但是沒有扣除redis的庫存

這個就是數據庫同步緩存的更新機制方面的問題
屬於一致性的邏輯設計的問題
`緩存數 = 數據庫庫存數 - 待扣數`
當然這裏面也還有其它的方案,以及考慮到一致性的要求高低,可以使用簡單或複雜的方案
就看系統複雜度了,越是大系統就要拆得越細
比如待扣數又可以放到一個隊列裏面,或者緩存裏面,同時有計數,直接讀計數就行
比如放到mongo,已支付待出庫的數量,一般也不會很大,count一下,也不會損失多少
所以一般系統都不能完全保障數據鏈不出錯,但一定要有補償,就是出錯了可以糾錯
要保障不出錯的代價顯然太大
同步是有一套刷新機制,可以定時,也可以通過MQ,或者監控不一至同步等等。。。
也叫做保障緩存數據的新鮮度
一般不會太長時間,半小時,幾分鐘都有可能,不同場景需求不一樣

買火車票的12306,晚上的時間都不能買票,這個時間估計是在同步庫存,將數據庫庫存同步到redis庫存中, 但是買火車票之類,在訂單生成前,必須扣除實際庫存,也就是要扣除mysql的庫存,

因爲買火車票和購物不一樣,購物可以付款後出庫,但是買票這種,支付前就必須出庫,因此,要將出庫過程提前, 只有出庫成功,才能生成訂單,同樣要引入redis庫存

先扣緩存中的庫存,扣除成功後,然後纔可以去扣mysql中的庫存

如果扣除緩存中的庫存失敗,就會擋在外面,返回庫存不足,這些請求不會穿刺到mysql中,擋住了大多數的請求壓力。

redis庫存會和mysql庫存不一致,極端情況下是肯定有的,需要進行庫存同步

  • 當緩存庫存比數據庫庫存多,那麼就會出現,查詢有票,但是就無法下單,下單的時候就說庫存不足,這個情況下,就會造成數據庫壓力過大,不過12306應該有其他手段來規避這個問題,不過,我確實遇到過,查詢的時候有票,但是無法下單的情況。

  • 當緩存庫存比數據庫緩存少,那麼不會出問題,只會出現有票,但是沒有出售的情況,等完成庫存同步一下, 明天又準確了。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章