Python實戰社羣
Java實戰社羣
長按識別下方二維碼,按需求添加
掃碼關注添加客服
進Python社羣▲
掃碼關注添加客服
進Java社羣▲
作者:浪漫先生
來源:
https://juejin.cn/post/6854573212831842311
“
基於 Redis 使用分佈式鎖在當今已經不是什麼新鮮事了。本篇文章主要是基於我們實際項目中因爲 Redis 分佈式鎖造成的事故分析及解決方案。
圖片來自 Pexels
背景
我們項目中的搶購訂單採用的是分佈式鎖來解決的。有一次,運營做了一個飛天茅臺的搶購活動,庫存 100 瓶,但是卻超賣了!
要知道,這個地球上飛天茅臺的稀缺性啊!!!事故定爲 P0 級重大事故...只能坦然接受。整個項目組被扣績效了~~
事故發生後,CTO 指名點姓讓我帶頭衝鋒來處理,好吧,衝~
事故現場
經過一番瞭解後,得知這個搶購活動接口以前從來沒有出現過這種情況,但是這次爲什麼會超賣呢?
原因在於:之前的搶購商品都不是什麼稀缺性商品,而這次活動居然是飛天茅臺,通過埋點數據分析,各項數據基本都是成倍增長,活動熱烈程度可想而知!
話不多說,直接上核心代碼,機密部分做了僞代碼處理:
public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
String key = "key:" + request.getSeckillId;
try {
Boolean lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);
if (lockFlag) {
// HTTP請求用戶服務進行用戶相關的校驗
// 用戶活動校驗
// 庫存校驗
Object stock = redisTemplate.opsForHash().get(key+":info", "stock");
assert stock != null;
if (Integer.parseInt(stock.toString()) <= 0) {
// 業務異常
} else {
redisTemplate.opsForHash().increment(key+":info", "stock", -1);
// 生成訂單
// 發佈訂單創建成功事件
// 構建響應VO
}
}
} finally {
// 釋放鎖
stringRedisTemplate.delete("key");
// 構建響應VO
}
return response;
}
以上代碼,通過分佈式鎖過期時間有效期 10s 來保障業務邏輯有足夠的執行時間;採用 try-finally 語句塊保證鎖一定會及時釋放。
業務代碼內部也對庫存進行了校驗。看起來很安全啊!別急,繼續分析。。。
事故原因
飛天茅臺搶購活動吸引了大量新用戶下載註冊我們的 APP,其中,不乏很多羊毛黨,採用專業的手段來註冊新用戶來薅羊毛和刷單。
當然我們的用戶系統提前做好了防備,接入阿里雲人機驗證、三要素認證以及自研的風控系統等各種十八般武藝,擋住了大量的非法用戶。
此處不禁點個贊,但也正因如此,讓用戶服務一直處於較高的運行負載中。
搶購活動開始的一瞬間,大量的用戶校驗請求打到了用戶服務。
導致用戶服務網關出現了短暫的響應延遲,有些請求的響應時長超過了 10s,但由於 HTTP 請求的響應超時我們設置的是 30s。
這就導致接口一直阻塞在用戶校驗那裏,10s 後,分佈式鎖已經失效了,此時有新的請求進來是可以拿到鎖的,也就是說鎖被覆蓋了。
這些阻塞的接口執行完之後,又會執行釋放鎖的邏輯,這就把其他線程的鎖釋放了,導致新的請求也可以競爭到鎖~這真是一個極其惡劣的循環。
這個時候只能依賴庫存校驗,但是偏偏庫存校驗不是非原子性的,採用的是 get and compare 的方式,超賣的悲劇就這樣發生了~~~
事故分析
仔細分析下來,可以發現,這個搶購接口在高併發場景下,是有嚴重的安全隱患的,主要集中在三個地方:
①沒有其他系統風險容錯處理
由於用戶服務喫緊,網關響應延遲,但沒有任何應對方式,這是超賣的導火索。
②看似安全的分佈式鎖其實一點都不安全
雖然採用了 set key value [EX seconds] [PX milliseconds] [NX|XX]的方式,但是如果線程 A 執行的時間較長沒有來得及釋放,鎖就過期了,此時線程 B 是可以獲取到鎖的。
當線程 A 執行完成之後,釋放鎖,實際上就把線程 B 的鎖釋放掉了。這個時候,線程 C 又是可以獲取到鎖的,而此時如果線程 B 執行完釋放鎖實際上就是釋放的線程 C 設置的鎖。這是超賣的直接原因。
③非原子性的庫存校驗
非原子性的庫存校驗導致在併發場景下,庫存校驗的結果不準確。這是超賣的根本原因。
通過以上分析,問題的根本原因在於庫存校驗嚴重依賴了分佈式鎖。因爲在分佈式鎖正常 set、del 的情況下,庫存校驗是沒有問題的。
但是,當分佈式鎖不安全可靠的時候,庫存校驗就沒有用了。
解決方案
知道了原因之後,我們就可以對症下藥了。
實現相對安全的分佈式鎖
相對安全的定義:set、del 是一一映射的,不會出現把其他現成的鎖 del 的情況。
從實際情況的角度來看,即使能做到 set、del一一映射,也無法保障業務的絕對安全。
因爲鎖的過期時間始終是有界的,除非不設置過期時間或者把過期時間設置的很長,但這樣做也會帶來其他問題。故沒有意義。
要想實現相對安全的分佈式鎖,必須依賴 key 的 value 值。在釋放鎖的時候,通過 value 值的唯一性來保證不會勿刪。
我們基於 LUA 腳本實現原子性的 get and compare,如下:
public void safedUnLock(String key, String val) {
String luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";
RedisScript<String> redisScript = RedisScript.of(luaScript);
redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));
}
我們通過 LUA 腳本來實現安全地解鎖。
實現安全的庫存校驗
如果我們對於併發有比較深入的瞭解的話,會發現想 get and compare/ read and save 等操作,都是非原子性的。如果要實現原子性,我們也可以藉助 LUA 腳本來實現。
但就我們這個例子中,由於搶購活動一單隻能下 1 瓶,因此可以不用基於 LUA 腳本實現而是基於 Redis 本身的原子性。
原因在於:
// redis會返回操作之後的結果,這個過程是原子性的
Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);
發現沒有,代碼中的庫存校驗完全是“畫蛇添足”。
改進之後的代碼
經過以上的分析之後,我們決定新建一個 DistributedLocker 類專門用於處理分佈式鎖:
public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
String key = "key:" + request.getSeckillId();
String val = UUID.randomUUID().toString();
try {
Boolean lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);
if (!lockFlag) {
// 業務異常
}
// 用戶活動校驗
// 庫存校驗,基於redis本身的原子性來保證
Long currStock = stringRedisTemplate.opsForHash().increment(key + ":info", "stock", -1);
if (currStock < 0) { // 說明庫存已經扣減完了。
// 業務異常。
log.error("[搶購下單] 無庫存");
} else {
// 生成訂單
// 發佈訂單創建成功事件
// 構建響應
}
} finally {
distributedLocker.safedUnLock(key, val);
// 構建響應
}
return response;
}
深度思考
①分佈式鎖有必要麼
改進之後,其實可以發現,我們藉助於 Redis 本身的原子性扣減庫存,也是可以保證不會超賣的。
對的。但是如果沒有這一層鎖的話,那麼所有請求進來都會走一遍業務邏輯,由於依賴了其他系統,此時就會造成對其他系統的壓力增大。
這會增加的性能損耗和服務不穩定性,得不償失。基於分佈式鎖可以在一定程度上攔截一些流量。
②分佈式鎖的選型
有人提出用 RedLock 來實現分佈式鎖。RedLock 的可靠性更高,但其代價是犧牲一定的性能。
在本場景,這點可靠性的提升遠不如性能的提升帶來的性價比高。如果對於可靠性極高要求的場景,則可以採用 RedLock 來實現。
③再次思考分佈式鎖有必要麼
由於 Bug 需要緊急修復上線,因此我們將其優化並在測試環境進行了壓測之後,就立馬熱部署上線了。
實際證明,這個優化是成功的,性能方面略微提升了一些,並在分佈式鎖失效的情況下,沒有出現超賣的情況。
然而,還有沒有優化空間呢?有的!由於服務是集羣部署,我們可以將庫存均攤到集羣中的每個服務器上,通過廣播通知到集羣的各個服務器。
網關層基於用戶 ID 做 hash 算法來決定請求到哪一臺服務器。這樣就可以基於應用緩存來實現庫存的扣減和判斷。
性能又進一步提升了:
// 通過消息提前初始化好,藉助ConcurrentHashMap實現高效線程安全
private static ConcurrentHashMap<Long, Boolean> SECKILL_FLAG_MAP = new ConcurrentHashMap<>();
// 通過消息提前設置好。由於AtomicInteger本身具備原子性,因此這裏可以直接使用HashMap
private static Map<Long, AtomicInteger> SECKILL_STOCK_MAP = new HashMap<>();
...
public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
Long seckillId = request.getSeckillId();
if(!SECKILL_FLAG_MAP.get(requestseckillId)) {
// 業務異常
}
// 用戶活動校驗
// 庫存校驗
if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) {
SECKILL_FLAG_MAP.put(seckillId, false);
// 業務異常
}
// 生成訂單
// 發佈訂單創建成功事件
// 構建響應
return response;
}
通過以上的改造,我們就完全不需要依賴 Redis 了。性能和安全性兩方面都能進一步得到提升!
當然,此方案沒有考慮到機器的動態擴容、縮容等複雜場景,如果還要考慮這些話,則不如直接考慮分佈式鎖的解決方案。
總結
稀缺商品超賣絕對是重大事故。如果超賣數量多的話,甚至會給平臺帶來非常嚴重的經營影響和社會影響。
經過本次事故,讓我意識到對於項目中的任何一行代碼都不能掉以輕心,否則在某些場景下,這些正常工作的代碼就會變成致命殺手!
對於一個開發者而言,則設計開發方案時,一定要將方案考慮周全。怎樣才能將方案考慮周全?唯有持續不斷地學習!
程序員專欄 掃碼關注填加客服 長按識別下方二維碼進羣
近期精彩內容推薦:
在看點這裏好文分享給更多人↓↓