萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

究竟什麼樣的鎖才能更好的支持高併發場景呢?今天,我們就一起解密高併發環境下典型的分佈式鎖架構!

鎖用來解決什麼問題呢?

在我們編寫的應用程序或者高併發程序中,不知道大家有沒有想過一個問題,就是我們爲什麼需要引入鎖?鎖爲我們解決了什麼問題呢?

在很多業務場景下,我們編寫的應用程序中會存在很多的資源競爭的問題。而我們在高併發程序中,引入鎖,就是爲了解決這些資源競爭的問題。

電商超賣問題

這裏,我們可以列舉一個簡單的業務場景。比如,在電子商務(商城)的業務場景中,提交訂單購買商品時,首先需要查詢相應商品的庫存是否足夠,只有在商品庫存數量足夠的前提下,才能讓用戶成功的下單。下單時,我們需要在庫存數量中減去用戶下單的商品數量,並將庫存操作的結果數據更新到數據庫中。整個流程我們可以簡化成下圖所示。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

很多小夥伴也留言說,讓我給出代碼,這樣能夠更好的學習和掌握相關的知識。好吧,這裏,我也給出相應的代碼片段吧。我們可以使用下面的代碼片段來表示用戶的下單操作,我這裏將商品的庫存信息保存在了Redis中。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

注意:上述代碼片段比較簡單,只是爲了方便大家理解,真正項目中的代碼就不能這麼寫了。

上述的代碼看似是沒啥問題的,但是我們不能只從代碼表面上來觀察代碼的執行順序。這是因爲在JVM中代碼的執行順序未必是按照我們書寫代碼的順序執行的。即使在JVM中代碼是按照我們書寫的順序執行,那我們對外提供的接口一旦暴露出去,就會有成千上萬的客戶端來訪問我們的接口。所以說,我們暴露出去的接口是會被併發訪問的。

試問,上面的代碼在高併發環境下是線程安全的嗎?答案肯定不是線程安全的,因爲上述扣減庫存的操作會出現並行執行的情況。

我們可以使用Apache JMeter來對上述接口進行測試,這裏,我使用Apache JMeter對上述接口進行測試。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼éä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

在Jmeter中,我將線程的併發度設置爲3,接下來的配置如下所示。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

以HTTP GET請求的方式來併發訪問提交訂單的接口。此時,運行JMeter來訪問接口,命令行會打印出下面的日誌信息。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

這裏,我們明明請求了3次,也就是說,提交了3筆訂單,爲什麼扣減後的庫存都是一樣的呢?這種現象在電商領域有一個專業的名詞叫做 “超賣” 。

如果一個大型的高併發電商系統,比如淘寶、天貓、京東等,出現了超賣現象,那損失就無法估量了!架構設計和開發電商系統的人員估計就要通通下崗了。所以,作爲技術人員,我們一定要嚴謹的對待技術,嚴格做好系統的每一個技術環節。

JVM中提供的鎖

JVM中提供的synchronized和Lock鎖,相信大家並不陌生了,很多小夥伴都會使用這些鎖,也能使用這些鎖來實現一些簡單的線程互斥功能。那麼,作爲立志要成爲架構師的你,是否瞭解過JVM鎖的底層原理呢?

JVM鎖原理

說到JVM鎖的原理,我們就不得不限說說Java中的對象頭了。

Java中的對象頭

每個Java對象都有對象頭。如果是⾮數組類型,則⽤2個字寬來存儲對象頭,如果是數組,則會⽤3個字寬來存儲對象頭。在32位處理器中,⼀個字寬是32位;在64位虛擬機中,⼀個字寬是64位。

對象頭的內容如下表 。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

Mark Work的格式如下所示。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

 

可以看到,當對象狀態爲偏向鎖時, Mark Word 存儲的是偏向的線程ID;當狀態爲輕量級鎖時, Mark Word 存儲的是指向線程棧中 Lock Record 的指針;當狀態爲重量級鎖時, Mark Word 爲指向堆中的monitor對象的指針 。

JVM鎖原理

簡單點來說,JVM中鎖的原理如下。

在Java對象的對象頭上,有一個鎖的標記,比如,第一個線程執行程序時,檢查Java對象頭中的鎖標記,發現Java對象頭中的鎖標記爲未加鎖狀態,於是爲Java對象進行了加鎖操作,將對象頭中的鎖標記設置爲鎖定狀態。第二個線程執行同樣的程序時,也會檢查Java對象頭中的鎖標記,此時會發現Java對象頭中的鎖標記的狀態爲鎖定狀態。於是,第二個線程會進入相應的阻塞隊列中進行等待。

這裏有一個關鍵點就是Java對象頭中的鎖標記如何實現。

JVM鎖的短板

JVM中提供的synchronized和Lock鎖都是JVM級別的,大家都知道,當運行一個Java程序時,會啓動一個JVM進程來運行我們的應用程序。synchronized和Lock在JVM級別有效,也就是說,synchronized和Lock在同一Java進程內有效。如果我們開發的應用程序是分佈式的,那麼只是使用synchronized和Lock來解決分佈式場景下的高併發問題,就會顯得有點力不從心了。

synchronized和Lock支持JVM同一進程內部的線程互斥

synchronized和Lock在JVM級別能夠保證高併發程序的互斥,我們可以使用下圖來表示。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

但是,當我們將應用程序部署成分佈式架構,或者將應用程序在不同的JVM進程中運行時,synchronized和Lock就不能保證分佈式架構和多JVM進程下應用程序的互斥性了。

synchronized和Lock不能實現多JVM進程之間的線程互斥

分佈式架構和多JVM進程的本質都是將應用程序部署在不同的JVM實例中,也就是說,其本質還是多JVM進程。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

分佈式鎖

我們在實現分佈式鎖時,可以參照JVM鎖實現的思想,JVM鎖在爲對象加鎖時,通過改變Java對象的對象頭中的鎖的標誌位來實現,也就是說,所有的線程都會訪問這個Java對象的對象頭中的鎖標誌位。

 

我們同樣以這種思想來實現分佈式鎖,當我們將應用程序進行拆分並部署成分佈式架構時,所有應用程序中的線程訪問共享變量時,都到同一個地方去檢查當前程序的臨界區是否進行了加鎖操作,而是否進行了加鎖操作,我們在統一的地方使用相應的狀態來進行標記。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

可以看到,在分佈式鎖的實現思想上,與JVM鎖相差不大。而在實現分佈式鎖中,保存加鎖狀態的服務可以使用MySQL、Redis和Zookeeper實現。

但是,在互聯網高併發環境中, 使用Redis實現分佈式鎖的方案是使用的最多的。 接下來,我們就使用Redis來深入解密分佈式鎖的架構設計。

Redis如何實現分佈式鎖

Redis命令

在Redis中,有一個不常使用的命令如下所示。

SETNX key value

這條命令的含義就是“SET if Not Exists”,即不存在的時候纔會設置值。

只有在key不存在的情況下,將鍵key的值設置爲value。如果key已經存在,則SETNX命令不做任何操作。

這個命令的返回值如下。

  • 命令在設置成功時返回1。
  • 命令在設置失敗時返回0。

所以,我們在分佈式高併發環境下,可以使用Redis的SETNX命令來實現分佈式鎖。假設此時有線程A和線程B同時訪問臨界區代碼,假設線程A首先執行了SETNX命令,並返回結果1,繼續向下執行。而此時線程B再次執行SETNX命令時,返回的結果爲0,則線程B不能繼續向下執行。只有當線程A執行DELETE命令將設置的鎖狀態刪除時,線程B纔會成功執行SETNX命令設置加鎖狀態後繼續向下執行。

引入分佈式鎖

瞭解瞭如何使用Redis中的命令實現分佈式鎖後,我們就可以對下單接口進行改造了,加入分佈式鎖,如下所示。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

那麼,在上述代碼中,我們加入了分佈式鎖的操作,那上述代碼是否能夠在高併發場景下保證業務的原子性呢?答案是可以保證業務的原子性。但是,在實際場景中,上面實現分佈式鎖的代碼是不可用的!!

假設當線程A首先執行stringRedisTemplate.opsForValue()的setIfAbsent()方法返回true,繼續向下執行,正在執行業務代碼時,拋出了異常,線程A直接退出了JVM。此時,stringRedisTemplate.delete(PRODUCT_ID);代碼還沒來得及執行,之後所有的線程進入提交訂單的方法時,調用stringRedisTemplate.opsForValue()的setIfAbsent()方法都會返回false。導致後續的所有下單操作都會失敗。這就是分佈式場景下的死鎖問題。

所以,上述代碼中實現分佈式鎖的方式在實際場景下是不可取的!!

引入try-finally代碼塊

說到這,相信小夥伴們都能夠想到,使用try-finall代碼塊啊,接下來,我們爲下單接口的方法加上try-finally代碼塊。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

那麼,上述代碼是否真正解決了死鎖的問題呢?我們在寫代碼時,不能只盯着代碼本身,覺得上述代碼沒啥問題了。實際上,生產環境是非常複雜的。如果線程在成功加鎖之後,執行業務代碼時,還沒來得及執行刪除鎖標誌的代碼,此時,服務器宕機了,程序並沒有優雅的退出JVM。也會使得後續的線程進入提交訂單的方法時,因無法成功的設置鎖標誌位而下單失敗。所以說,上述的代碼仍然存在問題。

引入Redis超時機制

在Redis中可以設置緩存的自動過期時間,我們可以將其引入到分佈式鎖的實現中,如下代碼所示。

ä¸å­é¿æï¼é«å¹¶ååå¸å¼éæ¶æ解å¯ï¼ä¸æ¯ææçéé½æ¯åå¸å¼é

在上述代碼中,我們加入瞭如下一行代碼來爲Redis中的鎖標誌設置過期時間。

stringRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS);

此時,我們設置的過期時間爲30秒。

那麼問題來了,這樣是否就真正的解決了問題呢?上述程序就真的沒有坑了嗎?答案是還是有坑的!!

“坑位”分析

我們在下單操作的方法中爲分佈式鎖引入了超時機制,此時的代碼還是無法真正避免死鎖的問題,那“坑位”到底在哪裏呢?試想,當程序執行完stringRedisTemplate.opsForValue().setIfAbsent()方法後,正要執行stringRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS)代碼時,服務器宕機了,你還別說,生產壞境的情況非常複雜,就是這麼巧,服務器就宕機了。此時,後續請求進入提交訂單的方法時,都會因爲無法成功設置鎖標誌而導致後續下單流程無法正常執行。

既然我們找到了上述代碼的“坑位”,那我們如何將這個”坑“填上?如何解決這個問題呢?別急,Redis已經提供了這樣的功能。我們可以在向Redis中保存數據的時候,可以同時指定數據的超時時間。所以,我們可以將代碼改造成如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

在上述代碼中,我們在向Redis中設置鎖標誌位的時候就設置了超時時間。此時,只要向Redis中成功設置了數據,則即使我們的業務系統宕機,Redis中的數據過期後,也會自動刪除。後續的線程進入提交訂單的方法後,就會成功的設置鎖標誌位,並向下執行正常的下單流程。

到此,上述的代碼基本上在功能角度解決了程序的死鎖問題,那麼,上述程序真的就完美了嗎?哈哈,很多小夥伴肯定會說不完美!確實,上面的代碼還不是完美的,那大家知道哪裏不完美嗎?接下來,我們繼續分析。

在開發集成角度分析代碼

在我們開發公共的系統組件時,比如我們這裏說的分佈式鎖,我們肯定會抽取一些公共的類來完成相應的功能來供系統使用。

這裏,假設我們定義了一個RedisLock接口,如下所示。

 

接下來,使用RedisLockImpl類實現RedisLock接口,提供具體的加鎖和解鎖實現,如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

在開發集成的角度來說,當一個線程從上到下執行時,首先對程序進行加鎖操作,然後執行業務代碼,執行完成後,再進行釋放鎖的操作。理論上,加鎖和釋放鎖時,操作的Redis Key都是一樣的。但是,如果其他開發人員在編寫代碼時,並沒有調用tryLock()方法,而是直接調用了releaseLock()方法,並且他調用releaseLock()方法傳遞的key與你調用tryLock()方法傳遞的key是一樣的。那此時就會出現問題了,他在編寫代碼時,硬生生的將你加的鎖釋放了!!!

所以,上述代碼是不安全的,別人能夠隨隨便便的將你加的鎖刪除,這就是鎖的誤刪操作,這是非常危險的,所以,上述的程序存在很嚴重的問題!!

那如何實現只有加鎖的線程才能進行相應的解鎖操作呢? 繼續向下看。

如何實現加鎖和解鎖的歸一化?

什麼是加鎖和解鎖的歸一化呢?簡單點來說,就是一個線程執行了加鎖操作後,後續必須由這個線程執行解鎖操作,加鎖和解鎖操作由同一個線程來完成。

爲了解決只有加鎖的線程才能進行相應的解鎖操作的問題,那麼,我們就需要將加鎖和解鎖操作綁定到同一個線程中,那麼,如何將加鎖操作和解鎖操作綁定到同一個線程呢?其實很簡單,相信很多小夥伴都想到了—— 使用ThreadLocal實現 。沒錯,使用ThreadLocal類確實能夠解決這個問題。

此時,我們將RedisLockImpl類的代碼修改成如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

上述代碼的主要邏輯爲:在對程序執行嘗試加鎖操作時,首先生成一個uuid,將生成的uuid綁定到當前線程,並將傳遞的key參數操作Redis中的key,生成的uuid作爲Redis中的Value,保存到Redis中,同時設置超時時間。當執行解鎖操作時,首先,判斷當前線程中綁定的uuid是否和Redis中存儲的uuid相等,只有二者相等時,纔會執行刪除鎖標誌位的操作。這就避免了一個線程對程序進行了加鎖操作後,其他線程對這個鎖進行了解鎖操作的問題。

繼續分析

我們將加鎖和解鎖的方法改成如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

相信很多小夥伴都會看出上述代碼存在什麼問題了!! 沒錯,那就是 線程安全的問題。

所以,這裏,我們需要使用ThreadLocal來解決線程安全問題。

可重入性分析

在上面的代碼中,當一個線程成功設置了鎖標誌位後,其他的線程再設置鎖標誌位時,就會返回失敗。還有一種場景就是在提交訂單的接口方法中,調用了服務A,服務A調用了服務B,而服務B的方法中存在對同一個商品的加鎖和解鎖操作。

所以,服務B成功設置鎖標誌位後,提交訂單的接口方法繼續執行時,也不能成功設置鎖標誌位了。也就是說,目前實現的分佈式鎖沒有可重入性。

這裏,就存在可重入性的問題了。我們希望設計的分佈式鎖 具有可重入性 ,那什麼是可重入性呢?簡單點來說,就是同一個線程,能夠多次獲取同一把鎖,並且能夠按照順序進行解決操作。

其實,在JDK 1.5之後提供的鎖很多都支持可重入性,比如synchronized和Lock。

如何實現可重入性呢?

映射到我們加鎖和解鎖方法時,我們如何支持同一個線程能夠多次獲取到鎖(設置鎖標誌位)呢?可以這樣簡單的設計:如果當前線程沒有綁定uuid,則生成uuid綁定到當前線程,並且在Redis中設置鎖標誌位。如果當前線程已經綁定了uuid,則直接返回true,證明當前線程之前已經設置了鎖標誌位,也就是說已經獲取到了鎖,直接返回true。

 

這樣寫看似沒有啥問題,但是大家細想一下,這樣寫就真的OK了嗎?

可重入性的問題分析

既然上面分佈式鎖的可重入性是存在問題的,那我們就來分析下問題的根源在哪裏!

假設我們提交訂單的方法中,首先使用RedisLock接口對代碼塊添加了分佈式鎖,在加鎖後的代碼中調用了服務A,而服務A中也存在調用RedisLock接口的加鎖和解鎖操作。而多次調用RedisLock接口的加鎖操作時,只要之前的鎖沒有失效,則會直接返回true,表示成功獲取鎖。也就是說,無論調用加鎖操作多少次,最終只會成功加鎖一次。而執行完服務A中的邏輯後,在服務A中調用RedisLock接口的解鎖方法,此時,會將當前線程所有的加鎖操作獲得的鎖全部釋放掉。

我們可以使用下圖來簡單的表示這個過程。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

那麼問題來了,如何解決可重入性的問題呢?

解決可重入性問題

相信很多小夥伴都能夠想出使用計數器的方式來解決上面可重入性的問題,沒錯,就是使用計數器來解決。 整體流程如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

那麼,體現在程序代碼上是什麼樣子呢?我們來修改RedisLockImpl類的代碼,如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

至此,我們基本上解決了分佈式鎖的可重入性問題。

說到這裏,我還要問大家一句,上面的解決問題的方案真的沒問題了嗎?

阻塞與非阻塞鎖

在提交訂單的方法中,當獲取Redis分佈式鎖失敗時,我們直接返回了failure來表示當前請求下單的操作失敗了。試想,在高併發環境下,一旦某個請求獲得了分佈式鎖,那麼,在這個請求釋放鎖之前,其他的請求調用下單方法時,都會返回下單失敗的信息。在真實場景中,這是非常不友好的。我們可以將後續的請求進行阻塞,直到當前請求釋放鎖後,再喚醒阻塞的請求獲得分佈式鎖來執行方法。

所以,我們設計的分佈式鎖需要支持 阻塞和非阻塞 的特性。

那麼,如何實現阻塞呢?我們可以使用自旋來實現,繼續修改RedisLockImpl的代碼如下所示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

在分佈式鎖的設計中,阻塞鎖和非阻塞鎖 是非常重要的概念,大家一定要記住這個知識點。

鎖失效問題

儘管我們實現了分佈式鎖的阻塞特性,但是還有一個問題是我們不得不考慮的。那就是 鎖失效 的問題。

當程序執行業務的時間超過了鎖的過期時間會發生什麼呢? 想必很多小夥伴都能夠想到,那就是前面的請求沒執行完,鎖過期失效了,後面的請求獲取到分佈式鎖,繼續向下執行了,程序無法做到真正的互斥,無法保證業務的原子性了。

那如何解決這個問題呢?答案就是:我們必須保證在業務代碼執行完畢後,才能釋放分佈式鎖。 方案是有了,那如何實現呢?

說白了,我們需要在業務代碼中,時不時的執行下面的代碼來保證在業務代碼沒執行完時,分佈式鎖不會因超時而被釋放。

springRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS);

這裏,我們需要定義一個定時策略來執行上面的代碼,需要注意的是:我們不能等到30秒後再執行上述代碼,因爲30秒時,鎖已經失效了。例如,我們可以每10秒執行一次上面的代碼。

有些小夥伴說,直接在RedisLockImpl類中添加一個while(true)循環來解決這個問題,那我們就這樣修改下RedisLockImpl類的代碼,看看有沒有啥問題。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    private ThreadLocal<Integer> threadLocalInteger = new ThreadLocal<Integer>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
            //如果獲取鎖失敗,則自旋獲取鎖,直到成功
            if(!isLocked){
                for(;;){
                    isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
                    if(isLocked){
                        break;
                    }
                }
            }
            //定義更新鎖的過期時間
            while(true){
                Integer count = threadLocalInteger.get();
                //當前鎖已經被釋放,則退出循環
                if(count == 0 || count <= 0){
                    break;
                }
                springRedisTemplate.expire(key, 30, TimeUnit.SECONDS);
                try{
                    //每隔10秒執行一次
                    Thread.sleep(10000);
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            }
        }else{
            isLocked = true;   
        }
        //加鎖成功後將計數器加1
        if(isLocked){
            Integer count = threadLocalInteger.get() == null ? 0 : threadLocalInteger.get();
            threadLocalInteger.set(count++);
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(threadLocal.get().equals(stringRedisTemplate.opsForValue().get(key))){
            Integer count = threadLocalInteger.get();
            //計數器減爲0時釋放鎖
            if(count == null || --count <= 0){
             	stringRedisTemplate.delete(key);      
            }
        }
    }
}

相信小夥伴們看了代碼就會發現哪裏有問題了:更新鎖過期時間的代碼肯定不能這麼去寫。因爲這麼寫會 導致當前線程在更新鎖超時時間的while(true)循環中一直阻塞而無法返回結果。所以,我們不能將當前線程阻塞,需要異步執行定時任務來更新鎖的過期時間。

此時,我們繼續修改RedisLockImpl類的代碼,將定時更新鎖超時的代碼放到一個單獨的線程中執行,如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    private ThreadLocal<Integer> threadLocalInteger = new ThreadLocal<Integer>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
            //如果獲取鎖失敗,則自旋獲取鎖,直到成功
            if(!isLocked){
                for(;;){
                    isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
                    if(isLocked){
                        break;
                    }
                }
            }
            //啓動新線程來執行定時任務,更新鎖過期時間
           new Thread(new UpdateLockTimeoutTask(uuid, stringRedisTemplate)).start();
        }else{
            isLocked = true;   
        }
        //加鎖成功後將計數器加1
        if(isLocked){
            Integer count = threadLocalInteger.get() == null ? 0 : threadLocalInteger.get();
            threadLocalInteger.set(count++);
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        String uuid = stringRedisTemplate.opsForValue().get(key);
        if(threadLocal.get().equals(uuid)){
            Integer count = threadLocalInteger.get();
            //計數器減爲0時釋放鎖
            if(count == null || --count <= 0){
             	stringRedisTemplate.delete(key); 
                //獲取更新鎖超時時間的線程並中斷
                long threadId = stringRedisTemplate.opsForValue().get(uuid);
                Thread updateLockTimeoutThread = ThreadUtils.getThreadByThreadId(threadId);
                if(updateLockTimeoutThread != null){
                     //中斷更新鎖超時時間的線程
                    updateLockTimeoutThread.interrupt();
                    stringRedisTemplate.delete(uuid);   
                }
            }
        }
    }
}

創建UpdateLockTimeoutTask類來執行更新鎖超時的時間。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

接下來,我們定義一個ThreadUtils工具類,這個工具類中有一個根據線程id獲取線程的方法getThreadByThreadId(long threadId)。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

上述解決分佈式鎖失效的問題在分佈式鎖領域有一個專業的術語叫做 “異步續命” 。需要注意的是:當業務代碼執行完畢後,我們需要停止更新鎖超時時間的線程。所以,這裏,我對程序的改動是比較大的,首先,將更新鎖超時的時間任務重新定義爲一個UpdateLockTimeoutTask類,並將uuid和StringRedisTemplate注入到任務類中,在執行定時更新鎖超時時間時,首先將當前線程保存到Redis中,其中Key爲傳遞進來的uuid。

在首先獲取分佈式鎖後,重新啓動線程,並將uuid和StringRedisTemplate傳遞到任務類中執行任務。當業務代碼執行完畢後,調用releaseLock()方法釋放鎖時,我們會通過uuid從Redis中獲取更新鎖超時時間的線程id,並通過線程id獲取到更新鎖超時時間的線程,調用線程的interrupt()方法來中斷線程。

此時,當分佈式鎖釋放後,更新鎖超時的線程就會由於線程中斷而退出了。

實現分佈式鎖的基本要求

結合上述的案例,我們可以得出實現分佈式鎖的基本要求:

  • 支持互斥性
  • 支持鎖超時
  • 支持阻塞和非阻塞特性
  • 支持可重入性
  • 支持高可用

通用分佈式解決方案

在互聯網行業,分佈式鎖是一個繞不開的話題,同時,也有很多通用的分佈式鎖解決方案,其中,用的比較多的一種方案就是使用開源的Redisson框架來解決分佈式鎖問題。

既然Redisson框架已經很牛逼了,我們直接使用Redisson框架是否能夠100%的保證分佈式鎖不出問題呢?答案是無法100%的保證。因爲在分佈式領域沒有哪一家公司或者架構師能夠保證100%的不出問題,就連阿里這樣的大公司、阿里的首席架構師這樣的技術大牛也不敢保證100%的不出問題。

在分佈式領域,無法做到100%無故障,我們追求的是幾個9的目標,例如99.999%無故障。

CAP理論

在分佈式領域,有一個非常重要的理論叫做CAP理論。

  • C:Consistency(一致性)
  • A:Availability(可用性)
  • P:Partition tolerance(分區容錯性)

在分佈式領域中,是必須要保證分區容錯性的,也就是必須要保證“P”,所以,我們只能保證CP或者AP。

這裏,我們可以使用Redis和Zookeeper來進行簡單的對比,我們可以使用Redis實現AP架構的分佈式鎖,使用Zookeeper實現CP架構的分佈式鎖。

  • 基於Redis的AP架構的分佈式鎖模型

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

在基於Redis實現的AP架構的分佈式鎖模型中,向Redis節點1寫入數據後,會立即返回結果,之後在Redis中會以異步的方式來同步數據。

  • 基於Zookeeper的CP架構的分佈式鎖模型

在基於Zookeeper實現的CP架構的分佈式模型中,向節點1寫入數據後,會等待數據的同步結果,當數據在大多數Zookeeper節點間同步成功後,纔會返回結果數據。

當我們使用基於Redis的AP架構實現分佈式鎖時,需要注意一個問題,這個問題可以使用下圖來表示。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

也就是Redis主從節點之間的數據同步失敗,假設線程向Master節點寫入了數據,而Redis中Master節點向Slave節點同步數據失敗了。此時,另一個線程讀取的Slave節點中的數據,發現沒有添加分佈式鎖,此時就會出現問題了!!!

所以,在設計分佈式鎖方案時,也需要注意Redis節點之間的數據同步問題。

紅鎖的實現

在Redisson框架中,實現了紅鎖的機制,Redisson的RedissonRedLock對象實現了Redlock介紹的加鎖算法。該對象也可以用來將多個RLock對象關聯爲一個紅鎖,每個RLock對象實例可以來自於不同的Redisson實例。當紅鎖中超過半數的RLock加鎖成功後,纔會認爲加鎖是成功的,這就提高了分佈式鎖的高可用。

我們可以使用Redisson框架來實現紅鎖。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

其實,在實際場景中,紅鎖是很少使用的。這是因爲使用了紅鎖後會影響高併發環境下的性能,使得程序的體驗更差。所以,在實際場景中,我們一般都是要保證Redis集羣的可靠性。同時,使用紅鎖後,當加鎖成功的RLock個數不超過總數的一半時,會返回加鎖失敗,即使在業務層面任務加鎖成功了,但是紅鎖也會返回加鎖失敗的結果。另外,使用紅鎖時,需要提供多套Redis的主從部署架構,同時,這多套Redis主從架構中的Master節點必須都是獨立的,相互之間沒有任何數據交互。

高併發“黑科技”與致勝奇招

假設,我們就是使用Redis來實現分佈式鎖,假設Redis的讀寫併發量在5萬左右。我們的商城業務需要支持的併發量在100萬左右。如果這100萬的併發全部打入Redis中,Redis很可能就會掛掉,那麼,我們如何解決這個問題呢?接下來,我們就一起來探討這個問題。

在高併發的商城系統中,如果採用Redis緩存數據,則Redis緩存的併發處理能力是關鍵,因爲很多的前綴操作都需要訪問Redis。而異步削峯只是基本的操作,關鍵還是要保證Redis的併發處理能力。

解決這個問題的關鍵思想就是:分而治之,將商品庫存分開放。

暗度陳倉

我們在Redis中存儲商品的庫存數量時,可以將商品的庫存進行“分割”存儲來提升Redis的讀寫併發量。

例如,原來的商品的id爲10001,庫存爲1000件,在Redis中的存儲爲(10001, 1000),我們將原有的庫存分割爲5份,則每份的庫存爲200件,此時,我們在Redia中存儲的信息爲(10001_0, 200),(10001_1, 200),(10001_2, 200),(10001_3, 200),(10001_4, 200)。

萬字長文:高併發分佈式鎖架構解密,不是所有的鎖都是分佈式鎖

 

此時,我們將庫存進行分割後,每個分割後的庫存使用商品id加上一個數字標識來存儲,這樣,在對存儲商品庫存的每個Key進行Hash運算時,得出的Hash結果是不同的,這就說明,存儲商品庫存的Key有很大概率不在Redis的同一個槽位中,這就能夠提升Redis處理請求的性能和併發量。

分割庫存後,我們還需要在Redis中存儲一份商品id和分割庫存後的Key的映射關係,此時映射關係的Key爲商品的id,也就是10001,Value爲分割庫存後存儲庫存信息的Key,也就是10001_0,10001_1,10001_2,10001_3,10001_4。在Redis中我們可以使用List來存儲這些值。

在真正處理庫存信息時,我們可以先從Redis中查詢出商品對應的分割庫存後的所有Key,同時使用AtomicLong來記錄當前的請求數量,使用請求數量對從Redia中查詢出的商品對應的分割庫存後的所有Key的長度進行求模運算,得出的結果爲0,1,2,3,4。再在前面拼接上商品id就可以得出真正的庫存緩存的Key。此時,就可以根據這個Key直接到Redis中獲取相應的庫存信息。

同時,我們可以將分隔的不同的庫存數據分別存儲到不同的Redis服務器中,進一步提升Redis的併發量。

移花接木

在高併發業務場景中,我們可以直接使用Lua腳本庫(OpenResty)從負載均衡層直接訪問緩存。

這裏,我們思考一個場景:如果在高併發業務場景中,商品被瞬間搶購一空。此時,用戶再發起請求時,如果系統由負載均衡層請求應用層的各個服務,再由應用層的各個服務訪問緩存和數據庫,其實,本質上已經沒有任何意義了,因爲商品已經賣完了,再通過系統的應用層進行層層校驗已經沒有太多意義了!!而應用層的併發訪問量是以百爲單位的,這又在一定程度上會降低系統的併發度。

爲了解決這個問題,此時,我們可以在系統的負載均衡層取出用戶發送請求時攜帶的用戶id,商品id和活動id等信息,直接通過Lua腳本等技術來訪問緩存中的庫存信息。如果商品的庫存小於或者等於0,則直接返回用戶商品已售完的提示信息,而不用再經過應用層的層層校驗了。

寫在最後:

記住:你比別人強的地方,不是你做過多少年的CRUD工作,而是你比別人掌握了更多深入的技能。不要總停留在CRUD的表面工作,理解並掌握底層原理並熟悉源碼實現,並形成自己的抽象思維能力,做到靈活運用,纔是你突破瓶頸,脫穎而出的重要方向!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章