分佈式鎖

什麼是分佈式鎖

要介紹分佈式鎖，首先要提到與分佈式鎖相對應的是線程鎖、進程鎖。

1.線程鎖

主要用來給方法、代碼塊加鎖。當某個方法或代碼使用鎖，在同一時刻僅有一個線程執行該方法或該代碼段。線程鎖只在同一JVM中有效果，因爲線程鎖的實現在根本上是依靠線程之間共享內存實現的，比如Synchronized、Lock等。

2.進程鎖

爲了控制同一操作系統中多個進程訪問某個共享資源，因爲進程具有獨立性，各個進程無法訪問其他進程的資源，因此無法通過synchronized等線程鎖實現進程鎖。

3.分佈式鎖

當多個進程不在同一個系統中，用分佈式鎖控制多個進程對資源的訪問。

分佈式鎖的由來

在傳統單機部署的情況下，可以使用Java併發處理相關的API(如ReentrantLcok或synchronized)進行互斥控制。

但是在分佈式系統後，由於分佈式系統多線程、多進程並且分佈在不同機器上，這將使原單機併發控制鎖策略失效，爲了解決這個問題就需要一種跨JVM的互斥機制來控制共享資源的訪問，這就是分佈式鎖的由來。

當多個進程不在同一個系統中，就需要用分佈式鎖控制多個進程對資源的訪問。

分佈式鎖的特點

首先，爲了確保分佈式鎖可用，我們至少要確保鎖的實現同時滿足以下四個條件：

1、互斥性：任意時刻，只能有一個客戶端獲取鎖，不能同時有兩個客戶端獲取到鎖。

2、安全性：鎖只能被持有該鎖的客戶端刪除，不能由其它客戶端刪除。

3、死鎖：獲取鎖的客戶端因爲某些原因（如down機等）而未能釋放鎖，其它客戶端再也無法獲取到該鎖。

4、容錯：當部分節點（redis節點等）down機時，客戶端仍然能夠獲取鎖和釋放鎖。

分佈式鎖的具體實現

 

分佈式鎖一般有三種實現方式：

1. 數據庫樂觀鎖；

2. 基於ZooKeeper的分佈式鎖;

3.基於Redis的分佈式鎖；

 

Redis實現分佈式鎖

基於Redis命令：SET key value NX EX max-lock-time

這裏補充下： 從2.6.12版本後, 就可以使用set來獲取鎖, Lua 腳本來釋放鎖。setnx是老黃曆了，set命令nx,xx等參數, 是爲了實現 setnx 的功能。

1.加鎖

public class RedisTool {

private static final String LOCK_SUCCESS = “OK”;

private static final String SET_IF_NOT_EXIST = “NX”;

private static final String SET_WITH_EXPIRE_TIME = “PX”;

/**

* 嘗試獲取分佈式鎖

* @param jedis Redis客戶端

* @param lockKey 鎖

* @param requestId 請求標識

* @param expireTime 超期時間

* @return 是否獲取成功

*/

public static boolean tryGetDistributedLock(Jedis jedis, String lockKey, String requestId, int expireTime) {

String result = jedis.set(lockKey, requestId, SET_IF_NOT_EXIST, SET_WITH_EXPIRE_TIME, expireTime);
if (LOCK_SUCCESS.equals(result)) {return true;}return false;}

}

jedis.set(String key, String value, String nxxx, String expx, int time)

這個set()方法一共有五個形參：

第一個爲key，我們使用key來當鎖，因爲key是唯一的。

第二個爲value，我們傳的是requestId，很多童鞋可能不明白，有key作爲鎖不就夠了嗎，爲什麼還要用到value？原因就是我們在上面講到可靠性時，分佈式鎖要滿足第四個條件解鈴還須繫鈴人，通過給value賦值爲requestId，我們就知道這把鎖是哪個請求加的了，在解鎖的時候就可以有依據。requestId可以使用UUID.randomUUID().toString()方法生成。

第三個爲nxxx，這個參數我們填的是NX，意思是SET IF NOT EXIST，即當key不存在時，我們進行set操作；若key已經存在，則不做任何操作；

第四個爲expx，這個參數我們傳的是PX，意思是我們要給這個key加一個過期的設置，具體時間由第五個參數決定。

第五個爲time，與第四個參數相呼應，代表key的過期時間。

總的來說，執行上面的set()方法就只會導致兩種結果：1. 當前沒有鎖（key不存在），那麼就進行加鎖操作，並對鎖設置個有效期，同時value表示加鎖的客戶端。2. 已有鎖存在，不做任何操作。

2.解鎖

public class RedisTool {

private static final Long RELEASE_SUCCESS = 1L;

/**

* 釋放分佈式鎖

* @param jedis Redis客戶端

* @param lockKey 鎖

* @param requestId 請求標識

* @return 是否釋放成功

*/

public static boolean releaseDistributedLock(Jedis jedis, String lockKey, String requestId) {

String script = “if redis.call(‘get’, KEYS[1]) == ARGV[1] then return redis.call(‘del’, KEYS[1]) else return 0 end”;
Object
result = jedis.eval(script,
Collections.singletonList(lockKey),Collections.singletonList(requestId));if
(RELEASE_SUCCESS.equals(result)) {return true;}return false;}

}

那麼這段Lua代碼的功能是什麼呢？其實很簡單，首先獲取鎖對應的value值，檢查是否與requestId相等，如果相等則刪除鎖（解鎖）。

原文鏈接：http://youzhixueyuan.com/redis-implements-distributed-locks.html

 

 

分佈式鎖的3種實現（數據庫、緩存、Zookeeper)

分佈式鎖的幾種實現方式

目前幾乎很多大型網站及應用都是分佈式部署的，分佈式場景中的數據一致性問題一直是一個比較重要的話題。

分佈式的CAP理論告訴我們，任何一個分佈式系統都無法同時滿足一致性（Consistency）、可用性（Availability）和分區容錯性（Partition tolerance），最多隻能同時滿足兩項。

所以，很多系統在設計之初就要對這三者做出取捨。在互聯網領域的絕大多數的場景中，都需要犧牲強一致性來換取系統的高可用性，系統往往只需要保證“最終一致性”，只要這個最終時間是在用戶可以接受的範圍內即可。

在很多場景中，我們爲了保證數據的最終一致性，需要很多的技術方案來支持，比如分佈式事務、分佈式鎖等。有的時候，我們需要保證一個方法在同一時間內只能被同一個線程執行。在單機環境中，Java中其實提供了很多併發處理相關的API，但是這些API在分佈式場景中就無能爲力了。

也就是說單純的Java Api並不能提供分佈式鎖的能力。所以針對分佈式鎖的實現目前有多種方案。

針對分佈式鎖的實現，目前比較常用的有以下幾種方案：

1.數據庫實現

2.基於緩存（redis，memcached等）實現

3.Zookeeper實現分佈式鎖

在分析這幾種實現方案之前我們先來想一下，我們需要的分佈式鎖應該是怎麼樣的？（這裏以方法鎖爲例，資源鎖同理）

1）可以保證在分佈式部署的應用集羣中，同一個方法在同一時間只能被一臺機器上的一個線程執行。

2）這把鎖要是一把可重入鎖（避免死鎖）

3）這把鎖最好是一把阻塞鎖（根據業務需求考慮要不要這條）

4）有高可用的獲取鎖和釋放鎖功能

5）獲取鎖和釋放鎖的性能要好

---

基於數據庫實現分佈式鎖

1.基於數據庫表

要實現分佈式鎖，最簡單的方式可能就是直接創建一張鎖表，然後通過操作該表中的數據來實現了。

當我們要鎖住某個方法或資源時，我們就在該表中增加一條記錄，想要釋放鎖的時候就刪除這條記錄。

創建這樣一張數據庫表：

當我們想要鎖住某個方法時，執行以下SQL：

因爲我們對method_name做了唯一性約束，這裏如果有多個請求同時提交到數據庫的話，數據庫會保證只有一個操作可以成功，那麼我們就可以認爲操作成功的那個線程獲得了該方法的鎖，可以執行方法體內容。

當方法執行完畢之後，想要釋放鎖的話，需要執行以下Sql:

上面這種簡單的實現有以下幾個問題：

1、這把鎖強依賴數據庫的可用性，數據庫是一個單點，一旦數據庫掛掉，會導致業務系統不可用。

2、這把鎖沒有失效時間，一旦解鎖操作失敗，就會導致鎖記錄一直在數據庫中，其他線程無法再獲得到鎖。

3、這把鎖只能是非阻塞的，因爲數據的insert操作，一旦插入失敗就會直接報錯。沒有獲得鎖的線程並不會進入排隊隊列，要想再次獲得鎖就要再次觸發獲得鎖操作。

4、這把鎖是非重入的，同一個線程在沒有釋放鎖之前無法再次獲得該鎖。因爲數據中數據已經存在了。

當然，我們也可以有其他方式解決上面的問題。

•  數據庫是單點？搞兩個數據庫，數據之前雙向同步。一旦掛掉快速切換到備庫上。
•  沒有失效時間？只要做一個定時任務，每隔一定時間把數據庫中的超時數據清理一遍。
•  非阻塞的？搞一個while循環，直到insert成功再返回成功。
•  非重入的？在數據庫表中加個字段，記錄當前獲得鎖的機器的主機信息和線程信息，那麼下次再獲取鎖的時候先查詢數據庫，如果當前機器的主機信息和線程信息在數據庫可以查到的話，直接把鎖分配給他就可以了。

---

2.基於數據庫排他鎖

除了可以通過增刪操作數據表中的記錄以外，其實還可以藉助數據中自帶的鎖來實現分佈式的鎖。

我們還用剛剛創建的那張數據庫表。可以通過數據庫的排他鎖來實現分佈式鎖。 基於MySql的InnoDB引擎，可以使用以下方法來實現加鎖操作：

在查詢語句後面增加for update，數據庫會在查詢過程中給數據庫表增加排他鎖（這裏再多提一句，InnoDB引擎在加鎖的時候，只有通過索引進行檢索的時候纔會使用行級鎖，否則會使用表級鎖。這裏我們希望使用行級鎖，就要給method_name添加索引，值得注意的是，這個索引一定要創建成唯一索引，否則會出現多個重載方法之間無法同時被訪問的問題。重載方法的話建議把參數類型也加上。）。當某條記錄被加上排他鎖之後，其他線程無法再在該行記錄上增加排他鎖。

我們可以認爲獲得排它鎖的線程即可獲得分佈式鎖，當獲取到鎖之後，可以執行方法的業務邏輯，執行完方法之後，再通過以下方法解鎖：

通過connection.commit()操作來釋放鎖。

這種方法可以有效的解決上面提到的無法釋放鎖和阻塞鎖的問題。

•  阻塞鎖？ for update語句會在執行成功後立即返回，在執行失敗時一直處於阻塞狀態，直到成功。
•  鎖定之後服務宕機，無法釋放？使用這種方式，服務宕機之後數據庫會自己把鎖釋放掉。

但是還是無法直接解決數據庫單點和可重入問題。

這裏還可能存在另外一個問題，雖然我們對method_name 使用了唯一索引，並且顯示使用for update來使用行級鎖。但是，MySql會對查詢進行優化，即便在條件中使用了索引字段，但是否使用索引來檢索數據是由 MySQL 通過判斷不同執行計劃的代價來決定的，如果 MySQL 認爲全表掃效率更高，比如對一些很小的表，它就不會使用索引，這種情況下 InnoDB 將使用表鎖，而不是行鎖。如果發生這種情況就悲劇了。。。

---

還有一個問題，就是我們要使用排他鎖來進行分佈式鎖的lock，那麼一個排他鎖長時間不提交，就會佔用數據庫連接。一旦類似的連接變得多了，就可能把數據庫連接池撐爆

3.數據庫實現分佈式鎖總結

總結一下使用數據庫來實現分佈式鎖的方式，這兩種方式都是依賴數據庫的一張表，一種是通過表中的記錄的存在情況確定當前是否有鎖存在，另外一種是通過數據庫的排他鎖來實現分佈式鎖。

數據庫實現分佈式鎖的優點

•  直接藉助數據庫，容易理解。

數據庫實現分佈式鎖的缺點

•  會有各種各樣的問題，在解決問題的過程中會使整個方案變得越來越複雜。
•  操作數據庫需要一定的開銷，性能問題需要考慮。
•  使用數據庫的行級鎖並不一定靠譜，尤其是當我們的鎖表並不大的時候。

---

基於緩存實現分佈式鎖

相比較於基於數據庫實現分佈式鎖的方案來說，基於緩存來實現在性能方面會表現的更好一點。而且很多緩存是可以集羣部署的，可以解決單點問題。

目前有很多成熟的緩存產品，包括Redis，memcached以及我們公司內部的Tair。

這裏以Tair爲例來分析下使用緩存實現分佈式鎖的方案。關於Redis和memcached在網絡上有很多相關的文章，並且也有一些成熟的框架及算法可以直接使用。

基於Tair的實現分佈式鎖其實和Redis類似，其中主要的實現方式是使用TairManager.put方法來實現。

以上實現方式同樣存在幾個問題：

1、這把鎖沒有失效時間，一旦解鎖操作失敗，就會導致鎖記錄一直在tair中，其他線程無法再獲得到鎖。

2、這把鎖只能是非阻塞的，無論成功還是失敗都直接返回。

3、這把鎖是非重入的，一個線程獲得鎖之後，在釋放鎖之前，無法再次獲得該鎖，因爲使用到的key在tair中已經存在。無法再執行put操作。

當然，同樣有方式可以解決。

•  沒有失效時間？tair的put方法支持傳入失效時間，到達時間之後數據會自動刪除。
•  非阻塞？while重複執行。
•  非可重入？在一個線程獲取到鎖之後，把當前主機信息和線程信息保存起來，下次再獲取之前先檢查自己是不是當前鎖的擁有者。

但是，失效時間我設置多長時間爲好？如何設置的失效時間太短，方法沒等執行完，鎖就自動釋放了，那麼就會產生併發問題。如果設置的時間太長，其他獲取鎖的線程就可能要平白的多等一段時間。這個問題使用數據庫實現分佈式鎖同樣存在

---

緩存實現分佈式鎖總結

可以使用緩存來代替數據庫來實現分佈式鎖，這個可以提供更好的性能，同時，很多緩存服務都是集羣部署的，可以避免單點問題。並且很多緩存服務都提供了可以用來實現分佈式鎖的方法，比如Tair的put方法，redis的setnx方法等。並且，這些緩存服務也都提供了對數據的過期自動刪除的支持，可以直接設置超時時間來控制鎖的釋放。

緩存實現分佈式鎖的優點

•  性能好，實現起來較爲方便。

緩存實現分佈式鎖的缺點

•  通過超時時間來控制鎖的失效時間並不是十分的靠譜。

---

基於Zookeeper實現分佈式鎖

基於zookeeper臨時有序節點可以實現的分佈式鎖。

大致思想即爲：每個客戶端對某個方法加鎖時，在zookeeper上的與該方法對應的指定節點的目錄下，生成一個唯一的瞬時有序節點。 判斷是否獲取鎖的方式很簡單，只需要判斷有序節點中序號最小的一個。 當釋放鎖的時候，只需將這個瞬時節點刪除即可。同時，其可以避免服務宕機導致的鎖無法釋放，而產生的死鎖問題。

來看下Zookeeper能不能解決前面提到的問題。

•  鎖無法釋放？使用Zookeeper可以有效的解決鎖無法釋放的問題，因爲在創建鎖的時候，客戶端會在ZK中創建一個臨時節點，一旦客戶端獲取到鎖之後突然掛掉（Session連接斷開），那麼這個臨時節點就會自動刪除掉。其他客戶端就可以再次獲得鎖。
•  非阻塞鎖？使用Zookeeper可以實現阻塞的鎖，客戶端可以通過在ZK中創建順序節點，並且在節點上綁定監聽器，一旦節點有變化，Zookeeper會通知客戶端，客戶端可以檢查自己創建的節點是不是當前所有節點中序號最小的，如果是，那麼自己就獲取到鎖，便可以執行業務邏輯了。
•  不可重入？使用Zookeeper也可以有效的解決不可重入的問題，客戶端在創建節點的時候，把當前客戶端的主機信息和線程信息直接寫入到節點中，下次想要獲取鎖的時候和當前最小的節點中的數據比對一下就可以了。如果和自己的信息一樣，那麼自己直接獲取到鎖，如果不一樣就再創建一個臨時的順序節點，參與排隊。
•  單點問題？使用Zookeeper可以有效的解決單點問題，ZK是集羣部署的，只要集羣中有半數以上的機器存活，就可以對外提供服務。

可以直接使用zookeeper第三方庫Curator客戶端，這個客戶端中封裝了一個可重入的鎖服務。

Curator提供的InterProcessMutex是分佈式鎖的實現。acquire方法用戶獲取鎖，release方法用於釋放鎖。

使用ZK實現的分佈式鎖好像完全符合了本文開頭我們對一個分佈式鎖的所有期望。但是，其實並不是，Zookeeper實現的分佈式鎖其實存在一個缺點，那就是性能上可能並沒有緩存服務那麼高。因爲每次在創建鎖和釋放鎖的過程中，都要動態創建、銷燬瞬時節點來實現鎖功能。ZK中創建和刪除節點只能通過Leader服務器來執行，然後將數據同不到所有的Follower機器上。

其實，使用Zookeeper也有可能帶來併發問題，只是並不常見而已。考慮這樣的情況，由於網絡抖動，客戶端可ZK集羣的session連接斷了，那麼zk以爲客戶端掛了，就會刪除臨時節點，這時候其他客戶端就可以獲取到分佈式鎖了。就可能產生併發問題。這個問題不常見是因爲zk有重試機制，一旦zk集羣檢測不到客戶端的心跳，就會重試，Curator客戶端支持多種重試策略。多次重試之後還不行的話纔會刪除臨時節點。（所以，選擇一個合適的重試策略也比較重要，要在鎖的粒度和併發之間找一個平衡。）

---

Zookeeper實現分佈式鎖總結

Zookeeper實現分佈式鎖的優點

•  有效的解決單點問題，不可重入問題，非阻塞問題以及鎖無法釋放的問題。實現起來較爲簡單。

Zookeeper實現分佈式鎖的缺點

•  性能上不如使用緩存實現分佈式鎖。 需要對ZK的原理有所瞭解。

---

三種方案的比較

上面幾種方式，哪種方式都無法做到完美。就像CAP一樣，在複雜性、可靠性、性能等方面無法同時滿足，所以，根據不同的應用場景選擇最適合自己的纔是王道。

1.從理解的難易程度角度（從低到高）

數據庫 > 緩存 > Zookeeper

2.從實現的複雜性角度（從低到高）

Zookeeper >= 緩存 > 數據庫

3.從性能角度（從高到低）

緩存 > Zookeeper >= 數據庫

4.從可靠性角度（從高到低）

Zookeeper > 緩存 > 數據庫

 

原文鏈接：http://youzhixueyuan.com/3-implementations-of-distributed-locks.html