併發情況如何實現加鎖來保證數據一致性? | 京東雲技術團隊

單體架構下鎖的實現方案

1. ReentrantLock全局鎖

ReentrantLock(可重入鎖),指的是一個線程再次對已持有的鎖保護的臨界資源時,重入請求將會成功。

簡單的與我們常用的Synchronized進行比較:

  ReentrantLock Synchronized
鎖實現機制 依賴AQS 監視器模式
靈活性 支持響應超時、中斷、嘗試獲取鎖 不靈活
釋放形式 必須顯示調用unlock()釋放鎖 自動釋放監視器
鎖類型 公平鎖 & 非公平鎖 非公平鎖
條件隊列 可關聯多個條件隊列 關聯一個條件隊列
可重入性 可重入 可重入

AQS機制:如果被請求的共享資源空閒,那麼就當前請求資源的線程設置爲有效的工作線程,將共享資源通過CAScompareAndSetState設置爲鎖定狀態;如果共享資源被佔用,就採用一定的阻塞等待喚醒機制(CLH變體的FIFO雙端隊列)來保證鎖分配。

可重入性:無論是公平鎖還是非公平鎖的情況,加鎖過程會利用一個state值

private volatile int state

  • state值初始化的時候爲0,表示沒有任何線程持有鎖
  • 當有線程來請求該鎖時,state值會自增1,同一個線程多次獲取鎖,就會多次+1,這就是可重入的概念
  • 解鎖也是對state值自減1,一直到0,此線程對鎖釋放。
public class LockExample {

    static int count = 0;
    static ReentrantLock lock = new ReentrantLock();

    public static void main(String[] args) throws InterruptedException {

        Runnable runnable = new Runnable() {
            @Override
            public void run() {

                try {
                    // 加鎖
                    lock.lock();
                    for (int i = 0; i < 10000; i++) {
                        count++;
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
                finally {
                    // 解鎖,放在finally子句中,保證鎖的釋放
                    lock.unlock();
                }
            }
        };

        Thread thread1 = new Thread(runnable);
        Thread thread2 = new Thread(runnable);
        thread1.start();
        thread2.start();
        thread1.join();
        thread2.join();
        System.out.println("count: " + count);
    }
}

/**
 * 輸出
 * count: 20000
 */

2. Mysql行鎖、樂觀鎖

樂觀鎖即是無鎖思想,一般都是基於CAS思想實現的,而在MySQL中通過version版本號 + CAS無鎖形式實現樂觀鎖;例如T1,T2兩個事務一起併發執行時,當T2事務執行成功提交後,會對version+1,所以T1事務執行的version條件就無法成立了。

對sql語句進行加鎖以及狀態機的操作,也可以避免不同線程同時對count值訪問導致的數據不一致問題。

// 樂觀鎖 + 狀態機
update
    table_name
set
    version = version + 1,
    count = count + 1
where
    id = id AND version = version AND count = [修改前的count值];

// 行鎖 + 狀態機
 update
    table_name
set
    count = count + 1
where
    id = id AND count = [修改前的count值]
for update;

3. 細粒度的ReetrantLock鎖

如果我們直接採用ReentrantLock全局加鎖,那麼這種情況是一條線程獲取到鎖,整個程序全部的線程來到這裏都會阻塞;但是我們在項目裏面想要針對每個用戶在操作的時候實現互斥邏輯,所以我們需要更加細粒度的鎖。

public class LockExample {
    private static Map<String, Lock> lockMap = new ConcurrentHashMap<>();
    
    public static void lock(String userId) {
        // Map中添加細粒度的鎖資源
        lockMap.putIfAbsent(userId, new ReentrantLock());
        // 從容器中拿鎖並實現加鎖
        lockMap.get(userId).lock();
    }
    public static void unlock(String userId) {
        // 先從容器中拿鎖,確保鎖的存在
        Lock locak = lockMap.get(userId);
        // 釋放鎖
        lock.unlock();
    }
}

弊端:如果每一個用戶請求共享資源,就會加鎖一次,後續該用戶就沒有在登錄過平臺,但是鎖對象會一直存在於內存中,這等價於發生了內存泄漏,所以鎖的超時和淘汰機制機制需要實現。

4. 細粒度的Synchronized全局鎖

上面的加鎖機制使用到了鎖容器ConcurrentHashMap,該容易爲了線程安全的情況,多以底層還是會用到Synchronized機制,所以有些情況,使用lockMap需要加上兩層鎖。

那麼我們是不是可以直接使用Synchronized來實現細粒度的鎖機制

public class LockExample {
    public static void syncFunc1(Long accountId) {
        String lock = new String(accountId + "").intern();

        synchronized (lock) {

            System.out.println(Thread.currentThread().getName() + "拿到鎖了");
            // 模擬業務耗時
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }

            System.out.println(Thread.currentThread().getName() + "釋放鎖了");
        }
    }

    public static void syncFunc2(Long accountId) {
        String lock = new String(accountId + "").intern();

        synchronized (lock) {

            System.out.println(Thread.currentThread().getName() + "拿到鎖了");
            // 模擬業務耗時
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }

            System.out.println(Thread.currentThread().getName() + "釋放鎖了");
        }
    }

    // 使用 Synchronized 來實現更加細粒度的鎖
    public static void main(String[] args) {
        new Thread(()-> syncFunc1(123456L), "Thread-1").start();
        new Thread(()-> syncFunc2(123456L), "Thread-2").start();
    }
}

/**
 * 打印
 * Thread-1拿到鎖了
 * Thread-1釋放鎖了
 * Thread-2拿到鎖了
 * Thread-2釋放鎖了
 */

  • 從代碼中我們發現實現加鎖的對象其實就是一個與用戶ID相關的一個字符串對象,這裏可能會有疑問,我每一個新的線程進來,new的都是一個新的字符串對象,只不過字符串內容一樣,怎麼能夠保證可以安全的鎖住共享資源呢;
  • 這其實需要歸功於後面的intern()函數的功能;
  • intern()函數用於在運行時將字符串添加到堆空間中的字符串常量池中,如果字符串已經存在,返回字符串常量池中的引用。

分佈式架構下鎖的實現方案

核心問題:我們需要找到一個多個進程之間所有線程可見的區域來定義這個互斥量。

一個優秀的分佈式鎖的實現方案應該滿足如下幾個特性:

  1. 分佈式環境下,可以保證不同進程之間的線程互斥
  2. 同一時刻,同時只允許一條線程成功獲取到鎖資源
  3. 保證互斥量的地方需要保證高可用性
  4. 要保證可以高性能的獲取鎖和釋放鎖
  5. 可以支持同一線程的鎖重入性
  6. 具備合理的阻塞機制,競爭鎖失敗的線程要有相應的處理方案
  7. 支持非阻塞式的獲取鎖。獲取鎖失敗的線程可以直接返回
  8. 具備合理的鎖失效機制,如超時失效等,可以確保避免死鎖情況出現

Redis實現分佈式鎖

  • redis屬於中間件,可獨立部署;
  • 對於不同的Java進程來說都是可見的,同時性能也非常可觀
  • 依賴與redis本身提供的指令setnx key value來實現分佈式鎖;區別於普通set指令的是隻有當key不存在時纔會設置成功,key存在時會返回設置失敗

代碼實例:

// 扣庫存接口
@RequestMapping("/minusInventory")
public String minusInventory(Inventory inventory) {
    // 獲取鎖
    String lockKey = "lock-" + inventory.getInventoryId();
    int timeOut = 100;
    Boolean flag = stringRedisTemplate.opsForValue()
            .setIfAbsent(lockKey, "竹子-熊貓",timeOut,TimeUnit.SECONDS);
    // 加上過期時間,可以保證死鎖也會在一定時間內釋放鎖
    stringRedisTemplate.expire(lockKey,timeOut,TimeUnit.SECONDS);
    
    if(!flag){
        // 非阻塞式實現
        return "服務器繁忙...請稍後重試!!!";
    }
    
    // ----只有獲取鎖成功才能執行下述的減庫存業務----        
    try{
        // 查詢庫存信息
        Inventory inventoryResult =
            inventoryService.selectByPrimaryKey(inventory.getInventoryId());
        
        if (inventoryResult.getShopCount() <= 0) {
            return "庫存不足,請聯繫賣家....";
        }
        
        // 扣減庫存
        inventoryResult.setShopCount(inventoryResult.getShopCount() - 1);
        int n = inventoryService.updateByPrimaryKeySelective(inventoryResult);
    } catch (Exception e) { // 確保業務出現異常也可以釋放鎖,避免死鎖
        // 釋放鎖
        stringRedisTemplate.delete(lockKey);
    }
    
    if (n > 0)
        return "端口-" + port + ",庫存扣減成功!!!";
    return "端口-" + port + ",庫存扣減失敗!!!";
}

作者:竹子愛熊貓
鏈接:https://juejin.cn/post/7038473714970656775

過期時間的合理性分析:

因爲對於不同的業務,我們設置的過期時間的長短都會不一樣,太長了不合適,太短了也不合適;

所以我們想到的解決方案是設置一條子線程,給當前鎖資源續命。具體實現是,子線程間隔2-3s去查詢一次key是否過期,如果還沒有過期則代表業務線程還在執行業務,那麼則爲該key的過期時間加上5s。

但是爲了避免主線程意外死亡後,子線程會一直爲其續命,造成“長生鎖”的現象,所以將子線程變爲主(業務)線程的守護線程,這樣子線程就會跟着主線程一起死亡。

// 續命子線程
public class GuardThread extends Thread { 
    private static boolean flag = true;

    public GuardThread(String lockKey, 
        int timeOut, StringRedisTemplate stringRedisTemplate){
        ……
    }

    @Override
    public void run() {
        // 開啓循環續命
        while (flag){
            try {
                // 先休眠一半的時間
                Thread.sleep(timeOut / 2 * 1000);
            }catch (Exception e){
                e.printStackTrace();
            }
            // 時間過了一半之後再去續命
            // 先查看key是否過期
            Long expire = stringRedisTemplate.getExpire(
                lockKey, TimeUnit.SECONDS);
            // 如果過期了,代表主線程釋放了鎖
            if (expire <= 0){
                // 停止循環
                flag = false;
            }
            // 如果還未過期
            // 再爲則續命一半的時間
            stringRedisTemplate.expire(lockKey,expire
                + timeOut/2,TimeUnit.SECONDS);
        }
    }
}


// 創建子線程爲鎖續命
GuardThread guardThread = new GuardThread(lockKey,timeOut,stringRedisTemplate);
// 設置爲當前 業務線程 的守護線程
guardThread.setDaemon(true);
guardThread.start();

作者:竹子愛熊貓 
鏈接:https://juejin.cn/post/7038473714970656775

Redis主從架構下鎖失效的問題

爲了在開發過程保證Redis的高可用,會採用主從複製架構做讀寫分離,從而提升Redis的吞吐量以及可用性。但是如果一條線程在redis主節點上獲取鎖成功之後,主節點還沒有來得及複製給從節點就宕機了,此時另一條線程訪問redis就會在從節點上面訪問,同時也獲取鎖成功,這時候臨界資源的訪問就會出現安全性問題了。

解決辦法:

  • 紅鎖算法(官方提出的解決方案):多臺獨立的Redis同時寫入數據,在鎖失效時間之內,一半以上的機器寫成功則返回獲取鎖成功,失敗的時候釋放掉那些成功的機器上的鎖。但這種做法缺點是成本高需要獨立部署多臺Redis節點。
  • 額外記錄鎖狀態:再額外通過其他獨立部署的中間件(比如DB)來記錄鎖狀態,在新線程獲取鎖之前需要先查詢DB中的鎖持有記錄,只要當鎖狀態爲未持有時再嘗試獲取分佈式鎖。但是這種情況缺點顯而易見,獲取鎖的過程實現難度複雜,性能開銷也非常大;另外還需要配合定時器功能更新DB中的鎖狀態,保證鎖的合理失效機制。
  • 使用Zookepper實現

Zookeeper實現分佈式鎖

Zookeeper數據區別於redis的數據,數據是實時同步的,主節點寫入後需要一半以上的節點都寫入纔會返回成功。所以如果像電商、教育等類型的項目追求高性能,可以放棄一定的穩定性,推薦使用redis實現;例如像金融、銀行、政府等類型的項目,追求高穩定性,可以犧牲一部分性能,推薦使用Zookeeper實現。

分佈式鎖性能優化

上面加鎖確實解決了併發情況下線程安全的問題,但是我們面對100w個用戶同時去搶購1000個商品的場景該如何解決呢?

  • 可與將共享資源做一下提前預熱,分段分散存儲一份。搶購時間爲下午15:00,提前再14:30左右將商品數量分成10份,並將每一塊數據進行分別加鎖,來防止併發異常。
  • 另外也需要在redis中寫入10個key,每一個新的線程進來先隨機的分配一把鎖,然後進行後面的減庫存邏輯,完成之後釋放鎖,以便之後的線程使用。
  • 這種分佈式鎖的思想就是,將原先一把鎖就可以實現的多線程同步訪問共享資源的功能,爲了提高瞬時情況下多線程的訪問速度,還需要保證併發安全的情況下一種實現方式。

參考文章:

  1. https://juejin.cn/post/7236213437800890423

  2. https://juejin.cn/post/7038473714970656775

  3. https://tech.meituan.com/2019/12/05/aqs-theory-and-apply.html

作者:京東科技 焦澤斌

來源:京東雲開發者社區 轉載請註明來源

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章