redis 緩存失效與熱點key解決方案


轉自:https://www.jianshu.com/p/d5a3668d4dad

緩存擊穿:  查詢一個數據庫中不存在的數據,比如商品詳情,查詢一個不存在的ID,每次都會訪問DB,如果有人惡意破壞,很可能直接對DB造成過大地壓力。

緩存擊穿的解決方案:  當通過某一個key去查詢數據的時候,如果對應在數據庫中的數據都不存在,我們將此key對應的value設置爲一個默認的值,比如“NULL”,並設置一個緩存的失效時間,這時在緩存失效之前,所有通過此key的訪問都被緩存擋住了。後面如果此key對應的數據在DB中存在時,緩存失效之後,通過此key再去訪問數據,就能拿到新的value了。

緩存失效:  在高併發的環境下,如果此時key對應的緩存失效,此時有多個進程就會去同時去查詢DB,然後再去同時設置緩存。這個時候如果這個key是系統中的熱點key或者同時失效的數量比較多時,DB訪問量會瞬間增大,造成過大的壓力。

緩存失效的解決方案:

  • 將系統中key的緩存失效時間均勻地錯開,防止統一時間點有大量的key對應的緩存失效;
  • 重新設計緩存的使用方式,當我們通過key去查詢數據時,首先查詢緩存,如果此時緩存中查詢不到,就通過分佈式鎖進行加鎖,取得鎖的進程查DB並設置緩存,然後解鎖;其他進程如果發現有鎖就等待,然後等解鎖後返回緩存數據或者再次查詢DB。

    1. 使用互斥鎖(mutex key): 這種解決方案思路比較簡單,就是隻讓一個線程構建緩存,其他線程等待構建緩存的線程執行完,重新從緩存獲取數據就可以了(如下圖)

         如果是單機,可以用synchronized或者lock來處理,如果是分佈式環境可以用分佈式鎖就可以了(分佈式鎖,可以用memcache的add, redis的setnx, zookeeper的添加節點操作)。

    redis代碼:

        String get(String key) {  
           String value = redis.get(key);  
           if (value  == null) {  
            if (redis.setnx(key_mutex, "1")) {  
                // 3 min timeout to avoid mutex holder crash  
                redis.expire(key_mutex, 3 * 60)  
                value = db.get(key);  
                redis.set(key, value);  
                redis.delete(key_mutex);  
            } else {  
                //其他線程休息50毫秒後重試  
                Thread.sleep(50);  
                get(key);  
            }  
          }  
        }  


熱點key:  緩存中的某些Key(可能對應用與某個促銷商品)對應的value存儲在集羣中一臺機器,使得所有流量涌向同一機器,成爲系統的瓶頸,該問題的挑戰在於它無法通過增加機器容量來解決。

熱點key的解決方案:

  • 客戶端熱點key緩存:將熱點key對應value並緩存在客戶端本地,並且設置一個失效時間。對於每次讀請求,將首先檢查key是否存在於本地緩存中,如果存在則直接返回,如果不存在再去訪問分佈式緩存的機器。
  • 將熱點key分散爲多個子key,然後存儲到緩存集羣的不同機器上,這些子key對應的value都和熱點key是一樣的。當通過熱點key去查詢數據時,通過某種hash算法隨機選擇一個子key,然後再去訪問緩存機器,將熱點分散到了多個子key上。

3. "永遠不過期"

    這裏的“永遠不過期”包含兩層意思:

    (1) 從redis上看,確實沒有設置過期時間,這就保證了,不會出現熱點key過期問題,也就是“物理”不過期。

    (2) 從功能上看,如果不過期,那不就成靜態的了嗎?所以我們把過期時間存在key對應的value裏,如果發現要過期了,通過一個後臺的異步線程進行緩存的構建,也就是“邏輯”過期

爲每個 value 設置一個邏輯過期時間,當發現超過邏輯過期時間後,會使用單獨的線程去構建緩存。

   

    從實戰看,這種方法對於性能非常友好,唯一不足的就是構建緩存時候,其餘線程(非構建緩存的線程)可能訪問的是老數據,但是對於一般的互聯網功能來說這個還是可以忍受。

    String get(final String key) {  
            V v = redis.get(key);  
            String value = v.getValue();  
            long timeout = v.getTimeout();  
            if (v.timeout <= System.currentTimeMillis()) {  
                // 異步更新後臺異常執行  
                threadPool.execute(new Runnable() {  
                    public void run() {  
                        String keyMutex = "mutex:" + key;  
                        if (redis.setnx(keyMutex, "1")) {  
                            // 3 min timeout to avoid mutex holder crash  
                            redis.expire(keyMutex, 3 * 60);  
                            String dbValue = db.get(key);  
                            redis.set(key, dbValue);  
                            redis.delete(keyMutex);  
                        }  
                    }  
                });  
            }  
            return value;  
        }  


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章