redis緩存失效

緩存擊穿:  查詢一個數據庫中不存在的數據,比如商品詳情,查詢一個不存在的ID,每次都會訪問DB,如果有人惡意破壞,很可能直接對DB造成過大地壓力。

緩存擊穿的解決方案:  當通過某一個key去查詢數據的時候,如果對應在數據庫中的數據都不存在,我們將此key對應的value設置爲一個默認的值,比如“NULL”,並設置一個緩存的失效時間,這時在緩存失效之前,所有通過此key的訪問都被緩存擋住了。後面如果此key對應的數據在DB中存在時,緩存失效之後,通過此key再去訪問數據,就能拿到新的value了。

緩存失效:  在高併發的環境下,如果此時key對應的緩存失效,此時有多個進程就會去同時去查詢DB,然後再去同時設置緩存。這個時候如果這個key是系統中的熱點key或者同時失效的數量比較多時,DB訪問量會瞬間增大,造成過大的壓力。

緩存失效的解決方案:

  • 將系統中key的緩存失效時間均勻地錯開,防止統一時間點有大量的key對應的緩存失效;
  • 重新設計緩存的使用方式,當我們通過key去查詢數據時,首先查詢緩存,如果此時緩存中查詢不到,就通過分佈式鎖進行加鎖,取得鎖的進程查DB並設置緩存,然後解鎖;其他進程如果發現有鎖就等待,然後等解鎖後返回緩存數據或者再次查詢DB。

    1. 使用互斥鎖(mutex key): 這種解決方案思路比較簡單,就是隻讓一個線程構建緩存,其他線程等待構建緩存的線程執行完,重新從緩存獲取數據就可以了(如下圖)

         如果是單機,可以用synchronized或者lock來處理,如果是分佈式環境可以用分佈式鎖就可以了(分佈式鎖,可以用memcache的add, redis的setnx, zookeeper的添加節點操作)。

    redis代碼:

    String get(String key) {    
       String value = redis.get(key);    
       if (value  == null) {    
        if (redis.setnx(key_mutex, "1")) {    
            // 3 min timeout to avoid mutex holder crash    
            redis.expire(key_mutex, 3 * 60)    
            value = db.get(key);    
            redis.set(key, value);    
            redis.delete(key_mutex);    
        } else {    
            //其他線程休息50毫秒後重試    
            Thread.sleep(50);    
            get(key);    
        }    
      }    
    }   


     

熱點key:  緩存中的某些Key(可能對應用與某個促銷商品)對應的value存儲在集羣中一臺機器,使得所有流量涌向同一機器,成爲系統的瓶頸,該問題的挑戰在於它無法通過增加機器容量來解決。

熱點key的解決方案:

  • 客戶端熱點key緩存:將熱點key對應value並緩存在客戶端本地,並且設置一個失效時間。對於每次讀請求,將首先檢查key是否存在於本地緩存中,如果存在則直接返回,如果不存在再去訪問分佈式緩存的機器。
  • 將熱點key分散爲多個子key,然後存儲到緩存集羣的不同機器上,這些子key對應的value都和熱點key是一樣的。當通過熱點key去查詢數據時,通過某種hash算法隨機選擇一個子key,然後再去訪問緩存機器,將熱點分散到了多個子key上。

3. "永遠不過期":

    這裏的“永遠不過期”包含兩層意思:

    (1) 從redis上看,確實沒有設置過期時間,這就保證了,不會出現熱點key過期問題,也就是“物理”不過期。

    (2) 從功能上看,如果不過期,那不就成靜態的了嗎?所以我們把過期時間存在key對應的value裏,如果發現要過期了,通過一個後臺的異步線程進行緩存的構建,也就是“邏輯”過期

爲每個 value 設置一個邏輯過期時間,當發現超過邏輯過期時間後,會使用單獨的線程去構建緩存。
 

   

    從實戰看,這種方法對於性能非常友好,唯一不足的就是構建緩存時候,其餘線程(非構建緩存的線程)可能訪問的是老數據,但是對於一般的互聯網功能來說這個還是可以忍受。

String get(final String key) {    
        V v = redis.get(key);    
        String value = v.getValue();    
        long timeout = v.getTimeout();    
        if (v.timeout <= System.currentTimeMillis()) {    
            // 異步更新後臺異常執行    
            threadPool.execute(new Runnable() {    
                public void run() {    
                    String keyMutex = "mutex:" + key;    
                    if (redis.setnx(keyMutex, "1")) {    
                        // 3 min timeout to avoid mutex holder crash    
                        redis.expire(keyMutex, 3 * 60);    
                        String dbValue = db.get(key);    
                        redis.set(key, dbValue);    
                        redis.delete(keyMutex);    
                    }    
                }    
!            });    
        }    
        return value;    
    }    

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章