緩存擊穿: 查詢一個數據庫中不存在的數據,比如商品詳情,查詢一個不存在的ID,每次都會訪問DB,如果有人惡意破壞,很可能直接對DB造成過大地壓力。
緩存擊穿的解決方案: 當通過某一個key去查詢數據的時候,如果對應在數據庫中的數據都不存在,我們將此key對應的value設置爲一個默認的值,比如“NULL”,並設置一個緩存的失效時間,這時在緩存失效之前,所有通過此key的訪問都被緩存擋住了。後面如果此key對應的數據在DB中存在時,緩存失效之後,通過此key再去訪問數據,就能拿到新的value了。
緩存失效: 在高併發的環境下,如果此時key對應的緩存失效,此時有多個進程就會去同時去查詢DB,然後再去同時設置緩存。這個時候如果這個key是系統中的熱點key或者同時失效的數量比較多時,DB訪問量會瞬間增大,造成過大的壓力。
緩存失效的解決方案:
- 將系統中key的緩存失效時間均勻地錯開,防止統一時間點有大量的key對應的緩存失效;
-
重新設計緩存的使用方式,當我們通過key去查詢數據時,首先查詢緩存,如果此時緩存中查詢不到,就通過分佈式鎖進行加鎖,取得鎖的進程查DB並設置緩存,然後解鎖;其他進程如果發現有鎖就等待,然後等解鎖後返回緩存數據或者再次查詢DB。
1. 使用互斥鎖(mutex key): 這種解決方案思路比較簡單,就是隻讓一個線程構建緩存,其他線程等待構建緩存的線程執行完,重新從緩存獲取數據就可以了(如下圖)
如果是單機,可以用synchronized或者lock來處理,如果是分佈式環境可以用分佈式鎖就可以了(分佈式鎖,可以用memcache的add, redis的setnx, zookeeper的添加節點操作)。
redis代碼:
String get(String key) { String value = redis.get(key); if (value == null) { if (redis.setnx(key_mutex, "1")) { // 3 min timeout to avoid mutex holder crash redis.expire(key_mutex, 3 * 60) value = db.get(key); redis.set(key, value); redis.delete(key_mutex); } else { //其他線程休息50毫秒後重試 Thread.sleep(50); get(key); } } }
熱點key: 緩存中的某些Key(可能對應用與某個促銷商品)對應的value存儲在集羣中一臺機器,使得所有流量涌向同一機器,成爲系統的瓶頸,該問題的挑戰在於它無法通過增加機器容量來解決。
熱點key的解決方案:
- 客戶端熱點key緩存:將熱點key對應value並緩存在客戶端本地,並且設置一個失效時間。對於每次讀請求,將首先檢查key是否存在於本地緩存中,如果存在則直接返回,如果不存在再去訪問分佈式緩存的機器。
- 將熱點key分散爲多個子key,然後存儲到緩存集羣的不同機器上,這些子key對應的value都和熱點key是一樣的。當通過熱點key去查詢數據時,通過某種hash算法隨機選擇一個子key,然後再去訪問緩存機器,將熱點分散到了多個子key上。
3. "永遠不過期":
這裏的“永遠不過期”包含兩層意思:
(1) 從redis上看,確實沒有設置過期時間,這就保證了,不會出現熱點key過期問題,也就是“物理”不過期。
(2) 從功能上看,如果不過期,那不就成靜態的了嗎?所以我們把過期時間存在key對應的value裏,如果發現要過期了,通過一個後臺的異步線程進行緩存的構建,也就是“邏輯”過期
爲每個 value 設置一個邏輯過期時間,當發現超過邏輯過期時間後,會使用單獨的線程去構建緩存。
從實戰看,這種方法對於性能非常友好,唯一不足的就是構建緩存時候,其餘線程(非構建緩存的線程)可能訪問的是老數據,但是對於一般的互聯網功能來說這個還是可以忍受。
String get(final String key) {
V v = redis.get(key);
String value = v.getValue();
long timeout = v.getTimeout();
if (v.timeout <= System.currentTimeMillis()) {
// 異步更新後臺異常執行
threadPool.execute(new Runnable() {
public void run() {
String keyMutex = "mutex:" + key;
if (redis.setnx(keyMutex, "1")) {
// 3 min timeout to avoid mutex holder crash
redis.expire(keyMutex, 3 * 60);
String dbValue = db.get(key);
redis.set(key, dbValue);
redis.delete(keyMutex);
}
}
! });
}
return value;
}