Redis 內存滿了怎麼辦?這樣設置才正確!

上回在《Redis 數據過期了會被立馬刪除麼?》說到如果過期的數據太多,定時刪除無法刪除完全(每次刪除完過期的 key 還是超過 25%),同時這些 key 再也不會被客戶端請求,就無法走惰性刪除,內存被打滿會怎樣?

答案是走內存淘汰機制


故事從一個叫 Redis 帝國的三公九卿官職說起……

在 Redis 帝國中,整個帝國的國法、家法和軍法等都記錄在 redis.conf中,它控制着整個帝國的運行。

公務員佔用的國家地盤資源大小限定由名叫「maxmemory」的司法官員制定,一共有兩種方式實現:

  • 在運行時使用 CONFIG SET maxmemory 4gb指定帝國官職人員最大地盤資源爲 4GB;
  • maxmemory 4gb法令記錄到 redis.conf「法典」中,在帝國運轉指定使用該「法典」運行。

需要注意的是,如果 maxmemory 爲 0 ,在 64 位「空間」上則沒有限制,而 32 位「空間」則有 3GB 的隱式限制。

Redis 內存淘汰策略

設置了帝國官職地盤資源限制,每年選拔新人就會導致沒有地盤資源可以使用怎麼辦?如何選擇一些公務員淘汰?

在 Redis 4.0 時代,一共有 6 種淘汰策略,之後,又新增了 2 中策略。

總體上我們可以根據是否需要淘汰可以分爲兩大類:

  • 不執行淘汰策略,noeviction
  • 根據不同法則淘汰的其他 7 中策略。

noeviction 不退伍策略

默認情況下,資源超過 maxmemory 的值也不會執行淘汰,不允許新人加入。

關係戶啊這是,皇親國戚,永久 vip 啊喂。

隨着官職人員的新增,由於不會淘汰,資源容量遲早會滿。滿了以後,當有「新人」想要進來的時候,Redis 直接返回錯誤,並罷工

秀,真是任性。

各式各樣的淘汰策略

剩下的 7 種策略還可以根據淘汰的候選集合和淘汰範圍分爲兩大類:

  • 有設置任職過期時間的職員進行淘汰,沒有設定任職過期時間的不會淘汰,淘汰策略如下:

    • volatile-lru:淘汰最近最少上一線幹活的人員;
    • volatile-lfu:4.0 之後新增的策略,淘汰上一線幹活次數最少的人員;
    • volatile-random:隨機淘汰,騰出坑位給新人;
    • volatile-ttl:淘汰設置了任期時間的公務員,誰最接近任期時間就先淘汰誰。
  • 所有類型人員淘汰,不管是永久 vip 的皇親國戚還是設置了任職過期時間的人員。

    • allkeys-lru:淘汰最近最少上一線幹活的職員;
    • allkeys-lfu:淘汰最少上一線幹活的公務員;
    • allkeys-random:隨機淘汰職員,爲新兵騰出空位。

故事到這裏就結束了,接下來「碼哥」分享下在實際 Redis 中如何選擇合適的淘汰策略和設置最佳緩存大小給大家。

淘汰執行過程如下圖所示:

redis-eviction

  • 客戶端發送新命令到服務端;

  • 服務端收到客戶端命令,Redis 檢查內存使用情況,如果大於 maxmemory 限制,則根據策略驅逐數據。

  • 執行新命令。

allkeys-lru 使用場景

假如你的應用存在明顯的冷熱數據區別,根據經驗推薦你使用這個策略,充分利用 LRU 算法把最近最常訪問的數據保留,有限的內存提高訪問性能。

allkeys-random 使用場景

假如數據沒有明顯的冷熱分別,所有的數據分佈查詢比較均衡,這些數據都會被隨機查詢,那就使用 allkeys-random 策略,讓其隨機選擇淘汰數據。

volatile-lru 使用場景

業務場景有一些數據不能刪除,比如置頂新聞、視頻,這時候我們爲這些數據不設置過期時間,這樣的話數據就不會被刪除,該策略就會去根據 LRU 算法去淘汰哪些設置了過期時間且最近最少被訪問的數據。

有一個點需要注意下,爲 key 執行 expire 設置過期時間會消耗一些內存,所以使用 allkeyds-lru 會提高內存效率。

將需要持數據不能刪除的和全都可以淘汰數據的業務系統分別使用不同的 Redis 實例集羣是更好的方案。

針對業務場景有一些數據不能刪除的使用 volatile-lru策略,另一類則可以使用 allkyes-lru 或者 allkeys-random

Redis 容量設置多大合適

緩存並不是越大越好,用最小的代價去獲得最高的收益纔是老闆想要的。

數據訪問有局部性,根據「二八原理」:通常 20% 的數據能支撐 80% 的訪問請求。

所以我們可不可以把緩存容量大小設置爲總數據量的 20%?

當然,不能這麼絕對,這是理想狀態。因爲可能存在一些個性化需求,不同的用戶訪問的數據可能差別很大,不完全具備「二八原理」。

我們應當結合實際的訪問特點和成本來綜合評估。根據經驗建議將容量設置成總數據量的 15%~30%。

碼哥,其他淘汰規則比較簡單,volatile-lru 和 volatile-lfu 則比較複雜,他們的算法是怎樣的?

volatile-lru 使用了 LRU 算法,淘汰最近最少使用的數據。而volatile-lfu 使用了 LFU 算法,它在 LRU 算法基礎上同時考慮了數據的時效性和訪問頻率,最少訪問的 key 會被刪除。

至於具體算法細節,我們下回分解。一次性太多的話大家容易在知識的海洋裏裏嗆水。

現在的文章閱讀量越來越低

大家可以在評論區叫我一聲靚仔麼?

不想叫我靚仔的可以幫我點個贊和在看麼?

參考資料

1.https://redis.io/docs/manual/eviction/

2.Redis 核心技術與實戰

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章