如何訪問海量的Redis中數據,並且避免卡住redis使其假死。

         因爲我們的用戶token緩存是採用了【user_token:userid】格式的key,保存用戶的token的值。我們運維爲了幫助開發小夥伴們查一下線上現在有多少登錄用戶。

 

直接用了keys user_token*方式進行查詢,事故就此發生了。導致redis不可用,假死。

 

1.分析原因

 

登錄用戶有幾百萬,數據量比較多;keys算法是遍歷算法,複雜度是O(n),也就是數據越多,時間複雜度越高。

keys這個指令就會導致 Redis 服務卡頓,因爲Redis 是單線程程序,順序執行所有指令,其它指令必須等到當前的 keys 指令執行完了纔可以繼續。

 

2.解決方案

 

那我們如何去遍歷大數據量呢?這個也是面試經常問的。我們可以採用redis的另一個命令scan。我們看一下scan的特點

 

1、複雜度雖然也是 O(n),但是它是通過遊標分步進行的,不會阻塞線程 

2、提供 count 參數,不是結果數量,是redis單次遍歷字典槽位數量(約等於) 

3、同 keys 一樣,它也提供模式匹配功能; 

4、服務器不需要爲遊標保存狀態,遊標的唯一狀態就是 scan 返回給客戶端的遊標整數

5、返回的結果可能會有重複,需要客戶端去重複,這點非常重要; 

6、單次返回的結果是空的並不意味着遍歷結束,而要看返回的遊標值是否爲零

 

一、scan命令格式

 

SCAN cursor [MATCH pattern] [COUNT count]

 

二、命令解釋:scan 遊標 MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素數量

 

SCAN命令是增量的循環,每次調用只會返回一小部分的元素。所以不會讓redis假死 SCAN命令返回的是一個遊標,從0開始遍歷,到0結束遍歷

 

三、例子

redis > scan 0 match user_token* count 5 
 1) "6"
 2) 1) "user_token:1000"
 2) "user_token:1001"
 3) "user_token:1010"
 4) "user_token:2300"
 5) "user_token:1389"

從0開始遍歷,返回了遊標6,又返回了數據

 

以上希望能幫助大家

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章