Redis數據類型及使用場景

 

摘要:Redis相比其它的KV數據庫,其一大特點是支持豐富的數據類型.它一共支持5種數據類型,下面逐一介紹這5種數據類型及其使用場景...

Redis數據類型及使用場景

Redis相比其它的KV數據庫,其一大特點是支持豐富的數據類型。它一共支持5種數據類型,下面逐一介紹這5種數據類型及其使用場景和內部實現方式。

string

簡介:Strings數據類型是最常用、簡單的key-value類型,普通的key/ value 存儲都可以歸爲此類。value不僅可以是字符串,也可以是數字。因爲是二進制安全的,所以你完全可以把一個圖片文件的內容作爲string來存儲。Redis的string可以完全實現目前memcached的功能,並且效率更高。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外,Redis還額外提供了下面一些操作:

  • 獲取字符串長度

  • 往字符串append內容

  • 設置和獲取字符串的某一段內容

  • 設置及獲取字符串的某一位(bit)

  • 批量設置一系列字符串的內容

常用命令: set,get,decr,incr,mget 等。

應用場景:

  • 應用 Memcached和CKV的所有場景。字符串和數字直接存取。結構化數據需要先序列化,再set到value;相應的,get到value後需要反序列化。

  • 可以利用redis的INCR、INCRBY、DECR、DECRBY等指令來實現原子計數的效果。即可以用來實現業務上的統計計數需求。也可用於實現idmaker,即生成全局唯一的id。

  • 存放session key,實現一個分佈式session系統。Redis的key可以方便地設置過期時間,用於實現session key的自動過期。驗證skey時先根據uid路由到對應的redis,如取不到skey,則表示skey已過期,需要重新登錄;如取到skey且校驗通過則升級此skey的過期時間即可。

  • Set nx或SetNx,僅當key不存在時才Set。可以用來選舉Master或實現分佈式鎖:所有Client不斷嘗試使用SetNx master myName搶注Master,成功的那位不斷使用Expire刷新它的過期時間。如果Master掛掉了key就會失效,剩下的節點又會發生新一輪搶奪。

  • 藉助redis2.6開始支持的lua腳本,可以實現更安全的2種分佈式鎖:一種適用於各進程競爭但總是單個進程獲取鎖並處理的場景。除非原處理進程掛掉因而鎖過期纔會被其它進程獲取到鎖。無須主動解鎖。通過get、expire/pexpire、setnx ex| px的lua腳本實現;一種適用於各進程競爭獲取鎖並處理的場景。通過set nx ex| px獲取鎖,用完需要通過先get判斷再del釋放鎖,否則在鎖過期之前不能獲取到鎖。

  • GetSet, 設置新值,返回舊值。比如實現一個計數器,可以用GetSet獲取計數並重置爲0。

  • GetBit/SetBit/BitOp/BitCount, BitMap的玩法,比如統計今天的獨立訪問用戶數時,每個註冊用戶都有一個offset,他今天進來的話就把他那個位設爲1,用BitCount就可以得出今天的總人數。

  • Append/SetRange/GetRange/StrLen,對文本進行擴展、替換、截取和求長度,對特定數據格式非常有用。

實現方式:String在redis內部存儲默認就是一個字符串,被redisObject所引用,當遇到incr,decr等操作時會轉成數值型進行計算,此時redisObject的encoding字段爲int。

Hash

簡介:Hash存的是字符串和字符串值之間的映射。Hash將對象的各個屬性存入Map裏,可以只讀取/更新對象的某些屬性。這樣有些屬性超長就讓它一邊呆着不動,另外不同的模塊可以只更新自己關心的屬性而不會互相併發導致覆蓋衝突。

常用命令:hget,hset,hgetall 等。

應用場景:

  • 存放結構化數據,比如用戶信息。在Memcached或CKV中,對於用戶信息比如用戶的暱稱、年齡、性別、積分等,我們需要先序列化後存儲爲一個字符串的值,這時候在需要修改其中某一項時,通常需要將所有值取出反序列化後,修改某一項的值,再序列化存儲回去。這樣不僅增大了開銷,也不適用於一些可能併發操作的場合(比如兩個併發的操作都需要修改積分)。而Redis的Hash結構可以使你像在數據庫中Update一個屬性一樣只修改某一項屬性值。如下圖:

Key是用戶ID, value是一個Map,這個Map的key是成員的屬性名,value是屬性值,這樣對數據的修改和存取都可以直接通過其內部Map的Key(Redis裏稱內部Map的key爲field), 也就是通過key(用戶ID) + field(屬性標籤) 就可以操作對應屬性數據了,既不需要重複存儲數據,也不會帶來序列化和併發修改控制的問題。

不過這裏需要注意,Redis提供了接口(hgetall)可以直接取到全部的屬性數據,但是如果內部Map的成員很多,那麼涉及到遍歷整個內部Map的操作,由於Redis單線程模型的緣故,這個遍歷操作可能會比較耗時,而對其它客戶端的請求完全不響應,這點需要格外注意。

  • 可用來建索引。比如User對象,除了id有時還要按name來查詢,可以建一個Key爲user:name:id的Hash,在插入User對象時(set user:101{"id":101,"name":"calvin"}), 順便往這個hash插入一條(hset user:name:id calvin 101),這時calvin作爲hash裏的一個key,值爲101。按name查詢的時候,用hgetuser:name:id calvin 就能從名爲calvin的key裏取出id。假如需要使用多種索引來查找某條數據時可以使用,一個hash key搞定,避免使用多個string key存放索引值。

  • HINCRBY同樣可用於實現idmaker。相對string類型的idmaker每一個類型需要一個key,hash類型的用一個key即可。

實現方式:

Redis Hash對應Value內部實際就是一個HashMap,這裏會有2種不同實現,這個Hash的成員比較少時Redis爲了節省內存會採用類似一維數組的方式來緊湊存儲,而不會採用真正的HashMap結構,對應的value redisObject的encoding爲zipmap,當成員數量增大時會自動轉成真正的HashMap,此時encoding爲ht。

List

簡介:List是一個雙向鏈表,支持雙向的Pop/Push,江湖規矩一般從左端Push,右端Pop——LPush/RPop,而且還有Blocking的版本BLPop/BRPop,客戶端可以阻塞在那直到有消息到來。還有RPopLPush/ BRPopLPush,彈出來返回給client的同時,把自己又推入另一個list,LLen獲取列表的長度。還有按值進行的操作:LRem(按值刪除元素)、LInsert(插在某個值的元素的前後),複雜度是O(N),N是List長度,因爲List的值不唯一,所以要遍歷全部元素,而Set只要O(log(N))。

按下標進行的操作:下標從0開始,隊列從左到右算,下標爲負數時則從右到左。LSet ,按下標設置元素值。LIndex,按下標返回元素。LRange,不同於POP直接彈走元素,只是返回列表內一段下標的元素,是分頁的最愛。LTrim,限制List的大小,比如只保留最新的20條消息。複雜度也是O(N),其中LSet的N是List長度,LIndex的N是下標的值,LRange的N是start的值+列出元素的個數,因爲是鏈表而不是數組,所以按下標訪問其實要遍歷鏈表,除非下標正好是隊頭和隊尾。LTrim的N是移除元素的個數。

常用命令:lpush,rpush,lpop,rpop,lrange等。

 

應用場景:

  • 各種列表,比如twitter的關注列表、粉絲列表等,最新消息排行、每篇文章的評論等也可以用Redis的list結構來實現。

  • 消息隊列,可以利用Lists的PUSH操作,將任務存在Lists中,然後工作線程再用POP操作將任務取出執行。這裏的消息隊列並沒有ack機制,如果消費者把任務給Pop走了又沒處理完就死機了怎麼辦?解決方法之一是加多一個sorted set,分發的時候同時發到list與sorted set,以分發時間爲score,用戶把任務做完了之後要用ZREM消掉sorted set裏的job,並且定時從sorted set中取出超時沒有完成的任務,重新放回list。另一個做法是爲每個worker多加一個的list,彈出任務時改用RPopLPush,將job同時放到worker自己的list中,完成時用LREM消掉。如果集羣管理(如zookeeper)發現worker已經掛掉,就將worker的list內容重新放回主list。

  • 利用LRANGE可以很方便的實現list內容分頁的功能。

  • 取最新N個數據的操作:LPUSH用來插入一個內容ID,作爲關鍵字存儲在列表頭部。LTRIM用來限制列表中的項目數最多爲5000。如果用戶需要的檢索的數據量超越這個緩存容量,這時才需要把請求發送到數據庫。

實現方式:

Redis list的實現爲一個雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內存開銷,Redis內部的很多實現,包括髮送緩衝隊列等也都是用的這個數據結構

Set

簡介:是一種無序的集合,集合中的元素沒有先後順序,不重複。將重複的元素放入Set會自動去重。

常用命令:

sadd,spop,smembers,sunion等。

應用場景:

  • 某些需要去重的列表,並且set提供了判斷某個成員是否在一個set集合內的重要接口,這個也是list所不能提供的。

  • 可以存儲一些集合性的數據,比如在微博應用中,可以將一個用戶所有的關注人存在一個集合中,將其所有粉絲存在一個集合。Redis還爲集合提供了求交集、並集、差集等操作,可以非常方便的實現如共同關注、共同喜好、二度好友等功能,對上面的所有集合操作,你還可以使用不同的命令選擇將結果返回給客戶端還是存集到一個新的集合中。又比如QQ有一個社交功能叫做“好友標籤”,大家可以給你的好友貼標籤,比如“大美女”、“土豪”、“歐巴”等等,這裏也可以把每一個用戶的標籤都存儲在一個集合之中。

  • 想要知道某些特定的註冊用戶或IP地址,他們到底有多少訪問了某個頁面,可以這樣實現:SADD page:day1:<page_id> <user_id> 。想知道特定用戶的數量,使用SCARD page:day1:<page_id>。 需要測試某個特定用戶是否訪問了這個頁面?SISMEMBER page:day1:<page_id>。

實現方式:

set 的內部實現是一個 value永遠爲null的HashMap,實際就是通過計算hash的方式來快速排重的,這也是set能提供判斷一個成員是否在集合內的原因。

Sorted Set

簡介:有序集合,相比set,元素放入集合時還要提供該元素的分數,可根據分數自動排序。

常用命令:

zadd,zrange,zrem,zcard等

使用場景:

  • 存放一個有序的並且不重複的集合列表,比如twitter 的public timeline可以以發表時間作爲score來存儲,這樣獲取時就是自動按時間排好序的。

  • 可以做帶權重的隊列,比如普通消息的score爲1,重要消息的score爲2,然後工作線程可以選擇按score的倒序來獲取工作任務。讓重要的任務優先執行。

  • 排行榜相關:ZADD leaderboard <score> <username> 。 得到前100名高分用戶很簡單:ZREVRANGE leaderboard 0 99。用戶的全球排名也相似,只需要執行:ZRANK leaderboard <username>。

  • 新聞按照用戶投票和時間排序,ZADD時的score = points / time^alpha, 這樣用戶的投票會相應的把新聞挖出來,但時間會按照一定的指數將新聞埋下去。

  • 過期項目處理:使用unix時間作爲關鍵字,用來保持列表能夠按時間排序。對current_time和time_to_live進行檢索,完成查找過期項目的艱鉅任務。另一項後臺任務使用ZRANGE...WITHSCORES進行查詢,刪除過期的條目。

實現方式:

Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證數據的存儲和有序,HashMap裏放的是成員到score的映射,而跳躍表裏存放的是所有的成員,排序依據是HashMap裏存的score,使用跳躍表的結構可以獲得比較高的查找效率,並且在實現上比較簡單。

以上只是列舉的redis的一部分典型應用場景,供大家參考。善用Redis的5大數據類型和豐富的命令,並將它們加以組合,所能完成的就更無法想象。

懂的越多,不會的也就越多,知識之路是不斷進取的

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章