Redis常用數據類型

Redis中文網:http://www.redis.net.cn/

Redis中文官網:http://www.redis.cn/


Redis最爲常用的數據類型主要有以下五種:

  • String
  • Hash
  • List
  • Set
  • Sorted set

在具體描述這幾種數據類型之前,我們先通過一張圖瞭解下Redis內部內存管理中是如何描述這些不同數據類型的:

     首先Redis內部使用一個redisObject對象來表示所有的key和value,redisObject最主要的信息如上圖所示:type代表一個value對象具體是何種數據類型,encoding是不同數據類型在redis內部的存儲方式,比如:type=string代表value存儲的是一個普通字符串,那麼對應的encoding可以是raw或者是int,如果是int則代表實際redis內部是按數值型類存儲和表示這個字符串的,當然前提是這個字符串本身可以用數值表示,比如:"123" "456"這樣的字符串。

    這裏需要特殊說明一下vm字段,只有打開了Redis的虛擬內存功能,此字段纔會真正的分配內存,該功能默認是關閉狀態的。通過上圖我們可以發現Redis使用redisObject來表示所有的key/value數據是比較浪費內存的,當然這些內存管理成本的付出主要也是爲了給Redis不同數據類型提供一個統一的管理接口,實際作者也提供了多種方法幫助我們儘量節省內存使用,我們隨後會具體討論。

二、各種數據類型應用和實現方式

下面我們先來逐一的分析下這五種數據類型的使用和內部實現方式:

1、String

String 數據結構是簡單的key-value類型,value其實不僅是String,也可以是數字。

常用命令:get、set、incr、decr、mget等。

應用場景:String是最常用的一種數據類型,普通的key/ value 存儲都可以歸爲此類,即可以完全實現目前 Memcached 的功能,並且效率更高。還可以享受Redis的定時持久化,操作日誌及 Replication等功能。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外,Redis還提供了下面一些操作: 

  • 獲取字符串長度
  • 往字符串append內容
  • 設置和獲取字符串的某一段內容
  • 設置及獲取字符串的某一位(bit)
  • 批量設置一系列字符串的內容

使用場景:常規key-value緩存應用。常規計數: 微博數, 粉絲數。

實現方式:String在redis內部存儲默認就是一個字符串,被redisObject所引用,當遇到incr,decr等操作時會轉成數值型進行計算,此時redisObject的encoding字段爲int。

2、Hash

常用命令:hget,hset,hgetall 等。

應用場景:

我們簡單舉個實例來描述下Hash的應用場景,比如我們要存儲一個用戶信息對象數據,包含以下信息:

用戶ID爲查找的key,存儲的value用戶對象包含姓名,年齡,生日等信息,如果用普通的key/value結構來存儲,主要有以下2種存儲方式:

    第一種方式將用戶ID作爲查找key,把其他信息封裝成一個對象以序列化的方式存儲,這種方式的缺點是,增加了序列化/反序列化的開銷,並且在需要修改其中一項信息時,需要把整個對象取回,並且修改操作需要對併發進行保護,引入CAS等複雜問題。

    第二種方法是這個用戶信息對象有多少成員就存成多少個key-value對兒,用用戶ID+對應屬性的名稱作爲唯一標識來取得對應屬性的值,雖然省去了序列化開銷和併發問題,但是用戶ID爲重複存儲,如果存在大量這樣的數據,內存浪費還是非常可觀的。

那麼Redis提供的Hash很好的解決了這個問題,Redis的Hash實際是內部存儲的Value爲一個HashMap,並提供了直接存取這個Map成員的接口,如下圖:

    也就是說,Key仍然是用戶ID, value是一個Map,這個Map的key是成員的屬性名,value是屬性值,這樣對數據的修改和存取都可以直接通過其內部Map的Key(Redis裏稱內部Map的key爲field), 也就是通過 key(用戶ID) + field(屬性標籤) 就可以操作對應屬性數據了,既不需要重複存儲數據,也不會帶來序列化和併發修改控制的問題。很好的解決了問題。

    這裏同時需要注意,Redis提供了接口(hgetall)可以直接取到全部的屬性數據,但是如果內部Map的成員很多,那麼涉及到遍歷整個內部Map的操作,由於Redis單線程模型的緣故,這個遍歷操作可能會比較耗時,而另其它客戶端的請求完全不響應,這點需要格外注意。

使用場景:存儲部分變更數據,如用戶信息等。

實現方式:

   上面已經說到Redis Hash對應Value內部實際就是一個HashMap,實際這裏會有2種不同實現,這個Hash的成員比較少時Redis爲了節省內存會採用類似一維數組的方式來緊湊存儲,而不會採用真正的HashMap結構,對應的value redisObject的encoding爲zipmap,當成員數量增大時會自動轉成真正的HashMap,此時encoding爲ht。

3、List

常用命令:lpush,rpush,lpop,rpop,lrange等。

應用場景:

Redis list的應用場景非常多,也是Redis最重要的數據結構之一,比如twitter的關注列表,粉絲列表等都可以用Redis的list結構來實現。

List 就是鏈表,相信略有數據結構知識的人都應該能理解其結構。使用List結構,我們可以輕鬆地實現最新消息排行等功能。List的另一個應用就是消息隊列,
可以利用List的PUSH操作,將任務存在List中,然後工作線程再用POP操作將任務取出進行執行。Redis還提供了操作List中某一段的api,你可以直接查詢,刪除List中某一段的元素。

實現方式:

Redis list的實現爲一個雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內存開銷,Redis內部的很多實現,包括髮送緩衝隊列等也都是用的這個數據結構。

Redis的list是每個子元素都是String類型的雙向鏈表,可以通過push和pop操作從列表的頭部或者尾部添加或者刪除元素,這樣List即可以作爲棧,也可以作爲隊列。 

使用場景:

消息隊列系統

使用list可以構建隊列系統,使用sorted set甚至可以構建有優先級的隊列系統。

比如:將Redis用作日誌收集器

實際上還是一個隊列,多個端點將日誌信息寫入Redis,然後一個worker統一將所有日誌寫到磁盤。

取最新N個數據的操作

記錄前N個最新登陸的用戶Id列表,超出的範圍可以從數據庫中獲得。

複製代碼
//把當前登錄人添加到鏈表裏
ret = r.lpush("login:last_login_times", uid)

//保持鏈表只有N位
ret = redis.ltrim("login:last_login_times", 0, N-1)

//獲得前N個最新登陸的用戶Id列表
last_login_list = r.lrange("login:last_login_times", 0, N-1)
複製代碼

比如sina微博:

     在Redis中我們的最新微博ID使用了常駐緩存,這是一直更新的。但是我們做了限制不能超過5000個ID,因此我們的獲取ID函數會一直詢問Redis。只有在start/count參數超出了這個範圍的時候,才需要去訪問數據庫。

    我們的系統不會像傳統方式那樣“刷新”緩存,Redis實例中的信息永遠是一致的。SQL數據庫(或是硬盤上的其他類型數據庫)只是在用戶需要獲取“很遠”的數據時纔會被觸發,而主頁或第一個評論頁是不會麻煩到硬盤上的數據庫了。

4、Set

常用命令:

sadd,spop,smembers,sunion 等。

應用場景:

     Redis set對外提供的功能與list類似是一個列表的功能,特殊之處在於set是可以自動排重的,當你需要存儲一個列表數據,又不希望出現重複數據時,set是一個很好的選擇,並且set提供了判斷某個成員是否在一個set集合內的重要接口,這個也是list所不能提供的。

Set 就是一個集合,集合的概念就是一堆不重複值的組合。利用Redis提供的Set數據結構,可以存儲一些集合性的數據。

案例:

在微博應用中,可以將一個用戶所有的關注人存在一個集合中,將其所有粉絲存在一個集合。Redis還爲集合提供了求交集、並集、差集等操作,可以非常方便的實現如共同關注、共同喜好、二度好友等功能,對上面的所有集合操作,你還可以使用不同的命令選擇將結果返回給客戶端還是存集到一個新的集合中。

Set是集合,是String類型的無序集合,set是通過hashtable實現的,概念和數學中個的集合基本類似,可以交集,並集,差集等等,set中的元素是沒有順序的

實現方式: 

set 的內部實現是一個 value永遠爲null的HashMap,實際就是通過計算hash的方式來快速排重的,這也是set能提供判斷一個成員是否在集合內的原因。

使用場景:

交集,並集,差集:(Set)

複製代碼
//book表存儲book名稱

set book:1:name    ”The Ruby Programming Language”

set book:2:name     ”Ruby on rail”

set book:3:name     ”Programming Erlang”

//tag表使用集合來存儲數據,因爲集合擅長求交集、並集

sadd tag:ruby 1

sadd tag:ruby 2

sadd tag:web 2

sadd tag:erlang 3

//即屬於ruby又屬於web的書?

 inter_list = redis.sinter("tag.web", "tag:ruby") 

//即屬於ruby,但不屬於web的書?

 inter_list = redis.sdiff("tag.ruby", "tag:web") 

//屬於ruby和屬於web的書的合集?

 inter_list = redis.sunion("tag.ruby", "tag:web")
複製代碼

獲取某段時間所有數據去重值

這個使用Redis的set數據結構最合適了,只需要不斷地將數據往set中扔就行了,set意爲集合,所以會自動排重。

5、Sorted Set

常用命令:

zadd,zrange,zrem,zcard等

使用場景:

     Redis sorted set的使用場景與set類似,區別是set不是自動有序的,而sorted set可以通過用戶額外提供一個優先級(score)的參數來爲成員排序,並且是插入有序的,即自動排序。當你需要一個有序的並且不重複的集合列表,那麼可以選擇sorted set數據結構,比如twitter 的public timeline可以以發表時間作爲score來存儲,這樣獲取時就是自動按時間排好序的。

    和Set相比,Sorted Set增加了一個權重參數score,使得集合中的元素能夠按score進行有序排列,比如一個存儲全班同學成績的Sorted Set,其集合value可以是同學的學號,而score就可以是其考試得分,這樣在數據插入集合的時候,就已經進行了天然的排序。另外還可以用Sorted Set來做帶權重的隊列,比如普通消息的score爲1,重要消息的score爲2,然後工作線程可以選擇按score的倒序來獲取工作任務。讓重要的任務優先執行。

實現方式:

    Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證數據的存儲和有序,HashMap裏放的是成員到score的映射,而跳躍表裏存放的是所有的成員,排序依據是HashMap裏存的score,使用跳躍表的結構可以獲得比較高的查找效率,並且在實現上比較簡單。

發佈了19 篇原創文章 · 獲贊 9 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章