Redis的五大數據類型的底層實現

1、簡介

Redis的五大數據類型也稱五大數據對象;前面介紹過6大數據結構,Redis並沒有直接使用這些結構來實現鍵值對數據庫,而是使用這些結構構建了一個對象系統redisObject;這個對象系統包含了五大數據對象,字符串對象(string)、列表對象(list)、哈希對象(hash)、集合(set)對象和有序集合對象(zset);而這五大對象的底層數據編碼可以用命令OBJECT ENCODING來進行查看。

redisObject結構

 

typedef struct redisObject {
    // 類型
    unsigned type:4;
    // 編碼
    unsigned encoding:4;
    // 指向底層實現數據結構的指針
    void *ptr;
    // ...
} robj;

 

redis是以鍵值對存儲數據的,所以對象又分爲鍵對象和值對象,即存儲一個key-value鍵值對會創建兩個對象,鍵對象和值對象。

鍵對象總是一個字符串對象,而值對象可以是五大對象中的任意一種。

    • type屬性存儲的是對象的類型,也就是我們說的 string、list、hash、set、zset中的一種,可以使用命令 TYPE key 來查看。
    • encoding屬性記錄了隊形所使用的編碼,即這個對象底層使用哪種數據結構實現。

表中列出了底層編碼常量及對應的OBJECT ENCODING 命令的輸出,前三項都是字符串結構

我們在存入key-value鍵值對時並不會指定對象的encoding,而是Redis會根據不統的使用場景來爲一個對象設置不同的編碼,可以達到節約內存、加快訪問速度等目的。

 

2、字符串對象(string)

字符串對象底層數據結構實現爲簡單動態字符串(SDS)和直接存儲,但其編碼方式可以是int、raw或者embstr,區別在於內存結構的不同

(1)int編碼

字符串保存的是整數值,並且這個正式可以用long類型來表示,那麼其就會直接保存在redisObject的ptr屬性裏,並將編碼設置爲int,如圖:

 

(2)raw編碼

 字符串保存的大於32字節的字符串值,則使用簡單動態字符串(SDS)結構,並將編碼設置爲raw,此時內存結構與SDS結構一致,內存分配次數爲兩次,創建redisObject對象和sdshdr結構,如圖:

(3)embstr編碼

 字符串保存的小於等於32字節的字符串值,使用的也是簡單的動態字符串(SDS結構),但是內存結構做了優化,用於保存頓消的字符串;內存分配也只需要一次就可完成,分配一塊連續的空間即可,如圖:

 

 字符串對象總結:

    • 在Redis中,存儲long、double類型的浮點數是先轉換爲字符串再進行存儲的。
    • raw與embstr編碼效果是相同的,不同在於內存分配與釋放,raw兩次,embstr一次。
    • embstr內存塊連續,能更好的利用緩存在來的優勢
    • int編碼和embstr編碼如果做追加字符串等操作,滿足條件下會被轉換爲raw編碼;embstr編碼的對象是隻讀的,一旦修改會先轉碼到raw。

3、列表對象(list)

列表對象的編碼可以是ziplist和linkedlist之一。

(1) ziplist編碼

ziplist編碼的哈希隨想底層實現是壓縮列表,每個壓縮裏列表節點保存了一個列表元素。

(2)linkedlist編碼

linkedlist編碼底層採用雙端鏈表實現,每個雙端鏈表節點都保存了一個字符串對象,在每個字符串對象內保存了一個列表元素。

列表對象編碼轉換:

    • 列表對象使用ziplist編碼需要滿足兩個條件:一是所有字符串長度都小於64字節,二是元素數量小於512,不滿足任意一個都會使用linkedlist編碼。
    • 兩個條件的數字可以在Redis的配置文件中修改,list-max-ziplist-value選項和list-max-ziplist-entries選項。
    • 圖中StringObject就是上一節講到的字符串對象,字符串對象是唯一個在五大對象中作爲嵌套對象使用的。

 

4、哈希對象(hash)

哈希對象的編碼可以是ziplist和hashtable之一。

(1)ziplist編碼

ziplist編碼的哈希對象底層實現是壓縮列表,在ziplist編碼的哈希對象中,key-value鍵值對是以緊密相連的方式放入壓縮鏈表的,先把key放入表尾,再放入value;鍵值對總是向表尾添加。

(2)hashtable編碼

hashtable編碼的哈希對象底層實現是字典,哈希對象中的每個key-value對都使用一個字典鍵值對來保存。

字典鍵值對即是,字典的鍵和值都是字符串對象,字典的鍵保存key-value的key,字典的值保存key-value的value。

哈希對象編碼轉換:

    • 哈希對象使用ziplist編碼需要滿足兩個條件:一是所有鍵值對的鍵和值的字符串長度都小於64字節;二是鍵值對數量小於512個;不滿足任意一個都使用hashtable編碼。
    • 以上兩個條件可以在Reids配置文件中修改hash-max-ziplist-value選項和hash-max-ziplist-entries選項。

 

5、集合對象(set)

集合對象的編碼可以是intset和hashtable之一。

(1)intset編碼

intset編碼的集合對象底層實現是整數集合,所有元素都保存在整數集合中。

(2)hashtable編碼

hashtable編碼的集合對象底層實現是字典,字典的每個鍵都是一個字符串對象,保存一個集合元素,不同的是字典的值都是NULL;可以參考java中的hashset結構。

集合對象編碼轉換:

    • 集合對象使用intset編碼需要滿足兩個條件:一是所有元素都是整數值;二是元素個數小於等於512個;不滿足任意一條都將使用hashtable編碼。
    • 以上第二個條件可以在Redis配置文件中修改et-max-intset-entries選項。

 

 6、有序集合對象(zset)

有序集合的編碼可以是ziplist和skiplist之一。

(1)ziplist編碼 

ziplist編碼的有序集合對象底層實現是壓縮列表,其結構與哈希對象類似,不同的是兩個緊密相連的壓縮列表節點,第一個保存元素的成員,第二個保存元素的分值,而且分值小的靠近表頭,大的靠近表尾。

(2)skiplist編碼

skiplist編碼的有序集合對象底層實現是跳躍表和字典兩種;

每個跳躍表節點都保存一個集合元素,並按分值從小到大排列;節點的object屬性保存了元素的成員,score屬性保存分值;

字典的每個鍵值對保存一個集合元素,字典的鍵保存元素的成員,字典的值保存分值。

爲何skiplist編碼要同時使用跳躍表和字典實現?

    • 跳躍表優點是有序,但是查詢分值複雜度爲O(logn);字典查詢分值複雜度爲O(1) ,但是無序,所以結合連個結構的有點進行實現。
    • 雖然採用兩個結構但是集合的元素成員和分值是共享的,兩種結構通過指針指向同一地址,不會浪費內存。

有序集合編碼轉換:

  • 有序集合對象使用ziplist編碼需要滿足兩個條件:一是所有元素長度小於64字節;二是元素個數小於128個;不滿足任意一條件將使用skiplist編碼。
  • 以上兩個條件可以在Redis配置文件中修改zset-max-ziplist-entries選項和zset-max-ziplist-value選項。

 

7、總結

在Redis的五大數據對象中,string對象是唯一個可以被其他四種數據對象作爲內嵌對象的;

列表(list)、哈希(hash)、集合(set)、有序集合(zset)底層實現都用到了壓縮列表結構,並且使用壓縮列表結構的條件都是在元素個數比較少、字節長度較短的情況下;

四種數據對象使用壓縮列表的優點:

(1)節約內存,減少內存開銷,Redis是內存型數據庫,所以一定情況下減少內存開銷是非常有必要的。

(2)減少內存碎片,壓縮列表的內存塊是連續的,並分配內存的次數一次即可。

(3)壓縮列表的新增、刪除、查找操作的平均時間複雜度是O(N),在N再一定的範圍內,這個時間幾乎是可以忽略的,並且N的上限值是可以配置的。

(4)四種數據對象都有兩種編碼結構,靈活性增加。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章