當你對 redis 說你中意的女孩是 Mia

作者:京東科技 周新智

一、Redis

衆所周知,Redis = Remote Dictionary Server,即遠程字典服務。

是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫,並提供多種語言的API。

二、當你對 redis 說你中意的女孩是 Mia 時

1、set myLove Mia

redis 會將 key:myLove value:Mia

包裝成一個 dictEntry 對象、一個 redisObject 對象,如下圖所示:

dictEntry:衆所周知,Redis是Key-Value數據庫,因此對每個鍵值對都會有一個dictEntry,裏面存儲了指向Key和Value的指針;next指向下一個dictEntry,與本Key-Value無關。

Key:圖中右上角可見,Key("myLove")並不是直接以字符串存儲,而是存儲在SDS結構中。

redisObject:Value("Mia")既不是直接以字符串存儲,也不是像Key一樣直接存儲在SDS中,而是存儲在redisObject中。實際上,不論Value是5種類型的哪一種,都是通過redisObject來存儲的;而redisObject中的type字段指明瞭Value對象的類型,ptr字段則指向對象所在的地址。不過可以看出,字符串對象雖然經過了redisObject的包裝,但仍然需要通過SDS存儲。

1.1、對 myLove 進行對象封裝

1.1.1、dictEntry

redis內部整體的存儲結構是一個大的hashmap,內部是數組實現的hash,key衝突通過掛鏈表去實現,每個dictEntry爲一個key/value對象,value爲定義的redisObject。

結構圖如下:

dictEntry是存儲key->value的地方,再讓我們看一下dictEntry結構體

/*
 * 字典
 */
typedef struct dictEntry {
    // 鍵
    void *key;
    // 值
    union {
        // 指向具體redisObject
        void *val;
        // 
        uint64_t u64;
        int64_t s64;
    } v;
    // 指向下個哈希表節點,形成鏈表
    struct dictEntry *next;
} dictEntry;

1.1.2、對象封裝 redisObject

我們接着再往下看redisObject究竟是什麼結構的

/*
 * Redis 對象
 */
typedef struct redisObject {
    // 類型 4bits
    unsigned type:4;
    // 編碼方式 4bits
    unsigned encoding:4;
    // LRU 時間(相對於 server.lruclock) 24bits
    unsigned lru:22;
    // 引用計數 Redis裏面的數據可以通過引用計數進行共享 32bits
    int refcount;
    // 指向對象的值 64-bit
    void *ptr;
} robj;

*ptr指向具體的數據結構的地址;type表示該對象的類型,即String,List,Hash,Set,Zset中的一個,但爲了提高存儲效率與程序執行效率,每種對象的底層數據結構實現都可能不止一種,encoding 表示對象底層所使用的編碼。

redis對象底層的八種數據結構:

 REDIS_ENCODING_INT(long 類型的整數)
 REDIS_ENCODING_EMBSTR embstr (編碼的簡單動態字符串)
 REDIS_ENCODING_RAW (簡單動態字符串)
 REDIS_ENCODING_HT (字典)
 REDIS_ENCODING_LINKEDLIST (雙端鏈表)
 REDIS_ENCODING_ZIPLIST (壓縮列表)
 REDIS_ENCODING_INTSET (整數集合)
 REDIS_ENCODING_SKIPLIST (跳躍表和字典)

查看 redisObject 詳細信息 :

# 查看 key對應value的 redisObject 類型
type key
    type myLove
    
# 查看 key對應value的redisObject 詳細信息
debug object key
     debug object myLove

value 爲 string 、int 類型是 redisObject 中的 type、encoding 不同表現形式

Value 爲 string 類型時:

Value 爲 int類型時:

以上兩種不同 value 類型,type 相同,encoding 不同

1.2、對 myLove 進行持久化

1.2.1、rdb 文件寫入

1.2.2、aof 緩存寫入 文件保存

默認情況下 沒有開啓 AOF ( append only file)

開啓 AOF 持久化後,每執行一條會更改 redis 數據的命令,redis就會將寫入、修改、刪除命令寫入到硬盤中的 AOF 文件(當然並不是立即寫入文件,而是立即寫入aof緩存中,再根據aof配置的數據持久化條件進行寫入),這一過程顯然會降低 redis 的性能,但大部分情況下這個影響是能夠接受的,

另外使用快的硬盤可以提高 AOF 的性能。

配置 redis.conf

# 可以通過修改redis.conf配置文件中的appendonly參數開啓 
    appendonly yes
# AOF文件的保存位置和RDB文件的位置相同,都是通過dir參數設置的。 dir ./
# 默認的文件名是appendonly.aof,可以通過appendfilename參數修改 appendfilename appendonly.aof

AOF文件中存儲的是redis的命令 原理

Redis 將所有對數據庫進行過寫入的命令(及其參數)記錄到 AOF 文件, 以此達到記錄數據庫狀態的 目的, 爲了方便起見, 我們稱呼這種記錄過程爲同步。

同步命令到 AOF 文件的整個過程可以分爲三個階段:

命令傳播:Redis 將執行完的命令、命令的參數、命令的參數個數等信息發送到 AOF 程序中。 緩存追 加:AOF 程序根據接收到的命令數據,將命令轉換爲網絡通訊協議 RESP 的格式,然後將協議內容追加到服務器的 AOF 緩存中。 文件寫入和保存: AOF 緩存中的內容被寫入到 AOF 文件末尾,如果設定的 AOF 保存條件被滿足的話, fsync 函數或者 fdatasync 函數會被調用,將寫入的內容真正地保存到磁盤中。

命令傳播:

當一個 Redis 客戶端需要執行命令時, 它通過網絡連接, 將協議文本發送給 Redis 服務器。服務器在 接到客戶端的請求之後, 它會根據協議文本的內容, 選擇適當的命令函數, 並將各個參數從字符串文 本轉換爲 Redis 字符串對象( StringObject )。每當命令函數成功執行之後, 命令參數都會被傳播到 AOF 程序。

緩存追加:

當命令被傳播到 AOF 程序之後, 程序會根據命令以及命令的參數, 將命令從字符串對象轉換回原來的 協議文本。協議文本生成之後, 它會被追加到 redis.h/redisServer 結構的 aof_buf 末尾。

redisServer 結構維持着 Redis 服務器的狀態, aof_buf 域則保存着所有等待寫入到 AOF 文件的協 議文本。

RESP 協議:

Redis客戶端使用RESP(Redis的序列化協議)協議與Redis的服務器端進行通信。 雖然該協議是專門爲 Redis設計的,但是該協議也可以用於其他 客戶端-服務器 (Client-Server)軟件項目。

可以通過特殊符號來區分出數據的類型:

單行回覆:以+號開頭。

錯誤回覆:以-號開頭。

整數回覆:以:號開頭。

批量回復:以$號開頭。

多條批量回復:以*號開頭。

1、間隔符號,在Linux下是\r\n,在Windows下是\n

2、簡單字符串 Simple Strings, 以 "+"加號 開頭

3、錯誤 Errors, 以"-"減號 開頭

4、整數型 Integer, 以 ":" 冒號開頭

5、大字符串類型 Bulk Strings, 以 "$"美元符號開頭,長度限制512M 6、數組類型 Arrays,以 "*"星號開頭 用SET命令來舉例說明RESP協議的格式。

實際發送的請求數據:

redis> SET myLove "Mia"
"OK"
*3\r\n$3\r\nSET\r\n$6\r\nmyLove\r\n$3\r\nMia\r\n
*3
$3
SET
$5
mykey
$5
Hello

實際收到的響應數據:

+OK\r\n

文件寫入和保存:

每當服務器常規任務函數被執行、 或者事件處理器被執行時, aof.c/flushAppendOnlyFile 函數都會被 調用, 這個函數執行以下兩個工作:

WRITE:根據條件,將 aof_buf 中的緩存寫入到 AOF 文件。 SAVE:根據條件,調用 fsync 或 fdatasync 函數,將 AOF 文件保存到磁盤中。

2、給你的愛一個期限 expire myLove 999999999

從圖可知,在redis的數據庫中,redisDb結構中的expires字典中保存了數據庫中所有鍵的過期時間,所以叫過期字典。

過期字典的key是一個指針,指向鍵空間的某個鍵對象(就是數據庫鍵)

過期字典的value是一個long類型的整數,這個整數保存了鍵所指向的數據庫鍵的過期時間,一個毫秒精度的UNIX時間戳

過期鍵判定

通過過期字典,我們可以得到一個key是否過期:

判斷key是否存在於過期字典中

通過過期字典拿到key的過期時間,判斷當前UNIX時間戳是否大於key時間

過期key如何刪除

惰性刪除策略

過期鍵的惰性刪除策略由db.c/expireIfNeeded函數實現,所有讀寫數據庫的Redis命令在執行之前都會調用expireIfNeeded函數對輸入鍵進行檢查:

如果輸入鍵已經過期,那麼expireIfNeeded函數將輸入鍵從數據庫中刪除。

如果輸入鍵未過期,那麼expireIfNeeded函數不做動作。

expireIfNeeded函數就像一個過濾器,它可以在命令真正執行之前,過濾掉過期的輸入鍵,從而避免命令接觸到過期鍵。

另外,因爲每個被訪問的鍵都可能因爲過期而被expireIfNeeded函數刪除,所以每個命令的實現函數都必須能同時處理鍵存在以及鍵不存在這兩種情況:

當鍵存在時,命令按照鍵存在的情況執行。

當鍵不存在或者鍵因爲過期而被expireIfNeeded函數刪除時,命令按照鍵不存在的情況執行。

定期刪除策略的實現

過期鍵的定期刪除策略由redis.c/activeExpireCycle函數實現,每當Redis的服務器週期性操作redis.c/serverCron函數執行時,activeExpireCycle函數就會被調用,它在規定的時間內,分多次遍歷服務器中的各個數據庫,從數據庫的expires字典中隨機檢查一部分鍵的過期時間,並刪除其中的過期鍵。

3、del myLove

不好意思,哥們的愛無法刪除!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章