Redis源碼分析之SDS

Redis源碼分析之SDS

redis使用的sds源碼，由另一個git庫管理，獨立於redis之外，可以獨立看待：https://github.com/antirez/sds ，其好處，再其主頁上說的很清楚了，本文是用來分析sds的內存結構，知道內存結構，也就能很好的理解sds的一些操作的原理。

sds被用來描述Redis中的“字符串”，也是redis中最爲簡單的數據結構之一。本文就來分析 sds的內存佈局來了解redis如何管理字符串。

首先，sds 被定義爲 typedef char *sds; 即，只是一個指針，具體類型是char *，顯然，我們不能一眼看出其內存如何佈局的（要能看出這篇文章還有何意義）。

接着，我們通過 sdsnewlen （創建sds）來看 sds的內存佈局

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh;
    sds s;
    char type = sdsReqType(initlen);
    /* Empty strings are usually created in order to append. Use type 8
     * since type 5 is not good at this. */
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    int hdrlen = sdsHdrSize(type);
    unsigned char *fp; /* flags pointer. */

    sh = s_malloc(hdrlen+initlen+1);
    ......

顯然，整個 sds申請的內存是 hdrlen+initlen+1，其中一部分是 initlen，即入參指定的長度，剩下一部分hdrlen，實際上是 控制數據，即保存用來描述這塊sds附加信息。我們來看 hdrlen的來源：

char type = sdsReqType(initlen);
int hdrlen = sdsHdrSize(type);

sdsReqType是根據不同的initlen來決定的，因爲 initlen通常用來描述存儲的字符串長度，而不同的字符串，需要用來其長度的bit不同，例如，一個小於等於255字節的字符串，使用unit8_t 就能來描述其長度，而 一個大於256小於等於65535的字符串，需要 unit16_t來描述其長度，如果用 unit16_t來描述一個小於大於255字符串，那麼久浪費了unit16_t的高8bit。所以redis根據不同長度來申請不同控制信息的頭長度 hdrlen。換句話說，sds的內存格式不是固定的，而是根據其存儲的不同長度字符串來決定，來達到最大化的內存使用。

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

接下來看看這塊內存怎麼使用的

s = (char*)sh+hdrlen;/*偏過 hdrlen*/
fp = ((unsigned char*)s)-1;/*fp指向 sdshdrxx的 flags*/

    switch(type) {
        case SDS_TYPE_5: {
            *fp = type | (initlen << SDS_TYPE_BITS);
            break;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_16: {
            SDS_HDR_VAR(16,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
      ......
    }

我們以 SDS_TYPE_16 爲例，上面的代碼，就是fp上賦值爲type，SDS_HDR_VAR是一個宏，展開後，上面代碼爲:

struct sdshdr16 *sh = s - sizeof(struct sdshdr16);
sh->len = initlen;
sh->alloc = initlen;

*fp = type;的操作和 sh->flags - type 等價，但是之所以這麼獨立處理，是因爲了兼容 SDS_TYPE_5 的數據結構。

#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));

SDS_HDR_VAR的展開，對於 5,8,16...，都有sdshdr5 sdshdr8 sdshdr16 ...數據結構對於，但是除了5，其餘sizeof(sdshdr8) sizeof(sdshdr18) ...大小恰好也是自身數字對於的大小，所以對於 8,16...，SDS_HDR_VAR能恰好偏移把自身的長度偏移過去，指向頭部的首個字節。如果SDS_HDR_VAR(5, s)，因爲sdshdr5自身就1字節，會多偏移4字節。實際那是無奈之舉。

    if (initlen && init)
        memcpy(s, init, initlen);
    s[initlen] = '\0';
    return s;

拷貝字符串到結尾。至此，sds創建完成。核心知識點就是，它返回的不是sds的首地址sh，而是字符串的首地址s

return s;

作爲一塊連續的內存，sds可以被分割爲如下3塊（對應hdrlen+initlen+1）

   sdshdrx      string  '\0'
sh^------    s^--------  --
sh^------    s^--------  --

這樣，如何對sds的操作入參，均是 s，s的前一個字節是sdshdrxx的flags，通過flags，就能推算出，sdshdrxx具體是5還是8還是…。