最近，我想通過redis的源碼來學習redis。雖然平時工作中用得不多，不過對redis還是比較感興趣的，畢竟它的性能是不錯的。redis是一個開源的項目，我們可以通過源代碼去了解redis。我後面會通過自己的學習，寫一些關於redis源碼的帖子。帖子的主要內容是分析代碼設計，而並不會對源碼進行詳細解說。如果有不對的地方，請指正。源碼是reids 3.0.3版本。
intset
一、intset數據結構
intset，是用於存儲整數集合的數據結構。set的特點是無重複元素，元素可以無序。不過redis的intset是一個元素有序的數據結構。
先看intset的定義：
typedef struct intset {
uint32_t encoding; //整型編碼類型
uint32_t length; //intset大小，元素個數
int8_t contents[]; //數據存儲區
} intset;先結合intset的相關操作，再來談intset的特點。下面通過部分代碼來說明intset的行爲特點。
二、inetset提供的相關操作函數
intset對外暴露的函數：
intset *intsetNew(void); //創建一個空的intset intset *intsetAdd(intset *is, int64_t value, uint8_t *success); //插入元素 intset *intsetRemove(intset *is, int64_t value, int *success); //刪除元素 uint8_t intsetFind(intset *is, int64_t value); //查找元素 int64_t intsetRandom(intset *is); //隨機選取元素 uint8_t intsetGet(intset *is, uint32_t pos, int64_t *value); //獲取指定位置的元素 uint32_t intsetLen(intset *is); //獲取intset元素個數 size_t intsetBlobLen(intset *is); //獲取intset所用空間大小
1. 整型編碼
/* Note that these encodings are ordered, so:
* INTSET_ENC_INT16 < INTSET_ENC_INT32 < INTSET_ENC_INT64. */
#define INTSET_ENC_INT16 (sizeof(int16_t))
#define INTSET_ENC_INT32 (sizeof(int32_t))
#define INTSET_ENC_INT64 (sizeof(int64_t))
/* Return the required encoding for the provided value. */
static uint8_t _intsetValueEncoding(int64_t v) {
if (v < INT32_MIN || v > INT32_MAX)
return INTSET_ENC_INT64;
else if (v < INT16_MIN || v > INT16_MAX)
return INTSET_ENC_INT32;
else
return INTSET_ENC_INT16;
}支持int16_t, int32_t, int64_t 四種類型的存儲。每種類型的值爲其空間大小，這樣定義可以滿足 INTSET_ENC_INT16 < INTSET_ENC_INT32 < INTSET_ENC_INT64，後面類型的值域包含前面的值域。
注：_intsetValueEncoding 函數聲明爲 static，是文件內部的函數，外部不可見。
2. 獲取指定位置的元素
/* Return the value at pos, given an encoding. */
static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
int64_t v64;
int32_t v32;
int16_t v16;
//按照傳入的編碼類型去解析數據元素的數組
//intset是按小端進行存儲的，所以還有可能對獲取的元素進行大端轉小端的轉換
if (enc == INTSET_ENC_INT64) {
memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64));
memrev64ifbe(&v64);
return v64;
} else if (enc == INTSET_ENC_INT32) {
memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
memrev32ifbe(&v32);
return v32;
} else {
memcpy(&v16,((int16_t*)is->contents)+pos,sizeof(v16));
memrev16ifbe(&v16);
return v16;
}
}
/* Return the value at pos, using the configured encoding. */
static int64_t _intsetGet(intset *is, int pos) {
//把intset記錄的編碼類型傳入函數
return _intsetGetEncoded(is,pos,intrev32ifbe(is->encoding));
}雖然intset內部對整數進行編碼存儲，對外暴露的都是int64_t類型。
內部通過對數據進行編碼存儲，有可能節省存儲空間。
因爲intset是小端存儲的，所以讀取或寫入數據時，都需要進行大小端轉換。但目前我還沒有明白這樣做的必要，因爲覺得intset只是內部的數據結構，可以不用硬性要求用大小端存儲。
3. 插入元素（可能引起intset重組）
/* Insert an integer in the intset */
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
uint8_t valenc = _intsetValueEncoding(value);
uint32_t pos;
if (success) *success = 1;
/* Upgrade encoding if necessary. If we need to upgrade, we know that
* this value should be either appended (if > 0) or prepended (if < 0),
* because it lies outside the range of existing values. */
if (valenc > intrev32ifbe(is->encoding)) {
//如果value的編碼類型比當前intset的編碼類型要大，元素一定不在intset中，
//需要插入，同時需要擴展intset的編碼類型。升級intset的編碼類型時，
//動態申請更大的空間以足夠存儲擴展後的length+1個元素，
//具體參見 intsetUpgradeAndAdd實現
/* This always succeeds, so we don't need to curry *success. */
return intsetUpgradeAndAdd(is,value);
} else {
/* Abort if the value is already present in the set.
* This call will populate "pos" with the right position to insert
* the value when it cannot be found. */
//如果元素已經存在，不插入
if (intsetSearch(is,value,&pos)) {
if (success) *success = 0;
return is;
}
//否則插入到正確的位置，正確的位置就是插入後仍使數組保持有序的位置。
is = intsetResize(is,intrev32ifbe(is->length)+1);
//需要移動後面的元素，以騰出空間
if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
}
_intsetSet(is,pos,value);
is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
return is;
}需要注意的是，如果插入的數據的編碼類型比當前intset的編碼類型要大，爲了能存儲新元素，intset需要進行類型擴展。擴展類型時會把intset中原有的所有元素都擴展成新的類型，這樣就需要重組intset，當原來元素個數比較多重組會稍費時。不過intset最多會進行兩次重組。因爲有可能進行重組，這也是intset不適合存儲大量元素的原因之一。redis中默認配置intset元素個數達512時，就會採用另外的數據結構來存儲。
4. 查找元素
/* Search for the position of "value". Return 1 when the value was found and
* sets "pos" to the position of the value within the intset. Return 0 when
* the value is not present in the intset and sets "pos" to the position
* where "value" can be inserted. */
static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
int64_t cur = -1;
/* The value can never be found when the set is empty */
if (intrev32ifbe(is->length) == 0) {
if (pos) *pos = 0;
return 0;
} else {
/* Check for the case where we know we cannot find the value,
* but do know the insert position. */
if (value > _intsetGet(is,intrev32ifbe(is->length)-1)) {
if (pos) *pos = intrev32ifbe(is->length);
return 0;
} else if (value < _intsetGet(is,0)) {
if (pos) *pos = 0;
return 0;
}
}
//二分查找
while(max >= min) {
mid = ((unsigned int)min + (unsigned int)max) >> 1;
cur = _intsetGet(is,mid);
if (value > cur) {
min = mid+1;
} else if (value < cur) {
max = mid-1;
} else {
break;
}
}
if (value == cur) {
if (pos) *pos = mid;
return 1;
} else {
if (pos) *pos = min;
return 0;
}
}
/* Determine whether a value belongs to this set */
uint8_t intsetFind(intset *is, int64_t value) {
uint8_t valenc = _intsetValueEncoding(value);
//如果value的編碼類型大於intset的編碼類型，則value一定不存在於intset中
return valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,NULL);
}查找的時間複雜度是O(logN)的，對於N比較小時是可以接受的，但當N比較大時，如 1000000時，比較次數就可能達到20次了。
5. 刪除元素（不會引起intset重組）
/* Delete integer from intset */
intset *intsetRemove(intset *is, int64_t value, int *success) {
uint8_t valenc = _intsetValueEncoding(value);
uint32_t pos;
if (success) *success = 0;
if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {
uint32_t len = intrev32ifbe(is->length);
/* We know we can delete */
if (success) *success = 1;
/* Overwrite value with tail and update length */
if (pos < (len-1)) intsetMoveTail(is,pos+1,pos);
is = intsetResize(is,len-1); //動態調整空間
is->length = intrev32ifbe(len-1);
}
return is;
}intset在刪除元素時是不會進行元素的數據類型檢查，以降級intset的整型類型，intset也不另外提供這樣的能力。原因我想大致有：a.需要掃描所有元素以確定目前是否需要進行編碼類型降級。b.降級編碼類型會引起重組。c.降級後可能需要再進行升級，如果不幸發生頻繁升級降級重組，性能不穩定。
結合插入刪除函數，都使用了intsetResize，裏面中使用了zrealloc來進行內存空間的增減。在增大空間時要麼重新分配一塊新的空間，要麼在原有的空間的最後進行擴展。減小空間時只需在原有的空間最後進行減小即可。這樣的方式不太容易產生內存碎片。
三、特點（優缺點需要進行比較才能顯出來，由於這裏沒有比較，優缺點不明顯，所以這裏只列舉了特點）：
1.有序數組，存儲元素緊密，空間利用率高，而且不容易因頻繁地插入刪除而產生內存碎片。
2.支持整型編碼，intset中所有數據元素的存儲類型是一致的。新插入數據時，如果數據的類型大於當前intset的數據類型，則可擴大存儲的整型類型（但intset不提供縮小編碼類型的能力）。在一定程序上可節省空間，但所有的存取都需要考慮類型，增加代碼的複雜度。
3.有長度字段可記錄元素個數，取元素個數操作爲常量。
4.有序數組，查找元素O(logN)
5.插入元素時，可能需要移動至多N個元素，也有可能使編碼類型升級，重組intset。由於這兩個特點，intset並不適合於頻繁插入和存儲大量元素。
6.刪除元素時，可能需要移動至多N-1個元素。
7.以小端形式存儲數據，包括encoding，length和數據元素。