請持續關注我的個人博客:https://zcheng.ren
深受侯捷老師的《STL源碼剖析》一書的影響,在該書中開篇就對STL的空間配置器進行了一個詳盡的介紹。以應用的角度而言,空間配置器是最不需要介紹的,它總是隱藏在一切組件的背後;可是,就源碼分析而言,空間配置是最爲關鍵的,也是分析源碼之路的第一步!Redis在內存分配方面,僅僅是對系統的malloc/free做了一層簡單的封裝,然後加上了異常處理功能和內存統計功能。其實現主要在zmalloc.c和zmalloc.h文件中。
功能函數總覽
在zmalloc.h中,定義了Redis內存分配的主要功能函數,這些函數基本上實現了Redis內存申請,釋放和統計等功能,其函數聲明如下:
void *zmalloc(size_t size); // 調用zmalloc函數,申請size大小的空間
void *zcalloc(size_t size); // 調用系統函數calloc申請內存空間
void *zrealloc(void *ptr, size_t size); // 原內存重新調整爲size空間的大小
void zfree(void *ptr); // 調用zfree釋放內存空間
char *zstrdup(const char *s); // 字符串複製方法
size_t zmalloc_used_memory(void); // 獲取當前以及佔用的內存空間大小
void zmalloc_enable_thread_safeness(void); // 是否設置線程安全模式
void zmalloc_set_oom_handler(void (*oom_handler)(size_t)); // 可自定義設置內存溢出的處理方法
float zmalloc_get_fragmentation_ratio(size_t rss); // 獲取所給內存和已使用內存的大小之比
size_t zmalloc_get_rss(void); // 獲取RSS信息(Resident Set Size)
size_t zmalloc_get_private_dirty(void); // 獲得實際內存大小
size_t zmalloc_get_smap_bytes_by_field(char *field); // 獲取/proc/self/smaps字段的字節數
size_t zmalloc_get_memory_size(void); // 獲取物理內存大小
void zlibc_free(void *ptr); // 原始系統free釋放方法
另外,我們還要注意到zmalloc.c中的幾個變量和概念,
static size_t used_memory = 0; // 已使用內存的大小
static int zmalloc_thread_safe = 0; // 線程安全模式狀態
pthread_mutex_t used_memory_mutex = PTHREAD_MUTEX_INITIALIZER; // 爲此服務器
接下來,我分幾個章節來一一剖析zmalloc.c中的函數實現。
內存管理函數
內存申請函數zmalloc
Redis的內存申請函數zmalloc本質就是調用了系統的malloc函數,然後對其進行了適當的封裝,加上了異常處理函數和內存統計。其源代碼如下:
void *zmalloc(size_t size) {
// 調用malloc函數進行內存申請
// 多申請的PREFIX_SIZE大小的內存用於記錄該段內存的大小
void *ptr = malloc(size+PREFIX_SIZE);
// 如果ptr爲NULL,則調用異常處理函數
if (!ptr) zmalloc_oom_handler(size);
// 以下是內存統計
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE); // 更新used_memory的值
return (char*)ptr+PREFIX_SIZE;
}
上述代碼中的PREFIX_SIZE解釋:由於malloc函數申請的內存不會標識內存塊的大小,而我們需要統計內存大小,所以需要在多申請PREFIX_SIZE大小的內存,用於存放該大小。
其中,異常處理函數如下:
static void zmalloc_default_oom(size_t size) {
fprintf(stderr, "zmalloc: Out of memory trying to allocate %zu bytes\n", // 打印輸出日誌
size);
fflush(stderr);
abort(); // 中斷退出
}
更新used_memory值得函數以宏定義給出,其代碼和註釋如下:
#define update_zmalloc_stat_alloc(__n) do { \
size_t _n = (__n); \
if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \ // 將_n調整爲sizeof(long)的整數倍
if (zmalloc_thread_safe) { \ // 如果啓用了線程安全模式
update_zmalloc_stat_add(_n); \ // 調用原子操作加(+)來更新已用內存
} else { \
used_memory += _n; \ // 不考慮線程安全,則直接更新已用內存
} \
} while(0)
在上述函數中,又用到了原子加操作,其代碼和註釋如下:
// __atomic_add_fetch是C++11特性中提供的原子加操作
#if defined(__ATOMIC_RELAXED)
#define update_zmalloc_stat_add(__n) __atomic_add_fetch(&used_memory, (__n), __ATOMIC_RELAXED)
// 如果不支持C++11,則調用GCC提供的原子加操作
#elif defined(HAVE_ATOMIC)
#define update_zmalloc_stat_add(__n) __sync_add_and_fetch(&used_memory, (__n))
// 如果上述都沒有,則只能採用加鎖操作
#else
#define update_zmalloc_stat_add(__n) do { \
pthread_mutex_lock(&used_memory_mutex); \
used_memory += (__n); \
pthread_mutex_unlock(&used_memory_mutex); \
} while(0)
內存申請函數zcalloc
與malloc一樣,zcalloc調用的是系統給的calloc()來申請內存。
void *zcalloc(size_t size) {
void *ptr = calloc(1, size+PREFIX_SIZE);
// 異常處理函數
if (!ptr) zmalloc_oom_handler(size);
// 內存統計函數
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
}
內存調整函數zrecalloc
Redis定義的zrecalloc用於調整已申請內存的大小,其本質也是直接調用系統函數recalloc()
void *zrealloc(void *ptr, size_t size) {
size_t oldsize;
void *newptr;
// 爲空直接退出
if (ptr == NULL) return zmalloc(size);
// 找到內存真正的起始位置
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr);
// 調用recalloc函數
newptr = realloc(realptr,size+PREFIX_SIZE);
if (!newptr) zmalloc_oom_handler(size);
// 內存統計
*((size_t*)newptr) = size;
update_zmalloc_stat_free(oldsize); // 先減去原來的已使用內存大小
update_zmalloc_stat_alloc(size); // 在加上調整後的大小
return (char*)newptr+PREFIX_SIZE;
}
內存釋放函數
與內存申請函數調用malloc一樣,內存釋放也是調用系統的free()函數來實現內存釋放
void zfree(void *ptr) {
if (ptr == NULL) return; // 爲空直接返回
realptr = (char*)ptr-PREFIX_SIZE; // 找到該段內存真正的起始位置
oldsize = *((size_t*)realptr);
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);// 更新use_memory函數
free(realptr); // 調用系統的內存釋放函數
}
其中,內存狀態統計函數的代碼實現如下:
#define update_zmalloc_stat_free(__n) do { \
size_t _n = (__n); \
if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \ // 將內存大小調整爲sizeof(long)的整數倍
if (zmalloc_thread_safe) { \ // 如果開啓了線程安全模式
update_zmalloc_stat_sub(_n); \ // 更新use_memory值(與上述的update_zmalloc_stat_add這裏就不贅述了)
} else { \
used_memory -= _n; \ // 沒有線程安全則直接減
} \
} while(0)
講到這裏,Redis基本的內存處理函數已經分析完畢了。另外,Redis還提供了一下輔助函數,我這裏簡要的分析一下。
輔助函數
字符串複製方法
暫時不清楚這個函數爲什麼要放在這裏。
char *zstrdup(const char *s) {
size_t l = strlen(s)+1;
char *p = zmalloc(l); // 開闢一段新內存
memcpy(p,s,l); // 調用字符串複製函數
return p;
}
設置異常處理函數
Redis允許自行設定異常處理函數,也提供瞭如下的函數。
void zmalloc_set_oom_handler(void (*oom_handler)(size_t)) {
zmalloc_oom_handler = oom_handler; // 綁定自定義的異常處理函數
}
開啓線程安全
void zmalloc_enable_thread_safeness(void) {
zmalloc_thread_safe = 1; // 此參數用來控制是否開啓線程安全
}
獲取已使用內存
size_t zmalloc_used_memory(void) {
size_t um;
// 如果開啓了線程安全模式
if (zmalloc_thread_safe) {
#if defined(__ATOMIC_RELAXED) || defined(HAVE_ATOMIC)
um = update_zmalloc_stat_add(0);
#else
pthread_mutex_lock(&used_memory_mutex);
um = used_memory;
pthread_mutex_unlock(&used_memory_mutex);
#endif
}
else {
um = used_memory; // 未開啓則直接使用used_memory
}
return um;
}
到此,Redis的內存管理函數已分析完。
end…