LSM-Tree的基本思想,再記錄下讀文章的幾點感受。
LSM思想非常樸素,就是將對數據的更改hold在內存中,達到指定的threadhold後將該批更改批量寫入到磁盤,在批量寫入的過程中跟已經存在的數據做rolling merge。
拿update舉個例子:
比如有1000萬行數據,現在希望update table.a set addr='new addr' where pk = '833',
如果使用B-Tree類似的結構操作,就需要:
1. 找到該條記錄所在的page,
2. load page到內存(如果恰好該page已經在內存中,則省略該步)
3. 如果該page之前被修改過,則先flush page to disk
4. 修改數據
上面的動作平均來說有兩次disk I/O,
如果採用LSM-Tree類似結構,則:
1. 將需要修改的數據直接寫入內存
可見這裏是沒有disk I/O的。
當然,我們要說,這樣的話讀的時候就費勁了,需要merge disk上的數據和memory中的修改數據,這顯然降低了讀的性能。
確實如此,所以作者其中有個假設,就是寫入遠大於讀取的時候,LSM是個很好的選擇。我覺得更準確的描述應該是”優化了寫,沒有顯著降低讀“,因爲大部分時候我們都是要求讀最新的數據,而最新的數據很可能還在內存裏面,即使不在內存裏面,只要不是那些更新特別頻繁的數據,其I/O次數也是有限的。
所以LSM-Tree比較適合的應用場景是:insert數據量大,讀數據量和update數據量不高且讀一般針對最新數據。
文章讀下來有以下幾點感受:
1. 基本思想早就有了,作者給出了較好的表現形式。
2. Merge是page/block級別的,而不是BigTable中的文件級別的。這一點主要原因可能是BigTable在分佈式場景下做block級別很困那,而且GFS也不支持修改。
3. 其提出的比較標準比較有趣,將磁盤容量,轉速等結合起來給出一個以美元爲單位的cost標準,然後跟B-Tree結構的實現做了比較,結果當然是大大勝出。但是這裏我覺得作者有些比較是不合理的,比如LSM使用log而B-Tree沒有使用,這顯然對B-Tree不公,其實B-Tree如果使用log,寫入性能應該不比LSM差,順序讀取可能差一些。
4. 在Multi components 中,提出Ci/Ci+1的比例達到20的時候是最優的,這個數字意義不大,但是其中的分析方法對於Merge策略的選擇是個啓發。
http://blog.csdn.net/heiyeshuwu/article/details/8445396
Skip List是一種隨機化的數據結構,基於並聯的鏈表,其效率可比擬於二叉查找樹(對於大多數操作需要O(log n)平均時間)。基本上,跳躍列表是對有序的鏈表增加上附加的前進鏈接,增加是以隨機化的方式進行的,所以在列表中的查找可以快速的跳過部分列表(因此得名)。所有操作都以對數隨機化的時間進行。Skip List可以很好解決有序鏈表查找特定值的困難。
§2 Skip List 定義以及構造步驟
Skip List定義
像下面這樣(初中物理經常這樣用,這裏我也盜用下):
一個跳錶,應該具有以下特徵:
- 一個跳錶應該有幾個層(level)組成;
- 跳錶的第一層包含所有的元素;
- 每一層都是一個有序的鏈表;
- 如果元素x出現在第i層,則所有比i小的層都包含x;
- 第i層的元素通過一個down指針指向下一層擁有相同值的元素;
- 在每一層中,-1和1兩個元素都出現(分別表示INT_MIN和INT_MAX);
- Top指針指向最高層的第一個元素。
構建有序鏈表
Skip List構造步驟:
1、給定一個有序的鏈表。
2、選擇連表中最大和最小的元素,然後從其他元素中按照一定算法(隨機)隨即選出一些元素,將這些元素組成有序鏈表。這個新的鏈表稱爲一層,原鏈表稱爲其下一層。
3、爲剛選出的每個元素添加一個指針域,這個指針指向下一層中值同自己相等的元素。Top指針指向該層首元素
4、重複2、3步,直到不再能選擇出除最大最小元素以外的元素。
§3 Skip List 完整實現
下面來定義跳錶的數據結構(基於C)
首先是每個節點的數據結構
- typedef struct nodeStructure
- {
- int key;
- int value;
- struct nodeStructure *forward[1];
- }nodeStructure;
跳錶的結構如下
- typedef struct skiplist
- {
- int level;
- nodeStructure *header;
- }skiplist;
下面是跳錶的基本操作
首先是節點的創建
- nodeStructure* createNode(int level,int key,int value)
- {
- nodeStructure *ns=(nodeStructure *)malloc(sizeof(nodeStructure)+level*sizeof(nodeStructure*));
- ns->key=key;
- ns->value=value;
- return ns;
- }
列表的初始化
列表的初始化需要初始化頭部,並使頭部每層(根據事先定義的MAX_LEVEL)指向末尾(NULL)。
- skiplist* createSkiplist()
- {
- skiplist *sl=(skiplist *)malloc(sizeof(skiplist));
- sl->level=0;
- sl->header=createNode(MAX_LEVEL-1,0,0);
- for(int i=0;i<MAX_LEVEL;i++)
- {
- sl->header->forward[i]=NULL;
- }
- return sl;
- }
插入元素
插入元素的時候元素所佔有的層數完全是隨機的,通過隨機算法產生
- int randomLevel()
- {
- int k=1;
- while (rand()%2)
- k++;
- k=(k<MAX_LEVEL)?k:MAX_LEVEL;
- return k;
- }
跳錶的插入需要三個步驟,第一步需要查找到在每層待插入位置,然後需要隨機產生一個層數,最後就是從高層至下插入,插入時算法和普通鏈表的插入完全相同。
- bool insert(skiplist *sl,int key,int value)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p, *q = NULL;
- p=sl->header;
- int k=sl->level;
- //從最高層往下查找需要插入的位置
- //填充update
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- //不能插入相同的key
- if(q&&q->key==key)
- {
- return false;
- }
- //產生一個隨機層數K
- //新建一個待插入節點q
- //一層一層插入
- k=randomLevel();
- //更新跳錶的level
- if(k>(sl->level))
- {
- for(int i=sl->level; i < k; i++){
- update[i] = sl->header;
- }
- sl->level=k;
- }
- q=createNode(k,key,value);
- //逐層更新節點的指針,和普通列表插入一樣
- for(int i=0;i<k;i++)
- {
- q->forward[i]=update[i]->forward[i];
- update[i]->forward[i]=q;
- }
- return true;
- }
紅色區域爲輔助數組update的內容
刪除節點
刪除節點操作和插入差不多,找到每層需要刪除的位置,刪除時和操作普通鏈表完全一樣。不過需要注意的是,如果該節點的level是最大的,則需要更新跳錶的level。
- bool deleteSL(skiplist *sl,int key)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- if(q&&q->key==key)
- {
- //逐層刪除,和普通列表刪除一樣
- for(int i=0; i<sl->level; i++){
- if(update[i]->forward[i]==q){
- update[i]->forward[i]=q->forward[i];
- }
- }
- free(q);
- //如果刪除的是最大層的節點,那麼需要重新維護跳錶的
- for(int i=sl->level-1; i >= 0; i--){
- if(sl->header->forward[i]==NULL){
- sl->level--;
- }
- }
- return true;
- }
- else
- return false;
- }
查找
跳錶的優點就是查找比普通鏈表快,當然查找操作已經包含在在插入和刪除過程,實現起來比較簡單。
搜索key=14的示意圖
- int search(skiplist *sl,int key)
- {
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<=key))
- {
- if(q->key==key)
- {
- return q->value;
- }
- p=q;
- }
- }
- return NULL;
- }
完整代碼如下:
- #include<stdio.h>
- #include<stdlib.h>
- #define MAX_LEVEL 10 //最大層數
- //節點
- typedef struct nodeStructure
- {
- int key;
- int value;
- struct nodeStructure *forward[1];
- }nodeStructure;
- //跳錶
- typedef struct skiplist
- {
- int level;
- nodeStructure *header;
- }skiplist;
- //創建節點
- nodeStructure* createNode(int level,int key,int value)
- {
- nodeStructure *ns=(nodeStructure *)malloc(sizeof(nodeStructure)+level*sizeof(nodeStructure*));
- ns->key=key;
- ns->value=value;
- return ns;
- }
- //初始化跳錶
- skiplist* createSkiplist()
- {
- skiplist *sl=(skiplist *)malloc(sizeof(skiplist));
- sl->level=0;
- sl->header=createNode(MAX_LEVEL-1,0,0);
- for(int i=0;i<MAX_LEVEL;i++)
- {
- sl->header->forward[i]=NULL;
- }
- return sl;
- }
- //隨機產生層數
- int randomLevel()
- {
- int k=1;
- while (rand()%2)
- k++;
- k=(k<MAX_LEVEL)?k:MAX_LEVEL;
- return k;
- }
- //插入節點
- bool insert(skiplist *sl,int key,int value)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p, *q = NULL;
- p=sl->header;
- int k=sl->level;
- //從最高層往下查找需要插入的位置
- //填充update
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- //不能插入相同的key
- if(q&&q->key==key)
- {
- return false;
- }
- //產生一個隨機層數K
- //新建一個待插入節點q
- //一層一層插入
- k=randomLevel();
- //更新跳錶的level
- if(k>(sl->level))
- {
- for(int i=sl->level; i < k; i++){
- update[i] = sl->header;
- }
- sl->level=k;
- }
- q=createNode(k,key,value);
- //逐層更新節點的指針,和普通列表插入一樣
- for(int i=0;i<k;i++)
- {
- q->forward[i]=update[i]->forward[i];
- update[i]->forward[i]=q;
- }
- return true;
- }
- //搜索指定key的value
- int search(skiplist *sl,int key)
- {
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<=key))
- {
- if(q->key == key)
- {
- return q->value;
- }
- p=q;
- }
- }
- return NULL;
- }
- //刪除指定的key
- bool deleteSL(skiplist *sl,int key)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- if(q&&q->key==key)
- {
- //逐層刪除,和普通列表刪除一樣
- for(int i=0; i<sl->level; i++){
- if(update[i]->forward[i]==q){
- update[i]->forward[i]=q->forward[i];
- }
- }
- free(q);
- //如果刪除的是最大層的節點,那麼需要重新維護跳錶的
- for(int i=sl->level - 1; i >= 0; i--){
- if(sl->header->forward[i]==NULL){
- sl->level--;
- }
- }
- return true;
- }
- else
- return false;
- }
- void printSL(skiplist *sl)
- {
- //從最高層開始打印
- nodeStructure *p,*q=NULL;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--)
- {
- p=sl->header;
- while(q=p->forward[i])
- {
- printf("%d -> ",p->value);
- p=q;
- }
- printf("\n");
- }
- printf("\n");
- }
- int main()
- {
- skiplist *sl=createSkiplist();
- for(int i=1;i<=19;i++)
- {
- insert(sl,i,i*2);
- }
- printSL(sl);
- //搜索
- int i=search(sl,4);
- printf("i=%d\n",i);
- //刪除
- bool b=deleteSL(sl,4);
- if(b)
- printf("刪除成功\n");
- printSL(sl);
- system("pause");
- return 0;
- }
§4 Skip List 概率分析
§5 小結
本篇博文已經詳細講解了Skip List數據結構的所有內容,應該可以有一個深入的瞭解。如果你有任何建議或者批評和補充,請留言指出,不勝感激,更多參考請移步互聯網。
Skip List是一種隨機化的數據結構,基於並聯的鏈表,其效率可比擬於二叉查找樹(對於大多數操作需要O(log n)平均時間)。基本上,跳躍列表是對有序的鏈表增加上附加的前進鏈接,增加是以隨機化的方式進行的,所以在列表中的查找可以快速的跳過部分列表(因此得名)。所有操作都以對數隨機化的時間進行。Skip List可以很好解決有序鏈表查找特定值的困難。
§2 Skip List 定義以及構造步驟
Skip List定義
像下面這樣(初中物理經常這樣用,這裏我也盜用下):
一個跳錶,應該具有以下特徵:
- 一個跳錶應該有幾個層(level)組成;
- 跳錶的第一層包含所有的元素;
- 每一層都是一個有序的鏈表;
- 如果元素x出現在第i層,則所有比i小的層都包含x;
- 第i層的元素通過一個down指針指向下一層擁有相同值的元素;
- 在每一層中,-1和1兩個元素都出現(分別表示INT_MIN和INT_MAX);
- Top指針指向最高層的第一個元素。
構建有序鏈表
Skip List構造步驟:
1、給定一個有序的鏈表。
2、選擇連表中最大和最小的元素,然後從其他元素中按照一定算法(隨機)隨即選出一些元素,將這些元素組成有序鏈表。這個新的鏈表稱爲一層,原鏈表稱爲其下一層。
3、爲剛選出的每個元素添加一個指針域,這個指針指向下一層中值同自己相等的元素。Top指針指向該層首元素
4、重複2、3步,直到不再能選擇出除最大最小元素以外的元素。
§3 Skip List 完整實現
下面來定義跳錶的數據結構(基於C)
首先是每個節點的數據結構
- typedef struct nodeStructure
- {
- int key;
- int value;
- struct nodeStructure *forward[1];
- }nodeStructure;
跳錶的結構如下
- typedef struct skiplist
- {
- int level;
- nodeStructure *header;
- }skiplist;
下面是跳錶的基本操作
首先是節點的創建
- nodeStructure* createNode(int level,int key,int value)
- {
- nodeStructure *ns=(nodeStructure *)malloc(sizeof(nodeStructure)+level*sizeof(nodeStructure*));
- ns->key=key;
- ns->value=value;
- return ns;
- }
列表的初始化
列表的初始化需要初始化頭部,並使頭部每層(根據事先定義的MAX_LEVEL)指向末尾(NULL)。
- skiplist* createSkiplist()
- {
- skiplist *sl=(skiplist *)malloc(sizeof(skiplist));
- sl->level=0;
- sl->header=createNode(MAX_LEVEL-1,0,0);
- for(int i=0;i<MAX_LEVEL;i++)
- {
- sl->header->forward[i]=NULL;
- }
- return sl;
- }
插入元素
插入元素的時候元素所佔有的層數完全是隨機的,通過隨機算法產生
- int randomLevel()
- {
- int k=1;
- while (rand()%2)
- k++;
- k=(k<MAX_LEVEL)?k:MAX_LEVEL;
- return k;
- }
跳錶的插入需要三個步驟,第一步需要查找到在每層待插入位置,然後需要隨機產生一個層數,最後就是從高層至下插入,插入時算法和普通鏈表的插入完全相同。
- bool insert(skiplist *sl,int key,int value)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p, *q = NULL;
- p=sl->header;
- int k=sl->level;
- //從最高層往下查找需要插入的位置
- //填充update
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- //不能插入相同的key
- if(q&&q->key==key)
- {
- return false;
- }
- //產生一個隨機層數K
- //新建一個待插入節點q
- //一層一層插入
- k=randomLevel();
- //更新跳錶的level
- if(k>(sl->level))
- {
- for(int i=sl->level; i < k; i++){
- update[i] = sl->header;
- }
- sl->level=k;
- }
- q=createNode(k,key,value);
- //逐層更新節點的指針,和普通列表插入一樣
- for(int i=0;i<k;i++)
- {
- q->forward[i]=update[i]->forward[i];
- update[i]->forward[i]=q;
- }
- return true;
- }
紅色區域爲輔助數組update的內容
刪除節點
刪除節點操作和插入差不多,找到每層需要刪除的位置,刪除時和操作普通鏈表完全一樣。不過需要注意的是,如果該節點的level是最大的,則需要更新跳錶的level。
- bool deleteSL(skiplist *sl,int key)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- if(q&&q->key==key)
- {
- //逐層刪除,和普通列表刪除一樣
- for(int i=0; i<sl->level; i++){
- if(update[i]->forward[i]==q){
- update[i]->forward[i]=q->forward[i];
- }
- }
- free(q);
- //如果刪除的是最大層的節點,那麼需要重新維護跳錶的
- for(int i=sl->level-1; i >= 0; i--){
- if(sl->header->forward[i]==NULL){
- sl->level--;
- }
- }
- return true;
- }
- else
- return false;
- }
查找
跳錶的優點就是查找比普通鏈表快,當然查找操作已經包含在在插入和刪除過程,實現起來比較簡單。
搜索key=14的示意圖
- int search(skiplist *sl,int key)
- {
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<=key))
- {
- if(q->key==key)
- {
- return q->value;
- }
- p=q;
- }
- }
- return NULL;
- }
完整代碼如下:
- #include<stdio.h>
- #include<stdlib.h>
- #define MAX_LEVEL 10 //最大層數
- //節點
- typedef struct nodeStructure
- {
- int key;
- int value;
- struct nodeStructure *forward[1];
- }nodeStructure;
- //跳錶
- typedef struct skiplist
- {
- int level;
- nodeStructure *header;
- }skiplist;
- //創建節點
- nodeStructure* createNode(int level,int key,int value)
- {
- nodeStructure *ns=(nodeStructure *)malloc(sizeof(nodeStructure)+level*sizeof(nodeStructure*));
- ns->key=key;
- ns->value=value;
- return ns;
- }
- //初始化跳錶
- skiplist* createSkiplist()
- {
- skiplist *sl=(skiplist *)malloc(sizeof(skiplist));
- sl->level=0;
- sl->header=createNode(MAX_LEVEL-1,0,0);
- for(int i=0;i<MAX_LEVEL;i++)
- {
- sl->header->forward[i]=NULL;
- }
- return sl;
- }
- //隨機產生層數
- int randomLevel()
- {
- int k=1;
- while (rand()%2)
- k++;
- k=(k<MAX_LEVEL)?k:MAX_LEVEL;
- return k;
- }
- //插入節點
- bool insert(skiplist *sl,int key,int value)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p, *q = NULL;
- p=sl->header;
- int k=sl->level;
- //從最高層往下查找需要插入的位置
- //填充update
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- //不能插入相同的key
- if(q&&q->key==key)
- {
- return false;
- }
- //產生一個隨機層數K
- //新建一個待插入節點q
- //一層一層插入
- k=randomLevel();
- //更新跳錶的level
- if(k>(sl->level))
- {
- for(int i=sl->level; i < k; i++){
- update[i] = sl->header;
- }
- sl->level=k;
- }
- q=createNode(k,key,value);
- //逐層更新節點的指針,和普通列表插入一樣
- for(int i=0;i<k;i++)
- {
- q->forward[i]=update[i]->forward[i];
- update[i]->forward[i]=q;
- }
- return true;
- }
- //搜索指定key的value
- int search(skiplist *sl,int key)
- {
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<=key))
- {
- if(q->key == key)
- {
- return q->value;
- }
- p=q;
- }
- }
- return NULL;
- }
- //刪除指定的key
- bool deleteSL(skiplist *sl,int key)
- {
- nodeStructure *update[MAX_LEVEL];
- nodeStructure *p,*q=NULL;
- p=sl->header;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--){
- while((q=p->forward[i])&&(q->key<key))
- {
- p=q;
- }
- update[i]=p;
- }
- if(q&&q->key==key)
- {
- //逐層刪除,和普通列表刪除一樣
- for(int i=0; i<sl->level; i++){
- if(update[i]->forward[i]==q){
- update[i]->forward[i]=q->forward[i];
- }
- }
- free(q);
- //如果刪除的是最大層的節點,那麼需要重新維護跳錶的
- for(int i=sl->level - 1; i >= 0; i--){
- if(sl->header->forward[i]==NULL){
- sl->level--;
- }
- }
- return true;
- }
- else
- return false;
- }
- void printSL(skiplist *sl)
- {
- //從最高層開始打印
- nodeStructure *p,*q=NULL;
- //從最高層開始搜
- int k=sl->level;
- for(int i=k-1; i >= 0; i--)
- {
- p=sl->header;
- while(q=p->forward[i])
- {
- printf("%d -> ",p->value);
- p=q;
- }
- printf("\n");
- }
- printf("\n");
- }
- int main()
- {
- skiplist *sl=createSkiplist();
- for(int i=1;i<=19;i++)
- {
- insert(sl,i,i*2);
- }
- printSL(sl);
- //搜索
- int i=search(sl,4);
- printf("i=%d\n",i);
- //刪除
- bool b=deleteSL(sl,4);
- if(b)
- printf("刪除成功\n");
- printSL(sl);
- system("pause");
- return 0;
- }
§4 Skip List 概率分析