MySQL索引及其實現原理(基於MyISAM及InnoDB引擎)

1 數據結構及算法基礎

1.1 索引的本質

官方對索引的定義爲:索引(Index)是幫助MySQL高效獲取數據的數據結構

本質:索引是數據結構

查詢是數據庫的最主要功能之一。我們都希望查詢速度能儘可能快,因此數據庫系統的設計者會從查詢算法角度優化

最基本的查詢算法當然是順序查找(linear search),這種複雜度爲O(n)的算法在數據量很大時顯然是糟糕的

好在CS的發展提供了很多更優秀的查找算法,如二分查找(binary search)、二叉樹查找(binary tree search)等

稍微分析一下會發現,每種查找算法都只能應用於特定數據結構之上,如二分查找要求被檢索數據有序,而二叉樹查找只能應用於二叉查找樹,但數據本身的組織結構不可能完全滿足各種數據結構(例如,理論上不可能同時將兩列都按順序進行組織)

所以,在數據之外,數據庫系統還維護着滿足特定查找算法的數據結構,這些數據結構以某種方式引用(指向)數據,這樣就可以在這些數據結構上實現高級查找算法

這種ADT,就是索引

圖1 一個例子

圖1展示了一種可能的索引方式

左邊是數據表,一共有兩列14條記錄,最左邊是數據記錄的物理地址(注意邏輯上相鄰的記錄在磁盤上並不一定物理相鄰)

爲加快Col2的查找,可維護一個右邊所示二叉查找樹,每個節點分別包含索引鍵值及一個指向對應數據記錄物理地址的指針,這樣就可以運用二叉查找在O(log2 N)內取到相應數據

雖然這是一個貨真價實的索引,但實際數據庫系統幾乎沒有使用二叉查找樹或其進化品種紅黑樹(red-black tree)實現

1.2 B Tree和B+Tree

目前大部分數據庫系統及文件系統都採用B Tree或其變種B+Tree作爲索引結構

1.2.1 B Tree

定義數據記錄爲一個二元組key, data

  • key爲記錄的鍵值,對於不同數據記錄,key是互不相同的
  • data爲數據記錄除key外的數據。

那麼B Tree滿足下列條件

  • d爲大於1的一個正整數,稱爲B-Tree的度
  • h爲一個正整數,稱爲B-Tree的高度
  • 每個非葉節點由n-1個key和n個指針組成,其中d<=n<=2d
  • 每個葉節點最少包含一個key和兩個指針,最多包含2d-1個key和2d個指針,葉節點的指針均爲null
  • 所有葉節點具有相同的深度,等於樹高h
  • key和指針互相間隔,節點兩端是指針
  • 一個節點中的key從左到右非遞減排列
  • 所有節點組成樹結構
  • 每個指針要麼爲null,要麼指向另外一個節點
  • 如果某個指針在節點node最左邊且不爲null,則其指向節點的所有key小於>v(key1),v(key1)爲node的第一個key的值
  • 如果某個指針在節點node最右邊且不爲null,則其指向節點的所有key大於v(keym),v(keym)爲node的最後一個key的值。
  • 如果某個指針在節點node的左右相鄰key分別是keyi,keyi+1且不爲null,則其指向節點的所有key小於v(keyi+1)且大於v(keyi)

圖2 d=2的B-Tree示意圖

由於B Tree的特性,按key檢索數據的算法非常直觀

  • 首先從根節點二分查找
  • 如果找到則返回對應節點的data
  • 否則對相應區間的指針指向的節點遞歸進行查找
  • 直到找到目標節點/null指針,查找成功/失敗
bTreeSearch(node, key) {
    if(node == null) return null;
    foreach(node.key) {
        if(node.key[i] == key) return node.data[i];
            if(node.key[i] > key) return bTreeSearch(point[i]->node);
    }
    return bTreeSearch(point[i+1]->node);
}
data = bTreeSearch(root, my_key);

關於B-Tree有一系列有趣的性質,例如一個度爲d的B-Tree,設其索引N個key,則其樹高h的上限爲

檢索一個key,其查找節點個數的漸進複雜度爲

從這點可以看出,B Tree是一個非常有效率的索引數據結構

1.2.2 B+Tree

B-Tree有許多變種,其中最常見的是B+Tree,MySQL普遍用其實現其索引結構

與B Tree相比,B+Tree有以下不同點

  • 每個節點的指針上限爲2d
  • 內節點只存key
  • 葉節點不存指針,葉節點指向被索引的數據而不是其他葉節點,在innodb中,指向的是主鍵,myshaym中指向的是數據的物理地址

圖3 一個簡單的B+Tree

由於並不是所有節點都具有相同的域,因此B+Tree中葉節點和內節點一般大小不同

這點與B Tree不同,雖然B Tree中不同節點存放的key和指針可能數量不一致,但是每個節點的域和上限是一致的,所以在實現中B Tree往往對每個節點申請同等大小的空間

一般來說,B+Tree比B Tree更適合實現外存儲索引結構

1.2.2.1 帶有順序訪問指針的B+Tree

在經典B+Tree的基礎上進行了優化,增加了順序訪問指針

圖4

如圖4所示,在B+Tree的每個葉節點增加一個指向相鄰葉節點指針,形成帶有順序訪問指針的B+Tree

此優化的目的是提高區間訪問的性能,例如圖4中如果要查詢key爲從18到49的所有數據記錄,當找到18後,只需順着節點和指針順序遍歷就可以一次性訪問到所有數據節點,極大提高了區間查詢效率

1.3 爲什麼使用B Tree(B+Tree)

紅黑樹也可用來實現索引,但是文件系統及數據庫系統普遍採用B/+Tree,何也?

一般來說,索引本身也很大,不可能全存內存,往往以索引文件的形式存在磁盤

索引查找過程中就要產生磁盤I/O消耗,相對於內存存取,I/O存取的消耗要高几個數量級,所以評價一個數據結構作爲索引的優劣最重要的指標就是在查找過程中磁盤I/O操作次數的漸進複雜度。

換句話說,索引的結構組織要儘量減少查找過程中磁盤I/O的存取次數

1.4 主存存取原理

計算機使用的主存基本都是隨機讀寫存儲器(RAM),這裏拋卻具體差別,抽象出一個十分簡單的存取模型來說明RAM的工作原理

圖5 4x4的主存模型

從抽象角度看,主存是一系列的存儲單元組成的矩陣,每個存儲單元存儲固定大小的數據。

每個存儲單元有唯一的地址,現代主存的編址規則比較複雜,這裏將其簡化成一個二維地址:通過一個行地址和一個列地址可以唯一定位到一個存儲單元

  • 存取過程 當系統需要讀取主存時,將地址信號通過地址總線傳給主存,主存讀到地址信號後,解析信號並定位到指定存儲單元,然後將此存儲單元數據放到數據總線,供其它部件讀取

寫主存的過程類似,系統將要寫入單元地址和數據分別放在地址總線和數據總線上,主存讀取兩個總線的內容,做相應的寫操作

這裏可以看出,主存存取的時間僅與存取次數呈線性關係,因爲不存在機械操作,兩次存取的數據的“距離”不會對時間有任何影響,例如,先取A0再取A1和先取A0再取D3的時間消耗是一樣的

磁盤存取原理

上文說過,索引一般以文件形式存儲在磁盤上,索引檢索需要磁盤I/O

與主存不同,磁盤I/O存在機械消耗,因此磁盤I/O時間消耗巨大

圖6 磁盤的整體結構示意圖

磁盤由大小相同且同軸的圓形盤片組成,磁盤可以轉動(各磁盤必須同步轉動)。

在磁盤的一側有磁頭支架,磁頭支架固定了一組磁頭,每個磁頭負責存取一個磁盤的內容。磁頭不能轉動,但是可以沿磁盤半徑方向運動(實際是斜切向運動),每個磁頭同一時刻也必須是同軸的,即從正上方向下看,所有磁頭任何時候都是重疊的(不過目前已經有多磁頭獨立技術,可不受此限制)

圖7 磁盤結構的示意圖

盤片被劃分成一系列同心環,圓心是盤片中心,每個同心環叫做一個磁道,所有半徑相同的磁道組成一個柱面。磁道被沿半徑線劃分成一個個小的段,每個段叫做一個扇區,每個扇區是磁盤的最小存儲單元。爲了簡單起見,我們下面假設磁盤只有一個盤片和一個磁頭。

當需要從磁盤讀取數據時,系統會將數據邏輯地址傳給磁盤,磁盤的控制電路按照尋址邏輯將邏輯地址翻譯成物理地址,即確定要讀的數據在哪個磁道,哪個扇區。

爲了讀取這個扇區的數據,需要將磁頭放到這個扇區上方,爲了實現這一點,磁頭需要移動對準相應磁道,這個過程叫做尋道,所耗費時間叫做尋道時間,然後磁盤旋轉將目標扇區旋轉到磁頭下,這個過程耗費的時間叫做旋轉時間。

局部性原理與磁盤預讀

由於存儲介質特性,磁盤本身存取就比主存慢,再加上機械運動耗費,磁盤的存取速度往往是主存的幾百萬分之一,因此爲了提高效率,要儘量減少磁盤I/O。

爲了達到這個目的,磁盤往往不是嚴格按需讀取,而是每次都會預讀,即使只需要一個字節,磁盤也會從這個位置開始,順序向後讀取一定長度的數據放入內存。這樣做的理論依據是計算機科學中著名的局部性原理:

當一個數據被用到時,其附近的數據也通常會馬上被使用

程序運行期間所需要的數據通常比較集中

由於磁盤順序讀取的效率很高(不需要尋道時間,只需很少的旋轉時間),因此對於具有局部性的程序來說,預讀可以提高I/O效率。

預讀的長度一般爲頁(page)的整數倍

頁是存儲器的邏輯塊,操作系統往往將主存和磁盤存儲區分割爲連續的大小相等的塊,每個存儲塊稱爲一頁(在許多操作系統中,頁大小通常爲4k),主存和磁盤以頁爲單位交換數據。

當程序要讀取的數據不在主存中時,會觸發一個缺頁異常,此時系統會向磁盤發出讀盤信號,磁盤會找到數據的起始位置並向後連續讀取一頁或幾頁載入內存中,然後異常返回,程序繼續運行

B-/+Tree索引的性能分析

到這裏終於可以分析B-/+Tree索引的性能了

上文說過一般使用磁盤I/O次數評價索引結構的優劣。

先從B-Tree分析,根據B-Tree的定義,可知檢索一次最多需要訪問h個節點

數據庫系統的設計者巧妙利用了磁盤預讀原理,將一個節點的大小設爲等於一個頁,這樣每個節點只需要一次I/O就可以完全載入

爲了達到這個目的,在實際實現B-Tree還需要使用如下技巧:

每次新建節點時,直接申請一個頁的空間,這樣就保證一個節點物理上也存儲在一個頁裏,加之計算機存儲分配都是按頁對齊的,就實現了一個node只需一次I/O

B-Tree中一次檢索最多需要h-1次I/O(根節點常駐內存),漸進複雜度爲O(h)=O(logdN)。

一般實際應用中,出度d是非常大的數字,通常超過100,因此h非常小(通常不超過3)

綜上所述,用B-Tree作爲索引結構效率是非常高的。

而紅黑樹,h明顯要深的多。由於邏輯上很近的節點(父子)物理上可能很遠,無法利用局部性,所以紅黑樹的I/O漸進複雜度也爲O(h),效率明顯比B-Tree差很多

上文還說過,B+Tree更適合外存索引,原因和內節點出度d有關。從上面分析可以看到,d越大索引的性能越好,而出度的上限取決於節點內key和data的大小:

dmax=floor(pagesize/(keysize+datasize+pointsize))

floor表示向下取整。由於B+Tree內節點去掉了data域,因此可以擁有更大的出度,擁有更好的性能。

這一章從理論角度討論了與索引相關的數據結構與算法問題,下一章將討論B+Tree是如何具體實現爲MySQL中索引,同時將結合MyISAM和InnDB存儲引擎介紹非聚集索引和聚集索引兩種不同的索引實現形式。

2. MySQL索引實現

在MySQL中,索引屬於存儲引擎級別的概念,不同存儲引擎對索引的實現方式是不同的,本文主要討論MyISAM和InnoDB兩個存儲引擎的索引實現方式

2.1 MyISAM索引實現

MyISAM引擎使用B+Tree作爲索引結構,葉節點data域存放數據記錄的地址

圖8 MyISAM索引的原理圖

設Col1爲主鍵,則圖8是一個MyISAM表的主索引(Primary key)示例。

可以看出MyISAM的索引文件僅僅保存數據記錄的地址。

在MyISAM中,主索引和輔索引(Secondary key)在結構上沒有任何區別,只是主索引要求key是唯一的,而輔索引的key可以重複

如果我們在Col2上建立一個輔索引,則此索引的結構如下圖所示:

圖9

同樣也是一顆B+Tree,data域保存數據記錄的地址。

因此,MyISAM中索引檢索的算法爲首先按照B+Tree搜索算法搜索索引,如果指定的Key存在,則取出其data域的值,然後以data域的值爲地址,讀取相應數據記錄。

MyISAM的索引方式也叫做“非聚集”的,之所以這麼稱呼是爲了與InnoDB的聚集索引區分

2.2 InnoDB索引實現

雖然InnoDB也使用B+Tree作爲索引結構,但具體實現方式卻與MyISAM截然不同

第一個重大區別是InnoDB的數據文件本身就是索引文件。

從上文知

  • MyISAM索引文件和數據文件是分離的,索引文件僅保存數據記錄的地址
  • 而在InnoDB中,表數據文件本身就是按B+Tree組織的一個索引結構,這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵,因此InnoDB表數據文件本身就是主索引

圖10 InnoDB主索引(同時也是數據文件)的示意圖

可以看到葉節點包含了完整的數據記錄。這種索引叫做聚集索引。

因爲InnoDB的數據文件本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有),如果沒有顯式指定,則MySQL系統會自動選擇一個可以唯一標識數據記錄的列作爲主鍵,如果不存在這種列,則MySQL自動爲InnoDB表生成一個隱含字段作爲主鍵,這個字段長度爲6個字節,類型爲長整形

第二個與MyISAM索引的不同是InnoDB的輔索引data域存儲相應記錄主鍵的值而不是地址。換句話說,InnoDB的所有輔助索引都引用主鍵作爲data域。例如,

圖11 定義在Col3上的一個輔索引

這裏以英文字符的ASCII碼作爲比較準則。聚集索引這種實現方式使得按主鍵的搜索十分高效,但是輔助索引搜索需要檢索兩遍索引:首先檢索輔助索引獲得主鍵,然後用主鍵到主索引中檢索獲得記錄。

瞭解不同存儲引擎的索引實現方式對於正確使用和優化索引都非常有幫助,

例如知道了InnoDB的索引實現後,就很容易明白爲什麼不建議使用過長的字段作爲主鍵,因爲所有輔索引都引用主索引,過長的主索引會令輔索引變得過大。

再例如,用非單調的字段作爲主鍵在InnoDB中不是個好主意,因爲InnoDB數據文件本身是一顆B+Tree,非單調的主鍵會造成在插入新記錄時數據文件爲了維持B+Tree的特性而頻繁的分裂調整,十分低效,而使用自增字段作爲主鍵則是一個很好的選擇

下一章將具體討論這些與索引有關的優化策略

3. 索引使用策略及優化

3.1 索引的好處

3.2 什麼情況下可以用到B樹索引

(1) 定義有主鍵的列一定要建立索引。因爲主鍵可以加速定位到表中的某行

(2) 定義有外鍵的列一定要建立索引。外鍵列通常用於表與表之間的連接,在其上創建索引可以加快表間的連接

(3) 對於經常查詢的數據列最好建立索引。

① 對於需要在指定範圍內快速或頻繁查詢的數據列,因爲索引已經排序,其指定的範圍是連續的,查詢可以利用索引的排序,加快查詢的時間

② 經常用在 where子句中的數據列,將索引建立在where子句的集合過程中,對於需要加速或頻繁檢索的數據列,可以讓這些經常參與查詢的數據列按照索引的排序進行查詢,加快查詢的時間

MySQL的優化主要分爲

  • 結構優化(Scheme optimization)
  • 查詢優化(Query optimization)

本章討論的高性能索引策略主要屬於結構優化範疇

示例數據庫

爲了討論索引策略,需要一個數據量不算小的數據庫作爲示例。本文選用MySQL官方文檔中提供的示例數據庫之一:employees。這個數據庫關係複雜度適中,且數據量較大。下圖是這個數據庫的E-R關係圖(引用自MySQL官方手冊):

image

圖12

MySQL官方文檔中關於此數據庫的頁面爲http://dev.mysql.com/doc/employee/en/employee.html。裏面詳細介紹了此數據庫,並提供了下載地址和導入方法,如果有興趣導入此數據庫到自己的MySQL可以參考文中內容。

最左前綴原理與相關優化

高效使用索引的首要條件是知道什麼樣的查詢會使用到索引,這個問題和B+Tree中的“最左前綴原理”有關,下面通過例子說明最左前綴原理。

聯合索引

MySQL中的索引可以以一定順序引用多個列,這種索引叫做聯合索引,一般的,一個聯合索引是一個有序元組<a1, a2, …, an>,其中各個元素均爲數據表的一列

覆蓋索引(Covering Indexes)

索引包含滿足查詢的所有列

只需要讀取索引而不用讀取數據,大大提高查詢性能。有以下優點:

(1)索引項通常比記錄要小,使得MySQL訪問更少的數據

(2)索引都按值排序存儲,相對於隨機訪問記錄,需要更少的I/O

(3)大多數據引擎能更好的緩存索引。比如MyISAM只緩存索引。

(4)覆蓋索引對於InnoDB表尤其有用,因爲InnoDB使用聚集索引組織數據,如果二級索引中包含查詢所需的數據,就不再需要在聚集索引中查找了。

覆蓋索引不能是任何索引,只有B-TREE索引存儲相應的值。而且不同的存儲引擎實現覆蓋索引的方式都不同

並不是所有存儲引擎都支持覆蓋索引(Memory/Falcon)

對於索引覆蓋查詢(index-covered query),使用EXPLAIN時,可以在Extra列中看到Using index

在大多數引擎中,只有當查詢語句所訪問的列是索引的一部分時,索引纔會覆蓋。

但是,InnoDB不限於此,InnoDB的二級索引在葉節點中存儲了primary key的值

使用覆蓋索引查詢數據

select *不能用覆蓋索引

以employees.titles表爲例,下面先查看其上都有哪些索引:

從結果中可以看到titles表的主索引爲<emp_no, title, from_date>,還有一個輔助索引<emp_no>。爲了避免多個索引使事情變複雜(MySQL的SQL優化器在多索引時行爲比較複雜),這裏我們將輔助索引drop掉:

1. ALTER TABLE employees.titles DROP INDEX emp_no;

這樣就可以專心分析索引PRIMARY的行爲了。

情況一:全值匹配

很明顯,當按照索引中所有列進行精確匹配(這裏精確匹配指“=”或“IN”匹配)時,索引可以被用到。

這裏有一點需要注意,理論上索引對順序是敏感的,但是由於MySQL的查詢優化器會自動調整where子句的條件順序以使用適合的索引,例如我們將where中的條件順序顛倒:

效果是一樣的

情況二:最左前綴匹配

當查詢條件精確匹配索引的左邊連續一個或幾個列時,如<emp_no>或<emp_no, title>,所以可以被用到,但是隻能用到一部分,即條件所組成的最左前綴。上面的查詢從分析結果看用到了PRIMARY索引,但是key_len爲4,說明只用到了索引的第一列前綴。

情況三:查詢條件用到了索引中列的精確匹配,但是中間某個條件未提供。

此時索引使用情況和情況二相同,因爲title未提供,所以查詢只用到了索引的第一列,而後面的from_date雖然也在索引中,但是由於title不存在而無法和左前綴連接,因此需要對結果進行掃描過濾from_date(這裏由於emp_no唯一,所以不存在掃描)。

如果想讓from_date也使用索引而不是where過濾,可以增加一個輔助索引<emp_no, from_date>,此時上面的查詢會使用這個索引。

除此之外,還可以使用一種稱之爲“隔離列”的優化方法,將emp_no與from_date之間的“坑”填上。

首先我們看下title一共有幾種不同的值:

只有7種。在這種成爲“坑”的列值比較少的情況下,可以考慮用“IN”來填補這個“坑”從而形成最左前綴:

這次key_len爲59,說明索引被用全了,但是從type和rows看出IN實際上執行了一個range查詢,這裏檢查了7個key。看下兩種查詢的性能比較:

“填坑”後性能提升了一點。如果經過emp_no篩選後餘下很多數據,則後者性能優勢會更加明顯。當然,如果title的值很多,用填坑就不合適了,必須建立輔助索引。

情況四:查詢條件沒有指定索引第一列。

由於不是最左前綴,索引這樣的查詢顯然用不到索引。

情況五:匹配某列的前綴字符串

此時可以用到索引,但是如果通配符不是隻出現在末尾,則無法使用索引。(原文表述有誤,如果通配符%不出現在開頭,則可以用到索引,但根據具體情況不同可能只會用其中一個前綴)

情況六:範圍查詢(由於B+樹的順序特點,尤其適合此類查詢)

範圍列可以用到索引(必須是最左前綴),但是範圍列後面的列無法用到索引。同時,索引最多用於一個範圍列,因此如果查詢條件中有兩個範圍列則無法全用到索引。

可以看到索引對第二個範圍索引無能爲力。這裏特別要說明MySQL一個有意思的地方,那就是僅用explain可能無法區分範圍索引和多值匹配,因爲在type中這兩者都顯示爲range。同時,用了“between”並不意味着就是範圍查詢,例如下面的查詢:

覆蓋索引

看起來是用了兩個範圍查詢,但作用於emp_no上的“BETWEEN”實際上相當於“IN”,也就是說emp_no實際是多值精確匹配。可以看到這個查詢用到了索引全部三個列。因此在MySQL中要謹慎地區分多值匹配和範圍匹配,否則會對MySQL的行爲產生困惑。

情況七:查詢條件中含有函數或表達式

很不幸,如果查詢條件中含有函數或表達式,則MySQL不會爲這列使用索引(雖然某些在數學意義上可以使用)。例如:

雖然這個查詢和情況五中功能相同,但是由於使用了函數left,則無法爲title列應用索引,而情況五中用LIKE則可以。再如:

顯然這個查詢等價於查詢emp_no爲10001的函數,但是由於查詢條件是一個表達式,MySQL無法爲其使用索引。看來MySQL還沒有智能到自動優化常量表達式的程度,因此在寫查詢語句時儘量避免表達式出現在查詢中,而是先手工私下代數運算,轉換爲無表達式的查詢語句。

Btree索引的使用限制

什麼情況下設置了索引但無法使用

① 以“%”開頭的LIKE語句,模糊匹配

② OR語句前後沒有同時使用索引

③ 數據類型出現隱式轉化(如varchar不加單引號的話可能會自動轉換爲int型)

索引選擇性與前綴索引

既然索引可以加快查詢速度,那麼是不是只要是查詢語句需要,就建上索引ne

答案是否定的。因爲索引雖然加快了查詢速度,但索引也是有代價的:索引文件本身要消耗存儲空間

但是

  • 索引會加重插入、刪除和修改記錄時的負擔,增加寫操作的成本
  • 太多索引會增加查詢優化器的分析選擇時間
  • MySQL在運行時也要消耗資源維護索引

索引並不是越多越好。下列情況下不建議建索引

  • 對於那些查詢中很少涉及的列、重複值比較多的列不要建立索引 例如,在查詢中很少使用的列,有無索引並不能提高查詢的速度,相反增加了系統維護時間和消耗了系統空間;又如,“性別”列只有列值“男”和“女”,增加索引並不能顯著提高查詢的速度 對於定義爲text、image和bit數據類型的列不要建立索引。因爲這些數據類型的數據列的數據量要麼很大,要麼很小,不利於使用索引。
  • 表記錄比較少 例如一兩千條甚至只有幾百條記錄的表,沒必要建索引,讓查詢做全表掃描就好了。至於多少條記錄纔算多,個人有個人的看法,我個人的經驗是以2000作爲分界線,記錄數不超過 2000可以考慮不建索引,超過2000條可以酌情考慮索引
  • 索引的選擇性較低 所謂索引的選擇性(Selectivity),是指不重複的索引值(也叫基數,Cardinality)與表記錄數(#T)的比值 Index Selectivity = Cardinality / #T 顯然選擇性的取值範圍爲(0, 1],選擇性越高的索引價值越大,這是由B+Tree的性質決定的。

例如,上文用到的employees.titles表,如果title字段經常被單獨查詢,是否需要建索引,我們看一下它的選擇性

title的選擇性不足0.0001(精確值爲0.00001579),所以實在沒有什麼必要爲其單獨建索引

有一種與索引選擇性有關的索引優化策略叫做前綴索引,就是用列的前綴代替整個列作爲索引key,當前綴長度合適時,可以做到既使得前綴索引的選擇性接近全列索引,同時因爲索引key變短而減少了索引文件的大小和維護開銷。下面以employees.employees表爲例介紹前綴索引的選擇和使用。

從圖12可以看到employees表只有一個索引<emp_no>,那麼如果我們想按名字搜索一個人,就只能全表掃描了:

如果頻繁按名字搜索員工,這樣顯然效率很低,因此我們可以考慮建索引。有兩種選擇,建<first_name>或<first_name, last_name>,看下兩個索引的選擇性:

<first_name>顯然選擇性太低,<first_name, last_name>選擇性很好,但是first_name和last_name加起來長度爲30,有沒有兼顧長度和選擇性的辦法?可以考慮用first_name和last_name的前幾個字符建立索引,例如<first_name, left(last_name, 3)>,看看其選擇性:

選擇性還不錯,但離0.9313還是有點距離,那麼把last_name前綴加到4:

這時選擇性已經很理想了,而這個索引的長度只有18,比<first_name, last_name>短了接近一半,我們把這個前綴索引 建上:

  1. ALTER TABLE employees.employees
  2. ADD INDEX first_name_last_name4 (first_name, last_name(4));

此時再執行一遍按名字查詢,比較分析一下與建索引前的結果:

性能的提升是顯著的,查詢速度提高了120多倍。

前綴索引兼顧索引大小和查詢速度,但是其缺點是不能用於ORDER BY和GROUP BY操作,也不能用於Covering index(即當索引本身包含查詢所需全部數據時,不再訪問數據文件本身)。

InnoDB的主鍵選擇與插入優化

在使用InnoDB存儲引擎時,如果沒有特別的需要,請永遠使用一個與業務無關的自增字段作爲主鍵。

經常看到有帖子或博客討論主鍵選擇問題,有人建議使用業務無關的自增主鍵,有人覺得沒有必要,完全可以使用如學號或身份證號這種唯一字段作爲主鍵。不論支持哪種論點,大多數論據都是業務層面的。如果從數據庫索引優化角度看,使用InnoDB引擎而不使用自增主鍵絕對是一個糟糕的主意。

上文討論過InnoDB的索引實現,InnoDB使用聚集索引,數據記錄本身被存於主索引(一顆B+Tree)的葉子節點上。這就要求同一個葉子節點內(大小爲一個內存頁或磁盤頁)的各條數據記錄按主鍵順序存放,因此每當有一條新的記錄插入時,MySQL會根據其主鍵將其插入適當的節點和位置,如果頁面達到裝載因子(InnoDB默認爲15/16),則開闢一個新的頁(節點)。

如果表使用自增主鍵,那麼每次插入新的記錄,記錄就會順序添加到當前索引節點的後續位置,當一頁寫滿,就會自動開闢一個新的頁。如下圖所示:

image

圖13

這樣就會形成一個緊湊的索引結構,近似順序填滿。由於每次插入時也不需要移動已有數據,因此效率很高,也不會增加很多開銷在維護索引上。

如果使用非自增主鍵(如果身份證號或學號等),由於每次插入主鍵的值近似於隨機,因此每次新紀錄都要被插到現有索引頁得中間某個位置:

image

圖14

此時MySQL不得不爲了將新記錄插到合適位置而移動數據,甚至目標頁面可能已經被回寫到磁盤上而從緩存中清掉,此時又要從磁盤上讀回來,這增加了很多開銷,同時頻繁的移動、分頁操作造成了大量的碎片,得到了不夠緊湊的索引結構,後續不得不通過OPTIMIZE TABLE來重建表並優化填充頁面。

因此,只要可以,請儘量在InnoDB上採用自增字段做主鍵。

數據庫索引調優是一項技術活,不能僅僅靠理論,因爲實際情況千變萬化,而且MySQL本身存在很複雜的機制,如查詢優化策略和各種引擎的實現差異等都會使情況變得更加複雜。但同時這些理論是索引調優的基礎,只有在明白理論的基礎上,才能對調優策略進行合理推斷並瞭解其背後的機制,然後結合實踐中不斷的實驗和摸索,從而真正達到高效使用MySQL索引的目的。

另外,MySQL索引及其優化涵蓋範圍非常廣,本文只是涉及到其中一部分。如與排序(ORDER BY)相關的索引優化及覆蓋索引(Covering index)的話題本文並未涉及,

全文索引等等本文也並未涉及。如果有機會,希望再對本文未涉及的部分進行補充吧。

Hash索引的特點

Hash索引的限制

Btree模擬

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章