一、介紹
1.爲何要有索引？
一般的應用系統，讀寫比例在10:1左右，而且插入操作和一般的更新操作很少出現性能問題。
在生產環境中，我們遇到最多的，也是最容易出問題的，還是一些複雜的查詢操作，因此對查詢語句的優化顯然是重中之重。
說起加速查詢，就不得不提到索引了。
2.什麼是索引？
索引在MySQL中也叫做“鍵”，是存儲引擎用於快速找到記錄的一種數據結構。
索引對於良好的性能非常關鍵，尤其是當表中的數據量越來越大時，索引對於性能的影響愈發重要。
索引優化應該是對查詢性能優化最有效的手段了。
索引能夠輕易將查詢性能提高好幾個數量級。
索引相當於字典的音序表，如果要查某個字，如果不使用音序表，則需要從幾百頁中逐頁去查。
3.平衡索引
索引是應用程序設計和開發的一個重要方面。
若索引太多，應用程序的性能可能會受到影響。
而索引太少，對查詢性能又會產生影響，要找到一個平衡點，這對應用程序的性能至關重要。
一些開發人員總是在事後纔想起添加索引----我一直認爲，這源於一種錯誤的開發模式。
如果知道數據的使用，從一開始就應該在需要處添加索引。
開發人員往往對數據庫的使用停留在應用的層面，比如編寫SQL語句、存儲過程之類，他們甚至可能不知道索引的存在，或認爲事後讓相關DBA加上即可。
DBA往往不夠了解業務的數據流，而添加索引需要通過監控大量的SQL語句進而從中找到問題，這個步驟所需的時間肯定是遠大於初始添加索引所需的時間，並且可能會遺漏一部分的索引。
當然索引也並不是越多越好，索引的添加也是非常有技術含量的。
二、索引的原理
1.索引原理
索引的目的在於提高查詢效率，與我們查閱圖書所用的目錄是一個道理：先定位到章，然後定位到該章下的一個小節，然後找到頁數。
本質都是：通過不斷地縮小想要獲取數據的範圍來篩選出最終想要的結果，同時把隨機的事件變成順序的事件，也就是說，有了這種索引機制，我們可以總是用同一種查找方式來鎖定數據。
數據庫也是一樣，但顯然要複雜的多，因爲不僅面臨着等值查詢，還有範圍查詢(>、<、between、in)、模糊查詢(like)、並集查詢(or)等等。
數據庫應該選擇怎麼樣的方式來應對所有的問題呢？我們回想字典的例子，能不能把數據分成段，然後分段查詢呢？最簡單的如果1000條數據，1到100分成第一段，101到200分成第二段，201到300分成第三段…這樣查第250條數據，只要找第三段就可以了，一下子去除了90%的無效數據。
但如果是1千萬的記錄呢，分成幾段比較好？稍有算法基礎的同學會想到搜索樹，其平均複雜度是lgN，具有不錯的查詢性能。
但這裏我們忽略了一個關鍵的問題，複雜度模型是基於每次相同的操作成本來考慮的。
數據庫實現比較複雜，一方面數據是保存在磁盤上的，另外一方面爲了提高性能，每次又可以把部分數據讀入內存來計算，因爲我們知道訪問磁盤的成本大概是訪問內存的十萬倍左右，所以簡單的搜索樹難以滿足複雜的應用場景。
2.磁盤IO與預讀
前面提到了訪問磁盤，那麼這裏先簡單介紹一下磁盤IO和預讀。
磁盤讀取數據靠的是機械運動，每次讀取數據花費的時間可以分爲尋道時間、旋轉延遲、傳輸時間三個部分：
尋道時間指的是磁臂移動到指定磁道所需要的時間，主流磁盤一般在5ms以下；
旋轉延遲就是我們經常聽說的磁盤轉速，比如一個磁盤7200轉，表示每分鐘能轉7200次，也就是說1秒鐘能轉120次，旋轉延遲就是1/120/2 = 4.17ms；
傳輸時間指的是從磁盤讀出或將數據寫入磁盤的時間，一般在零點幾毫秒，相對於前兩個時間可以忽略不計。
那麼訪問一次磁盤的時間，即一次磁盤IO的時間約等於5+4.17 = 9ms左右，聽起來還挺不錯的，但要知道一臺500 -MIPS（Million Instructions Per Second）的機器每秒可以執行5億條指令，因爲指令依靠的是電的性質，換句話說執行一次IO的時間可以執行約450萬條指令，數據庫動輒十萬百萬乃至千萬級數據，每次9毫秒的時間，顯然是個災難。
考慮到磁盤IO是非常高昂的操作，計算機操作系統做了一些優化，**當一次IO時，不光把當前磁盤地址的數據，而是把相鄰的數據也都讀取到內存緩衝區內，**因爲局部預讀性原理告訴我們，當計算機訪問一個地址的數據的時候，與其相鄰的數據也會很快被訪問到。
每一次IO讀取的數據我們稱之爲一頁(page)。
具體一頁有多大數據跟操作系統有關，一般爲4k或8k，也就是我們讀取一頁內的數據時候，實際上才發生了一次IO，這個理論對於索引的數據結構設計非常有幫助。
三、索引的數據結構
前面講了索引的基本原理，數據庫的複雜性，又講了操作系統的相關知識，目的就是讓大家瞭解，任何一種數據結構都不是憑空產生的，一定會有它的背景和使用場景，我們現在總結一下，我們需要這種數據結構能夠做些什麼，其實很簡單，那就是：每次查找數據時把磁盤IO次數控制在一個很小的數量級，最好是常數數量級。
那麼我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢？就這樣，b+樹應運而生（B+樹是通過二叉查找樹，再由平衡二叉樹，B樹演化而來）。
如上圖，是一顆b+樹，關於b+樹的定義可以參見B+樹，這裏只說一些重點，淺藍色的塊我們稱之爲一個磁盤塊，可以看到每個磁盤塊包含幾個數據項（深藍色所示）和指針（黃色所示）。
如磁盤塊1包含數據項17和35，包含指針P1、P2、P3，P1表示小於17的磁盤塊，P2表示在17和35之間的磁盤塊，P3表示大於35的磁盤塊。真實的數據存在於葉子節點即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
非葉子節點不止存儲真實的數據，還存儲指引搜索方向的數據項，如17、35並不真實存在於數據表中。
b+樹的查找過程 如圖所示，如果要查找數據項29，那麼首先會把磁盤塊1由磁盤加載到內存，此時發生一次IO，在內存中用二分查找確定29在17和35之間，鎖定磁盤塊1的P2指針，內存時間因爲非常短（相比磁盤的IO）可以忽略不計，通過磁盤塊1的P2指針的磁盤地址把磁盤塊3由磁盤加載到內存，發生第二次IO，29在26和30之間，鎖定磁盤塊3的P2指針，通過指針加載磁盤塊8到內存，發生第三次IO，同時內存中做二分查找找到29，結束查詢，總計三次IO。
真實的情況是，3層的b+樹可以表示上百萬的數據，如果上百萬的數據查找只需要三次IO，性能提高將是巨大的，如果沒有索引，每個數據項都要發生一次IO，那麼總共需要百萬次的IO，顯然成本非常非常高。
b+樹性質
1.索引字段要儘量的小：
通過上面的分析，我們知道IO次數取決於b+數的高度h，假設當前數據表的數據爲N，每個磁盤塊的數據項的數量是m，則有h=㏒(m+1)N，當數據量N一定的情況下，m越大，h越小；而m = 磁盤塊的大小 / 數據項的大小，磁盤塊的大小也就是一個數據頁的大小，是固定的，如果數據項佔的空間越小，數據項的數量越多，樹的高度越低。
這就是爲什麼每個數據項，即索引字段要儘量的小，比如int佔4字節，要比bigint8字節少一半。
這也是爲什麼b+樹要求把真實的數據放到葉子節點而不是內層節點，一旦放到內層節點，磁盤塊的數據項會大幅度下降，導致樹增高。當數據項等於1時將會退化成線性表。
2.索引的最左匹配特性：
當b+樹的數據項是複合的數據結構，比如(name,age,sex)的時候，b+數是按照從左到右的順序來建立搜索樹的，比如當(張三,20,F)這樣的數據來檢索的時候，b+樹會優先比較name來確定下一步的所搜方向，如果name相同再依次比較age和sex，最後得到檢索的數據；但當(20,F)這樣的沒有name的數據來的時候，b+樹就不知道下一步該查哪個節點，因爲建立搜索樹的時候name就是第一個比較因子，必須要先根據name來搜索才能知道下一步去哪裏查詢。
比如當(張三,F)這樣的數據來檢索時，b+樹可以用name來指定搜索方向，但下一個字段age的缺失，所以只能把名字等於張三的數據都找到，然後再匹配性別是F的數據了， 這個是非常重要的性質，即索引的最左匹配特性。
四、聚集索引與輔助索引
在數據庫中，B+樹的高度一般都在2~4層，這也就是說查找某一個鍵值的行記錄時最多只需要2到4次IO，這倒不錯。
因爲當前一般的機械硬盤每秒至少可以做100次IO，24次的IO意味着查詢時間只需要0.020.04秒。
數據庫中的B+樹索引可以分爲聚集索引（clustered index）和輔助索引（secondary index）。
聚集索引與輔助索引相同的是：不管是聚集索引還是輔助索引，其內部都是B+樹的形式，即高度是平衡的，葉子結點存放着所有的數據。
聚集索引與輔助索引不同的是：葉子結點存放的是否是一整行的信息。
1.聚集索引
InnoDB存儲引擎表示索引組織表，即表中數據按照主鍵順序存放。
而聚集索引（clustered index）就是按照每張表的主鍵構造一棵B+樹，同時葉子結點存放的即爲整張表的行記錄數據，也將聚集索引的葉子結點稱爲數據頁。
聚集索引的這個特性決定了索引組織表中數據也是索引的一部分。
同B+樹數據結構一樣，每個數據頁都通過一個雙向鏈表來進行鏈接。
如果未定義主鍵，MySQL取第一個唯一索引（unique）而且只含非空列（NOT NULL）作爲主鍵，InnoDB使用它作爲聚簇索引。
如果沒有這樣的列，InnoDB就自己產生一個這樣的ID值，它有六個字節，而且是隱藏的，使其作爲聚簇索引。
由於實際的數據頁只能按照一棵B+樹進行排序，因此每張表只能擁有一個聚集索引。
在多少情況下，查詢優化器傾向於採用聚集索引。
因爲聚集索引能夠在B+樹索引的葉子節點上直接找到數據。
此外由於定義了數據的邏輯順序，聚集索引能夠特別快地訪問針對範圍值得查詢。
聚集索引的好處之一：它對主鍵的排序查找和範圍查找速度非常快，葉子節點的數據就是用戶所要查詢的數據。
如用戶需要查找一張表，查詢最後的10位用戶信息，由於B+樹索引是雙向鏈表，所以用戶可以快速找到最後一個數據頁，並取出10條記錄。
聚集索引的好處之二：範圍查詢（range query），即如果要查找主鍵某一範圍內的數據，通過葉子節點的上層中間節點就可以得到頁的範圍，之後直接讀取數據頁即可。
2.輔助索引
表中除了聚集索引外其他索引都是輔助索引（Secondary Index，也稱爲非聚集索引），與聚集索引的區別是：輔助索引的葉子節點不包含行記錄的全部數據。
葉子節點除了包含鍵值以外，每個葉子節點中的索引行中還包含一個書籤（bookmark）。
該書籤用來告訴InnoDB存儲引擎去哪裏可以找到與索引相對應的行數據。
由於InnoDB存儲引擎是索引組織表，因此InnoDB存儲引擎的輔助索引的書籤就是相應行數據的聚集索引鍵。
輔助索引的存在並不影響數據在聚集索引中的組織，因此每張表上可以有多個輔助索引，但只能有一個聚集索引。
當通過輔助索引來尋找數據時，InnoDB存儲引擎會遍歷輔助索引並通過葉子級別的指針獲得指向主鍵索引的主鍵，然後再通過主鍵索引來找到一個完整的行記錄。
舉例來說，如果在一棵高度爲3的輔助索引樹種查找數據，那需要對這個輔助索引樹遍歷3次找到指定主鍵，如果聚集索引樹的高度同樣爲3，那麼還需要對聚集索引樹進行3次查找，最終找到一個完整的行數據所在的頁，因此一共需要6次邏輯IO訪問才能得到最終的一個數據頁。
五、MySQL索引管理
1.功能
索引的功能就是加速查找，mysql中的primary key，unique，聯合唯一也都是索引，這些索引除了加速查找以外，還有約束的功能。
2.MySQL常用的索引
普通索引INDEX：加速查找
唯一索引：
-主鍵索引PRIMARY KEY：加速查找+約束（不爲空、不能重複）
-唯一索引UNIQUE:加速查找+約束（不能重複）
聯合索引：
-PRIMARY KEY(id,name):聯合主鍵索引
-UNIQUE(id,name):聯合唯一索引
-INDEX(id,name):聯合普通索引
3.索引的兩大類型hash與btree
我們可以在創建上述索引的時候，爲其指定索引類型，分兩類
hash類型的索引：查詢單條快，範圍查詢慢
btree類型的索引：b+樹，層數越多，數據量指數級增長（我們就用它，因爲innodb默認支持它）
不同的存儲引擎支持的索引類型也不一樣
InnoDB 支持事務，支持行級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
MyISAM 不支持事務，支持表級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
Memory 不支持事務，支持表級別鎖定，支持 B-tree、Hash 等索引，不支持 Full-text 索引；
NDB 支持事務，支持行級別鎖定，支持 Hash 索引，不支持 B-tree、Full-text 等索引；
Archive 不支持事務，支持表級別鎖定，不支持 B-tree、Hash、Full-text 等索引；
4.創建/刪除索引的語法
方法一：創建表時
CREATE TABLE 表名 (
字段名1 數據類型 [完整性約束條件…],
字段名2 數據類型 [完整性約束條件…],
[UNIQUE | FULLTEXT | SPATIAL ] INDEX | KEY
[索引名] (字段名[(長度)] [ASC |DESC])
);
示例：
create table t1(
id int,
name char,
age int,
sex enum('male','female'),
unique key uni_id(id),
index ix_name(name) #index沒有key
);
方法二：CREATE在已存在的表上創建索引
CREATE [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 ON 表名 (字段名[(長度)] [ASC |DESC]) ;
示例：
create index ix_age on t1(age);
方法三：ALTER TABLE在已存在的表上創建索引
ALTER TABLE 表名 ADD [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 (字段名[(長度)] [ASC |DESC]) ;
示例：
alter table t1 add index ix_sex(sex);
刪除索引
DROP INDEX 索引名 ON 表名字;
5.總結
-
一定是爲搜索條件的字段創建索引，
比如select * from s1 where id = 333;就需要爲id加上索引 -
在表中已經有大量數據的情況下，建索引會很慢，且佔用硬盤空間，建完後查詢速度加快
比如create index idx on s1(id);會掃描表中所有的數據，然後以id爲數據項，創建索引結構，存放於硬盤的表中，建完以後，再查詢就會很快了。 -
需要注意的是：innodb表的索引會存放於s1.ibd文件中，而myisam表的索引則會有單獨的索引文件table1.MYI
