索引講解一

1.前言

提到數據庫索引,我想你並不陌生,在日常工作中會經常接觸到。到底什麼是 索引,索引又是如何工作的呢?今天就讓我們一起來聊聊這個話題吧。

一句話簡單來說,索引的出現其實就是爲了提高數據查詢的效率,就像書的目錄一樣。一本 500 頁的書,如果你想快速找到其中的某一個知識點,在不借助目錄的情況下,那我估計你可得找一 會兒。同樣,對於數據庫的表而言,索引其實就是它的“目錄”。

2.索引的常見模型

索引的出現是爲了提高查詢效率,但是實現索引的方式卻有很多種,所以這裏也就引入了索引模
型的概念。可以用於提高讀寫效率的數據結構很多,這裏我先給你介紹三種常見也比較簡單的數據結構,它們分別是哈希表、有序數組和搜索樹。

下面我主要從使用的角度,爲你簡單分析一下這三種模型的區別。
哈希表是一種以鍵 - 值(key-value)存儲數據的結構,我們只要輸入待查找的值即 key,就可 以找到其對應的值即 Value。哈希的思路很簡單,把值放在數組裏,用一個哈希函數把 key 換 算成一個確定的位置,然後把 value 放在數組的這個位置。
不可避免地,多個 key 值經過哈希函數的換算,會出現同一個值的情況。處理這種情況的一種 方法是,拉出一個鏈表。
假設,你現在維護着一個身份證信息和姓名的表,需要根據身份證號查找對應的名字,這時對應的哈希索引的示意圖如下所示:
在這裏插入圖片描述
User2 和 User4 根據身份證號算出來的值都是 N,但沒關係,後面還跟了一個鏈表。假 設,這時候你要查 ID_card_n2 對應的名字是什麼,處理步驟就是:首先,將 ID_card_n2 通過 哈希函數算出 N;然後,按順序遍歷,找到 User2。
需要注意的是,圖中四個 ID_card_n 的值並不是遞增的,這樣做的好處是增加新的 User 時速度 會很快,只需要往後追加。但缺點是,因爲不是有序的,所以哈希索引做區間查詢的速度是很慢 的。

所以,哈希表這種結構適用於只有等值查詢的場景,比如 Memcached 及其他一些 NoSQL 引 擎。
而有序數組在等值查詢和範圍查詢場景中的性能就都非常優秀。還是上面這個根據身份證號查名 字的例子,如果我們使用有序數組來實現的話,示意圖如下所示:
在這裏插入圖片描述
這裏我們假設身份證號沒有重複,這個數組就是按照身份證號遞增的順序保存的。這時候如果你 要查ID_card_n2 對應的名字,用二分法就可以快速得到,這個時間複雜度是 O(log(N))。
如果僅僅看查詢效率,有序數組就是最好的數據結構了。但是,在需要更新數據的時候就麻煩了,你往中間插入一個記錄就必須得挪動後面所有的記錄,成本太高。
所以,有序數組索引只適用於靜態存儲引擎,比如你要保存的是 2017 年某個城市的所有人口信 息,這類不會再修改的數據。

二叉搜索樹也是課本里的經典數據結構了。還是上面根據身份證號查名字的例子,如果我們用二
叉搜索樹來實現的話,示意圖如下所示:
在這裏插入圖片描述

當然爲了維持 O(log(N)) 的查詢複雜度,你就需要保持這棵樹是平衡二叉樹。爲了做這個保 證,更新的時間複雜度也是 O(log(N))。
樹可以有二叉,也可以有多叉。多叉樹就是每個節點有多個兒子,兒子之間的大小保證從左到右
遞增。二叉樹是搜索效率最高的,但是實際上大多數的數據庫存儲卻並不使用二叉樹。其原因
是,索引不止存在內存中,還要寫到磁盤上。

你可以想象一下一棵 100 萬節點的平衡二叉樹,樹高 20。一次查詢可能需要訪問 20 個數據 塊。在機械硬盤時代,從磁盤隨機讀一個數據塊需要 10 ms 左右的尋址時間。也就是說,對於 一個 100 萬行的表,如果使用二叉樹來存儲,單獨訪問一個行可能需要 20 個 10 ms 的時間, 這個查詢可真夠慢的。
爲了讓一個查詢儘量少地讀磁盤,就必須讓查詢過程訪問儘量少的數據塊。那麼,我們就不應該使用二叉樹,而是要使用“N 叉”樹。這裏,“N 叉”樹中的“N”取決於數據塊的大小。

以 InnoDB 的一個整數字段索引爲例,這個 N 差不多是 1200。這棵樹高是 4 的時候,就可以 存 1200 的 3 次方個值,這已經 17 億了。考慮到樹根的數據塊總是在內存中的,一個 10 億行 的表上一個整數字段的索引,查找一個值最多隻需要訪問 3 次磁盤。其實,樹的第二層也有很大概率在內存中,那麼訪問磁盤的平均次數就更少了。

N 叉樹由於在讀寫上的性能優點,以及適配磁盤的訪問模式,已經被廣泛應用在數據庫引擎中 了。
不管是哈希還是有序數組,或者 N 叉樹,它們都是不斷迭代、不斷優化的產物或者解決方案。 數據庫技術發展到今天,跳錶、LSM 樹等數據結構也被用於引擎設計中,這裏我就不再一一展 開了。

你心裏要有個概念,數據庫底層存儲的核心就是基於這些數據模型的。每碰到一個新數據庫,我
們需要先關注它的數據模型,這樣才能從理論上分析出這個數據庫的適用場景。

截止到這裏,我用了半篇文章的篇幅和你介紹了不同的數據結構,以及它們的適用場景,你可能
會覺得有些枯燥。但是,我建議你還是要多花一些時間來理解這部分內容,畢竟這是數據庫處理
數據的核心概念之一,在分析問題的時候會經常用到。當你理解了索引的模型後,就會發現在分
析問題的時候會有一個更清晰的視角,體會到引擎設計的精妙之處。

在 MySQL 中,索引是在存儲引擎層實現的,所以並沒有統一的索引標準,即不同存儲引擎的索 引的工作方式並不一樣。而即使多個存儲引擎支持同一種類型的索引,其底層的實現也可能不 同。由於 InnoDB 存儲引擎在 MySQL 數據庫中使用最爲廣泛,所以下面我就以 InnoDB 爲 例,和你分析一下其中的索引模型。

InnoDB 的索引模型

在 InnoDB 中,表都是根據主鍵順序以索引的形式存放的,這種存儲方式的表稱爲索引組織表。又因爲前面我們提到的,InnoDB 使用了 B+ 樹索引模型,所以數據都是存儲在 B+ 樹中 的。
每一個索引在 InnoDB 裏面對應一棵 B+ 樹。

假設,我們有一個主鍵列爲 ID 的表,表中有字段 k,並且在 k 上有索引。 這個表的建表語句是:

 mysql> create table T( 2 id int primary key,
 k int not null,
 name varchar(16),
 index (k))engine=InnoDB;

假設表中 R1~R5 的 (ID,k) 值分別爲 (100,1)、(200,2)、(300,3)、(500,5) 和 (600,6),兩棵樹的示例示意圖如下。
在這裏插入圖片描述
從圖中不難看出,根據葉子節點的內容,索引類型分爲主鍵索引和非主鍵索引。

主鍵索引的葉子節點存的是整行數據。在 InnoDB 裏,主鍵索引也被稱爲聚簇索引(clustered index)。
非主鍵索引的葉子節點內容是主鍵的值。在 InnoDB 裏,非主鍵索引也被稱爲二級索引 (secondary index)。

那下面我們來討論一個問題:基於主鍵索引和普通索引的查詢有什麼區別?
假設現在有二種查詢方式:

主鍵查詢方式: select * from T where ID=500
普通索引查詢方式:select * from T where k=5

內部實現原理如下:

主鍵查詢方式:只需要搜索 ID 這棵 B+ 樹
普通索引查詢方式:需要先搜索 k 索引樹, 得到 ID 的值爲 500,再到 ID 索引樹搜索一次。這個過程稱爲回表。

索引維護

我們知道,一旦你建立索引後查詢是非常方便的,但是你要頻繁的插入和修改數據就非常麻煩了。因爲 B+ 樹爲了維護索引有序性,在插入新值的時候需要做必要的維護。以上面這個圖爲例,如果插 入新的行 ID 值爲 700,則只需要在 R5 的記錄後面插入一個新記錄。如果新插入的 ID 值爲 400,就相對麻煩了,需要邏輯上挪動後面的數據,空出位置。
而更糟的情況是,如果 R5 所在的數據頁已經滿了,根據 B+ 樹的算法,這時候需要申請一個新 的數據頁,然後挪動部分數據過去。這個過程稱爲頁分裂。在這種情況下,性能自然會受影響。
除了性能外,頁分裂操作還影響數據頁的利用率。原本放在一個頁的數據,現在分到兩個頁中, 整體空間利用率降低大約 50%。

當然有分裂就有合併。當相鄰兩個頁由於刪除了數據,利用率很低之後,會將數據頁做合併。合
並的過程,可以認爲是分裂過程的逆過程。

下面我們來分析一下,哪些場景下應該使用自增主鍵,而哪些場景下不應該。
討論之前我們來從性能角度分析一下這二個方式的特點:

	自增主鍵的插入數據模式,正符合了我們前面提到的遞增插入的場景。每次插入一條新記錄,都是追加操作,都不涉及到挪動其他記錄,也不會觸發葉子節點的分裂。
	有業務邏輯的字段做主鍵,則往往不容易保證有序插入,這樣寫數據成本相對較高。

從存儲空間角度分析:

如果用身份證號做主鍵,那麼每個二級索引的 葉子節點佔用約 20 個字節,
而如果用整型做主鍵,則只要 4 個字節,如果是長整型(bigint) 則是 8 個字節。

顯然,主鍵長度越小,普通索引的葉子節點就越小,普通索引佔用的空間也就越小。
所以,從性能和存儲空間方面考量,自增主鍵往往是更合理的選擇。

有沒有什麼場景適合用業務字段直接做主鍵的呢?還是有的。比如,有些業務的場景需求是這樣
的:

1. 只有一個索引;
2. 該索引必須是唯一索引。

你一定看出來了,這就是典型的 KV 場景。
由於沒有其他索引,所以也就不用考慮其他索引的葉子節點大小的問題。
這時候我們就要優先考慮上一段提到的“儘量使用主鍵查詢”原則,直接將這個索引設置爲主
鍵,可以避免每次查詢需要搜索兩棵樹。

小結

今天,我跟你分析了數據庫引擎可用的數據結構,介紹了 InnoDB 採用的 B+ 樹結構,以及爲 什麼 InnoDB 要這麼選擇。B+ 樹能夠很好地配合磁盤的讀寫特性,減少單次查詢的磁盤訪問次 數。
由於 InnoDB 是索引組織表,一般情況下我會建議你創建一個自增主鍵,這樣非主鍵索引佔用 的空間最小。但事無絕對,我也跟你討論了使用業務邏輯字段做主鍵的應用場景。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章