一、存儲引擎
- InnoDB
- MyISAM
- 比較
二、數據類型
- 整型
- 浮點數
- 字符串
- 時間和日期
三、索引
- 索引分類
- 索引的優點
- 索引優化
- B-Tree 和 B+Tree 原理
四、查詢性能優化
五、切分
- 垂直切分
- 水平切分
- 切分的選擇
- 存在的問題
六、故障轉移和故障恢復
參考資料

一、存儲引擎

InnoDB

InnoDB 是 MySQL 默認的事務型存儲引擎，只有在需要 InnoDB 不支持的特性時，才考慮使用其它存儲引擎。

採用 MVCC 來支持高併發，並且實現了四個標準的隔離級別，默認級別是可重複讀（REPEATABLE READ），並且通過間隙鎖（next-key locking）策略防止幻讀的出現。間隙鎖使得 InnoDB 不僅僅鎖定查詢涉及的行，還會對索引中的間隙進行鎖定，以防止幻影行的插入。

表是基於聚簇索引建立的，它對主鍵的查詢性能有很高的提升。

內部做了很多優化，包括從磁盤讀取數據時採用的可預測性讀、能夠自動在內存中創建哈希索引以加速讀操作的自適應哈希索引、能夠加速插入操作的插入緩衝區等。

通過一些機制和工具支持真正的熱備份。其它存儲引擎不支持熱備份，要獲取一致性視圖需要停止對所有表的寫入，而在讀寫混合場景中，停止寫入可能也意味着停止讀取。

MyISAM

MyISAM 提供了大量的特性，包括全文索引、壓縮表、空間數據索引等。應該注意的是，MySQL 5.6.4 也添加了對 InnoDB 存儲引擎的全文索引支持。

不支持事務。

不支持行級鎖，只能對整張表加鎖，讀取時會對需要讀到的所有表加共享鎖，寫入時則對錶加排它鎖。但在表有讀取查詢的同時，也可以往表中插入新的記錄，這被稱爲併發插入（CONCURRENT INSERT）。

可以手工或者自動執行檢查和修復操作，但是和事務恢復以及崩潰恢復不同，可能導致一些數據丟失，而且修復操作是非常慢的。

如果指定了 DELAYKEYWRITE 選項，在每次修改執行完成時，不會立即將修改的索引數據寫入磁盤，而是會寫到內存中的鍵緩衝區，只有在清理鍵緩衝區或者關閉表的時候纔會將對應的索引塊寫入磁盤。這種方式可以極大的提升寫入性能，但是在數據庫或者主機崩潰時會造成索引損壞，需要執行修復操作。

MyISAM 設計簡單，數據以緊密格式存儲。對於只讀數據，或者表比較小、可以容忍修復操作，則依然可以繼續使用 MyISAM。

比較

事務：InnoDB 是事務型的。
備份：InnoDB 支持在線熱備份。
崩潰恢復：MyISAM 崩潰後發生損壞的概率比 InnoDB 高很多，而且恢復的速度也更慢。
併發：MyISAM 只支持表級鎖，而 InnoDB 還支持行級鎖。
其它特性：MyISAM 支持壓縮表和空間數據索引。

二、數據類型

整型

TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT 分別使用 8, 16, 24, 32, 64 位存儲空間，一般情況下越小的列越好。

INT(11) 中的數字只是規定了交互工具顯示字符的個數，對於存儲和計算來說是沒有意義的。

浮點數

FLOAT 和 DOUBLE 爲浮點類型，DECIMAL 爲高精度小數類型。CPU 原生支持浮點運算，但是不支持 DECIMAl 類型的計算，因此 DECIMAL 的計算比浮點類型需要更高的代價。

FLOAT、DOUBLE 和 DECIMAL 都可以指定列寬，例如 DECIMAL(18, 9) 表示總共 18 位，取 9 位存儲小數部分，剩下 9 位存儲整數部分。

字符串

主要有 CHAR 和 VARCHAR 兩種類型，一種是定長的，一種是變長的。

VARCHAR 這種變長類型能夠節省空間，因爲只需要存儲必要的內容。但是在執行 UPDATE 時可能會使行變得比原來長，當超出一個頁所能容納的大小時，就要執行額外的操作。MyISAM 會將行拆成不同的片段存儲，而 InnoDB 則需要分裂頁來使行放進頁內。

VARCHAR 會保留字符串末尾的空格，而 CHAR 會刪除。

時間和日期

MySQL 提供了兩種相似的日期時間類型：DATATIME 和 TIMESTAMP。

1. DATATIME

能夠保存從 1001 年到 9999 年的日期和時間，精度爲秒，使用 8 字節的存儲空間。

它與時區無關。

默認情況下，MySQL 以一種可排序的、無歧義的格式顯示 DATATIME 值，例如“2008-01-16 22:37:08”，這是 ANSI 標準定義的日期和時間表示方法。

2. TIMESTAMP

和 UNIX 時間戳相同，保存從 1970 年 1 月 1 日午夜（格林威治時間）以來的秒數，使用 4 個字節，只能表示從 1970 年到 2038 年。

它和時區有關。

MySQL 提供了 FROMUNIXTIME() 函數把 UNIX 時間戳轉換爲日期，並提供了 UNIXTIMESTAMP() 函數把日期轉換爲 UNIX 時間戳。

默認情況下，如果插入時沒有指定 TIMESTAMP 列的值，會將這個值設置爲當前時間。

應該儘量使用 TIMESTAMP，因爲它比 DATETIME 空間效率更高。

三、索引

索引是在存儲引擎層實現的，而不是在服務器層實現的，所以不同存儲引擎具有不同的索引類型和實現。

索引能夠輕易將查詢性能提升幾個數量級。

對於非常小的表、大部分情況下簡單的全表掃描比建立索引更高效。對於中到大型的表，索引就非常有效。但是對於特大型的表，建立和使用索引的代價將會隨之增長。這種情況下，需要用到一種技術可以直接區分出需要查詢的一組數據，而不是一條記錄一條記錄地匹配，例如可以使用分區技術。

索引分類

1. B+Tree 索引

《高性能 MySQL》一書使用 B-Tree 進行描述，其實從技術上來說這種索引是 B+Tree。

B+Tree 索引是大多數 MySQL 存儲引擎的默認索引類型。

因爲不再需要進行全表掃描，只需要對樹進行搜索即可，因此查找速度快很多。

可以指定多個列作爲索引列，多個索引列共同組成鍵。B+Tree 索引適用於全鍵值、鍵值範圍和鍵前綴查找，其中鍵前綴查找只適用於最左前綴查找。

除了用於查找，還可以用於排序和分組。

如果不是按照索引列的順序進行查找，則無法使用索引。

2. 哈希索引

基於哈希表實現，優點是查找非常快。

在 MySQL 中只有 Memory 引擎顯式支持哈希索引。

InnoDB 引擎有一個特殊的功能叫“自適應哈希索引”，當某個索引值被使用的非常頻繁時，會在 B+Tree 索引之上再創建一個哈希索引，這樣就讓 B+Tree 索引具有哈希索引的一些優點，比如快速的哈希查找。

限制：

哈希索引只包含哈希值和行指針，而不存儲字段值，所以不能使用索引中的值來避免讀取行。不過，訪問內存中的行的速度很快，所以大部分情況下這一點對性能影響並不明顯；
無法用於分組與排序；
只支持精確查找，無法用於部分查找和範圍查找；
如果哈希衝突很多，查找速度會變得很慢。

3. 空間數據索引（R-Tree）

MyISAM 存儲引擎支持空間索引，可以用於地理數據存儲。

空間索引會從所有維度來索引數據，可以有效地使用任意維度來進行組合查詢。

必須使用 GIS 相關的函數來維護數據。

4. 全文索引

MyISAM 存儲引擎支持全文索引，用於查找文本中的關鍵詞，而不是直接比較索引中的值。

使用 MATCH AGAINST，而不是普通的 WHERE。

索引的優點

大大減少了服務器需要掃描的數據量；
幫助服務器避免進行排序和創建臨時表（B+Tree 索引是有序的，可以用來做 ORDER BY 和 GROUP BY 操作）；
將隨機 I/O 變爲順序 I/O（B+Tree 索引是有序的，也就將相鄰的列值都存儲在一起）。

索引優化

1. 獨立的列

在進行查詢時，索引列不能是表達式的一部分，也不能是函數的參數，否則無法使用索引。

例如下面的查詢不能使用 actor_id 列的索引：

SELECT actor_id FROM sakila.actor WHERE actor_id + 1 = 5;

2. 前綴索引

對於 BLOB、TEXT 和 VARCHAR 類型的列，必須使用前綴索引，只索引開始的部分字符。

對於前綴長度的選取需要根據 索引選擇性 來確定：不重複的索引值和記錄總數的比值。選擇性越高，查詢效率也越高。最大值爲 1，此時每個記錄都有唯一的索引與其對應。

3. 多列索引

在需要使用多個列作爲條件進行查詢時，使用多列索引比使用多個單列索引性能更好。例如下面的語句中，最好把 actorid 和 filmid 設置爲多列索引。

SELECT film_id, actor_id FROM sakila.film_actor
WhERE actor_id = 1 AND film_id = 1;

4. 索引列的順序

讓選擇性最強的索引列放在前面，例如下面顯示的結果中 customerid 的選擇性比 staffid 更高，因此最好把 customer_id 列放在多列索引的前面。

SELECT COUNT(DISTINCT staff_id)/COUNT(*) AS staff_id_selectivity,
COUNT(DISTINCT customer_id)/COUNT(*) AS customer_id_selectivity,
COUNT(*)
FROM payment;

   staff_id_selectivity: 0.0001
customer_id_selectivity: 0.0373
               COUNT(*): 16049

5. 聚簇索引

聚簇索引並不是一種索引類型，而是一種數據存儲方式。

術語“聚簇”表示數據行和相鄰的鍵值緊密地存儲在一起，InnoDB 的聚簇索引在同一個結構中保存了 B+Tree 索引和數據行。

因爲無法把數據行存放在兩個不同的地方，所以一個表只能有一個聚簇索引。

優點

可以把相關數據保存在一起，減少 I/O 操作。例如電子郵件表可以根據用戶 ID 來聚集數據，這樣只需要從磁盤讀取少數的數據也就能獲取某個用戶的全部郵件，如果沒有使用聚聚簇索引，則每封郵件都可能導致一次磁盤 I/O。
數據訪問更快。

缺點

聚簇索引最大限度提高了 I/O 密集型應用的性能，但是如果數據全部放在內存，就沒必要用聚簇索引。
插入速度嚴重依賴於插入順序，按主鍵的順序插入是最快的。
更新操作代價很高，因爲每個被更新的行都會移動到新的位置。
當插入到某個已滿的頁中，存儲引擎會將該頁分裂成兩個頁面來容納該行，頁分裂會導致表佔用更多的磁盤空間。
如果行比較稀疏，或者由於頁分裂導致數據存儲不連續時，聚簇索引可能導致全表掃描速度變慢。

6. 覆蓋索引

索引包含所有需要查詢的字段的值。

優點

因爲索引條目通常遠小於數據行的大小，所以若只讀取索引，能大大減少數據訪問量。
一些存儲引擎（例如 MyISAM）在內存中只緩存索引，而數據依賴於操作系統來緩存。因此，只訪問索引可以不使用系統調用（通常比較費時）。
對於 InnoDB 引擎，若二級索引能夠覆蓋查詢，則無需訪問聚簇索引。

B-Tree 和 B+Tree 原理

1. B-Tree

爲了描述 B-Tree，首先定義一條數據記錄爲一個二元組 [key, data]。

B-Tree 是滿足下列條件的數據結構：

所有葉節點具有相同的深度，也就是說 B-Tree 是平衡的；
一個節點中的 key 從左到右非遞減排列；
如果某個指針的左右相鄰 key 分別是 keyi 和 keyi+1，且不爲 null，則該指針指向節點的所有 key 大於等於 keyi 且小於等於 keyi+1。

在 B-Tree 中按 key 檢索數據的算法非常直觀：首先在根節點進行二分查找，如果找到則返回對應節點的 data，否則在相應區間的指針指向的節點遞歸進行查找。

由於插入刪除新的數據記錄會破壞 B-Tree 的性質，因此在插入刪除時，需要對樹進行一個分裂、合併、轉移等操作以保持 B-Tree 性質。

2. B+Tree

與 B-Tree 相比，B+Tree 有以下不同點：

每個節點的指針上限爲 2d 而不是 2d+1；
內節點不存儲 data，只存儲 key，葉子節點不存儲指針。

3. 帶有順序訪問指針的 B+Tree

一般在數據庫系統或文件系統中使用的 B+Tree 結構都在經典 B+Tree 基礎上進行了優化，在葉子節點增加了順序訪問指針，做這個優化的目的是爲了提高區間訪問的性能。

4. 爲什麼使用 B-Tree 和 B+Tree

紅黑樹等數據結構也可以用來實現索引，但是文件系統及數據庫系統普遍採用 B-/+Tree 作爲索引結構。

頁是計算機管理存儲器的邏輯塊，硬件及操作系統往往將主存和磁盤存儲區分割爲連續的大小相等的塊，每個存儲塊稱爲一頁（在許多操作系統中，頁的大小通常爲 4k），主存和磁盤以頁爲單位交換數據。

一般來說，索引本身也很大，不可能全部存儲在內存中，因此索引往往以索引文件的形式存儲的磁盤上。爲了減少磁盤 I/O，磁盤往往不是嚴格按需讀取，而是每次都會預讀。這樣做的理論依據是計算機科學中著名的局部性原理：當一個數據被用到時，其附近的數據也通常會馬上被使用。數據庫系統的設計者巧妙利用了磁盤預讀原理，將一個節點的大小設爲等於一個頁，這樣每個節點只需要一次 I/O 就可以完全載入。

B-Tree 中一次檢索最多需要 h-1 次 I/O（根節點常駐內存），漸進複雜度爲 O(h)=O(logdN)。一般實際應用中，出度 d 是非常大的數字，通常超過 100，因此 h 非常小（通常不超過 3）。而紅黑樹這種結構，h 明顯要深的多。並且於邏輯上很近的節點（父子）物理上可能很遠，無法利用局部性，效率明顯比 B-Tree 差很多。

B+Tree 更適合外存索引，原因和內節點出度 d 有關。由於 B+Tree 內節點去掉了 data 域，因此可以擁有更大的出度，擁有更好的性能。

四、查詢性能優化

Explain

用來分析 SQL 語句，分析結果中比較重要的字段有：

select_type : 查詢類型，有簡單查詢、聯合查詢和子查詢
key : 使用的索引
rows : 掃描的行數

減少返回的列

慢查詢主要是因爲訪問了過多數據，除了訪問過多行之外，也包括訪問過多列。

最好不要使用 SELECT * 語句，要根據需要選擇查詢的列。

減少返回的行

最好使用 LIMIT 語句來取出想要的那些行。

還可以建立索引來減少條件語句的全表掃描。例如對於下面的語句，不使用索引的情況下需要進行全表掃描，而使用索引只需要掃描幾行記錄即可，使用 Explain 語句可以通過觀察 rows 字段來看出這種差異。

SELECT * FROM sakila.film_actor WHERE film_id = 1;

拆分大的 DELETE 或 INSERT 語句

如果一次性執行的話，可能一次鎖住很多數據、佔滿整個事務日誌、耗盡系統資源、阻塞很多小的但重要的查詢。

DELEFT FROM messages WHERE create < DATE_SUB(NOW(), INTERVAL 3 MONTH);

rows_affected = 0
do {
    rows_affected = do_query(
    "DELETE FROM messages WHERE create  < DATE_SUB(NOW(), INTERVAL 3 MONTH) LIMIT 10000")
} while rows_affected > 0

五、切分

隨着時間和業務的發展，數據庫中的表會越來越多，並且表中的數據量也會越來越大，那麼讀寫操作的開銷也會隨着增大。

垂直切分

將表按功能模塊、關係密切程度劃分出來，部署到不同的庫上。例如，我們會建立商品數據庫 payDB、用戶數據庫 userDB 等，分別用來存儲項目與商品有關的表和與用戶有關的表。

水平切分

把表中的數據按照某種規則存儲到多個結構相同的表中，例如按 id 的散列值、性別等進行劃分。

切分的選擇

如果數據庫中的表太多，並且項目各項業務邏輯清晰，那麼垂直切分是首選。

如果數據庫的表不多，但是單表的數據量很大，應該選擇水平切分。

存在的問題

1. 事務問題

在執行分庫分表之後，由於數據存儲到了不同的庫上，數據庫事務管理出現了困難。如果依賴數據庫本身的分佈式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。

2. 跨庫跨表連接問題

在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上。這時，表的連接操作將受到限制，我們無法連接位於不同分庫的表，也無法連接分表粒度不同的表，導致原本只需要一次查詢就能夠完成的業務需要進行多次才能完成。

3. 額外的數據管理負擔和數據運算壓力

最顯而易見的就是數據的定位問題和數據的增刪改查的重複執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算。

六、故障轉移和故障恢復

故障轉移也叫做切換，當主庫出現故障時就切換到備庫，使備庫成爲主庫。故障恢復顧名思義就是從故障中恢復過來，並且保證數據的正確性。

提升備庫或切換角色

提升一臺備庫爲主庫，或者在一個主-主複製結構中調整主動和被動角色。

虛擬 IP 地址和 IP 託管

爲 MySQL 實例指定一個邏輯 IP 地址，當 MySQL 實例失效時，可以將 IP 地址轉移到另一臺 MySQL 服務器上。

中間件解決方案

通過代理，可以路由流量到可以使用的服務器上。

在應用中處理故障轉移

將故障轉移整合到應用中可能導致應用變得太過笨拙。

參考資料

BaronScbwartz, PeterZaitsev, VadimTkacbenko, 等. 高性能 MySQL[M]. 電子工業出版社, 2013.
How Sharding Works
MySQL 索引背後的數據結構及算法原理
20+ 條 MySQL 性能優化的最佳經驗
數據庫爲什麼分庫分表？mysql的分庫分表方案

mysql高級