需要從數據庫檢索某些符合要求的數據,我們很容易寫出 Select A B C FROM T WHERE ID = XX 這樣的SQL,那麼當我們向數據庫發送這樣一個請求時,數據庫到底做了什麼?
我們今天以MYSQL爲例,揭示一下MySQL數據庫的查詢過程,並讓大家對數據庫裏的一些零件有所瞭解。
MYSQL架構
MySQL 主要可以分爲 Server 層和存儲引擎層。
Server層 包括連接器、查詢緩存、分析器、優化器、執行器等,所有跨存儲引擎的功能都在這一層實現,比如存儲過程、觸發器、視圖、函數等,還有個通用的日誌模塊binlog日誌模塊;
存儲引擎層 負責數據的存儲和提取。其架構模式是插件式的,支持 InnoDB、MyISAM、Memory 等多個存儲引擎。現在最常用的存儲引擎是 InnoDB(支持事務),它從 MySQL5.5.5 版本開始成爲默認存儲引擎。
連接器
連接器主要負責用戶登錄數據庫,進行用戶的身份認證,包括校驗賬戶密碼,權限等操作。
如果用戶密碼不對,你就會收到一個"Access denied for user"的錯誤,然後客戶端程序結束執行。
如果用戶賬戶密碼已通過,連接器會到權限表中查詢該用戶的所有權限,之後在這個連接裏的權限邏輯判斷都是會依賴此時讀取到的權限數據,也就是說,後續只要這個連接不斷開,即時管理員修改了該用戶的權限,該用戶也是不受影響的。
查詢緩存( Query cache)
客戶端與服務端建立連接後,MySQL 在執行查詢語句時會先查詢緩存,校驗這條SQL是不是在之前執行過。之前執行過的語句及其結果會以 key-value 對的形式,被直接緩存在內存中。key 是查詢的語句,value 是查詢的結果。如果你的查詢能夠直接在這個緩存中找到 key,那麼這個value 就會被直接返回給客戶端。如果沒有命中,則需要執行後續的操作,完成後也會把結果緩存起來,方便下一次調用。
看到這裏大家會不會眼前一亮,會不會有這個功能很好要好好利用的衝動。
其實這裏並不建議使用查詢緩存,查詢緩存的失效非常頻繁,只要有對一個表的更新,這個表上所有的查詢緩存都會被清空。因此很可能你費勁地把結果存起來,還沒使用就被一個更新全清空了。對於更新壓力大的數據庫來說,查詢緩存的命中率會非常低。除非是那種很長時間不會更新的表,比如系統配置表,但是這種系統配置我們放在配置平臺不好嗎?
在MYSQL8.0中已經刪除了查詢緩存這個功能,官方也是認爲該功能在實際的應用場景比較少,所以乾脆直接刪掉了。
分析器
Mysql沒有命中查詢緩存,那麼就會進入分析器,分析器主要是用來分析SQL語句是來幹嘛的。分析器主要分爲以下兩步:
- 詞法分析 :一條SQL語句有多個字符串組成,首先要提取關鍵字,比如select,提出查詢的表,提出字段名,提出查詢條件等等。
- 語法分析:根據詞法分析的結果,語法分析主要就是判斷你輸入的SQL語句是否正確,是否符合MYSQL語法,如果你的語句不對,就會收到“You have an error in your SQL syntax”的錯誤提醒。
詞法分析程序將整個查詢語句分解成各類標誌,語法分析根據定義的系統語言將“各類標誌”轉爲對MySQL有意義的組合。最後系統生成一個語法樹(AST),語法樹便是優化器依賴的數據結構。
優化器
經過了分析器,MySQL 就知道你要做什麼了。在開始執行之前,還要先經過優化器的處理。
爲什麼需要優化器?
-
優化器中包含了許多複雜的優化技術,這些優化技術往往比最好的程序員掌握的還要多。系統的自動優化相當於使得所有人都擁有這些優化技術。
-
優化器可以從數據字典中獲取許多統計信息,例如表中的行數、表中的每個列的分佈情況等。優化器優化器可以考慮百種不同的執行計劃,而程序員一般只能考慮有限的幾種可能;
-
可以根據這些信息選擇有效的執行計劃,而用戶程序則難以獲得這些信息;
總之優化器是對語法分析樹的形態進行修改,把語法分析樹變爲查詢樹,確定執行方案。
執行器
MySQL 通過分析器知道了你要做什麼,通過優化器知道了該怎麼做,於是就進入了執行器階段,開始執行語句。
開始執行的時候,要先校驗改用戶是否有執行查詢的權限,如果沒有,就會返回沒有權限的錯誤。如果有權限,就會去調用引擎的接口,返回接口執行的結果。
語句分析
我們以下面一條真實SQL查詢語句來進行分析下MYSQL查詢的執行過程
select id,name,sex,phoone from user t where t.age='26' and t.account='javadaily'
- 首先客戶端需要連接上數據庫,如果賬號密碼錯誤直接返回錯誤信息,如果正確則進入下一步。
- 在MYSQL8.0之前會先去查詢緩存中,以這條SQL語句作爲key在內存中查詢是否有結果,如果有則先判斷是否有權限,有權限則返回客戶端,否則報錯;如果沒有從查詢緩存命中則進入下一步
- 通過分析器進行詞法分析,提取sql語句的關鍵元素,比如提取上面這個語句是查詢select,提取需要查詢的表名爲
user
,需要查詢的列爲id,name,sex,phoone
,查詢條件是age=26
和account=javadailly
。然後判斷這個sql語句是否有語法錯誤,比如關鍵詞是否正確等等,如果檢查沒問題就執行下一步。 - 上面的SQL有兩種執行方案,優化器根據自己的優化算法選擇執行效率最高的a方案(統計信息不準可能導致優化器選擇錯誤的執行方案),確定了優化方案後就開始執行。
a. 先查詢
account=javadaily
的用戶,然後判斷age
是否等於26
b. 先找出age=26
的用戶,再查詢account=javadaily
的用戶
- 進行權限校驗,如果有查詢權限則調用數據庫引擎接口返回執行結果;否則報錯。
個人博客:http://www.javadaily.cn,歡迎關注!