MySQL中的這個池子,強的一批!

Mysql 中數據是要落盤的,這點大家都知道。讀寫磁盤速度是很慢的,尤其和內存比起來更是沒的說。但是,我們平時在執行 SQL 時,無論寫操作還是讀操作都能很快得到結果,並沒有預想中的那麼慢。

可能你會說我有索引啊,有索引當然快了。但是鐵子,索引文件也是存儲在磁盤上的,查找過程會產生磁盤 I/O。如果同時對某行數據進行多次操作,那豈不是要重複產生很多次磁盤 IO 嗎?

可能你想到了,那我把數據存在內存裏不就可以了嗎?內存速度比磁盤快,這準沒毛病。沒錯,那該怎麼存呢? 這就是我們今天所要講的主題——緩衝池(buffer pool)。

各位看官,請跟我來~

圖注:思維導圖

初識緩衝池

上邊我們提到過了,執行 SQL 對某一行進行操作時,總不能每次都直接進行磁盤操作吧。好歹有個緩衝地帶,不然每次都深入老巢這誰受得了。

這不緩衝池就應運而生了,簡單來說就是一塊內存區域。它存在的原因之一是爲了避免每次都去訪問磁盤,把最常訪問的數據放在緩存裏,提高數據的訪問速度。

瞭解了它的作用,接下來讓我們先來看下緩衝池在整個 Mysql 架構裏處於什麼樣的地方,有一個宏觀的認識。

我們再來看看它的內部組成部分。在緩衝池中,除數據頁和索引頁外還有多種類型:

緩衝池的應用

緩衝池你也瞭解了,可能此時你最關注的是它在 SQL 執行時起了一個什麼樣的作用。上篇文章中我們簡單的提到過一條 SQL 語句的執行過程,但並未涉及到緩衝池相關的問題。這期我們仍是以一條 SQL 來作爲切入點。

當一條 SQL 執行的時候,如果是讀操作,要查找的數據所在的數據頁在內存中時,則將結果返回。否則會把對應的數據頁加載到內存中,然後再返回結果。

同樣對於寫操作來說。如果要修改的行所在的數據頁在內存中,則修改後返回對應的結果(當然還有後續操作)。如果不在的話,則會從磁盤裏將該行所對應的數據頁讀到內存中再進行修改。

好了,現在讓我們回到開始時候的問題。爲什麼操作磁盤慢,但是 SQL 執行卻不慢呢。到這裏相信你也差不多知道了吧。

緩衝池的存在,很大程度減少了磁盤 I/O 帶來的開銷。要操作的數據行所在的數據頁如果存在於緩存中的話,就不需要從磁盤中進行讀取。這樣在執行後就可以很快拿到結果。

緩衝池的預讀機制

我們可以看出來,只要不存在或減少磁盤 I/O,執行速度自然就會變快。那麼對於加載數據頁這種無法避免的磁盤 I/O 來說是否有更好的方式呢?既然避免不了,那減少磁盤 I/O 的次數總可以吧?

這就是我們要講的 Mysql 中「預讀」的新特性,它是 Innodb 通過在緩衝池中提前讀取多個數據頁來優化 I/O 的一種方式。因爲磁盤讀寫的時候,是按照頁的方式來讀取的(你可以理解爲固定大小的數據,例如一頁數據爲 16K),每次至少讀入一頁的數據,如果下次讀取的數據就在頁中,就不用再去磁盤上讀取了,從而減少了磁盤 I/O。

可以在命令行通過如下命令查看對應的頁大小:

緩衝池的空間管理

你可能會有疑問,緩衝池這麼洋氣的東西,爲什麼不把所有的數據都放到緩衝池裏呢?這樣速度豈不是美滋滋,放到磁盤裏慢的跟老牛拉車一樣。 

哎,哥,醒醒,拋開內存的易失性不談,緩衝池也是有大小限制的。那你可能又有疑惑了,既然緩衝池有大小限制,那我每次都讀入的數據頁怎麼來管理呢。別的數據頁都佔了地兒了,哪有我的位置?

這裏我們來聊聊緩衝池的空間管理,其實對緩衝池進行管理的關鍵部分是如何安排進池的數據並且按照一定的策略淘汰池中的數據,保證池中的數據不“溢出”,同時還能保證常用數據留在池子中。

傳統 LRU 淘汰法

緩衝池是基於傳統的 LRU 方法來進行緩存頁管理的,我們先來看下如果使用 LRU 是如何管理的。

LRU,全稱是 Least Recently Used,中文名字叫作「最近最少使用」。從名字上就很容易理解了。

這裏分兩種情況:

(1)緩存頁已在緩衝池中

這種情況下會將對應的緩存頁放到 LRU 鏈表的頭部,無需從磁盤再進行讀取,也無需淘汰其它緩存頁。

如下圖所示,如果要訪問的數據在 6 號頁中,則將 6 號頁放到鏈表頭部即可,這種情況下沒有緩存頁被淘汰。

(2)緩存頁不在緩衝池中

緩存頁不在緩衝中,這時候就需要從磁盤中讀入對應的數據頁,將其放置在鏈表頭部,同時淘汰掉末尾的緩存頁 

如下圖所示,如果要訪問的數據在 60 號頁中,60 號頁不在緩衝池中,此時加載進來放到鏈表的頭部,同時淘汰掉末尾的 17 號緩存頁。

是不是看上去很簡單,同時也能滿足緩衝池淘汰緩存頁的方法?但是我們來思考幾個問題:

預讀失效

上面我們提到了緩衝池的預讀機制可能會預先加載相鄰的數據頁。假如加載了 20、21 相鄰的兩個數據頁,如果只有頁號爲 20 的緩存頁被訪問了,而另一個緩存頁卻沒有被訪問。此時兩個緩存頁都在鏈表的頭部,但是爲了加載這兩個緩存頁卻淘汰了末尾的緩存頁,而被淘汰的緩存頁卻是經常被訪問的。這種情況就是預讀失效,被預先加載進緩衝池的頁,並沒有被訪問到,這種情況是不是很不合理。

緩衝池污染

還有一種情況是當執行一條 SQL 語句時,如果掃描了大量數據或是進行了全表掃描,此時緩衝池中就會加載大量的數據頁,從而將緩衝池中已存在的所有頁替換出去,這種情況同樣是不合理的。這就是緩衝池污染,並且還會導致 MySQL 性能急劇下降。

冷熱數據分離

這樣看來,傳統的 LRU 方法並不能滿足緩衝池的空間管理。因此,Msyql 基於 LRU 設計了冷熱數據分離的處理方案。

也就是將 LRU 鏈表分爲兩部分,一部分爲熱數據區域,一部分爲冷數據區域。


當數據頁第一次被加載到緩衝池中的時候,先將其放到冷數據區域的鏈表頭部,1s(由 innodb_old_blocks_time 參數控制) 後該緩存頁被訪問了再將其移至熱數據區域的鏈表頭部。

可能你會有疑惑了,爲什麼要等 1s 後纔將其移至熱數據區域呢?你想想,如果數據頁剛被加載到冷數據區就被訪問了,之後再也不訪問它了呢?這不就造成熱數據區的浪費了嗎?要是 1s 後不訪問了,說明之後可能也不會去頻繁訪問它,也就沒有移至熱緩衝區的必要了。當緩存頁不夠的時候,從冷數據區淘汰它們就行了。 

另一種情況,當我的數據頁已經在熱緩衝區了,是不是緩存頁只要被訪問了就將其插到鏈表頭部呢?不用我說你肯定也覺得不合理。熱數據區域裏的緩存頁是會被經常訪問的,如果每訪問一個緩存頁就插入一次鏈表頭,那整個熱緩衝區裏就異常騷動了,你想想那個畫面。

那咋整呢?Mysql 中優化爲熱數據區的後 3/4 部分被訪問後纔將其移動到鏈表頭部去,對於前 1/4 部分的緩存頁被訪問了不會進行移動。

好了,到這裏關於 buffer pool  的知識就講完了。這期裏我們講了 buffer pool 能使 SQL 執行變快的原因,同時還講了有關 buffer pool 空間的管理方式。歡迎在留言區裏進行討論。

總結

緩衝池的應用

緩衝池很大程度減少了磁盤 I/O 帶來的開銷,通過將操作的數據行所在的數據頁加載到緩衝池可以提高 SQL 的執行速度。

緩衝池的預讀機制

爲了減少磁盤 I/O,Innodb 通過在緩衝池中提前讀取多個數據頁來進行優化,這種方式叫作預讀。

緩衝池的空間管理

傳統的LRU方法對於緩衝池來說,會導致預讀失效和緩衝池污染兩種情況,因此這種傳統的方式並不適用緩衝池的空間管理。

基於對 LRU 方法的優化,Msyql 設計了冷熱數據分離的處理方案,將LRU鏈表分爲熱數據區和冷數據區兩部分,這樣就可以解決預讀失效和緩衝池污染的情況。 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章