一篇文章幫你解決Mysql 中主從庫不同步的問題

寫這篇文章是因爲之前有一次刪庫操作,需要進行批量刪除數據,當時沒有控制好刪除速度,導致產生了主從延遲,出現了一點小事故。

今天我們就來看看爲什麼會產生主從延遲以及主從延遲如何處理等相關問題。 

坐好了,準備發車!

圖注:思維導圖

主從常見架構 

隨着日益增長的訪問量,單臺數據庫的應接能力已經捉襟見肘。因此採用主庫寫數據,從庫讀數據這種將讀寫分離開的主從架構便隨之衍生了出來。

在生產環境中,常見的主從架構有很多種,在這裏給大家介紹幾種比較常見的架構模式。

 

 

 

 

 

主從複製原理

瞭解了主從的基本架構及相關配置後,下面就要進入正題了。

對於主從來說,通常的操作是主庫用來寫入數據,從庫用來讀取數據。這樣的好處是通過將讀寫壓力分散開,避免了所有的請求都打在主庫上。同時通過從庫進行水平擴展使系統的伸縮性及負載能力也得到了很大的提升。

 

 

但是問題就來了,讀從庫時的數據要與主庫保持一致,那就需要主庫的數據在寫入後同步到從庫中。如何保持主庫與從庫的數據一致性,主庫又是通過什麼樣的方式將數據實時同步到從庫的?

基本原理

Mysql 中主從複製時有兩個很重要的日誌文件:

  • binlog(二進制日誌文件)

  • relay log(中繼日誌文件)

在主從同步的過程中,主庫會將所有的操作事件記錄在 binlog 中,從庫通過開啓一個 I/O 線程保持與主庫的通信,並在一定時間間隔內探測 binlog 日誌文件是否發生改變。如果 binlog 日誌發生了變化,主庫生成一個 binlog dump 線程向從庫 I/O 線程傳送 binlog。從庫上的 I/O 線程將 binlog 複製到自己的 relay log 中。最終由從庫中的 SQL 線程讀取 relay log 中的事件重放到從庫上。

主從延遲原因

上面的流程我們已經知道了主從複製的相關過程了,但是主庫有更新就會同步從庫,那爲什麼會出現主從延遲的情況呢?

隨機重放

Mysql 主庫中寫 binlog 的操作是順序寫的,之前我們提到過,磁盤的順序讀寫速度是很快的。同樣的,從庫中的 I/O 線程操作日誌的速度效率也是很高的。但是別忘了,還有一個 SQL 線程來進行數據重放,而重放的過程是隨機寫盤的。到這裏你應該就明白了吧,某一時刻 relay log 裏的數據來不及重放進從庫,就會產生主從延遲的情況。

主庫併發高

知道了從庫中 SQL 線程的重放情況,對於主庫併發高導致主從延遲肯定就不難理解了。某一時刻,大量寫請求打到主庫上,意味着要不斷對 binlog 進行寫入,此時從庫中的 SQL 線程就會應接不暇,自然會產生主從延遲。

鎖等待

對於 SQL 單線程來說,當遇到阻塞時就會一直等待,直到執行成功纔會繼續進行。如果某一時刻從庫因爲查詢產生了鎖等待的情況,此時只有當前的操作執行完成後纔會進行下面的操作,同理也就產生了主從延遲的情況。

主從延遲處理 

知道了主從延遲的原因,接下來我們看看如何來進行處理。 

並行複製

既然 SQL 單線程進行重放時速度有限,那麼能不能採用多線程的方式來進行重放呢?MySQL 5.6 版本後,提供了一種並行複製的方式,通過將 SQL 線程轉換爲多個 work 線程來進行重放,這樣就解決了主從延遲的問題。

降低主庫併發

你可能會說了,我現在用的低版本的數據庫,也沒法升版本啊,那我怎麼整。對於主庫併發高的情況,這種方式你只能通過控制併發來解決延遲了,多用用 Redis。

讀主庫

這種情況你肯定不陌生,對於一些實時性要求比較高的數據,你總不能讀從庫去拿吧,萬一延遲個大半天,你不得貢獻自己的年終獎啊。

總結

主從複製原理 

  • 主從複製中有兩個很重要的日誌文件,binlog和relay log,分別位於主庫與從庫中。其中 binlog 是主從複製的基礎,通過將操作事件寫入 binlog 通過 I/O 線程傳送至從庫進行同步。

主從延遲原因

  • 從庫中 SQL 線程重放的過程是隨機寫盤的,並且 SQL 線程是單線程的,因此數據來不及重放的話就會導致主從延遲。

  • 主庫併發高會導致寫操作不斷寫入 binlog,對於 SQL 線程說可能會應接不暇,也會產生主從延遲。

  • 重放過程中如果遇到鎖等待也是產生延遲的原因之一。

主從延遲處理

  • MySQL 5.6版本以後通過並行複製的方式來解決 SQL 單線程產生的主從延遲問題。對於低版本來說,可以通過降低主庫的併發來解決。如果對數據實時性要求比較嚴格的話,可以通過讀主庫來達到目的。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章