MySQL數據庫——主從複製

目錄

一、主從複製的概念

二、主從複製的原理

1、主節點 binary log dump 線程

2、從節點I/O線程

3、從節點SQL線程

三、主從複製的用途

1、讀寫分離

2、 數據實時備份,當系統中某個節點發生故障時,可以方便的故障切換

3、 高可用HA

4、架構擴展

四、主從複製的形式

1、一主一從

2、一主多從

3、多主一從 (從5.7開始支持)

4、雙主複製

5、級聯複製

五、主從複製的模式

1、異步模式

2、半同步模式

3、全同步模式

六、複製類型

1、基於二進制日誌點的複製

2、基於GTID的複製(MySQL>=5.7推薦使用)

GTID複製模式

基於GTID複製實現的工作原理

七、總結


一、主從複製的概念

主從複製是指數據可以從一個MYSQL數據庫服務器主節點複製到一個或多個從節點

MySQL默認採用異步複製方式,這樣從節點不用一直訪問主服務器來更新自己的數據

數據的更新可以在遠程連接上進行,從節點可以複製主數據庫中所有數據庫或者特定的數據庫,或者特定的表。

二、主從複製的原理

MySQL主從複製涉及到三個線程,一個運行在主節點(log dump thread),其餘兩個(I/O thread,SQL thread)運行在從節點,如下圖所示:

1、主節點 binary log dump 線程

當從節點連接主節點時,主節點會創建一個log dump線程,用於發送bin-log的內容。在讀取bin-log中的操作時,此線程會對主節點的bin-log加鎖,當讀取完成,甚至在發動給從節點之前,鎖會被釋放。

2、從節點I/O線程

當從節點上執行‘start slave’命令之後,從節點會創建一個I/O線程用來連接主節點,請求主庫中更新的bin-log。I/O線程接收到主節點binlog dump 進程發來的更新之後,保存在本地relay-log中。 

3、從節點SQL線程

SQL線程負責讀取relay log中的內容,解析成具體的操作並執行,最終保證主從數據的一致性。

對於每一個主從連接,都需要三個進程來完成。當主節點有多個從節點時,主節點會爲每一個當前連接的從節點建一個binary log dump 進程,而每個從節點都有自己的I/O進程,SQL進程。從節點用兩個線程將從主庫拉取更新和執行分成獨立的任務,這樣在執行同步數據任務的時候,不會降低讀操作的性能。比如,如果從節點沒有運行,此時I/O進程可以很快從主節點獲取更新,儘管SQL進程還沒有執行。如果在SQL進程執行之前從節點服務停止,至少I/O進程已經從主節點拉取到了最新的變更並且保存在本地relay日誌中,當服務再次起來之後,就可以完成數據的同步。

 

要實施複製,首先必須打開Master 端的binary log(bin-log)功能,否則無法實現。

因爲整個複製過程實際上就是Slave 從Master 端獲取該日誌然後再在自己身上完全順序的執行日誌中所記錄的各種操作。如下圖所示:

複製的基本過程如下:

  • 從節點上的I/O 進程連接主節點,並請求從指定日誌文件的指定位置(或者從最開始的日誌)之後的日誌內容;

  • 主節點接收到來自從節點的I/O請求後,通過負責複製的I/O進程根據請求信息讀取指定日誌指定位置之後的日誌信息,返回給從節點。返回信息中除了日誌所包含的信息之外,還包括本次返回的信息的bin-log file 的以及bin-log position;從節點的I/O進程接收到內容後,將接收到的日誌內容更新到本機的relay log中,並將讀取到的binary log文件名和位置保存到master-info 文件中,以便在下一次讀取的時候能夠清楚的告訴Master“我需要從某個bin-log 的哪個位置開始往後的日誌內容,請發給我”;

  • Slave 的 SQL線程檢測到relay-log 中新增加了內容後,會將relay-log的內容解析成在祝節點上實際執行過的操作,並在本數據庫中執行。

三、主從複製的用途

1、讀寫分離

在開發工作中,有時候會遇見某個sql 語句需要鎖表,導致暫時不能使用讀的服務,這樣就會影響現有業務,使用主從複製,讓主庫負責寫,從庫負責讀,這樣,即使主庫出現了鎖表的情景,通過讀從庫也可以保證業務的正常運作。

2、 數據實時備份,當系統中某個節點發生故障時,可以方便的故障切換

3、 高可用HA

4、架構擴展

隨着系統中業務訪問量的增大,如果是單機部署數據庫,就會導致I/O訪問頻率過高。有了主從複製,增加多個數據存儲節點,將負載分佈在多個從節點上,降低單機磁盤I/O訪問的頻率,提高單個機器的I/O性能。

四、主從複製的形式

1、一主一從

2、一主多從

一主一從和一主多從是最常見的主從架構,實施起來簡單並且有效,不僅可以實現HA,而且還能讀寫分離,進而提升集羣的併發能力。

3、多主一從 (從5.7開始支持)

多主一從可以將多個mysql數據庫備份到一臺存儲性能比較好的服務器上。

4、雙主複製

雙主複製,也就是互做主從複製,每個master既是master,又是另外一臺服務器的slave。這樣任何一方所做的變更,都會通過複製應用到另外一方的數據庫中。

5、級聯複製

級聯複製模式下,部分slave的數據同步不連接主節點,而是連接從節點。因爲如果主節點有太多的從節點,就會損耗一部分性能用於replication,那麼我們可以讓3~5個從節點連接主節點,其它從節點作爲二級或者三級與從節點連接,這樣不僅可以緩解主節點的壓力,並且對數據一致性沒有負面影響。

五、主從複製的模式

1、異步模式

異步模式如下圖所示,這種模式下,主節點不會主動push bin log到從節點,這樣有可能導致failover的情況下,也許從節點沒有即時地將最新的bin log同步到本地。

2、半同步模式

這種模式下主節點只需要接收到其中一臺從節點的返回信息,就會commit;否則需要等待直到超時時間然後切換成異步模式再提交;這樣做的目的可以使主從數據庫的數據延遲縮小,可以提高數據安全性,確保了事務提交後,binlog至少傳輸到了一個從節點上,不能保證從節點將此事務更新到db中。性能上會有一定的降低,響應時間會變長。如下圖所示:

半同步模式不是mysql內置的,從mysql 5.5開始集成,需要master 和slave 安裝插件開啓半同步模式。

3、全同步模式

全同步模式是指主節點和從節點全部執行了commit並確認纔會向客戶端返回成功

六、複製類型

1、基於二進制日誌點的複製

(1)基於SQL語句的複製

(2)基於行的複製

(3)混合模式

2、基於GTID的複製(MySQL>=5.7推薦使用)

GTID複製模式

    在傳統的複製裏面,當發生故障,需要主從切換,需要找到binlog和pos點,然後將主節點指向新的主節點,相對來說比較麻煩,也容易出錯。在MySQL 5.6裏面,不用再找binlog和pos點,我們只需要知道主節點的ip,端口,以及賬號密碼就行,因爲複製是自動的,MySQL會通過內部機制GTID自動找點同步。

    多線程複製(基於庫),在MySQL 5.6以前的版本,slave的複製是單線程的。一個事件一個事件的讀取應用。而master是併發寫入的,所以延時是避免不了的。唯一有效的方法是把多個庫放在多臺slave,這樣又有點浪費服務器。在MySQL 5.6裏面,我們可以把多個表放在多個庫,這樣就可以使用多線程複製。

基於GTID複製實現的工作原理

  • 主節點更新數據時,會在事務前產生GTID,一起記錄到binlog日誌中。

  • 從節點的I/O線程將變更的bin log,寫入到本地的relay log中。

  • SQL線程從relay log中獲取GTID,然後對比本地binlog是否有記錄(所以MySQL從節點必須要開啓binary log)。

  • 如果有記錄,說明該GTID的事務已經執行,從節點會忽略。

  • 如果沒有記錄,從節點就會從relay log中執行該GTID的事務,並記錄到bin log。

  • 在解析過程中會判斷是否有主鍵,如果沒有就用二級索引,如果有就用全部掃描。

七、總結

Mysql 主從複製是mysql 高可用,高性能的基礎,有了這個基礎,mysql 的部署會變得簡單、靈活並且具有多樣性,從而可以根據不同的業務場景做出靈活的調整。

 

參考:https://mp.weixin.qq.com/s/aeLxGBro0VFkmgi97cX-DA

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章