【MySQL學習筆記（一）】MySQL主從複製的原理和實踐操作

原文鏈接：https://www.cnblogs.com/liwei0526vip/p/6412493.html

MySQL主從複製的原理和實踐操作

MySQL 主從(MySQL Replication)，主要用於 MySQL 的實時備份、高可用HA、讀寫分離。在配置主從複製之前需要先準備 2 臺 MySQL 服務器。

一、MySQL主從原理

1. 每個從僅可以設置一個主。
2. 主在執行 SQL 之後，記錄二進制 LOG 文件(bin-log)。
3. 從連接主，並從主獲取 binlog，存於本地 relay-log，並從上次記住的位置起執行 SQL，一旦遇到錯誤則停止同步。

二、Replication原理推論

1. 主從間的數據庫不是實時同步，就算網絡連接正常，也存在瞬間，主從數據不一致。
2. 如果主從的網絡斷開，從會在網絡正常後，批量同步。
3. 如果對從進行修改數據，很可能從在執行主的bin-log出錯而停止同步，一般不會修改從的數據。
4. 一個衍生的配置是雙主，互爲主從配置，只要雙方的修改不衝突，可以工作良好。
5. 如果需要多主的話，可以用環形配置，這樣任意一個節點的修改都可以同步到所有節點。
6. 可以應用在讀寫分離的場景中，用以降低單臺 MySQL 服務器的 I/O。
7. 可以實現 MySQL 服務的 HA 集羣。
8. 可以是一主多從，也可以是相互主從(主主)。

三、實驗環境

操作系統：CentOS 6.8_x64
Mysql版本：5.1.73(主從版本要一致)
Mysql安裝：yum安裝的方式
主 IP 地址：192.168.0.8(master)
從 IP 地址：192.168.0.18(slave)

四、主從的基本配置

1、對master的設置

修改 master 數據庫的配置文件，vim /etc/my.cnf

[mysqld]
... ... ... ...
log-bin=mysql-bin    # 二進制日誌名稱，開啓bin-log
server-id=8          # 爲服務器設置一個獨一無二的id，這裏用IP的最後一位。

重啓 master 數據庫服務：

service mysqld restart

2、對slave的設置

對於 slave 的設置，不需要開啓二進制日誌，僅需要設置以下 server-id 即可。

server-id=18

重啓從服務區器。

五、創建主從複製賬號

爲了讓 slave 能夠通過 master 來獲取二進制日誌，需要專門給 slave 創建一個用戶 repl，在主上操作。

mysql> grant replication slave on *.* to 'repl'@'192.168.0.18' identified by '123456';
Query OK, 0 rows affected (0.00 sec)

六、查看主服務器BIN日誌的信息

執行完之後記錄下這兩值，然後在配置完從服務器之前不要對主服務器進行任何操作，因爲每次操作數據庫時這兩值會發生改變。

mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      259 |              |                  |
+------------------+----------+--------------+------------------+

七、設置從服務器並啓用slave

從上執行如下代碼：

mysql> change master to
    -> master_host="192.168.0.8",
    -> master_user="repl",
    -> master_password="123456",
    -> master_log_file="mysql-bin.000001",
    -> master_log_pos=248;

在從服務器配置完成，啓動從服務器：

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

查看主從設置是否成功：

mysql> show slave status\G;
... ... ... ...
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

上面兩項均爲yes，說明配置成功。

八、測試主從

在主節點上創建一個數據庫test或一張表table，然後在從節點上查看是否有test數據庫或table表的創建。

主從形式

---

原文鏈接：https://blog.csdn.net/thekenofdis/article/details/78965941

mysql 主從複製原理

mysql主從複製 靈活

• 一主一從
• 主主複製
• 一主多從---擴展系統讀取的性能，因爲讀是在從庫讀取的；
• 多主一從---5.7開始支持
• 聯級複製---

 

 

用途及條件

---

 

mysql主從複製用途

• 實時災備，用於故障切換
• 讀寫分離，提供查詢服務
• 備份，避免影響業務

 

主從部署必要條件：

• 主庫開啓binlog日誌（設置log-bin參數）
• 主從server-id不同
• 從庫服務器能連通主庫

 

主從原理

---

mysql主從複製原理

 

 

從庫生成兩個線程，一個I/O線程，一個SQL線程；

 

i/o線程去請求主庫 的binlog，並將得到的binlog日誌寫到relay log（中繼日誌） 文件中；

主庫會生成一個 log dump 線程，用來給從庫 i/o線程傳binlog；

 

SQL 線程，會讀取relay log文件中的日誌，並解析成具體操作，來實現主從的操作一致，而最終數據一致；

 

問題及解決方法

---

 

mysql主從複製存在的問題：

• 主庫宕機後，數據可能丟失
• 從庫只有一個sql Thread，主庫寫壓力大，複製很可能延時

 

解決方法：

• 半同步複製---解決數據丟失的問題
• 並行複製----解決從庫複製延遲的問題

 

半同步複製

---

 

mysql semi-sync（半同步複製）

半同步複製：

• 5.5集成到mysql，以插件的形式存在，需要單獨安裝
• 確保事務提交後binlog至少傳輸到一個從庫
• 不保證從庫應用完這個事務的binlog
• 性能有一定的降低，響應時間會更長
• 網絡異常或從庫宕機，卡主主庫，直到超時或從庫恢復

 

主從複製--異步複製原理

 

半同步複製原理：

 

 

並行複製

---

 

mysql並行複製

• 社區版5.6中新增
• 並行是指從庫多線程apply binlog
• 庫級別並行應用binlog，同一個庫數據更改還是串行的(5.7版並行複製基於事務組)

設置

set global slave_parallel_workers=10;

設置sql線程數爲10

 

 

其他

---

 

部分數據複製

主庫添加參數：

binlog_do_db=db1
binlog_ignore_db=db1
binlog_ignore_db=db2

或從庫添加參數

replicate_do_db=db1
replicate_ignore_db=db1
replicate_do_table=db1.t1
replicate_wild_do_table=db%.%
replicate_wild_ignore_table=db1.%

 

聯級複製（常用）

A->B->C

B中添加參數：

log_slave_updates
B將把A的binlog記錄到自己的binlog日誌中

 

複製的監控：

show  slave status \G

 

複製出錯處理

常見：1062（主鍵衝突），1032（記錄不存在）

解決：

• 手動處理
• 跳過複製錯誤：set global sql_slave_skip_counter=1

 

 

 

總結

---

 

• 主從形式
• • 一主一從
  • 一主多從--擴展系統讀取性能
  • 多主一從--5.7開始支持
  • 主主複製
  • 聯級複製
• 用途：實時災備的故障切換，讀寫分離，備份
• 原理
• • 主：log dump線程傳binlog；
  • 從
  • • i/o線程接受讀取binlog，並寫入relay log文件
    • sql線程從relay log 文件中讀取binlog並持久化
• 問題及解決
• • 主庫宕機後，數據丟失
  • • 半同步複製
  • 主庫寫壓力大，因從庫只有一個sql 線程來持久化，複製可能延遲
  • • 並行複製
• 半同步複製：
• • 原理
  • • 事務在主庫寫完binlog後需要從庫返回一個已接受，才放回給客戶端；
  • 5.5集成到mysql，以插件的形式存在，需要單獨安裝
  • 確保事務提交後binlog至少傳輸到一個從庫
  • 不保證從庫應用完成這個事務的binlog
  • 性能有一定的降低
  • 網絡異常或從庫宕機，卡主庫，直到超時或從庫恢復
• 並行複製
• • 原理：從庫多線程apply binlog
  • 在社區5.6中新增
  • 庫級別並行應用binlog，同一個庫數據更改還是串行的
  • 5.7版本並行複製基於事務組
• 部分數據複製
• 聯級複製（常用）
• • A->B->C
  • B中添加參數log_slave_updates
  • B將把A的binlog記錄到自己的binlog日誌中
• 複製的監控
• • show slave status
• 複製出錯處理
• • 常見：1062（主鍵衝突），1032（記錄不存在）
  • 解決：
  • • 手動處理
    • 跳過複製錯誤：set global sql_slave_skip_counter=1
• mysql主從複製是mysql高可用性，高性能（負載均衡）的基礎
• 簡單，靈活，部署方式多樣，可以根據不同業務場景部署不同複製結構
• 複製過程中應該時刻監控複製狀態，複製出錯或延時可能給系統造成影響
• mysql主從複製目前也存在一些問題，可以根據需要部署複製增強功能