mysql主從複製以及讀寫分離

一、基礎概念部分

1.1 mysql複製

    1）可以將數據從一臺數據庫服務器(master)複製到一或多臺數據庫服務器(slave)

    2）默認情況下，屬於異步複製。因此無需維持長連接。

    3）通過配置，你可以複製所有的庫或者某幾個庫，甚至庫中的幾個表。

1.2 二進制日誌文件時mysql複製實現的基礎

    二進制日誌（Binary Log）的概念：所有的、無論是明確的或隱含的可以引起數據庫發生改變的語句都要記錄於二進制日誌中。 

    主從備份涉及的日誌文件有：Binary log(二進制日誌)、Relay log(中繼日誌)

    簡而言之，就是master將數據庫的改變寫進二進制日誌，slave同步這些二進制日誌，並根據這些二進制日誌進行數據庫操作。

1.3 mysql複製的主要用途

    1、能完成數據分佈的目的

    2、能完成負載均衡（主要是讀操作）的效果

    3、能實現數據備份的效果（冗餘的功能）

    4、通過故障切換實現高可用

         5、Mysql升級測試

1.4 mysql複製的分類

    分爲：主從複製和主主複製

1.5 mysql複製的價值 

    服務器的擴展方式有：

        1、scale up:提高原有應用的服務器性能

        2、scale out:原有服務器以及應用不變，增加服務器。

    服務器遇到性能瓶頸，向上擴展（scale up）的成本過高，假設服務器現有價格是M，性能擴展N倍，成本往往是M*N倍還要多的多的代價才能提高N倍的性能。

1.6 mysql集羣類型

    1、Load Balancing(負載均衡集羣)，兩臺服務器均同時提供服務。

    2、High Availability(高可用集羣)，屬於冗餘機制，只單臺提供服務。

    3、High Preformance(高性能集羣)，例子如超級計算機，將非常大的運算需求，自動分割成N片，每一片交給一臺計算機處理，處理完成後再返回結果給切割的計算機重新整合。

    mysql既有負載均衡能力，又有高可用的特徵，從某種意義來講，負載均衡本身就具有高可用的特徵，但高可用並不能提供負載均衡的能力。

1.7 mysql同步異步問題

    同步異步概念：

        Async(異步)-通訊無確認信號返回，發送方無需等待接收方迴應任務即中止，異步可以提供更好的性能表現。

        Sync(同步)-通訊有確認信號返回，發送方需等待接收方迴應任務才中止。

    mysql主從架構屬於異步架構

1.8 mysql主從複製相關線程

    1、Dump thread，負責把數據傾瀉給從服務器的線程。

    2、I/o thread，負責接收主服務器傾瀉過來的線程。

    3、sql thread，從中繼日誌中讀取數據並在本地應用數據的線程。

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

二、實現mysql主從複製

    

    主數據庫服務器：192.168.10.130，MySQL已經安裝，並且無應用數據。
    從數據庫服務器：192.168.10.131，MySQL已經安裝，並且無應用數據。

配置主服務器

啓動mysql服務
/opt/mysql/init.d/mysql start
通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
授權給從數據庫服務器192.168.10.131
mysql> GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.10.131' identifiedby ‘password’;
查詢主數據庫狀態
Mysql> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000005 | 261 | | |
+------------------+----------+--------------+------------------+
此時，記錄下 FILE 及 Position 的值，在後面進行從服務器操作的時候需要用到。

配置從服務器

修改從服務器的配置文件/opt/mysql/etc/my.cnf
將 server-id = 1修改爲 server-id =
10，並確保這個ID沒有被別的MySQL服務所使用。
啓動mysql服務
/opt/mysql/init.d/mysql start
通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
執行同步SQL語句
mysql> change master to
master_host=’192.168.10.130’,
master_user=’rep1’,
master_password=’password’,
master_log_file=’mysql-bin.000005’,
master_log_pos=261;
正確執行後啓動Slave同步進程
mysql> start slave;
主從同步檢查
mysql> show slave status\G
==============================================
**************** 1. row *******************
Slave_IO_State:
Master_Host: 192.168.10.130
Master_User: rep1
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 415
Relay_Log_File: localhost-relay-bin.000008
Relay_Log_Pos: 561
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: YES
Slave_SQL_Running: YES
Replicate_Do_DB:
……………省略若干……………
Master_Server_Id: 1
1 row in set (0.01 sec)
==============================================
注意：其中Slave_IO_Running 與 Slave_SQL_Running 的值都必須爲YES，才表明狀態正常。

如果主服務器已經存在應用數據，則在進行主從複製時，需要做以下處理：

(1)主數據庫進行鎖表操作，不讓數據再進行寫入動作
mysql> FLUSH TABLES WITH READ LOCK;
(2)查看主數據庫狀態
mysql> show master status;
(3)記錄下 FILE 及 Position 的值。
將主服務器的數據文件（整個/opt/mysql/data目錄）複製到從服務器，建議通過tar歸檔壓縮後再傳到從服務器解壓。
(4)取消主數據庫鎖定
mysql> UNLOCK TABLES;

驗證複製效果

###主服務器上的操作
在主服務器上創建數據庫first_db
mysql> create database first_db;
Query Ok, 1 row affected (0.01 sec)
在主服務器上創建表first_tb
mysql> create table first_tb(id int(3),name char(10));
Query Ok, 1 row affected (0.00 sec)
在主服務器上的表first_tb中插入記錄
mysql> insert into first_tb values (001,’myself’);
Query Ok, 1 row affected (0.00 sec)

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

###在從服務器上查看
mysql> show databases;
=============================
+--------------------+
| Database |
+--------------------+
| information_schema |
| first_db |
| mysql |
| performance_schema |
| test |
+--------------------+
5 rows in set (0.01 sec)
=============================
數據庫first_db已經自動生成
mysql> use first_db
Database chaged
mysql> show tables;
=============================
+--------------------+
| Tables_in_first_db |
+--------------------+
| first_tb |
+--------------------+
1 row in set (0.02 sec)
=============================
數據庫表first_tb也已經自動創建
mysql> select * fromfirst_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
記錄也已經存在

到此，mysql主從複製完成。

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

三、實現mysql讀寫分離

1、解決依賴關係

編譯安裝lua
MySQL-Proxy的讀寫分離主要是通過rw-splitting.lua腳本實現的，因此需要安裝lua。

###採用源碼包進行安裝
cd /opt/install
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zvfx lua-5.1.4.tar.gz
cd lua-5.1.4
vi src/Makefile
在 CFLAGS= -O2 -Wall $(MYCFLAGS) 這一行記錄里加上-fPIC，更改爲 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 來避免編譯過程中出現錯誤。
make linux
make install
cp etc/lua.pc /usr/lib/pkgconfig/
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig


安裝配置MySQL-Proxy
tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz
mv mysql-proxy-0.8.1-linux-rhel5-x86-64bit /opt/mysql-proxy
創建mysql-proxy服務管理腳本
mkdir /opt/mysql-proxy/init.d/

2、mysql-proxy腳本參數詳解：

#!/bin/bash
. /etc/rc.d/init.d/functions
PROXY_PATH=/opt/mysql-proxy/bin
prog="mysql-proxy"
. /etc/sysconfig/network
[ ${NETWORKING} = "no" ] && exit 0
 
PROXY_OPTIONS="--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306  --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua"
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid

if [ -f /etc/sysconfig/mysql-proxy ]; then
         . /etc/sysconfig/mysql-proxy
fi

PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH

RETVAL=0

case "$1" in
   start)

         echo -n $"Starting $prog: "
          $NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-file=$PROXY_PID --user=mysql --log-level=warning --log-file=/opt/mysql-proxy/log/mysql-proxy.log
        RETVAL=$?
         echo
        if [ $RETVAL = 0 ]; then
                touch /var/lock/subsys/mysql-proxy
         fi
        ;;
   stop)
         # Stop daemons.
         echo -n $"Stopping $prog: "
         killproc $prog
          RETVAL=$?
          echo
          if [ $RETVAL = 0 ]; then
                  rm -f /var/lock/subsys/mysql-proxy
                  rm -f $PROXY_PID
          fi
         ;;
    restart)
          $0 stop
          sleep 3
          $0 start
         ;;
    condrestart)
         [ -e /var/lock/subsys/mysql-proxy ] && $0 restart
        ;;
    status)
          status mysql-proxy
          RETVAL=$?
         ;;
    *)
          echo "Usage: $0 {start|stop|restart|status|condrestart}"
          RETVAL=1
         ;;
  esac
  exit $RETVAL
  
  ==============================================
PROXY_PATH=/opt/mysql-proxy/bin //定義mysql-proxy服務二進制文件路徑
PROXY_OPTIONS="--admin-username=root \ //定義內部管理服務器賬號
--admin-password=password \ //定義內部管理服務器密碼
--proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定義後端只讀從服務器地址
--proxy-backend-addresses=192.168.10.130:3306 \ //定義後端主服務器地址
--admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua \ //定義lua管理腳本路徑
--proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" \ //定義lua讀寫分離腳本路徑
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定義mysql-proxy PID文件路徑
$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS \
--daemon \ //定義以守護進程模式啓動
--keepalive \ //使進程在異常關閉後能夠自動恢復
--pid-file=$PROXY_PID \ //定義mysql-proxy PID文件路徑
--user=mysql \ //以mysql用戶身份啓動服務
--log-level=warning \ //定義log日誌級別，由高到低分別有(error|warning|info|message|debug)
--log-file=/opt/mysql-proxy/log/mysql-proxy.log //定義log日誌文件路徑
==============================================

cp mysql-proxy /opt/mysql-proxy/init.d/
chmod +x /opt/mysql-proxy/init.d/mysql-proxy
mkdir /opt/mysql-proxy/run
mkdir /opt/mysql-proxy/log
mkdir /opt/mysql-proxy/scripts

3、配置並使用rw-splitting.lua讀寫分離腳本

cd /opt/install
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz
tar xzvf mysql-proxy-0.8.1.tar.gz
cd mysql-proxy-0.8.1
cp lib/rw-splitting.lua /opt/mysql-proxy/scripts
修改讀寫分離腳本rw-splitting.lua
修改默認連接，進行快速測試，不修改的話要達到連接數爲4時才啓用讀寫分離
vim /opt/mysql-proxy/scripts/rw-splitting.lua
=============================
-- connection pool
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1, //默認爲4
max_idle_connections = 1, //默認爲8
is_debug = false
}
end
=============================
修改完成後，啓動mysql-proxy
/opt/mysql-proxy/init.d/mysql-proxy start

4、測試讀寫分離效果

###創建用於讀寫分離的數據庫連接用戶
###登陸主數據庫服務器192.168.10.130，通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'
mysql> GRANT ALL ON *.* TO 'proxy1'@'192.168.10.132' IDENTIFIED BY 'password';

###由於我們配置了主從複製功能，因此從數據庫服務器192.168.10.131上已經同步了此操作。
###爲了清晰的看到讀寫分離的效果，需要暫時關閉MySQL主從複製功能
###登陸從數據庫服務器192.168.10.131，通過命令行登錄管理MySQL服務器
/opt/mysql/bin/mysql -uroot -p'new-password'

###關閉Slave同步進程
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)

###連接MySQL-Proxy
/opt/mysql/bin/mysql -uproxy1 -p'password' -P4040 -h192.168.10.132

###登陸成功後，在first_db數據的first_tb表中插入兩條記錄
mysql> use first_db;
Database changed
mysql> insert into first_tb values (007,’first’);
Query Ok, 1 row affected (0.00 sec)
mysql> insert into first_tb values (110,’second’);
Query Ok, 1 row affected (0.00 sec)

###查詢記錄
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================

###通過讀操作並沒有看到新記錄
mysql> quit
退出MySQL-Proxy

###下面，分別登陸到主從數據庫服務器，對比記錄信息
###首先，檢查主數據庫服務器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
| 007 | first |
+------+------+
| 110 | second |
+------+------+
3 rows in set (0.00 sec)
=============================
###兩條新記錄都已經存在
###然後，檢查從數據庫服務器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
###沒有新記錄存在

由此，實現了mysql讀寫分離。目前所有的寫操作都全部在Master主服務器上，用來避免數據的不同步；
另外，所有的讀操作都分攤給了其它各個Slave從服務器上，用來分擔數據庫壓力。