Mysql Proxy Lua讀寫分離設置
一.讀寫分離說明
讀寫分離（Read/Write Splitting），基本的原理是讓主數據庫處理事務性增、改、刪操作（INSERT、UPDATE、DELETE），而從數據庫處理SELECT查詢操作。數據庫複製被用來把事務性操作導致的變更同步到集羣中的從數據庫。
1、設置說明
Master服務器: 192.168.41.196
Slave服務器: 192.168.41.197
Proxy服務器: 192.168.41.203
2、安裝Mysql Proxy
在Proxy服務器上安裝即可. 如果源碼方式安裝, 需提前安裝pkg-config,libevent,glibc,lua等依賴包, 非常麻煩, 建議直接使用二進制版.
# cd /u01/software/mysql
# tar -zxvf Mysql Proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz -C /usr/local
# cd /usr/local
# ln -s Mysql Proxy-0.8.1-linux-rhel5-x86-32bit Mysql Proxy
# vi + ~/.bash_profile
export PATH=$PATH:/usr/local/Mysql Proxy/bin/
# . ~/.bash_profile
3、Mysql Proxy選項說明
# Mysql Proxy help-all
管理功能選項:
admin-address=host:port 指定一個mysqo-proxy的管理端口, 缺省是4041;
admin-username=<string> username to allow to log in
admin-password=<string> password to allow to log in
admin-lua-script=<filename> script to execute by the admin plugin
代理功能選項:
-P, proxy-address=<host:port> 是Mysql Proxy 服務器端的監聽端口, 缺省是4040;
-r, proxy-read-only-backend-addresses=<host:port> 只讀Slave的地址和端口, 缺省爲不設置;
-b, proxy-backend-addresses=<host:port> 遠程Master地址和端口, 可設置多個做failover和load balance, 缺省是127.0.0.1:3306;
proxy-skip-profiling 關閉查詢分析功能, 缺省是打開的;
proxy-fix-bug-25371 修正 mysql的libmysql版本大於5.1.12的一個#25371號bug;
-s, proxy-lua-script=<file> 指定一個Lua腳本來控制Mysql Proxy的運行和設置, 這個腳本在每次新建連接和腳本發生修改的的時候將重新調用;
其他選項:
defaults-file=<file>配置文件, 可以把Mysql Proxy的參數信息置入一個配置文件裏;
daemon Mysql Proxy以守護進程方式運行
pid-file=file 設置Mysql Proxy的存儲PID文件的路徑
keepalive try to restart the proxy if it crashed, 保持連接啓動進程會有2個, 一號進程用來監視二號進程, 如果二號進程死掉自動重啓proxy.
4、數據庫準備工作
（1）安裝半同步補丁(建議)
讀寫分離不能迴避的問題之一就是延遲, 可以考慮Google提供的SemiSyncReplication補丁.
（2）給用戶授權
在Master/Slave建立一個測試用戶, 因爲以後客戶端發送的SQL都是通過Mysql Proxy服務器來轉發, 所以要確保可以從Mysql Proxy服務器上登錄MySQL主從庫.
mysql> grant all privileges on *.* to 'u_test'@'192.168.41.203' identified by 'xxx' with grant option;
（3）在Master建立測試表
mysql> create table db_test.t_test (col varchar(10));
mysql> insert into db_test.t_test values ('testA');
mysql> select * from db_test.t_test;
+-+
| col |
+-+
| testA |
+-+
5、Mysql Proxy啓動
（1）修改讀寫分離lua腳本
默認最小4個最大8個以上的客戶端連接纔會實現讀寫分離, 現改爲最小1個最大2個:
# vi +40 /usr/local/Mysql Proxy/share/doc/Mysql Proxy/rw-splitting.lua
connection pool
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1,
max_idle_connections = 2,
is_debug = true
}
end
這是因爲Mysql Proxy會檢測客戶端連接, 當連接沒有超過min_idle_connections預設值時, 不會進行讀寫分離, 即查詢操作會發生到Master上.
（2）啓動Mysql Proxy
建議使用配置文件的形式啓動, 注意配置文件必須是660權限, 否則無法啓動. 如果有多個Slave的話, proxy-read-only-backend-addresses參數可以配置多個以逗號分隔的IP:Port從庫列表.
# killall Mysql Proxy
# vi /etc/Mysql Proxy.cnf
[Mysql Proxy]
admin-username=wangnc
admin-password=iamwangnc
admin-lua-script=/usr/local/Mysql Proxy/lib/Mysql Proxy/lua/admin.lua
proxy-backend-addresses=192.168.41.196:3351
proxy-read-only-backend-addresses=192.168.41.197:3351
proxy-lua-script=/usr/local/Mysql Proxy/share/doc/Mysql Proxy/rw-splitting.lua
log-file=/var/tmp/Mysql Proxy.log
log-level=debug
daemon=true
keepalive=true
# chmod 660 /etc/Mysql Proxy.cnf
# Mysql Proxy defaults-file=/etc/Mysql Proxy.cnf
# ps -ef | grep Mysql Proxy | grep -v grep
root 1869 1 0 18:16 ? 00:00:00 /usr/local/Mysql Proxy/libexec/Mysql Proxy defaults-file=/etc/Mysql Proxy.cnf
root 1870 1869 0 18:16 ? 00:00:00 /usr/local/Mysql Proxy/libexec/Mysql Proxy defaults-file=/etc/Mysql Proxy.cnf
# tail -50f /var/tmp/Mysql Proxy.log
6、客戶端連接測試
（1）先停止Slave的複製進程
mysql> stop slave;
（2）連接Proxy端口, 插入數據
# mysql -uu_test -pxxx -h192.168.41.203 -P4040 -Ddb_test
mysql> insert into db_test.t_test values ('testB');
mysql> select * from db_test.t_test;
+-+
| col |
+-+
| testA |
| testB |
+-+
（3）多開幾個客戶端, 連接Proxy端口, 查詢數據
# mysql -uu_test -pxxx -h192.168.41.203 -P4040 -Ddb_test
mysql> select * from db_test.t_test;
+-+
| col |
+-+
| testA |
+-+
如果查詢不到上步新插入的數據, 說明連接到了Slave, 讀寫分離成功. 在同一線程再插入數據並驗證:
mysql> insert into db_test.t_test values ('testC');
mysql> select * from db_test.t_test;
+-+
| col |
+-+
| testA |
+-+
發現insert操作成功, 但是select不出剛插入的數據, 說明同一線程也讀寫分離成功. 從日誌中可以驗證:
# tail -50f /var/tmp/Mysql Proxy.log
...
[read_query] 192.168.41.203:45481
current backend = 0
client default db = db_test
client username = u_test
query = select * from db_test.t_test
sending to backend : 192.168.41.197:3351
is_slave : true
server default db: db_test
server username : u_test
in_trans : false
in_calc_found : false
COM_QUERY : true
[read_query] 192.168.41.203:45481
current backend = 0
client default db = db_test
client username = u_test
query = insert into db_test.t_test values ('testC')
sending to backend : 192.168.41.196:3351
is_slave : false
server default db: db_test
server username : u_test
in_trans : false
in_calc_found : false
COM_QUERY : true
（4）測試完畢後, 啓動Slave的複製進程
mysql> start slave;
7、正式環境說明
1、Mysql Proxy當前還只是個測試版, MySQL官方還不建議用到生產環境中;
2、Mysql Proxy的rw-splitting.lua腳本在網上有很多版本, 但是最準確無誤的版本仍然是源碼包中所附帶的rw-splitting.lua腳本, 如果有lua腳本編程基礎的話, 可以在這個腳本的基礎上再進行優化；
3、Mysql Proxy實際上非常不穩定, 在高併發或有錯誤連接的情況下, 進程很容易自動關閉, 因此打開keepalive參數讓進程自動恢復是個比較好的辦法, 但還是不能從根本上解決問題, 因此通常最穩妥的做法是在每個從服務器上安裝一個Mysql Proxy供自身使用, 雖然比較低效但卻能保證穩定性；
4、Amoeba for MySQL是一款優秀的中間件軟件, 同樣可以實現讀寫分離, 負載均衡等功能, 並且穩定性要大大超過Mysql Proxy, 建議大家用來替代Mysql Proxy, 甚至MySQL-Cluster.
二、MySQL一主多從同步配置
1.配置（3臺上都一樣）
在/etc目錄下可能無my.cnf文件，從/user/share/mysql目錄中拷貝my-medium.cnf 到/etc並修改成my.cnf
[root@localhost etc]# cp /usr/share/mysql/my-medium.cnf my.cnf
[root@localhost etc]# ll |grep my
-rwxr-xr-x 1 root root 5204 Feb 13 22:52 my_bak
-rwxr-xr-x 1 root root 4765 Jul 10 23:07 my.cnf
master 上;
[root@mysql101 ~]# vi /etc/my.cnf
1.修改master上的配置文件my.cnf。
在[mysqld]下添加如下字段：
server-id = 1
log-bin=mysql-bin
binlog-do-db=YYY //需要同步的數據庫
binlog-ignore-db=mysql //被忽略的數據庫
binlog-ignore-db=information-schema //被忽略的數據庫
在master上爲slave添加一個同步賬號
mysql> grant replication slave on *.* to 'affairlog'@'192.168.2.182' identified by 'pwd123';
//在slave1上登陸成功
mysql> grant replication slave on *.* to 'affairlog'@'192.168.2.111' identified by 'pwd123';
//在slave2上登陸成功
保存後，重啓master的mysql服務：
service mysql restart;
用show master status命令查看日誌情況
mysql> show master status\G;
*************************** 1. row ***************************
File: mysql-bin.000087
Position: 106
Binlog_Do_DB: YYY
Binlog_Ignore_DB: mysql,information-schema
1 row in set (0.00 sec)
2.修改slave1上的配置文件my.cnf。
在[mysqld]下添加如下字段
[root@mysql182 ~]# vi /etc/my.cnf
server-id=182
master-host=192.168.3.101
master-user= affairlog
master-password=pwd123
master-port=3306
master-connect-retry=60
replicate-do-db=YYY //同步的數據庫
replicate-ignore-db=mysql //被忽略的數據庫
replicate-ignore-db=information-schema //被忽略的數據庫
查看Master上 master_log_file的文件名 和master_log_pos 。
mysql>change master to master_host='192.168.3.101' master_user='affairlog' master_password='pwd123' master_log_file='mysql-bin.000087' master_log_pos=1845;
保存後，重啓slave的mysql服務：
service mysql restart;
修改slave2上的配置文件my.cnf，和上面類似，只是把server-id改下，爲了方便，我都用了相應的ip某位，
so，slave2上我設置的server-id是111。
在進入兩個slave機中的mysql。
mysql>start slave;
mysql>show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.3.101
Master_User: affairlog
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000087
Read_Master_Log_Pos: 106
Relay_Log_File: vm111-relay-bin.000002
Relay_Log_Pos: 251
Relay_Master_Log_File: mysql-bin.000087
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: YYY
Replicate_Ignore_DB: mysql,information-schema
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 106
Relay_Log_Space: 406
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
1 row in set (0.00 sec)
如果兩個slave中的Slave_IO_Running、Slave_SQL_Running狀態均爲Yes則表明設置成功。
Slave_IO_Running：連接到主庫，並讀取主庫的日誌到本地，生成本地日誌文件
Slave_SQL_Running:讀取本地日誌文件，並執行日誌裏的SQL命令。
三、MySQL分庫分表方案：https://my.oschina.net/ydsakyclguozi/blog/199498