http://blog.chinaunix.net/uid-20639775-id-154600.html
原創作品,轉載請保留原文鏈接: 來自飛鴻無痕CU博客
前言:一直想找一個工具,能很好的實現mysql主從的讀寫分離架構,曾經試用過mysql-proxy發現lua用起來很不爽,尤其是不懂lua腳本,突然發現了 Amoeba這個項目,試用了下,感覺還不錯,寫出文檔,希望對大家有幫助!
一、 Amoeba 是什麼
Amoeba( 變形蟲 ) 項目,專注 分佈式數據庫 proxy 開發。座落與 Client 、 DB Server(s) 之間。對客戶端透明。具有負載均衡、高可用性、 sql 過濾、讀寫分離、可路由相關的 query 到目標數據庫、可併發請求多臺數據庫合併結果。
主要解決:
• 降低 數據切分帶來的複雜多數據庫結構
• 提供切分規則並降低 數據切分規則 給應用帶來的影響
• 降低 db 與客戶端的連接數
• 讀寫分離
二、爲什麼要用 Amoeba
目前要實現 mysql 的主從讀寫分離,主要有以下幾種方案:
1、 通過程序實現,網上很多現成的代碼,比較複雜,如果添加從服務器要更改多臺服務器的代碼。
2、 通過 mysql-proxy 來實現,由於 mysql-proxy 的主從讀寫分離是通過 lua 腳本來實現,目前 lua 的腳本的開發跟不上節奏,而寫沒有完美的現成的腳本,因此導致用於生產環境的話風險比較大,據網上很多人說 mysql-proxy 的性能不高。
3、 自己開發接口實現,這種方案門檻高,開發成本高,不是一般的小公司能承擔得起。
4、 利用阿里巴巴的開源項目 Amoeba 來實現,具有負載均衡、高可用性、 sql 過濾、讀寫分離、可路由相關的 query 到目標數據庫,並且安裝配置非常簡單。國產的開源軟件,應該支持,目前正在使用,不發表太多結論,一切等測試完再發表結論吧,哈哈!
三、快速架設 amoeba ,實現 mysql 主從讀寫分離
假設 amoeba 的前提條件:
n Java SE 1.5 或以上 Amoeba 框架是基於 JDK1.5 開發的,採用了 JDK1.5 的特性。
n 支持 Mysql 協議版本 10 ( mysql 4.1 以後的版本)。
n 您的網絡環境至少運行有一個 mysql 4.1 以上的服務
1 、首先介紹下我的實驗環境。
System : CentOS release 5.4
Master mysql : 192.168.1.121
Slave mysql : 192.168.1.108
Amoeba server : 192.168.1.159
架構如如下所示:
我這裏只用了一個從數據庫!
2 、安裝配置 mysql 主從環境, mysql 的安裝省略,請自行編譯或者用 rpm 安裝
### 在 master mysql 創建同步用戶
grant replication slave,file on *.* to 'replication'@'192.168.1.108' identified by '123456';
flush privileges;
#### 修改 master 的 my.cnf 的配置
log-bin=mysql-bin
#
打開
mysql
二進制日誌
server-id = 1
#
設置
mysql_id
,主從不能相同
binlog-do-db=test
#
設置二進制日誌記錄的庫
binlog-ignore-db=mysql
##
設置二進制日誌不記錄的庫
sync_binlog=1
#### 修改 slave 的 my.cnf 的配置
log-bin=mysql-bin
server-id = 2
replicate-do-db=test
#
設置同步的庫
replicate-ignore-db=mysql
#
設置不同步的庫
log-slave-updates
#
同步後記錄二進制日誌
slave-skip-errors=all
sync_binlog=1
slave-net-timeout=60
分別重啓主從 mysqld 服務,登錄主 mysql ,在主上執行 flush tables with read lock; 後將 test 數據庫的數據 copy 到從上,並記錄下主上 show master status\G 的結果:
如:
mysql> show master status\G;
*************************** 1. row ***************************
File: mysql-bin.000022
Position: 1237
Binlog_Do_DB: test
Binlog_Ignore_DB: mysql
然後執行 unlock tables
登錄從 mysql ,在從上執行:
stop slave;
change master to master_host='192.168.1.121',master_user='replication',master_password='123456',master_log_file='mysql-bin.000022', master_log_pos=1237;
start slave ;
show slave status\G;
如果出現下面的情況,說明主從同步已經成功!
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
3 、安裝 JDK 環境
下載 jdk1.5 或者更新版本 , 地址 http://java.sun.com/javase/downloads/index.jsp
我用的是: jdk-6u20-linux-i586-rpm.bin
在 Amoeba server 上執行
chmod +x jdk-6u20-linux-i586-rpm.bin
./ jdk-6u20-linux-i586-rpm.bin
## 然後按 n 次空格鍵,然後輸入 yes 就可以了! ^_ ^
ln -s /usr/java/jdk1.6.0_20/ /usr/java/jdk1.6
vi /etc/profile
# 添加如下兩行內容
export JAVA_HOME=/usr/java/jdk1.6
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
# 執行下面的命令使更改的內容生效
source /etc/profile
4、 安裝 amoeba-mysql
下載 amoeba-mysql ,目前最新版本爲 amoeba-mysql-1.3.1-BETA.zip
mkdir /usr/local/amoeba/
wget http://blogimg.chinaunix .net/blog/upfile2/101027160252.zip
unzip 101027160252.zip
配置文件位於 conf 目錄下,執行文件位於 bin 目錄下 , 解壓後發現 bin 目錄下的啓動文件沒有可執行權限,請執行: chmod -R +x /usr/local/amoeba/bin/
Amoeba For MySQL 的使用非常簡單,所有的配置文件都是標準的 XML 文件,總共有四個配置文件。分別爲:
◆ amoeba.xml :主配置文件,配置所有數據源以及 Amoeba 自身的參數設置;實現主從的話配置這個文件就可以了;
◆ rule.xml :配置所有 Query 路由規則的信息;
◆ functionMap.xml :配置用於解析 Query 中的函數所對應的 Java 實現類;
◆ rullFunctionMap.xml :配置路由規則中需要使用到的特定函數的實現類;
下面我們就來通過更改 amoeba.xml 配置文件實現 mysql 主從讀寫分離,我的配置如下:
|
啓動 amoeba
/usr/local/amoeba/bin/amoeba &
檢驗啓動是否成功(使用的是默認的 8066 端口):
[root@Centos2 amoeba]# ps aux | grep amoeba
root 24580 0.2 19.2 408912 49264 pts/1 Sl 12:52 0:11 /usr/java/jdk1.6/bin/java -server -Xms256m -Xmx256m -Xss128k -Damoeba.home=/usr/local/amoeba -Dclassworlds.conf=/usr/local/amoeba/bin/amoeba.classworlds -classpath /usr/local/amoeba/lib/classworlds-1.0.jar org.codehaus.classworlds.Launcher
[root@Centos2 amoeba]# netstat -lnp | grep java
tcp 0 0 ::ffff:192.168.1.159:8066 :::* LISTEN 24580/java
5、 測試
測試之前先要保證 amoeba-server 有訪問兩個主從服務器 test 庫的權限 , 在主從 mysql 上都執行:
grant all on test.* to zhang@'192.168.1.%' identified by 'zhang123';
# 用戶名密碼要和前面配置的意志
flush privileges;
測試的時候和我們平時使用一樣, amoeba-mysql 對我們應用透明,就是個 mysql 的代理了!
登錄 mysql 使用如下命令(用戶名密碼和上面配置的要一致):
mysql -uroot -ppassword -h192.168.1.159 -P8066
登錄上去後,爲了測試讀和寫必須,先把 mysql 的主從複製停掉,才能更清楚地看出讀寫的服務器是哪臺,在從上使用 stop slave; 登錄到 amoeba-mysql 上,使用命令 mysql -uroot -ppassword -h192.168.1.159 -P8066 ,然後執行寫和讀操作,查看寫的是哪臺服務器,讀的是哪臺服務器,實驗結果顯示:寫只在主上進行,讀在主和從都進行,比率是 1:1
測試步驟:
還沒有停掉從同步之前,創建一個表:
create table zhang (id int(10) ,name varchar(10),address varchar(20));
在從上執行 stop slave;
然後在主從上各插入一條不同數據(供測試讀的時候用),
在主上插入: insert into zhang values('1','zhang','this_is_master');
在從上插入: insert into zhang values('2','zhang','this_is_slave');
接下來通過登錄 amoeba-mysql 上來測試讀寫:
[root@Centos2 ~]# mysql -uroot -ppassword -h192.168.1.159 -P8066
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 14556042
Server version: 5.1.45-mysql-amoeba-proxy-1.3.1-BETA Source distribution
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> use test;
Database changed
mysql> select * from zhang; ### 第一次執行顯示在主上讀取的數據!
+------+-------+----------------+
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
+------+-------+----------------+
1 row in set (0.02 sec)
mysql> select * from zhang; #### 第二次執行 select 語句顯示是在從上讀取的數據
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.02 sec)
mysql> insert into zhang values('3','hhh','test_write'); ### 插入一條數據,然後查詢
Query OK, 1 row affected (0.01 sec)
mysql> select * from zhang; ### 我們可以看到插入的數據被添加到了主上!
+------+-------+----------------+ #### 可以多插入幾次數據看看是否會出現錯誤!
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
| 3 | hhh | test_write |
+------+-------+----------------+
mysql> select * from zhang; ### 從上還是沒有插入,因爲執行了 stop slave ;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
6、 簡單主從權重配置
大家可能會想到,我們加入只有兩臺數據庫服務器,一臺主,一臺從,按照上面的配置只能是主和從的讀取比率是 1:1, 而寫又全部在主上進行,這樣主的壓力就很大了,所以如果能讓主和從的讀設置權重,比如設置成 1:3, 這樣就可以很好的解決主從不壓力均衡的問題!通過研究確實可以!
配置就是將上面的讀的池的配置更改一下:
將 <property name="poolNames">server1,server2</property>更改成
<property name="poolNames">server1,server2 ,server2,server2 </property>
我測試的結果剛好爲1:3, 如下:
mysql> select * from zhang;
+------+-------+----------------+
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
| 3 | hhh | test_write |
+------+-------+----------------+
2 rows in set (0.01 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.04 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.01 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
學習鏈接:
開發者博客鏈接: http://amoeba.sourceforge.net/wordpress/
amoeba 中文文檔下載地址:http://amoeba.meidusa.com/amoeba.pdf
amoeba 未來發展方向:http://amoeba.meidusa.com/amoeba-big-picture.pdf