Amoeba for MySQL讀寫分離配置

實驗環境

hostname            ip

master-db        192.168.0.1

slave-db1        192.168.0.2

slave-db2        192.168.0.3

amoeba           192.168.0.123

 

一、 Amoeba簡介 

    Amoeba 是阿里巳巳的技術陳思儒開始的一個開源項目，它是分佈式數據庫Proxy解決方案。Amoeba框架是基於Java SE 1.5開發的，在安裝Amoeba前需要先安裝Java環境。經驗證，Amoeba在Java SE 1.5和Java SE 1.6上能正常運行。 

Amoeba的產品： 

Amoeba for MySQL  

Amoeba for Aladdin 

Amoeba for MongoDB 

以下主要介紹Amoeba for mysql： 

    Amoeba for MySQL致力於MySQL的分佈式數據庫前端代理層，它主要在應用層訪問MySQL的時候充當query 路由功能，與注 分佈式數據庫 proxy 開發。座落不Client、DB Server(s)之間。對客戶端透明。具有負載均衡、高可用性、Query過濾、讀寫分離、可路由相關的query到目標數據庫、可併發請求多臺數據庫合併結果。 在Amoeba上面你能夠完成多數據源的高可用、負載均衡、數據切片的功能。目前在很多企業的生產線上面使用。 

    那麼Amoeba for mysql 對客戶端程序來說是什麼呢？ 我們就當它是mysql吧，它是一個虛擬的mysql，對外提供mysql協議。客戶端連接amoeba就象連接mysql一樣。在amoeba內部需要配置相關的認證屬性。 

 

Amoeba for mysql與Mysql Proxy 的比較： 

    在MySQL proxy 6.0版本 上面如果想要讀寫分離並丏 讀集羣、寫集羣 機器比較多情況下，用mysql proxy 需要相當大的工作量，目前mysql proxy沒有現成的 lua腳本。mysql proxy根本沒有配置文件， lua腳本就是它的全部，當然lua是相當方便的。那麼同樣這種東西需要編寫大量的腳本才能完成一 個複雜的配置。而Amoeba for Mysql只需要進行相關的配置就可以滿足需求。 

Amoeba for MySQL的優點： 

1.  降低數據切分帶來的複雜多數據庫結構 

2.  提供切分規則並降低數據切分規則給應用帶來的影響 

3.  降低db 不客戶端的連接數 

4.  讀寫分離 

Amoeba for MySQL的缺點： 

1.  Amoeba for MySQL不支持事務：其實，分佈式事務的問題是所有數據庫中間層普遍面臨的問題，不是Amoeba獨有的問題；目前通常的解決辦法是，將事務拆分成幾個單數據庫內的小事務，由應用程序進行總控。 

2.  Amoeba for MySQL不支持跨節點JOIN：同樣，這個問題也不是Amoeba獨有的，通常的解決辦法是由應用程序先從一個節點取出數據，然後由應用程序去其他節點JOIN。 

3.  Amoeba for MySQL不支持跨節點排序：這個問題也不是Ameoba獨有的，通常的解決辦法是由應用程序從多個節點中取出數據，然後進行排序。 

4.  Amoeba for MySQL不適合返回大量(超過10萬)數據的查詢。 

5.  Amoeba for MySQL不支持分庫分表，只能做到分數據庫實例。 

爲何使用Amoeba ： 

    隨着傳統的數據庫技術日趨成熟、計算機網絡技術的飛速發展和應用範圍的擴充，數據庫應用已經普遍建立於計算機網絡之上。這時集中式數據庫系統表現出它的不足：集中式處理，勢必造成性能瓶頸；應用程序集中在一臺計算機上運行，一旦該計算機發生故障，則整個系統受到影響，可靠性不高；集中式處理引起系統的規模和配置都不夠靈活，系統的可擴充性差。在這種形勢下，集中式數據庫將向分佈式數據庫發展。而Amoeba的透明、簡易配置及多個優點使其成爲分佈式數據庫代理產品中的優秀選擇。 

 

二、 安裝和運行Amoeba 

1. Amoeba for MySQL 架構： 

2. 驗證Java的安裝 

Amoeba框架是基於Java SE1.5開發的，建議使用Java SE1.5以上的版本。 

#  java  -version 

java version "1.6.0_35" 

Java(TM) SE Runtime Environment (build 1.6.0_35-b10) 

Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01, mixed mode) 

注：JDK的安裝方法不再闡述，不會的可以參考：

http://304076020.blog.51cto.com/7503470/1642482  #安裝JDK部分。 

3.  安裝MySQL數據庫及配置主從複製部分此處不再闡述，不會者可參考：

http://304076020.blog.51cto.com/7503470/1674911 

4.  下載Amoeba 

http://down.51cto.com/data/720175

5.  安裝Amoeba 

# unzip  amoeba-mysql-3.0.4-BETA-distribution.zip

# mv amoeba-mysql-3.0.4-BETA /usr/local/amoeba

 

三、 配置Amoeba for MySQL： 

Amoeba for MySQL的使用是很簡單的，主要是通過xml文件來實現的。 

1. 配置文件介紹： 

(1.) dbServers.xml   想象Amoeba作爲數據庫代理層，它一定會和很多數據庫保持通信，因此它必須知道由它代理的數據庫如何連接，比如最基礎的：主機IP、端口、Amoeba使用的用戶名和密碼等等。這些信息存儲在$AMOEBA_HOME/conf/dbServers.xml中。 

(2.) rule.xml  Amoeba爲了完成數據切分提供了完善的切分規則配置，爲了瞭解如何分片數據、如何將數據庫返回的數據整合，它必須知道切分規則。不切分規則相關的信息存儲在$AMOEBA_HOME/conf/rule.xml中。 

(3.) functionMap.xml  當我們書寫SQL來操作數據庫的時候，常常會用到很多不同的數據庫函數，比如：UNIX_TIMESTAMP()、SYSDATE()等等。這些函數如何被Amoeba解析呢？$AMOEBA_HOME/conf/functionMap.xml描述了函數名和函數處理的關係。 

(4.) ruleFunctionMap.xml  對$AMOEBA_HOME/conf/rule.xml進行配置時，會用到一些我們自己定義的函數，比如我們需要對用戶ID求HASH值來切分數據，這些函數在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定義。 

(5.) access_list.conf  Amoeba可以制定一些可訪問以及拒絕訪問的主機IP地址，這部分配置在$AMOEBA_HOME/conf/access_list.conf中。 

(6.) log4j.xml  Amoeba允許用戶配置輸出日誌級別以及方式，配置方法使用log4j的文件格式，文件是$AMOEBA_HOME/conf/log4j.xml。 其中，我們主要用到dbServer.xml 和 amoeba.xml 。 

2. dbServer.xml 的配置： 

 

<dbServer name=”abstractServer” abstractive=”true”> 

   <factoryConfig class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”> 

      <property name=”connectionManager”>${defaultManager}</property> 

      <property name=”sendBufferSize”>64</property> 

      <property name=”receiveBufferSize”>128</property> 

 

          <!—mysql port --><!—代理連接數據庫使用的端口號--> 

      <property name=”port”>3306</property> 

 

           <!—mysql schema --><!—代理連接數據庫所使用的數據庫--> 

      <property name=”schema”>test</property> 

 

           <!—mysql user --><!—代理連接數據庫使用的用戶名--> 

       <property name=”user”>root</property> 

                  <!—代理連接數據庫使用的密碼--> 

       <property name=”password”>1234</property> 

   </factoryConfig> 

 

   <poolConfig class=”com.meidusa.toolkit.common.poolable.PoolableObjectPool”> 

       <property name=”maxActive”>500</property> 

       <property name=”maxIdle”>500</property> 

       <property name=”minIdle”>1</property> 

       <property name=”minEvictableIdleTimeMillis”>600000</property> 

       <property name=”timeBetweenEvictionRunsMillis”>600000</property> 

       <property name=”testOnBorrow”>true</property> 

       <property name=”testOnReturn”>true</property> 

       <property name=”testWhileIdle”>true</property> 

   </poolConfig> 

</dbServer> 

 

            <!--- 配置真實的數據庫的地址--> 

          <!--- 配置主從服務器及服務器連接池--> 

 

 

<dbServer name="server1"  parent="abstractServer"> 

      <factoryConfig> 

                <!-- mysql ip --> 

             <property name="ipAddress">192.168.0.1</property> 

      </factoryConfig> 

</dbServer> 

 

<dbServer name=”server2”  parent=”abstractServer”> 

      <factoryConfig> 

             <!—mysql ip --> 

             <property name=”ipAddress”>192.168.0.2</property> 

      </factoryConfig> 

</dbServer> 

<dbServer name=”server3”  parent=”abstractServer”> 

      <factoryConfig> 

             <!—mysql ip --> 

             <property name=”ipAddress”>192.168.0.3</property> 

      </factoryConfig> 

</dbServer> 

 

<dbServer name=”multiPool” virtual=”true”> 

      <poolConfig class=”com.meidusa.amoeba.server.MultipleServerPool”> 

           <!—Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> 

            <property name=”loadbalance”>1</property> 

 

                   <!—Separated by commas,such as: server1,server2,server1 --> 

            <property name=”poolNames”>server2,server3</property> 

      </poolConfig> 

</dbServer> 

 

3. amoeba.xml 配置： 

客戶端連接Amoeba時所綁定的IP地址、端口、用戶名和密碼。及IP訪問限制。 

<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"> 

                <!-- port --> 

         <property name="port">8066</property> 

 

                <!-- bind ipAddress --> 

                <!--  

                <property name="ipAddress">127.0.0.1</property> 

                --> 

 

         <property name="connectionFactory"> 

            <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"> 

                <property name="sendBufferSize">128</property> 

                <property name="receiveBufferSize">64</property> 

            </bean> 

         </property> 

 

         <property name="authenticateProvider"> 

            <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"> 

                <property name="user">root</property> 

                <property name="password">123</property> 

 

                <property name="filter"> 

                 <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController"> 

                <property name="ipFile">${amoeba.home}/conf/access_list.conf</property> 

                </bean> 

              </property> 

            </bean> 

         </property> 

 

</service> 

 

以下內容是定義讀寫分離： 

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> 

   <property name="ruleLoader"> 

      <bean class="com.meidusa.amoeba.route.TableRuleFileLoader"> 

       <property name="ruleFile">${amoeba.home}/conf/rule.xml</property> 

       <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property> 

      </bean> 

   </property> 

<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> 

    <property name="LRUMapSize">1500</property> 

    <property name="defaultPool">multiPool</property> 

 

    <property name="writePool">server1</property> 

    <property name="readPool">multiPool</property> 

 

    <property name="needParse">true</property> 

</queryRouter> 

 

通過以上簡單配置，已經可以實現數據庫的讀寫分離了。 

 

 

 

 

四、 測試 

#/usr/local/amoeba/bin/launcher &   (也可通過nohup後臺啓動，戒者自己寫一個腳本來啓動。 ) 

啓動的Amoeba默認端口爲8066 

在客戶端連接Amoeba測試： 

# mysql  -uroot –p123  -h 192.168.0.123 --port 8066 

mysql> show databases; 

mysql> CREATE DATABASE  test1;  \\  創建數據庫，之後在主從庫分別查看 通過Amoeba登錄，進行數據的查詢及揑入更新等操作，並查看mysql-log日誌，可發現所執行的INSERT 、UPDATE、DELETE等操作在主庫server1上操作，SELECT查詢語句在從庫server2和server3上執行。