Amoeba for MySQL讀寫分離配置


實驗環境

hostname            ip

master-db        192.168.0.1

slave-db1        192.168.0.2

slave-db2        192.168.0.3

amoeba           192.168.0.123


 

一、 Amoeba簡介 

    Amoeba 是阿里巳巳的技術陳思儒開始的一個開源項目,它是分佈式數據庫Proxy解決方案。Amoeba框架是基於Java SE 1.5開發的,在安裝Amoeba前需要先安裝Java環境。經驗證,Amoeba在Java SE 1.5和Java SE 1.6上能正常運行。 

Amoeba的產品: 

Amoeba for MySQL  

Amoeba for Aladdin 

Amoeba for MongoDB 


以下主要介紹Amoeba for mysql: 

    Amoeba for MySQL致力於MySQL的分佈式數據庫前端代理層,它主要在應用層訪問MySQL的時候充當query 路由功能,與注 分佈式數據庫 proxy 開發。座落不Client、DB Server(s)之間。對客戶端透明。具有負載均衡、高可用性、Query過濾、讀寫分離、可路由相關的query到目標數據庫、可併發請求多臺數據庫合併結果。 在Amoeba上面你能夠完成多數據源的高可用、負載均衡、數據切片的功能。目前在很多企業的生產線上面使用。 

    那麼Amoeba for mysql 對客戶端程序來說是什麼呢? 我們就當它是mysql吧,它是一個虛擬的mysql,對外提供mysql協議。客戶端連接amoeba就象連接mysql一樣。在amoeba內部需要配置相關的認證屬性。 

 


Amoeba for mysql與Mysql Proxy 的比較: 

    在MySQL proxy 6.0版本 上面如果想要讀寫分離並丏 讀集羣、寫集羣 機器比較多情況下,用mysql proxy 需要相當大的工作量,目前mysql proxy沒有現成的 lua腳本。mysql proxy根本沒有配置文件, lua腳本就是它的全部,當然lua是相當方便的。那麼同樣這種東西需要編寫大量的腳本才能完成一 個複雜的配置。而Amoeba for Mysql只需要進行相關的配置就可以滿足需求。 


Amoeba for MySQL的優點: 

1.  降低數據切分帶來的複雜多數據庫結構 

2.  提供切分規則並降低數據切分規則給應用帶來的影響 

3.  降低db 不客戶端的連接數 

4.  讀寫分離 


Amoeba for MySQL的缺點: 

1.  Amoeba for MySQL不支持事務:其實,分佈式事務的問題是所有數據庫中間層普遍面臨的問題,不是Amoeba獨有的問題;目前通常的解決辦法是,將事務拆分成幾個單數據庫內的小事務,由應用程序進行總控。 

2.  Amoeba for MySQL不支持跨節點JOIN:同樣,這個問題也不是Amoeba獨有的,通常的解決辦法是由應用程序先從一個節點取出數據,然後由應用程序去其他節點JOIN。 

3.  Amoeba for MySQL不支持跨節點排序:這個問題也不是Ameoba獨有的,通常的解決辦法是由應用程序從多個節點中取出數據,然後進行排序。 

4.  Amoeba for MySQL不適合返回大量(超過10萬)數據的查詢。 

5.  Amoeba for MySQL不支持分庫分表,只能做到分數據庫實例。 

爲何使用Amoeba : 

    隨着傳統的數據庫技術日趨成熟、計算機網絡技術的飛速發展和應用範圍的擴充,數據庫應用已經普遍建立於計算機網絡之上。這時集中式數據庫系統表現出它的不足:集中式處理,勢必造成性能瓶頸;應用程序集中在一臺計算機上運行,一旦該計算機發生故障,則整個系統受到影響,可靠性不高;集中式處理引起系統的規模和配置都不夠靈活,系統的可擴充性差。在這種形勢下,集中式數據庫將向分佈式數據庫發展。而Amoeba的透明、簡易配置及多個優點使其成爲分佈式數據庫代理產品中的優秀選擇。 


 

二、 安裝和運行Amoeba 

1. Amoeba for MySQL 架構: 

2. 驗證Java的安裝 

Amoeba框架是基於Java SE1.5開發的,建議使用Java SE1.5以上的版本。 

#  java  -version 

java version "1.6.0_35" 

Java(TM) SE Runtime Environment (build 1.6.0_35-b10) 

Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01, mixed mode) 

注:JDK的安裝方法不再闡述,不會的可以參考:

http://304076020.blog.51cto.com/7503470/1642482  #安裝JDK部分。 

3.  安裝MySQL數據庫及配置主從複製部分此處不再闡述,不會者可參考:

http://304076020.blog.51cto.com/7503470/1674911 

4.  下載Amoeba 

http://down.51cto.com/data/720175

5.  安裝Amoeba 

# unzip  amoeba-mysql-3.0.4-BETA-distribution.zip

# mv amoeba-mysql-3.0.4-BETA /usr/local/amoeba

 

三、 配置Amoeba for MySQL: 

Amoeba for MySQL的使用是很簡單的,主要是通過xml文件來實現的。 

1. 配置文件介紹: 

(1.) dbServers.xml   想象Amoeba作爲數據庫代理層,它一定會和很多數據庫保持通信,因此它必須知道由它代理的數據庫如何連接,比如最基礎的:主機IP、端口、Amoeba使用的用戶名和密碼等等。這些信息存儲在$AMOEBA_HOME/conf/dbServers.xml中。 

(2.) rule.xml  Amoeba爲了完成數據切分提供了完善的切分規則配置,爲了瞭解如何分片數據、如何將數據庫返回的數據整合,它必須知道切分規則。不切分規則相關的信息存儲在$AMOEBA_HOME/conf/rule.xml中。 

(3.) functionMap.xml  當我們書寫SQL來操作數據庫的時候,常常會用到很多不同的數據庫函數,比如:UNIX_TIMESTAMP()、SYSDATE()等等。這些函數如何被Amoeba解析呢?$AMOEBA_HOME/conf/functionMap.xml描述了函數名和函數處理的關係。 

(4.) ruleFunctionMap.xml  對$AMOEBA_HOME/conf/rule.xml進行配置時,會用到一些我們自己定義的函數,比如我們需要對用戶ID求HASH值來切分數據,這些函數在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定義。 

(5.) access_list.conf  Amoeba可以制定一些可訪問以及拒絕訪問的主機IP地址,這部分配置在$AMOEBA_HOME/conf/access_list.conf中。 

(6.) log4j.xml  Amoeba允許用戶配置輸出日誌級別以及方式,配置方法使用log4j的文件格式,文件是$AMOEBA_HOME/conf/log4j.xml。 其中,我們主要用到dbServer.xml 和 amoeba.xml 。 

2. dbServer.xml 的配置: 

 

<dbServer name=”abstractServer” abstractive=”true”> 

   <factoryConfig class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”> 

      <property name=”connectionManager”>${defaultManager}</property> 

      <property name=”sendBufferSize”>64</property> 

      <property name=”receiveBufferSize”>128</property> 

 

          <!—mysql port --><!—代理連接數據庫使用的端口號--> 

      <property name=”port”>3306</property> 

 

           <!—mysql schema --><!—代理連接數據庫所使用的數據庫--> 

      <property name=”schema”>test</property> 

 

           <!—mysql user --><!—代理連接數據庫使用的用戶名--> 

       <property name=”user”>root</property> 

                  <!—代理連接數據庫使用的密碼--> 

       <property name=”password”>1234</property> 

   </factoryConfig> 

 

   <poolConfig class=”com.meidusa.toolkit.common.poolable.PoolableObjectPool”> 

       <property name=”maxActive”>500</property> 

       <property name=”maxIdle”>500</property> 

       <property name=”minIdle”>1</property> 

       <property name=”minEvictableIdleTimeMillis”>600000</property> 

       <property name=”timeBetweenEvictionRunsMillis”>600000</property> 

       <property name=”testOnBorrow”>true</property> 

       <property name=”testOnReturn”>true</property> 

       <property name=”testWhileIdle”>true</property> 

   </poolConfig> 

</dbServer> 

 

            <!--- 配置真實的數據庫的地址--> 

          <!--- 配置主從服務器及服務器連接池--> 

 


 

<dbServer name="server1"  parent="abstractServer"> 

      <factoryConfig> 

                <!-- mysql ip --> 

             <property name="ipAddress">192.168.0.1</property> 

      </factoryConfig> 

</dbServer> 

 

<dbServer name=”server2”  parent=”abstractServer”> 

      <factoryConfig> 

             <!—mysql ip --> 

             <property name=”ipAddress”>192.168.0.2</property> 

      </factoryConfig> 

</dbServer> 


<dbServer name=”server3”  parent=”abstractServer”> 

      <factoryConfig> 

             <!—mysql ip --> 

             <property name=”ipAddress”>192.168.0.3</property> 

      </factoryConfig> 

</dbServer> 

 


<dbServer name=”multiPool” virtual=”true”> 

      <poolConfig class=”com.meidusa.amoeba.server.MultipleServerPool”> 

           <!—Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> 

            <property name=”loadbalance”>1</property> 

 

                   <!—Separated by commas,such as: server1,server2,server1 --> 

            <property name=”poolNames”>server2,server3</property> 

      </poolConfig> 

</dbServer> 

 

3. amoeba.xml 配置: 

客戶端連接Amoeba時所綁定的IP地址、端口、用戶名和密碼。及IP訪問限制。 

<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"> 

                <!-- port --> 

         <property name="port">8066</property> 

 

                <!-- bind ipAddress --> 

                <!--  

                <property name="ipAddress">127.0.0.1</property> 

                --> 

 

         <property name="connectionFactory"> 

            <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"> 

                <property name="sendBufferSize">128</property> 

                <property name="receiveBufferSize">64</property> 

            </bean> 

         </property> 




 

         <property name="authenticateProvider"> 

            <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"> 

                <property name="user">root</property> 

                <property name="password">123</property> 

 

                <property name="filter"> 

                 <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController"> 

                <property name="ipFile">${amoeba.home}/conf/access_list.conf</property> 

                </bean> 

              </property> 

            </bean> 

         </property> 

 

</service> 

 

以下內容是定義讀寫分離: 

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> 

   <property name="ruleLoader"> 

      <bean class="com.meidusa.amoeba.route.TableRuleFileLoader"> 

       <property name="ruleFile">${amoeba.home}/conf/rule.xml</property> 

       <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property> 

      </bean> 

   </property> 

<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> 

    <property name="LRUMapSize">1500</property> 

    <property name="defaultPool">multiPool</property> 

 

    <property name="writePool">server1</property> 

    <property name="readPool">multiPool</property> 

 

    <property name="needParse">true</property> 

</queryRouter> 

 

通過以上簡單配置,已經可以實現數據庫的讀寫分離了。 

 

 

 


 

四、 測試 

#/usr/local/amoeba/bin/launcher &   (也可通過nohup後臺啓動,戒者自己寫一個腳本來啓動。 ) 

啓動的Amoeba默認端口爲8066 

在客戶端連接Amoeba測試: 

# mysql  -uroot –p123  -h 192.168.0.123 --port 8066 

mysql> show databases; 

mysql> CREATE DATABASE  test1;  \\  創建數據庫,之後在主從庫分別查看 通過Amoeba登錄,進行數據的查詢及揑入更新等操作,並查看mysql-log日誌,可發現所執行的INSERT 、UPDATE、DELETE等操作在主庫server1上操作,SELECT查詢語句在從庫server2和server3上執行。 

 



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章