mysql分庫分表 dangdang插件

1、何謂分庫分表：

從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。

2、爲何要分庫分表

可以減輕數據庫的壓力，不用所有線程都查同一個數據庫；

數據庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨着時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由於無法進行分佈式式部署，而一臺服務器的資源（CPU、磁盤、內存、IO等）是有限的，最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。

3、如何進行分庫分表

分庫分表有垂直切分和水平切分兩種。

• 3.1 何謂垂直切分，即將表按照功能模塊、關係密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義數據庫workDB、商品數據庫payDB、用戶數據庫userDB、日誌數據庫logDB等，分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。
• 3.2 何謂水平切分，當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userID散列，進行劃分，然後存儲到多個結構相同的表，和不同的庫上。例如，我們的userDB中的用戶數據表中，每一個表的數據量都很大，就可以把userDB切分爲結構相同的多個userDB：part0DB、part1DB等，再將userDB上的用戶數據表userTable，切分爲很多userTable：userTable0、userTable1等，然後將這些表按照一定的規則存儲到多個userDB上。
• 3.3 應該使用哪一種方式來實施數據庫分庫分表，這要看數據庫中數據量的瓶頸所在，並綜合項目的業務類型進行考慮。
  如果數據庫是因爲表太多而造成海量數據，並且項目的各項業務邏輯劃分清晰、低耦合，那麼規則簡單明瞭、容易實施的垂直切分必是首選。
  而如果數據庫中的表並不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要複雜一些，它將原本邏輯上屬於一體的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，後期也將對項目人員及應用程序產生額外的數據管理負擔。
  在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。一般的遊戲項目便綜合使用了垂直與水平切分，我們首先對數據庫進行垂直切分，然後，再針對一部分表，通常是用戶數據表，進行水平切分。

4、分庫分表有何缺陷

• 4.1 事務問題。
  在執行分庫分表之後，由於數據存儲到了不同的庫上，數據庫事務管理出現了困難。如果依賴數據庫本身的分佈式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。
• 4.2 跨庫跨表的join問題。
  在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位於不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。
• 4.3 額外的數據管理負擔和數據運算壓力。
  額外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重複執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對於一個記錄用戶成績的用戶數據表userTable，業務要求查出成績最好的100位，在進行分表之前，只需一個order by語句就可以搞定，但是在進行分表之後，將需要n個order by語句，分別查出每一個分表的前100名用戶數據，然後再對這些數據進行合併計算，才能得出結果。

5、dangdang插件介紹

dangdang是開源的一個分庫分表插件，實現了簡單的分庫分表的功能

github地址 https://github.com/dangdangdotcom/sharding-jdbc

首先是jar包引用，maven依賴如下

<dependency>  
    <groupId>com.dangdang</groupId>  
    <artifactId>sharding-jdbc-core</artifactId>  
    <version>1.3.3</version>  
</dependency>  
<dependency>  
    <groupId>com.dangdang</groupId>  
    <artifactId>sharding-jdbc-config-spring</artifactId>  
    <version>1.3.3</version>  
</dependency>  

然後就是spring配置，單獨建了一個文件，主xml中import一下，配置數據源和分庫分表規則，目前的規則邏輯都是按照id%2配置的，具體應用按照自己實際業務來。

<?xml version="1.0" encoding="UTF-8"?>  
<beans xmlns="http://www.springframework.org/schema/beans"  
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
       xmlns:rdb="http://www.dangdang.com/schema/ddframe/rdb"  
       xsi:schemaLocation="http://www.springframework.org/schema/beans  
                        http://www.springframework.org/schema/beans/spring-beans.xsd  
                        http://www.dangdang.com/schema/ddframe/rdb  
                        http://www.dangdang.com/schema/ddframe/rdb/rdb.xsd">  
  
    <bean id="statFilter" class="com.alibaba.druid.filter.logging.Slf4jLogFilter">  
        <property name="statementExecutableSqlLogEnable" value="false"/>  
        <property name="dataSourceLogEnabled" value="false"/>  
    </bean>  
    <bean id="logFilter" class="com.alibaba.druid.filter.stat.StatFilter">  
        <property name="slowSqlMillis" value="50"/>  
        <property name="logSlowSql" value="false"/>  
        <property name="mergeSql" value="true"/>  
    </bean>  
  
    <bean id="master0" class="com.alibaba.druid.pool.DruidDataSource" init-method="init"  
          destroy-method="close">  
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>  
        <property name="username" value="root"/>  
        <property name="url" value="jdbc:mysql://127.0.0.1:3306/demodb00"/>  
        <property name="password" value="root"/>  
        <property name="maxActive" value="10"/>  
        <property name="initialSize" value="1"/>  
        <property name="maxWait" value="60000"/>  
        <property name="minIdle" value="1"/>  
        <property name="timeBetweenEvictionRunsMillis" value="60000"/>  
        <property name="minEvictableIdleTimeMillis" value="300000"/>  
        <property name="validationQuery" value="SELECT 'x'"/>  
        <property name="testWhileIdle" value="true"/>  
        <property name="testOnBorrow" value="false"/>  
        <property name="testOnReturn" value="false"/>  
        <property name="poolPreparedStatements" value="true"/>  
        <property name="maxPoolPreparedStatementPerConnectionSize" value="50"/>  
        <property name="maxOpenPreparedStatements" value="100"/>  
        <property name="proxyFilters">  
            <list>  
                <ref bean="statFilter"/>  
                <ref bean="logFilter"/>  
            </list>  
        </property>  
    </bean>  
  
    <bean id="master1" class="com.alibaba.druid.pool.DruidDataSource" init-method="init"  
          destroy-method="close">  
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>  
        <property name="username" value="root"/>  
        <property name="url" value="jdbc:mysql://127.0.0.1:3306/demodb01"/>  
        <property name="password" value="root"/>  
        <property name="maxActive" value="10"/>  
        <property name="initialSize" value="1"/>  
        <property name="maxWait" value="60000"/>  
        <property name="minIdle" value="1"/>  
        <property name="timeBetweenEvictionRunsMillis" value="60000"/>  
        <property name="minEvictableIdleTimeMillis" value="300000"/>  
        <property name="validationQuery" value="SELECT 'x'"/>  
        <property name="testWhileIdle" value="true"/>  
        <property name="testOnBorrow" value="false"/>  
        <property name="testOnReturn" value="false"/>  
        <property name="poolPreparedStatements" value="true"/>  
        <property name="maxPoolPreparedStatementPerConnectionSize" value="50"/>  
        <property name="maxOpenPreparedStatements" value="100"/>  
        <property name="proxyFilters">  
            <list>  
                <ref bean="statFilter"/>  
                <ref bean="logFilter"/>  
            </list>  
        </property>  
    </bean>  
  
    <!--非必須的，可以省略掉，下面的rdb:sharding-rule直接配置數據源id即可>  
    <rdb:master-slave-data-source id="rbb_0" master-data-source-ref="master0" slave-data-sources-ref="master0"/>  
    <rdb:master-slave-data-source id="rbb_1" master-data-source-ref="master1" slave-data-sources-ref="master1"/>  
  
    <rdb:strategy id="idDbSharding" sharding-columns="id"  
                  algorithm-class="net.aty.spring.DbAlgorithm"/>  
  
    <rdb:strategy id="idTbSharding" sharding-columns="id"  
                  algorithm-class="net.aty.spring.TbAlgorithm"/>  
  
    <rdb:data-source id="wholeDataSource">  
        <rdb:sharding-rule data-sources="rbb_0,rbb_1">  
            <rdb:table-rules>  
                <rdb:table-rule logic-table="user" actual-tables="user_${0..1}"  
                                database-strategy="idDbSharding" table-strategy="idTbSharding"/>  
            </rdb:table-rules>  
        </rdb:sharding-rule>  
    </rdb:data-source>  
  
</beans>  

接下來是分庫分表規則類

package com.feng.splitdbtb;  
  
import com.dangdang.ddframe.rdb.sharding.api.ShardingValue;  
import com.dangdang.ddframe.rdb.sharding.api.strategy.database.SingleKeyDatabaseShardingAlgorithm;  
  
import java.util.Collection;  
  
public class DbAlgorithm implements SingleKeyDatabaseShardingAlgorithm<Integer> {  
  
    @Override  
    public String doEqualSharding(Collection<String> collection, ShardingValue<Integer> shardingValue) {  
        int id = shardingValue.getValue();  
  
        int index = id % 2;  
  
        for (String each : collection) {  
            if (each.endsWith(index + "")) {  
                return each;  
            }  
        }  
        throw new UnsupportedOperationException();  
    }  
  
    @Override  
    public Collection<String> doInSharding(Collection<String> collection, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
  
    @Override  
    public Collection<String> doBetweenSharding(Collection<String> collection, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
}

分表規則類

package com.feng.splitdbtb;  
  
import com.dangdang.ddframe.rdb.sharding.api.ShardingValue;  
import com.dangdang.ddframe.rdb.sharding.api.strategy.table.SingleKeyTableShardingAlgorithm;  
  
import java.util.Collection;  
  
public class TbAlgorithm implements SingleKeyTableShardingAlgorithm<Integer> {  
  
    @Override  
    public String doEqualSharding(Collection<String> availableTargetNames, ShardingValue<Integer> shardingValue) {  
        int id = shardingValue.getValue();  
  
        int index = id % 2;  
  
        for (String each : availableTargetNames) {  
            if (each.endsWith(index + "")) {  
                return each;  
            }  
        }  
        throw new UnsupportedOperationException();  
    }  
  
    @Override  
    public Collection<String> doInSharding(Collection<String> availableTargetNames, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
  
    @Override  
    public Collection<String> doBetweenSharding(Collection<String> availableTargetNames, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
}  

最後是建庫建表語句，我只給一個例子，具體的數據庫包括dbdemo00(表user_0,user_1)，dbdemo01(表user_0,user_1)

drop database if exists demodb00;  
CREATE database demodb00 DEFAULT CHARACTER SET utf8;  
  
CREATE TABLE demodb00.user (  
  id int(11) NOT NULL AUTO_INCREMENT,  
  name varchar(100) DEFAULT NULL,  
  age int(11) DEFAULT NULL,  
  PRIMARY KEY (id),  
  UNIQUE KEY id_UNIQUE (id)  
) ENGINE=InnoDB DEFAULT CHARSET=utf8;