SpringBoot：分庫分表ShardingSphere實戰

文章目錄

四、總結及源碼

一、 ShardingSphere

在我們的項目中，隨着數據量的不斷擴大，單表數據達到千萬級別,查詢性能急劇降低，這時候需要我們做分庫分表，降低單表的數據量和單個數據庫的請求壓力。我們公司之前採用的是噹噹維護的Sharding-jdbc,後來官方又恢復維護了，也就是ShardingSphere。

ShardingSphere是一套開源的分佈式數據庫中間件解決方案組成的生態圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（計劃中）這3款相互獨立的產品組成。他們均提供標準化的數據分片、分佈式事務和數據庫治理功能，可適用於如Java同構、異構語言、容器、雲原生等各種多樣化的應用場景。
ShardingSphere定位爲關係型數據庫中間件，旨在充分合理地在分佈式的場景下利用關係型數據庫的計算和存儲能力，而並非實現一個全新的關係型數據庫。它與NoSQL和NewSQL是並存而非互斥的關係。NoSQL和NewSQL作爲新技術探索的前沿，放眼未來，擁抱變化，是非常值得推薦的。反之，也可以用另一種思路看待問題，放眼未來，關注不變的東西，進而抓住事物本質。關係型數據庫當今依然佔有巨大市場，是各個公司核心業務的基石，未來也難於撼動，我們目前階段更加關注在原有基礎上的增量，而非顛覆。

sharding-jdbc 定位爲輕量級Java框架，在Java的JDBC層提供的額外服務。它使用客戶端直連數據庫，以jar包形式提供服務，無需額外部署和依賴，可理解爲增強版的JDBC驅動，完全兼容JDBC和各種ORM框架。
適用於任何基於Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。基於任何第三方的數據庫連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。支持任意實現JDBC規範的數據庫。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

二、項目示例

本項目基於SpringBoot + ShardingSphere + Mybatis分庫分表

2.1 數據庫準備

庫表結構如下：

ds0
  ├── user_0 
  └── user_1 

ds1
  ├── user_0 
  └── user_1

爲了演示，這裏以分兩個庫兩個表爲例，實際上，我們項目中會更多，例如我們公司用戶信息按照用戶表id分成了100個表；
因爲是分庫分表，兩個庫結構與所有的表結構一定是一致的。

2.2 項目配置

項目依賴

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!--mysql-->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <scope>runtime</scope>
    </dependency>
    <!--Mybatis-->
    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>1.3.2</version>
    </dependency>
    <!--shardingsphere start-->
    <dependency>
        <groupId>io.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        <version>3.1.0</version>
    </dependency>
    <dependency>
        <groupId>io.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-namespace</artifactId>
        <version>3.1.0</version>
    </dependency>
    <!--shardingsphere end-->
    <!--lombok-->
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.8</version>
    </dependency>
</dependencies>

application.yml

# 數據源 ds0,ds1
sharding:
  jdbc:
    datasource:
      names: ds0,ds1
      # 第一個數據庫
      ds0:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://47.98.178.84:3306/ds0?characterEncoding=utf-8
        username: ds0
        password: password
      # 第二個數據庫
      ds1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://47.98.178.84:3306/ds1?characterEncoding=utf-8
        username: ds1
        password: password

    # 水平拆分的數據庫（表） 配置分庫 + 分表策略 行表達式分片策略
    # 分庫策略
    config:
      sharding:
        default-database-strategy:
          inline:
            sharding-column: id
            algorithm-expression: ds$->{id % 2}

        # 分表策略 其中user爲邏輯表 分表主要取決於user_age行
        tables:
          user:
            actual-data-nodes: ds$->{0..1}.user_$->{0..1}
            table-strategy:
              inline:
                sharding-column: user_age
                # 分片算法表達式
                algorithm-expression: user_$->{user_age % 2}

      # 打印執行的數據庫以及語句
      props..sql.show: true
# bean被重複定義時覆蓋
spring:
  main:
    allow-bean-definition-overriding: true
mybatis:
  mapper-locations: classpath:mapper/*.xml
  type-aliases-package: cn.van.sharding.demo.entity

通過配置文件方式實現分庫以及分表：

邏輯表 user：水平拆分的數據庫（表）的相同邏輯和數據結構表的總稱（該表並不存在）；
真實表user_0、user_1：在分片的數據庫中真實存在的物理表；
分庫規則：根據用戶id分庫，用2取模，餘數爲0放入ds0庫，餘數爲1放入ds1庫；
分表規則：根據用戶user_age分表，用2取模，餘數爲0放入user_0表，餘數爲1放入user_1表；

2.3 實體類

User.java

@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
public class User{

    private Long id;

    private String userName;

    private Integer userAge;
}

2.4 Mapper 接口及映射文件

UserMapper.java

public interface UserMapper{

    int insert(User user);

    List<User> selectAll();

}

UserMapper.xml

<resultMap id="BaseResultMap" type="cn.van.sharding.demo.entity.User">
    <id column="id" jdbcType="BIGINT" property="id" />
    <result column="user_name" jdbcType="VARCHAR" property="userName" />
    <result column="user_age" jdbcType="INTEGER" property="userAge" />
</resultMap>
<sql id="Base_Column_List">
    id, user_name, user_age
</sql>

<insert id="insert">
    insert into user (id,name,age) values
    (#{id}, #{userName}, #{userAge})
</insert>

<select id="selectAll" resultMap="BaseResultMap">
    select <include refid="Base_Column_List"/>
    from user
</select>

2.5 `Service`層以及實現類

UserService.java

public interface UserService{

    /**
     * 保存用戶信息
     * @param entity
     * @return
     */
    int save(User entity);

    /**
     * 查詢全部用戶信息
     * @return
     */
    List<User> getUserList();
}

UserServiceImpl.java

Service("userService")
public class UserServiceImpl implements UserService {
    @Resource
    UserMapper userMapper;
    @Override
    public int save(User entity) {
        return userMapper.insert(entity);
    }

    @Override
    public List<User> getUserList() {
        return userMapper.selectAll();
    }
}

2.5 控制類測試

記得在啓動類上加上mapper文件掃描@MapperScan("cn.van.sharding.demo.mapper")

@RestController
public class UserController {

@Autowired
private UserService userService;

@GetMapping("/select")
public List<User> select() {
    return userService.getUserList();
}

@GetMapping("/insert")
public int insert(User user) {
    return userService.save(user);
}

}


## 三、測試

### 3.1 測試插入

* 打開瀏覽器或者在postman測試以下請求：

1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=1&userName=Van&userAge=11)
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=3&userName=Van&userAge=12)
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=2&userName=Van&userAge=13)
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=4&userName=Van&userAge=14)

* 控制檯日誌打印如下：

```xml
2019-08-07 22:25:07.502  INFO 725 --- [nio-8080-exec-2] ShardingSphere-SQL : Actual SQL: ds1 ::: insert into user_1 (id,user_name,user_age) values (?, ?, ?) ::: [[1, Van, 11]]
2019-08-07 22:30:47.808  INFO 725 --- [nio-8080-exec-7] ShardingSphere-SQL : Actual SQL: ds1 ::: insert into user_0 (id,user_name,user_age) values (?, ?, ?) ::: [[3, Van, 12]] 
2019-08-07 22:32:14.277  INFO 725 --- [io-8080-exec-10] ShardingSphere-SQL : Actual SQL: ds0 ::: insert into user_1 (id,user_name,user_age) values (?, ?, ?) ::: [[2, Van, 13]] 
2019-08-07 22:33:08.426  INFO 725 --- [nio-8080-exec-1] ShardingSphere-SQL : Actual SQL: ds0 ::: insert into user_0 (id,user_name,user_age) values (?, ?, ?) ::: [[4, Van, 14]]

通過日誌結合數據庫數據我們可以發現，測試通過，數據按照我們設定的分庫分表規則成功插入。同時，該中間件也幫我們查詢做了封裝，省略了join多張表聯合查詢。

3.2 測試查詢

查詢全部數據

http://localhost:8080/select

控制檯日誌

2019-08-07 22:38:26.822  INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds0 ::: select id, user_name, user_age from user_0
2019-08-07 22:38:26.822  INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds0 ::: select id, user_name, user_age from user_1
2019-08-07 22:38:26.822  INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds1 ::: select id, user_name, user_age from user_0
2019-08-07 22:38:26.822  INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds1 ::: select id, user_name, user_age from user_1

返回結果

[
    {
        "id": 4,
        "userName": "Van",
        "userAge": 14
    },
    {
        "id": 2,
        "userName": "Van",
        "userAge": 13
    },
    {
        "id": 3,
        "userName": "Van",
        "userAge": 12
    },
    {
        "id": 1,
        "userName": "Van",
        "userAge": 11
    }
]

四、總結及源碼

如果說，我們只想做分表，但是不分庫，也是完全可以的，只需要修改一下配置文件即可。而且我們可以發現，通過此中間件進行分庫分表，無侵入我們的代碼可以在原有的基礎上改動配置即可，非常方便。

源碼地址：https://github.com/vanDusty/SpringBoot-Home/tree/master/springboot-demo-subdatabase/sharding-demo

SpringBoot：分庫分表ShardingSphere實戰

文章目錄

一、 ShardingSphere

二、項目示例

2.1 數據庫準備

2.2 項目配置

2.3 實體類

2.4 Mapper 接口及映射文件

2.5 `Service`層以及實現類

2.5 控制類測試

3.2 測試查詢

四、總結及源碼

Mac 安裝與配置 Zookeeper

Spring Boot 系列：配置 Swagger2

Spring Boot 系列：配置 Redis

Mybatis系列：逆向工程自動生成代碼

Spring Boot 系列：處理跨域請求

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

SpringBoot：分庫分表ShardingSphere實戰

文章目錄

一、 ShardingSphere

二、 項目示例

2.1 數據庫準備

2.2 項目配置

2.3 實體類

2.4 Mapper 接口及映射文件

2.5 Service層以及實現類

2.5 控制類測試

3.2 測試查詢

四、 總結及源碼

二、項目示例

2.5 `Service`層以及實現類

四、總結及源碼