文章目錄
一、 ShardingSphere
在我們的項目中,隨着數據量的不斷擴大,單表數據達到千萬級別,查詢性能急劇降低,這時候需要我們做分庫分表,降低單表的數據量和單個數據庫的請求壓力。我們公司之前採用的是噹噹維護的
Sharding-jdbc
,後來官方又恢復維護了,也就是ShardingSphere
。
ShardingSphere
是一套開源的分佈式數據庫中間件解決方案組成的生態圈,它由Sharding-JDBC
、Sharding-Proxy
和Sharding-Sidecar
(計劃中)這3款相互獨立的產品組成。 他們均提供標準化的數據分片、分佈式事務和數據庫治理功能,可適用於如Java
同構、異構語言、容器、雲原生等各種多樣化的應用場景。ShardingSphere
定位爲關係型數據庫中間件,旨在充分合理地在分佈式的場景下利用關係型數據庫的計算和存儲能力,而並非實現一個全新的關係型數據庫。 它與NoSQL
和NewSQL
是並存而非互斥的關係。NoSQL
和NewSQL
作爲新技術探索的前沿,放眼未來,擁抱變化,是非常值得推薦的。反之,也可以用另一種思路看待問題,放眼未來,關注不變的東西,進而抓住事物本質。 關係型數據庫當今依然佔有巨大市場,是各個公司核心業務的基石,未來也難於撼動,我們目前階段更加關注在原有基礎上的增量,而非顛覆。
sharding-jdbc
定位爲輕量級Java
框架,在Java
的JDBC
層提供的額外服務。 它使用客戶端直連數據庫,以jar
包形式提供服務,無需額外部署和依賴,可理解爲增強版的JDBC
驅動,完全兼容JDBC和各種ORM
框架。- 適用於任何基於
Java
的ORM
框架,如:JPA
,Hibernate
,Mybatis
,Spring JDBC Template
或直接使用JDBC
。 基於任何第三方的數據庫連接池,如:DBCP
,C3P0
,BoneCP
,Druid
,HikariCP
等。 支持任意實現JDBC規範的數據庫。目前支持MySQL
,Oracle
,SQLServer
和PostgreSQL
。
二、 項目示例
本項目基於
SpringBoot + ShardingSphere + Mybatis
分庫分表
2.1 數據庫準備
庫表結構如下:
ds0
├── user_0
└── user_1
ds1
├── user_0
└── user_1
- 爲了演示,這裏以分兩個庫兩個表爲例,實際上,我們項目中會更多,例如我們公司用戶信息按照用戶表id分成了100個表;
- 因爲是分庫分表,兩個庫結構與所有的表結構一定是一致的。
2.2 項目配置
- 項目依賴
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--mysql-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<!--Mybatis-->
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>1.3.2</version>
</dependency>
<!--shardingsphere start-->
<dependency>
<groupId>io.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>3.1.0</version>
</dependency>
<dependency>
<groupId>io.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-namespace</artifactId>
<version>3.1.0</version>
</dependency>
<!--shardingsphere end-->
<!--lombok-->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.8</version>
</dependency>
</dependencies>
- application.yml
# 數據源 ds0,ds1
sharding:
jdbc:
datasource:
names: ds0,ds1
# 第一個數據庫
ds0:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.jdbc.Driver
jdbc-url: jdbc:mysql://47.98.178.84:3306/ds0?characterEncoding=utf-8
username: ds0
password: password
# 第二個數據庫
ds1:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.jdbc.Driver
jdbc-url: jdbc:mysql://47.98.178.84:3306/ds1?characterEncoding=utf-8
username: ds1
password: password
# 水平拆分的數據庫(表) 配置分庫 + 分表策略 行表達式分片策略
# 分庫策略
config:
sharding:
default-database-strategy:
inline:
sharding-column: id
algorithm-expression: ds$->{id % 2}
# 分表策略 其中user爲邏輯表 分表主要取決於user_age行
tables:
user:
actual-data-nodes: ds$->{0..1}.user_$->{0..1}
table-strategy:
inline:
sharding-column: user_age
# 分片算法表達式
algorithm-expression: user_$->{user_age % 2}
# 打印執行的數據庫以及語句
props..sql.show: true
# bean被重複定義時覆蓋
spring:
main:
allow-bean-definition-overriding: true
mybatis:
mapper-locations: classpath:mapper/*.xml
type-aliases-package: cn.van.sharding.demo.entity
通過配置文件方式實現分庫以及分表:
- 邏輯表
user
:水平拆分的數據庫(表)的相同邏輯和數據結構表的總稱(該表並不存在); - 真實表
user_0
、user_1
:在分片的數據庫中真實存在的物理表; - 分庫規則:根據用戶id分庫,用2取模,餘數爲0放入
ds0
庫,餘數爲1放入ds1
庫; - 分表規則:根據用戶user_age分表,用2取模,餘數爲0放入
user_0
表,餘數爲1放入user_1
表;
2.3 實體類
User.java
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
public class User{
private Long id;
private String userName;
private Integer userAge;
}
2.4 Mapper 接口及映射文件
UserMapper.java
public interface UserMapper{
int insert(User user);
List<User> selectAll();
}
UserMapper.xml
<resultMap id="BaseResultMap" type="cn.van.sharding.demo.entity.User">
<id column="id" jdbcType="BIGINT" property="id" />
<result column="user_name" jdbcType="VARCHAR" property="userName" />
<result column="user_age" jdbcType="INTEGER" property="userAge" />
</resultMap>
<sql id="Base_Column_List">
id, user_name, user_age
</sql>
<insert id="insert">
insert into user (id,name,age) values
(#{id}, #{userName}, #{userAge})
</insert>
<select id="selectAll" resultMap="BaseResultMap">
select <include refid="Base_Column_List"/>
from user
</select>
2.5 Service
層以及實現類
UserService.java
public interface UserService{
/**
* 保存用戶信息
* @param entity
* @return
*/
int save(User entity);
/**
* 查詢全部用戶信息
* @return
*/
List<User> getUserList();
}
UserServiceImpl.java
Service("userService")
public class UserServiceImpl implements UserService {
@Resource
UserMapper userMapper;
@Override
public int save(User entity) {
return userMapper.insert(entity);
}
@Override
public List<User> getUserList() {
return userMapper.selectAll();
}
}
2.5 控制類測試
記得在啓動類上加上mapper文件掃描
@MapperScan("cn.van.sharding.demo.mapper")
@RestController
public class UserController {
@Autowired
private UserService userService;
@GetMapping("/select")
public List<User> select() {
return userService.getUserList();
}
@GetMapping("/insert")
public int insert(User user) {
return userService.save(user);
}
}
## 三、測試
### 3.1 測試插入
* 打開瀏覽器或者在postman測試以下請求:
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=1&userName=Van&userAge=11)
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=3&userName=Van&userAge=12)
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=2&userName=Van&userAge=13)
1. [http://localhost:8080/insert?id=1&userName=Van&userAge=11](http://localhost:8080/insert?id=4&userName=Van&userAge=14)
* 控制檯日誌打印如下:
```xml
2019-08-07 22:25:07.502 INFO 725 --- [nio-8080-exec-2] ShardingSphere-SQL : Actual SQL: ds1 ::: insert into user_1 (id,user_name,user_age) values (?, ?, ?) ::: [[1, Van, 11]]
2019-08-07 22:30:47.808 INFO 725 --- [nio-8080-exec-7] ShardingSphere-SQL : Actual SQL: ds1 ::: insert into user_0 (id,user_name,user_age) values (?, ?, ?) ::: [[3, Van, 12]]
2019-08-07 22:32:14.277 INFO 725 --- [io-8080-exec-10] ShardingSphere-SQL : Actual SQL: ds0 ::: insert into user_1 (id,user_name,user_age) values (?, ?, ?) ::: [[2, Van, 13]]
2019-08-07 22:33:08.426 INFO 725 --- [nio-8080-exec-1] ShardingSphere-SQL : Actual SQL: ds0 ::: insert into user_0 (id,user_name,user_age) values (?, ?, ?) ::: [[4, Van, 14]]
通過日誌結合數據庫數據我們可以發現,測試通過,數據按照我們設定的分庫分表規則成功插入。同時,該中間件也幫我們查詢做了封裝,省略了join
多張表聯合查詢。
3.2 測試查詢
- 查詢全部數據
- 控制檯日誌
2019-08-07 22:38:26.822 INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds0 ::: select id, user_name, user_age from user_0
2019-08-07 22:38:26.822 INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds0 ::: select id, user_name, user_age from user_1
2019-08-07 22:38:26.822 INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds1 ::: select id, user_name, user_age from user_0
2019-08-07 22:38:26.822 INFO 725 --- [nio-8080-exec-6] ShardingSphere-SQL : Actual SQL: ds1 ::: select id, user_name, user_age from user_1
- 返回結果
[
{
"id": 4,
"userName": "Van",
"userAge": 14
},
{
"id": 2,
"userName": "Van",
"userAge": 13
},
{
"id": 3,
"userName": "Van",
"userAge": 12
},
{
"id": 1,
"userName": "Van",
"userAge": 11
}
]
四、 總結及源碼
如果說,我們只想做分表,但是不分庫,也是完全可以的,只需要修改一下配置文件即可。而且我們可以發現,通過此中間件進行分庫分表,無侵入我們的代碼 可以在原有的基礎上改動配置即可,非常方便。
源碼地址:https://github.com/vanDusty/SpringBoot-Home/tree/master/springboot-demo-subdatabase/sharding-demo