Java猿社區—ShardingSphere4.0.0-RC1實現讀寫分離

原創 阿祥仔 2020-06-22 09:07

Java猿社區—ShardingSphere4.0.0-RC1實現讀寫分離

文章目錄


參考：
基於Docker的Mysql主從複製搭建
ShardingSphere官網

技術體系

Springboot2.1.5 + shardingsphere4.0.0-RC1 + Mysql5.7 + mysql-connector-java5.1.47

背景

目前公司正在進行的在線客服IM項目，考慮未來會話消息請求流量劇增以及消息存儲帶來的挑戰，單一數據庫無法支撐，需要分庫&分表、讀寫分離以應對高併發帶來的挑戰。
基於市面上較爲流行的幾個數據庫中間件我們結合公司技術體系，再三考慮，決定使用ShardingSphere作爲在線客服項目的數據庫中間件。

ShardingSphere介紹

Apache ShardingSphere(Incubator) 是一套開源的分佈式數據庫中間件解決方案組成的生態圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（規劃中）這3款相互獨立，卻又能夠混合部署配合使用的產品組成。它們均提供標準化的數據分片、分佈式事務和數據庫治理功能，可適用於如Java同構、異構語言、雲原生等各種多樣化的應用場景。（來自官網）

ShardingShpere支持的功能

數據分片

  • 分庫、分表
  • 讀寫分離
  • 分片策略定製化
  • 無中心化分佈式主鍵

分佈式事務

  • 標準化事務接口
  • XA強一致事務
  • 柔性事務

技術準備

mysql安裝配置

具體安裝配置請參見網絡博客：如基於Docker的Mysql主從複製搭建

POM配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.zzx.shardingsphere</groupId>
    <artifactId>zzx-shardingsphere</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>

    <modules>
        <module>db-read-write</module>
        <module>db-table-read-write</module>
    </modules>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.5.RELEASE</version>
        <relativePath/>
    </parent>

    <properties>
        <java.version>1.8</java.version>
        <mybatis-spring-boot>2.0.1</mybatis-spring-boot>
        <druid>1.1.16</druid>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <shardingsphere.version>4.0.0-RC1</shardingsphere.version>
        <fastjson.version>1.2.38</fastjson.version>
        <mysql-connector-java.version>5.1.47</mysql-connector-java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>${mybatis-spring-boot}</version>
        </dependency>
        <!--mybatis驅動-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>${mysql-connector-java.version}</version>
        </dependency>
        <!--druid數據源-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>${druid}</version>
        </dependency>
        <!--shardingsphere版本-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>${shardingsphere.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-namespace</artifactId>
            <version>${shardingsphere.version}</version>
        </dependency>
        <!--lombok實體工具-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

讀寫分離——一主雙從

mysql配置環境

主庫： localhost:3339/im_bis
從庫0: localhost:3340/im_bis
從庫1: localhost:3341/im_bis

配置從庫0和從庫1作爲主庫的從庫，具體配置參考上面提到的基於Docker搭建主從複製網站

sql腳本


DROP SCHEMA IF EXISTS im_bis;
CREATE SCHEMA IF NOT EXISTS im_bis;
use im_bis;

/*
 Navicat Premium Data Transfer

 Source Server         : 192.168.89.53
 Source Server Type    : MySQL
 Source Server Version : 50726
 Source Host           : 192.168.89.53:3306
 Source Schema         : ddky_im_bis

 Target Server Type    : MySQL
 Target Server Version : 50726
 File Encoding         : 65001

 Date: 08/03/2020 13:18:39
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for im_team_message
-- ----------------------------
DROP TABLE IF EXISTS `im_team_message`;
CREATE TABLE `im_team_message` (
  `id` bigint(20) NOT NULL COMMENT '主鍵id',
  `team_msg_id` bigint(20) DEFAULT NULL COMMENT '羣消息id(服務端生成消息id)',
  `team_client_msg_id` varchar(32) DEFAULT '' COMMENT '羣消息id（客戶端生成）',
  `team_id` varchar(32) DEFAULT '' COMMENT '羣組id（對應羣組的accid）',
  `msg_type` varchar(15) DEFAULT 'TEXT' COMMENT '消息類型：TEXT-文本，PICTURE-圖片，AUDIO-音頻，VIDEO-視頻，FILE-文件，GEO-地理位置，CUSTOM-自定義，TIP-提醒，ROBOT-AI機器人，NOTICATION-羣通知，TEAM_INVITE-邀請入羣，TEAM_INVITE_REJECT-拒絕邀請，CUSTOM_TEAM_MSG -羣組自定義系統通知',
  `event_type` tinyint(4) DEFAULT '1' COMMENT '事件類型：1-會話類型消息（p2p消息、羣聊消息、自定義系統通知、雲信內置系統通知），2-登錄事件，3-登出/離線事件，4-聊天室聊天消息，5-音視頻時長、白板時長消息，6-音視頻白板大小、下載地址消息，7-單聊消息撤回，8-羣聊消息撤回，9-彙報主播、管理員進出聊天室事件消息，10-彙報專線電話通話結束回調抄送的消息，11-彙報短信回執抄送的消息，12-彙報短信上行消息，13-彙報用戶進出音視頻/白板房間的消息，14-彙報聊天室隊列操作的事件消息，20-易盾異步反垃圾結果信息',
  `remind_type` tinyint(4) DEFAULT '0' COMMENT '提醒類型：0-普通消息，1-客服進入，2-客戶進入，3-客服進入歡迎提醒，4-敏感詞命中提醒消息',
  `conv_type` varchar(20) DEFAULT '' COMMENT '場景類型：TEAM',
  `scene` tinyint(4) DEFAULT '0' COMMENT '場景：0-team，1-p2p，2-superTeam',
  `text` varchar(5000) DEFAULT '' COMMENT '內容',
  `attach` varchar(5000) DEFAULT '' COMMENT '附加消息',
  `team_attach_type` tinyint(4) DEFAULT NULL COMMENT '羣通知類型：默認null（普通消息），0-更新羣，1-拉人入羣，2-踢人出羣，3-接受入羣邀請，4-通過入羣邀請，5-添加羣管理員，6-移除羣管理員，7-主動退羣，8-解散羣，9-轉讓羣，10-更新羣成員禁言狀態',
  `send_type` tinyint(4) DEFAULT '0' COMMENT '發送人類型：0-用戶，1-客服，2-藥師，3-醫生',
  `send_client_ip` varchar(20) DEFAULT '' COMMENT '發送端ip',
  `send_client_port` varchar(5) DEFAULT '' COMMENT '發送端端口',
  `send_client_type` varchar(10) DEFAULT '' COMMENT '發送客戶端類型： AOS、IOS、PC、WINPHONE、WEB、REST',
  `send_device_id` varchar(32) DEFAULT '' COMMENT '發送端設備編號',
  `send_nick` varchar(50) DEFAULT '' COMMENT '發送人暱稱',
  `send_id` varchar(32) DEFAULT '' COMMENT '發送人id（對應客服表和用戶表的accid）',
  `send_at` bigint(11) DEFAULT NULL COMMENT '發送時間',
  `msg_receipt_time` bigint(11) DEFAULT NULL COMMENT '已讀回執時間戳，如果有此字段, 說明此時間戳之前的所有消息對方均已讀',
  `is_revoke` tinyint(4) DEFAULT '0' COMMENT '是否撤銷：0-否，1-是',
  `revoke_at` bigint(11) DEFAULT '0' COMMENT '撤銷時間',
  `custom_apns_text` varchar(200) DEFAULT '' COMMENT '自定義系統通知消息推送文本。僅在convType爲CUSTOM_PERSON或CUSTOM_TEAM時含此字段',
  `ext` varchar(64) DEFAULT '' COMMENT '消息擴展字段',
  `antispam` varchar(12) DEFAULT '' COMMENT '標識是否被反垃圾(‘’，true，false)',
  `yidun_res` varchar(500) DEFAULT '' COMMENT '易盾反垃圾的原始處理細節',
  `msg_status` tinyint(4) DEFAULT '0' COMMENT '消息發送狀態：0-發送成功，1-發送中，2-發送失敗',
  `status` tinyint(4) DEFAULT '0' COMMENT '狀態：有效 0：無效',
  PRIMARY KEY (`id`),
  UNIQUE KEY `index_tt` (`id`,`team_msg_id`,`team_client_msg_id`) USING BTREE,
  KEY `index_team_id_on_im_team_message` (`team_id`),
  KEY `index_send_at_on_im_team_message` (`send_at`)
) ENGINE=InnoDB AUTO_INCREMENT=2104820 DEFAULT CHARSET=utf8mb4 COMMENT='IM消息表';

SET FOREIGN_KEY_CHECKS = 1;

配置讀寫分離

server.port=8888

spring.main.allow-bean-definition-overriding=true

# ---------------------------------
#   mybatis
# ---------------------------------
mybatis.type-aliases-package=com.zzx.sharding.entity
#mybatis.type-handlers-package=com.example.typehandler
mybatis.configuration.map-underscore-to-camel-case=true
mybatis.configuration.default-fetch-size=100
mybatis.configuration.default-statement-timeout=3000
mybatis.mapper-locations=classpath*:mapper/*.xml

# --------------------------------
#   druid
# ---------------------------------
spring.datasource.type=com.alibaba.druid.pool.DruidDataSource
spring.datasource.druid.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.druid.filters=stat,wall,log4j2
spring.datasource.druid.max-active=50
spring.datasource.druid.initial-size=2
spring.datasource.druid.max-wait=60000
spring.datasource.druid.min-idle=2
spring.datasource.druid.keep-alive=true
spring.datasource.druid.time-between-eviction-runs-millis=60000
spring.datasource.druid.min-evictable-idle-time-millis=300000
spring.datasource.druid.validation-query=select 'x'
spring.datasource.druid.test-while-idle=true
spring.datasource.druid.test-on-borrow=false
spring.datasource.druid.test-on-return=false
spring.datasource.druid.pool-prepared-statements=true
spring.datasource.druid.max-open-prepared-statements=20
spring.datasource.druid.connection-properties=druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000;
spring.datasource.druid.use-global-data-source-stat=true
spring.datasource.druid.web-stat-filter.enabled=true
spring.datasource.druid.web-stat-filter.url-pattern=/*
spring.datasource.druid.web-stat-filter.exclusions='*.gif,*.png,*.jpg,*.html,*.js,*.css,*.ico,/druid/*'
spring.datasource.druid.stat-view-servlet.enabled=true
spring.datasource.druid.stat-view-servlet.url-pattern=/druid/*
spring.datasource.druid.stat-view-servlet.reset-enable=true
spring.datasource.druid.stat-view-servlet.login-username=admin
spring.datasource.druid.stat-view-servlet.login-password=admin

# 配置日誌輸出
spring.datasource.druid.filter.log4j2.enabled=true
spring.datasource.druid.filter.log4j2.statement-create-after-log-enabled=false
spring.datasource.druid.filter.log4j2.statement-close-after-log-enabled=false
spring.datasource.druid.filter.log4j2.result-set-open-after-log-enabled=false
spring.datasource.druid.filter.log4j2.result-set-close-after-log-enabled=false

# --------------------------------
#   ShardingSphere
# ---------------------------------
spring.shardingsphere.datasource.names=master,slave0,slave1

# 數據源 主庫
spring.shardingsphere.datasource.master.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master.url=jdbc:mysql://localhost:3339/im_bis?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2B8&autoReconnect=true&rewriteBatchedStatements=true
spring.shardingsphere.datasource.master.username=root
spring.shardingsphere.datasource.master.password=123456

# 數據源 從庫
spring.shardingsphere.datasource.slave0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.slave0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave0.url=jdbc:mysql://localhost:3340/im_bis?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2B8&autoReconnect=true&rewriteBatchedStatements=true
spring.shardingsphere.datasource.slave0.username=root
spring.shardingsphere.datasource.slave0.password=123456

# 數據源 從庫
spring.shardingsphere.datasource.slave1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.slave1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave1.url=jdbc:mysql://localhost:3341/im_bis?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2B8&autoReconnect=true&rewriteBatchedStatements=true
spring.shardingsphere.datasource.slave1.username=root
spring.shardingsphere.datasource.slave1.password=123456


# 讀寫分離
# 用於配置從庫負載均衡算法類型，可選值：ROUND_ROBIN(輪詢)，RANDOM（隨機）
spring.shardingsphere.masterslave.load-balance-algorithm-type=round_robin
# 最終數據源名稱
spring.shardingsphere.masterslave.name=ms
# 主數據源名稱
spring.shardingsphere.masterslave.master-data-source-name=master
# 從庫數據庫名稱列表
spring.shardingsphere.masterslave.slave-data-source-names=slave0,slave1

# 打印sql
spring.shardingsphere.props.sql.show=true

驗證

添加數據——寫入主庫

postman執行： localhost:8888/teamMessage/batchAdd

代碼

@PostMapping("batchAdd")
public ServiceResponse batchAdd(HttpServletRequest request, HttpServletResponse response) throws IOException {
    ServiceResponse result = new ServiceResponse<>();
    for (int i = 0; i < 20; i++) {
        TeamMessage vo = new TeamMessage();
        vo.setSendAt(new Date().getTime());
        vo.setTeamId(1000);
        vo.setTeamClientMsgId(UUID.randomUUID().toString());
        vo.setTeamMsgId(SnowIdUtils.uniqueLong());
        vo.setId(SnowIdUtils.uniqueLong());
        vo.setText("消息內容-"+UUID.randomUUID());
        this.teamMessageServiceApi.insert(vo);
    }
    result.setCode(ResponseEnum.SUCCESS.getCode());
    result.setMsg(ResponseEnum.SUCCESS.getName());
    return result;
}

shardingsphere日誌

2020-03-11 11:19:24.865  INFO 39211 --- [nio-8888-exec-2] ShardingSphere-SQL                       : Rule Type: master-slave
2020-03-11 11:19:24.865  INFO 39211 --- [nio-8888-exec-2] ShardingSphere-SQL                       : SQL: INSERT IGNORE INTO

INSERT IGNORE INTO im_team_message ( id, team_msg_id, team_client_msg_id, remind_type, scene, text, team_attach_type, send_type, team_id, send_at, is_revoke, msg_status, STATUS )
VALUES
	( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ? ) ::: DataSources: master

寫入主庫成功
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-3EH9atqn-1584130186308)(evernotecid://6438F78B-FBEF-42D1-A152-F4935CA4BBB8/appyinxiangcom/15654258/ENResource/p11661)]

查詢數據——從庫查詢

查詢所有數據
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-PuNfRuFV-1584130186310)(evernotecid://6438F78B-FBEF-42D1-A152-F4935CA4BBB8/appyinxiangcom/15654258/ENResource/p11662)]

從庫負載均衡算法類型爲輪詢
控制檯sql日誌(從從庫0查詢數據)：

SELECT
	id,
	team_msg_id,
	team_client_msg_id,
	msg_type,
	remind_type,
	conv_type,
	scene,
	text,
	team_attach_type,
	send_type,
	send_client_ip,
	send_client_port,
	send_client_type,
	send_device_id,
	send_nick,
	team_id,
	send_id,
	send_at,
	msg_receipt_time,
	is_revoke,
	revoke_at,
	msg_status,
	event_type,
	STATUS,
	attach,
	custom_apns_text,
	ext,
	antispam,
	yidun_res 
FROM
	im_team_message 
WHERE
	STATUS = 0 			
	::: DataSources: slave0

控制檯sql日誌(從從庫1查詢數據)：

SELECT
	id,
	team_msg_id,
	team_client_msg_id,
	msg_type,
	remind_type,
	conv_type,
	scene,
	text,
	team_attach_type,
	send_type,
	send_client_ip,
	send_client_port,
	send_client_type,
	send_device_id,
	send_nick,
	team_id,
	send_id,
	send_at,
	msg_receipt_time,
	is_revoke,
	revoke_at,
	msg_status,
	event_type,
	STATUS,
	attach,
	custom_apns_text,
	ext,
	antispam,
	yidun_res 
FROM
	im_team_message 
WHERE
	STATUS = 0 			
	::: DataSources: slave1

成功！

問題記錄

springboot2.1.5默認使用mysql-connECTOR-java8.x的版本，這個版本的驅動使用shardingsphere時會有bug，推薦使用mysql-connector-java5.1.47版本

歡迎加入Java猿社區！
免費領取我歷年收集的所有學習資料哦！

歡迎加入Java猿社區.png

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Java猿社區—ShardingSphere4.0.0-RC1實現分庫分表+讀寫分離

Java猿社區—ShardingSphere4.0.0-RC1實現分庫分表+讀寫分離 文章目錄Java猿社區—ShardingSphere4.0.0-RC1實現分庫分表+讀寫分離技術體系背景ShardingSphere介紹Shar

阿祥仔 2020-06-22 09:07:13

Java猿社區—ShardingSphere之分組group by過多消耗內存的問題

Java猿社區—ShardingSphere之分組group by過多消耗內存的問題 ss的歸併引擎包括分組歸併，分組歸併的情況最爲複雜，它分爲流式分組歸併和內存分組歸併。 流式分組歸併要求SQL的排序項與分組項的字段以及排序類型

阿祥仔 2020-06-22 09:07:13

Java猿社區—ShardingSphere-4.0.1之實現分庫分表+讀寫分離

阿祥仔 2020-03-16 10:31:40

Java猿社區—ShardingSphere4.0.0-RC1實現分庫分表+讀寫分離

Java猿社區—ShardingSphere4.0.0-RC1實現分庫分表+讀寫分離 文章目錄Java猿社區—ShardingSphere4.0.0-RC1實現分庫分表+讀寫分離技術體系背景ShardingSphere介紹Shar

阿祥仔 2020-06-22 09:07:13

Java猿社區—ShardingSphere之分組group by過多消耗內存的問題

Java猿社區—ShardingSphere之分組group by過多消耗內存的問題 ss的歸併引擎包括分組歸併，分組歸併的情況最爲複雜，它分爲流式分組歸併和內存分組歸併。 流式分組歸併要求SQL的排序項與分組項的字段以及排序類型

阿祥仔 2020-06-22 09:07:13

Java猿社區—ShardingSphere-4.0.1之實現分庫分表+讀寫分離

阿祥仔 2020-03-16 10:31:40