业务发展太快数据量太大怎么办?并发太高怎么办?--分库分表与mycat

最近在集中精力怼mysql数据库,今晚总结一下分库分表实现和mycat的使用:

分库分表是什么??

(参考文章https://blog.csdn.net/qq_41864967/article/details/90439932

分库分表一定是为了支撑高并发、数据量大两个问题的。我之前的几篇分库分表的文章也是讲的很清楚了。现在主要讲一下Mycat的使用与分库分表的关系。

数据的切分分为两种:

垂直切分:按照业务模块进行切分,将不同模块的表切分到不同的数据库中。(一般在设计表阶段就做了)

水平切分将一张大表按照一定的切分规则,按照行切分到不同的表或者不同的库中。

Mycat是啥?

具体是啥可以百度一下,一个彻底开源的,面向企业应用开发的“大数据库集群”,支持事务、ACID、可以替代Mysql的加强版数据库,新颖的数据库中间件产品。

Mycat有啥用?

支持 SQL 92标准(说明它就像数据库一样,实际上它就像逻辑数据库一样)

·支持Mysql集群,可以作为Proxy使用

架构:

Mycat的一些概念:

  1. Schema:由它指定逻辑数据库(在mycat中)
  2. Table:逻辑表(逻辑概念上的表)
  3. DataNode:真正存储节点(真正存储的节点)
  4. DataHost:真正的数据库主机(真正的物理机器)

 

MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器,并建立了完整的Schema(数据库)、Table (数据表)、User(用户)的逻辑模型,并将这套逻辑模型映射到后端的存储节点DataNode(MySQL Instance)上的真实物理库中,这样一来,所有能使用Mysql的客户端以及编程语言都可以将MyCAT当成是Mysql 服务器来使用。

使用Mycat之后会有哪些问题呢?

1.跨库join问题

     * 通过业务分析,将不同库的join查询拆分成多个select

     * 建立全局表(每个库都有一个相同的表)

     * 冗余字段(不符合数据库三范式)

     * E-R分片(将有关系的记录都存储到一个库中)

     * 最多支持跨两张表跨库的join

2.分布式事务(弱事务)(两阶段提交方案/XA方案,或者TCC方案等一些方案

* 强一致性事务(同步)

* 最终一致性事务(异步思想)

3.分布式id主键

* redis incr命令

* 使用单独的数据库(生成主键)

* UUID

* snowflake算法

Mycat的好处?

MyCAT支持水平分片垂直分片

·水平分片:一个表格的数据分割到多个节点上,按照行分隔。

·垂直分片:一个数据库中多个表格A,B,C,A存储到节点1上,B存储到节点2上,C存储到节点3上。

mycat还可以进行海量数据存储查询优化。

正如前面所说:

MyCAT通过定义表的分片规则来实现分片,每个表格可以捆绑一个分片规则,每个分片规则指定一个分片字段并绑定一个函数,来实现动态分片算法

 

  1. Schema:逻辑库,与MySQL中的Database(数据库)对应,一个逻辑库中定义了所包括的Table。
  2. Table:表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。
  3. DataNode:MyCAT的逻辑数据节点,是存放table的具体物理节点,也称之为分片节点,通过DataSource来关联到后端某个具体数据库上
  4. DataSource:定义某个物理库的访问地址,用于捆绑到Datanode上

 

Mycat的下载安装和使用?

支持多平台的,大家可以下载windows或者linux版的。(下载网址:http://dl.mycat.io/

进到bin目录里面,主要是修改3个配置文件的信息。

1.配置schema.xml

Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置,是正确使用MyCat的前提。这里就一层层对该文件进行解析。和前面说的一样:

schema 标签用于定义MyCat实例中的逻辑库

Table 标签定义了MyCat中的逻辑表

dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片。

dataHost标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句。

若是LINUX版本的MYSQL(linux版本的mysql只认大写),则需要设置为Mysql大小写不敏感,否则可能会发生表找不到的问题。

在MySQL的配置文件中my.ini [mysqld] 中增加一行(0:区分大小写,1:不区分大小写)

       lower_case_table_names = 1

修改完配置之后,一定要重启数据库:
       service mysqld restart

 

Schema.xml配置

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">



<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

<!-- auto sharding by id (long) -->

<table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

<table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />

</schema>

<dataNode name="dn1" dataHost="localhost1" database="db1" />

<dataNode name="dn2" dataHost="localhost2" database="db2" />

<dataNode name="dn3" dataHost="localhost1" database="db3" />

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<!-- can have multi write hosts -->

<writeHost host="hostM1" url="192.168.25.134:3306" user="root"

password="root">

<!-- can have multi read hosts -->



</writeHost>

</dataHost>

<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<!-- can have multi write hosts -->

<writeHost host="hostM1" url="192.168.25.166:3306" user="root"

password="root">

<!-- can have multi read hosts -->

</writeHost>

</dataHost>

</mycat:schema>

 

2.配置server.xml

Server.xml介绍

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

Server.xml配置  (连接mycat所需要的用户名和密码以及连接的是哪个逻辑库名)


<user name="test">

    <property name="password">test</property>

    <property name="schemas">TESTDB</property>

    <property name="readOnly">true</property>

</user>

 

3.配置rule.xml

rule.xml里面就定义了对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法,或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function。

此配置文件可以不用修改,使用默认即可。

 

 

测试分片

创建表

配置完毕后,重新启动mycat。使用mysql客户端连接mycat,创建表。

-- ----------------------------

-- Table structure for tb_item

-- ----------------------------

DROP TABLE IF EXISTS `tb_item`;

CREATE TABLE `tb_item` (

  `id` bigint(20) NOT NULL COMMENT '商品id,同时也是商品编号',

  `title` varchar(100) NOT NULL COMMENT '商品标题',

  `sell_point` varchar(500) DEFAULT NULL COMMENT '商品卖点',

  `price` bigint(20) NOT NULL COMMENT '商品价格,单位为:分',

  `num` int(10) NOT NULL COMMENT '库存数量',

  `barcode` varchar(30) DEFAULT NULL COMMENT '商品条形码',

  `image` varchar(500) DEFAULT NULL COMMENT '商品图片',

  `cid` bigint(10) NOT NULL COMMENT '所属类目,叶子类目',

  `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品状态,1-正常,2-下架,3-删除',

  `created` datetime NOT NULL COMMENT '创建时间',

  `updated` datetime NOT NULL COMMENT '更新时间',

  PRIMARY KEY (`id`),

  KEY `cid` (`cid`),

  KEY `status` (`status`),

  KEY `updated` (`updated`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';



-- ----------------------------

-- Table structure for tb_user

-- ----------------------------

DROP TABLE IF EXISTS `tb_user`;

CREATE TABLE `tb_user` (

  `id` bigint(20) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) NOT NULL COMMENT '用户名',

  `password` varchar(32) NOT NULL COMMENT '密码,加密存储',

  `phone` varchar(20) DEFAULT NULL COMMENT '注册手机号',

  `email` varchar(50) DEFAULT NULL COMMENT '注册邮箱',

  `created` datetime NOT NULL,

  `updated` datetime NOT NULL,

  PRIMARY KEY (`id`),

  UNIQUE KEY `username` (`username`) USING BTREE,

  UNIQUE KEY `phone` (`phone`) USING BTREE,

  UNIQUE KEY `email` (`email`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用户表';

 

​​​​​​​插入数据

将数据插入到数据库:

 

未完待续。。。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章