最近在集中精力懟mysql數據庫,今晚總結一下分庫分表實現和mycat的使用:
分庫分表是什麼??
(參考文章https://blog.csdn.net/qq_41864967/article/details/90439932)
分庫分表一定是爲了支撐高併發、數據量大兩個問題的。我之前的幾篇分庫分表的文章也是講的很清楚了。現在主要講一下Mycat的使用與分庫分表的關係。
數據的切分分爲兩種:
垂直切分:按照業務模塊進行切分,將不同模塊的表切分到不同的數據庫中。(一般在設計表階段就做了)
水平切分:將一張大表按照一定的切分規則,按照行切分到不同的表或者不同的庫中。
Mycat是啥?
具體是啥可以百度一下,一個徹底開源的,面向企業應用開發的“大數據庫集羣”,支持事務、ACID、可以替代Mysql的加強版數據庫,新穎的數據庫中間件產品。
Mycat有啥用?
支持 SQL 92標準(說明它就像數據庫一樣,實際上它就像邏輯數據庫一樣)
·支持Mysql集羣,可以作爲Proxy使用
架構:
Mycat的一些概念:
- Schema:由它指定邏輯數據庫(在mycat中)
- Table:邏輯表(邏輯概念上的表)
- DataNode:真正存儲節點(真正存儲的節點)
- DataHost:真正的數據庫主機(真正的物理機器)
MyCAT使用Mysql的通訊協議模擬成了一個Mysql服務器,並建立了完整的Schema(數據庫)、Table (數據表)、User(用戶)的邏輯模型,並將這套邏輯模型映射到後端的存儲節點DataNode(MySQL Instance)上的真實物理庫中,這樣一來,所有能使用Mysql的客戶端以及編程語言都可以將MyCAT當成是Mysql 服務器來使用。
使用Mycat之後會有哪些問題呢?
1.跨庫join問題
* 通過業務分析,將不同庫的join查詢拆分成多個select
* 建立全局表(每個庫都有一個相同的表)
* 冗餘字段(不符合數據庫三範式)
* E-R分片(將有關係的記錄都存儲到一個庫中)
* 最多支持跨兩張表跨庫的join
2.分佈式事務(弱事務)(兩階段提交方案/XA方案,或者TCC方案等一些方案)
* 強一致性事務(同步)
* 最終一致性事務(異步思想)
3.分佈式id主鍵
* redis incr命令
* 使用單獨的數據庫(生成主鍵)
* UUID
* snowflake算法
Mycat的好處?
MyCAT支持水平分片與垂直分片:
·水平分片:一個表格的數據分割到多個節點上,按照行分隔。
·垂直分片:一個數據庫中多個表格A,B,C,A存儲到節點1上,B存儲到節點2上,C存儲到節點3上。
mycat還可以進行海量數據存儲,查詢優化。
正如前面所說:
MyCAT通過定義表的分片規則來實現分片,每個表格可以捆綁一個分片規則,每個分片規則指定一個分片字段並綁定一個函數,來實現動態分片算法。
- Schema:邏輯庫,與MySQL中的Database(數據庫)對應,一個邏輯庫中定義了所包括的Table。
- Table:表,即物理數據庫中存儲的某一張表,與傳統數據庫不同,這裏的表格需要聲明其所存儲的邏輯數據節點DataNode。在此可以指定表的分片規則。
- DataNode:MyCAT的邏輯數據節點,是存放table的具體物理節點,也稱之爲分片節點,通過DataSource來關聯到後端某個具體數據庫上
- DataSource:定義某個物理庫的訪問地址,用於捆綁到Datanode上
Mycat的下載安裝和使用?
支持多平臺的,大家可以下載windows或者linux版的。(下載網址:http://dl.mycat.io/)
進到bin目錄裏面,主要是修改3個配置文件的信息。
1.配置schema.xml
Schema.xml介紹
Schema.xml作爲MyCat中重要的配置文件之一,管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置,是正確使用MyCat的前提。這裏就一層層對該文件進行解析。和前面說的一樣:
schema 標籤用於定義MyCat實例中的邏輯庫
Table 標籤定義了MyCat中的邏輯表
dataNode 標籤定義了MyCat中的數據節點,也就是我們通常說所的數據分片。
dataHost標籤在mycat邏輯庫中也是作爲最底層的標籤存在,直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。
若是LINUX版本的MYSQL(linux版本的mysql只認大寫),則需要設置爲Mysql大小寫不敏感,否則可能會發生表找不到的問題。
在MySQL的配置文件中my.ini [mysqld] 中增加一行(0:區分大小寫,1:不區分大小寫)
lower_case_table_names = 1
修改完配置之後,一定要重啓數據庫:
service mysqld restart
Schema.xml配置
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
<table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />
</schema>
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost2" database="db2" />
<dataNode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.25.134:3306" user="root"
password="root">
<!-- can have multi read hosts -->
</writeHost>
</dataHost>
<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.25.166:3306" user="root"
password="root">
<!-- can have multi read hosts -->
</writeHost>
</dataHost>
</mycat:schema>
2.配置server.xml
Server.xml介紹
server.xml幾乎保存了所有mycat需要的系統配置信息。最常用的是在此配置用戶名、密碼及權限。
Server.xml配置 (連接mycat所需要的用戶名和密碼以及連接的是哪個邏輯庫名)
<user name="test">
<property name="password">test</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>
3.配置rule.xml
rule.xml裏面就定義了對錶進行拆分所涉及到的規則定義。我們可以靈活的對錶使用不同的分片算法,或者對錶使用相同的算法但具體的參數不同。這個文件裏面主要有tableRule和function這兩個標籤。在具體使用過程中可以按照需求添加tableRule和function。
此配置文件可以不用修改,使用默認即可。
測試分片
創建表
配置完畢後,重新啓動mycat。使用mysql客戶端連接mycat,創建表。
-- ----------------------------
-- Table structure for tb_item
-- ----------------------------
DROP TABLE IF EXISTS `tb_item`;
CREATE TABLE `tb_item` (
`id` bigint(20) NOT NULL COMMENT '商品id,同時也是商品編號',
`title` varchar(100) NOT NULL COMMENT '商品標題',
`sell_point` varchar(500) DEFAULT NULL COMMENT '商品賣點',
`price` bigint(20) NOT NULL COMMENT '商品價格,單位爲:分',
`num` int(10) NOT NULL COMMENT '庫存數量',
`barcode` varchar(30) DEFAULT NULL COMMENT '商品條形碼',
`image` varchar(500) DEFAULT NULL COMMENT '商品圖片',
`cid` bigint(10) NOT NULL COMMENT '所屬類目,葉子類目',
`status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品狀態,1-正常,2-下架,3-刪除',
`created` datetime NOT NULL COMMENT '創建時間',
`updated` datetime NOT NULL COMMENT '更新時間',
PRIMARY KEY (`id`),
KEY `cid` (`cid`),
KEY `status` (`status`),
KEY `updated` (`updated`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';
-- ----------------------------
-- Table structure for tb_user
-- ----------------------------
DROP TABLE IF EXISTS `tb_user`;
CREATE TABLE `tb_user` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`username` varchar(50) NOT NULL COMMENT '用戶名',
`password` varchar(32) NOT NULL COMMENT '密碼,加密存儲',
`phone` varchar(20) DEFAULT NULL COMMENT '註冊手機號',
`email` varchar(50) DEFAULT NULL COMMENT '註冊郵箱',
`created` datetime NOT NULL,
`updated` datetime NOT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `username` (`username`) USING BTREE,
UNIQUE KEY `phone` (`phone`) USING BTREE,
UNIQUE KEY `email` (`email`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用戶表';
插入數據
將數據插入到數據庫:
未完待續。。。