業務發展太快數據量太大怎麼辦?併發太高怎麼辦?--分庫分表與mycat

最近在集中精力懟mysql數據庫,今晚總結一下分庫分表實現和mycat的使用:

分庫分表是什麼??

(參考文章https://blog.csdn.net/qq_41864967/article/details/90439932

分庫分表一定是爲了支撐高併發、數據量大兩個問題的。我之前的幾篇分庫分表的文章也是講的很清楚了。現在主要講一下Mycat的使用與分庫分表的關係。

數據的切分分爲兩種:

垂直切分:按照業務模塊進行切分,將不同模塊的表切分到不同的數據庫中。(一般在設計表階段就做了)

水平切分將一張大表按照一定的切分規則,按照行切分到不同的表或者不同的庫中。

Mycat是啥?

具體是啥可以百度一下,一個徹底開源的,面向企業應用開發的“大數據庫集羣”,支持事務、ACID、可以替代Mysql的加強版數據庫,新穎的數據庫中間件產品。

Mycat有啥用?

支持 SQL 92標準(說明它就像數據庫一樣,實際上它就像邏輯數據庫一樣)

·支持Mysql集羣,可以作爲Proxy使用

架構:

Mycat的一些概念:

  1. Schema:由它指定邏輯數據庫(在mycat中)
  2. Table:邏輯表(邏輯概念上的表)
  3. DataNode:真正存儲節點(真正存儲的節點)
  4. DataHost:真正的數據庫主機(真正的物理機器)

 

MyCAT使用Mysql的通訊協議模擬成了一個Mysql服務器,並建立了完整的Schema(數據庫)、Table (數據表)、User(用戶)的邏輯模型,並將這套邏輯模型映射到後端的存儲節點DataNode(MySQL Instance)上的真實物理庫中,這樣一來,所有能使用Mysql的客戶端以及編程語言都可以將MyCAT當成是Mysql 服務器來使用。

使用Mycat之後會有哪些問題呢?

1.跨庫join問題

     * 通過業務分析,將不同庫的join查詢拆分成多個select

     * 建立全局表(每個庫都有一個相同的表)

     * 冗餘字段(不符合數據庫三範式)

     * E-R分片(將有關係的記錄都存儲到一個庫中)

     * 最多支持跨兩張表跨庫的join

2.分佈式事務(弱事務)(兩階段提交方案/XA方案,或者TCC方案等一些方案

* 強一致性事務(同步)

* 最終一致性事務(異步思想)

3.分佈式id主鍵

* redis incr命令

* 使用單獨的數據庫(生成主鍵)

* UUID

* snowflake算法

Mycat的好處?

MyCAT支持水平分片垂直分片

·水平分片:一個表格的數據分割到多個節點上,按照行分隔。

·垂直分片:一個數據庫中多個表格A,B,C,A存儲到節點1上,B存儲到節點2上,C存儲到節點3上。

mycat還可以進行海量數據存儲查詢優化。

正如前面所說:

MyCAT通過定義表的分片規則來實現分片,每個表格可以捆綁一個分片規則,每個分片規則指定一個分片字段並綁定一個函數,來實現動態分片算法

 

  1. Schema:邏輯庫,與MySQL中的Database(數據庫)對應,一個邏輯庫中定義了所包括的Table。
  2. Table:表,即物理數據庫中存儲的某一張表,與傳統數據庫不同,這裏的表格需要聲明其所存儲的邏輯數據節點DataNode。在此可以指定表的分片規則。
  3. DataNode:MyCAT的邏輯數據節點,是存放table的具體物理節點,也稱之爲分片節點,通過DataSource來關聯到後端某個具體數據庫上
  4. DataSource:定義某個物理庫的訪問地址,用於捆綁到Datanode上

 

Mycat的下載安裝和使用?

支持多平臺的,大家可以下載windows或者linux版的。(下載網址:http://dl.mycat.io/

進到bin目錄裏面,主要是修改3個配置文件的信息。

1.配置schema.xml

Schema.xml介紹

Schema.xml作爲MyCat中重要的配置文件之一,管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置,是正確使用MyCat的前提。這裏就一層層對該文件進行解析。和前面說的一樣:

schema 標籤用於定義MyCat實例中的邏輯庫

Table 標籤定義了MyCat中的邏輯表

dataNode 標籤定義了MyCat中的數據節點,也就是我們通常說所的數據分片。

dataHost標籤在mycat邏輯庫中也是作爲最底層的標籤存在,直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。

若是LINUX版本的MYSQL(linux版本的mysql只認大寫),則需要設置爲Mysql大小寫不敏感,否則可能會發生表找不到的問題。

在MySQL的配置文件中my.ini [mysqld] 中增加一行(0:區分大小寫,1:不區分大小寫)

       lower_case_table_names = 1

修改完配置之後,一定要重啓數據庫:
       service mysqld restart

 

Schema.xml配置

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">



<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

<!-- auto sharding by id (long) -->

<table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

<table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />

</schema>

<dataNode name="dn1" dataHost="localhost1" database="db1" />

<dataNode name="dn2" dataHost="localhost2" database="db2" />

<dataNode name="dn3" dataHost="localhost1" database="db3" />

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<!-- can have multi write hosts -->

<writeHost host="hostM1" url="192.168.25.134:3306" user="root"

password="root">

<!-- can have multi read hosts -->



</writeHost>

</dataHost>

<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<!-- can have multi write hosts -->

<writeHost host="hostM1" url="192.168.25.166:3306" user="root"

password="root">

<!-- can have multi read hosts -->

</writeHost>

</dataHost>

</mycat:schema>

 

2.配置server.xml

Server.xml介紹

server.xml幾乎保存了所有mycat需要的系統配置信息。最常用的是在此配置用戶名、密碼及權限。

Server.xml配置  (連接mycat所需要的用戶名和密碼以及連接的是哪個邏輯庫名)


<user name="test">

    <property name="password">test</property>

    <property name="schemas">TESTDB</property>

    <property name="readOnly">true</property>

</user>

 

3.配置rule.xml

rule.xml裏面就定義了對錶進行拆分所涉及到的規則定義。我們可以靈活的對錶使用不同的分片算法,或者對錶使用相同的算法但具體的參數不同。這個文件裏面主要有tableRule和function這兩個標籤。在具體使用過程中可以按照需求添加tableRule和function。

此配置文件可以不用修改,使用默認即可。

 

 

測試分片

創建表

配置完畢後,重新啓動mycat。使用mysql客戶端連接mycat,創建表。

-- ----------------------------

-- Table structure for tb_item

-- ----------------------------

DROP TABLE IF EXISTS `tb_item`;

CREATE TABLE `tb_item` (

  `id` bigint(20) NOT NULL COMMENT '商品id,同時也是商品編號',

  `title` varchar(100) NOT NULL COMMENT '商品標題',

  `sell_point` varchar(500) DEFAULT NULL COMMENT '商品賣點',

  `price` bigint(20) NOT NULL COMMENT '商品價格,單位爲:分',

  `num` int(10) NOT NULL COMMENT '庫存數量',

  `barcode` varchar(30) DEFAULT NULL COMMENT '商品條形碼',

  `image` varchar(500) DEFAULT NULL COMMENT '商品圖片',

  `cid` bigint(10) NOT NULL COMMENT '所屬類目,葉子類目',

  `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品狀態,1-正常,2-下架,3-刪除',

  `created` datetime NOT NULL COMMENT '創建時間',

  `updated` datetime NOT NULL COMMENT '更新時間',

  PRIMARY KEY (`id`),

  KEY `cid` (`cid`),

  KEY `status` (`status`),

  KEY `updated` (`updated`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';



-- ----------------------------

-- Table structure for tb_user

-- ----------------------------

DROP TABLE IF EXISTS `tb_user`;

CREATE TABLE `tb_user` (

  `id` bigint(20) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) NOT NULL COMMENT '用戶名',

  `password` varchar(32) NOT NULL COMMENT '密碼,加密存儲',

  `phone` varchar(20) DEFAULT NULL COMMENT '註冊手機號',

  `email` varchar(50) DEFAULT NULL COMMENT '註冊郵箱',

  `created` datetime NOT NULL,

  `updated` datetime NOT NULL,

  PRIMARY KEY (`id`),

  UNIQUE KEY `username` (`username`) USING BTREE,

  UNIQUE KEY `phone` (`phone`) USING BTREE,

  UNIQUE KEY `email` (`email`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用戶表';

 

​​​​​​​插入數據

將數據插入到數據庫:

 

未完待續。。。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章