MyCat跨庫查詢方案

Mycat跨庫查詢的解決方案

1.使用全局表

1.1 使用全局表的業務特點：

• 數據變動不頻繁
• 數據總體變化不大
• 數據規模不大，很少有超過數十萬條記錄

1.2 全局表特性：

• 全局表的插入、更新操作會實時在所有節點上執行，保持各個分片節點數據的一致性
• 全局表的查詢操作，只從一個節點獲取
• 全局表可以跟任何一個表進行JOIN操作

注意：
對數據的更新應該通過連接mycat來進行，不然會導致各節點之間的數據不一致。

1.3 schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="Test" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">
 <table name="tenant" primaryKey="tenant_id" autoIncrement="true" dataNode="dn1,dn2" type="global"  />

</schema>

<dataNode name="dn1" dataHost="host1" database="interface"/>
<dataNode name="dn2" dataHost="host2" database="platform" />
<dataNode name="hzero_mdm" dataHost="host2" database="hzero_mdm" />
<dataHost balance="3" maxCon="1000" minCon="10" name="host1" writeType="0" switchType="1" dbType="mysql" dbDriver="native">
     <heartbeat>select user()</heartbeat>
     <writeHost host="192.168.56.127" url="192.168.56.127:3306" password="123456" user="root"/>
</dataHost>

<dataHost balance="3" maxCon="1000" minCon="10" name="host2" writeType="0" switchType="1" dbType="mysql" dbDriver="native">
     <heartbeat>select user()</heartbeat>
     <writeHost host="192.168.56.127" url="192.168.56.127:3306" password="123456" user="root"/>
</dataHost>
</mycat:schema>

1.4 在dn1 和 dn2都執行 tenant表的DDL語句

CREATE TABLE `tenant` (
  `tenant_id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '表ID，主鍵，供其他表做外鍵',
  `tenant_num` varchar(30) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL COMMENT '租戶編碼'
) ENGINE=InnoDB AUTO_INCREMENT=180146 DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='租戶信息';

1.5 跨庫查詢sql測試

 SELECT
    sms.monitor_system_id,
    sms.tenant_id,
    hpht.tenant_name,
    sms.external_system_code,
    sms.enabled_flag,
    sms.object_version_number
FROM
    monitor_system sms
LEFT JOIN
    tenant hpht
ON
    sms.tenant_id = hpht.tenant_id 

2.使用ER Join

2.1 使用 ER Join的業務場景

MyCAT借鑑了NewSQL領域的新秀Foundation DB的設計思路，Foundation DB創新性的提出了Table Group的概念，其將子表的存儲位置依賴於主表，並且物理上緊鄰存放，因此徹底解決了JION的效率和性能問題，根據這一思路，提出了基於E-R關係的數據分片策略，子表的記錄與所關聯的父表記錄存放在同一個數據分片上。

2.2 ER JOin 的特點

兩個表之間有父子表關係，主表數據和字表數據都在都一個節點上

2.3 schema.xml配置

<table name="customer" dataNode="dn1,dn2" rule="sharding-by-intfile">
    <childTable name="orders" joinKey="customer_id" parentKey="id"/>
</table

2.4 跨庫查詢sql測試

select c.*,o.* from customer join orders on c.id = o.customer_id

3.使用Share Join

3.1使用 Shar Join的業務場景

需要Join的表數據量很大

使用全局表不能保證各個節點數據一致

3.2 schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="Test" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">
<table name="tenant" primaryKey="tenant_id" autoIncrement="true" dataNode="dn2"  />
</schema>

<dataNode name="dn1" dataHost="host1" database="interface"/>
<dataNode name="dn2" dataHost="host2" database="platform" />
<dataNode name="hzero_mdm" dataHost="host2" database="hzero_mdm" />
<dataHost balance="3" maxCon="1000" minCon="10" name="host1" writeType="0" switchType="1" dbType="mysql" dbDriver="native">
     <heartbeat>select user()</heartbeat>
     <writeHost host="192.168.56.127" url="192.168.56.127:3306" password="123456" user="root"/>
</dataHost>

<dataHost balance="3" maxCon="1000" minCon="10" name="host2" writeType="0" switchType="1" dbType="mysql" dbDriver="native">
     <heartbeat>select user()</heartbeat>
     <writeHost host="192.168.56.127" url="192.168.56.127:3306" password="123456" user="root"/>
</dataHost>
</mycat:schema>

3.3 跨庫查詢sql測試

/*!mycat:catlet=io.mycat.catlets.ShareJoin */ 
 SELECT
          sms.monitor_system_id,
          sms.tenant_id,
          hpht.tenant_name,
          sms.external_system_code,
          sms.enabled_flag,
          sms.object_version_number
        FROM
          monitor_system sms       
        LEFT JOIN
          tenant hpht
        ON
          sms.tenant_id = hpht.tenant_id 

注意
該方案的特點是需要在sql里加上 mycat的註解，但是能夠避免使用全局表導致數據量過大和各節點數據不一致的情況。