去年底寫的mysql分庫分表中間件heisenberg

好久沒有寫博了，去年年底的時候寫了一個分庫分表中間件服務器，當時正在看絕命毒師，覺得heisenberg這個名字很叼，然後就以這個命名了，煉毒也要精益求精啊。。。

公司在java分佈式這塊的基礎設施很差，然後之前也看過一些老東家的tddl，cobar之類的東東；但是靈活性和語言通用性方面不是太好，所以當時就想做一款比較通用性，並且低侵入性的分庫分表中間件，於是想法誕生了。

代碼地址：

其優點：分庫分表與應用脫離，分庫表如同使用單庫表一樣
減少db 連接數壓力
熱重啓配置
可水平擴容
遵守Mysql原生協議
無語言限制，mysqlclient,c,java等都可以使用
Heisenberg服務器通過管理命令可以查看，如連接數，線程池，結點等，並可以調整
採用velocity的分庫分表腳本進行自定義分庫表，相當的靈活

之前在組裏有做過簡單的分享，這段時間稍微輕鬆了點，先分享出來，看有沒有更好的idea在這塊有所提升

下面開始介紹heisenberg

1.heisenberg總體架構

首先這塊架構：

應用對於heisenberg集羣來說就是mysql客戶端，

而heisenberg也是集成了mysql的原生協議，所以對於應用來說，就相當於單庫單表的數據源

無論是mysql客戶端，c,jdbc驅動等都可以訪問heisenberg服務器，由服務器把分庫分表的工作給做掉了

訪問heisenberg集羣可以通過像lvs,F5等負載軟件/設備解決，

其實一臺heisenberg的性能是相當的讚了，我壓力到2320TPS load 都還只有0.1-0.3左右（CPU 8core,16G），由於找不到mysql物理機器了，只得做罷

服務端內部結構：

其中FrontConnectionFactory爲面向應用的連接管理，ManagerConnectionFactory爲面向heisenberg服務器內部管理的一些連接管理，比如更改配置後熱重啓，關閉某個連接等功能

mysql協議貫穿於應用程序與mysql服務器，最終解析爲相關的mysql數據包, 授權包，註冊包等

當heisenberg服務器接收到SQL語句後，通過AST語法解析解析成 DML,DCL,DDL類型以及相關列名的值等等，然後通過ServerRouter這一層，經過分庫分表的切分，最終將切分好的語句放入對應數據結點進行執行

分庫分表的切分，爲了滿足各種通用性靈活性，使用了velocity和groovy 2種語法來支持，其中groovy是初始化表和庫和映射關係的，只在加載時初始化一次；而velocity是用來渲染對應的分庫和分表規則的。

OK，知道了原理，那麼開始說明如何使用分庫分表吧

2.heisenberg開發

Maven +JDK 部署好

https://github.com/brucexx/heisenberg

下載到本地後，

Mvn package 之

在本地target裏會生成一個heisenberg-server-1.0.0.zip 文件

解壓之 unzip heisenberg-server-1.0.0.zip

進入conf目錄

有下面幾個目錄

conf

---log4j.xml

---rule.xml

---schema.xml

---server.xml

log4j.xml就不介紹了

sql_route.log就是分庫表切分的時間

sql_execute.log 爲sql總執行時間

server.xml

<property name="clusterHeartbeatUser">_HEARTBEAT_USER_</property>

<property name="clusterHeartbeatPass">_HEARTBEAT_PASS_</property>

</system>

serverPort爲服務端口，即對上層應用的端口

managerPort爲管理端口，即管理的監聽端口，用於操作服務器一些配置等

initExecutor 爲初始化的線程個數

timerExecutor 心跳執行線程個數

managerExecutor管理執行線程個數

processors應用接收處理器核數

processorHandler 應用接收處理類個數

processorExecutor 應用接收處理線程個數

clusterHeartbeatUser和clusterHeartbeatPass 不必改，用於集羣的認證方式使用

<property name="schemas">trans_shard</property>

</user>

Brucexx爲自定義應用用戶名，st0078爲自定義應用密碼

Schemas爲自定義schema,具體見schema.xml中，

這裏的schemas可爲多個，以逗號分隔

白名單限制：

</host>

</quarantine>

schema.xml配置

mysql數據源

</property>

<property name="sqlMode">STRICT_TRANS_TABLES</property>

</dataSource>

這裏指定的mysql的數據源，後面$0-9是一種自定義的縮略寫法

也可以在property裏面定義多個location，比如：

</property>

效果是一樣的

Shard結點配置

Shard結點相當於一個邏輯結點，提供給外部相關的schema，對應於數據源有

主/備/災，

<dataSourceRef>transDS$0-9</dataSourceRef>

<dataSourceRef>transSlaveDS$0-9</dataSourceRef>

<dataSourceRef>transSlaveDS$0-9</dataSourceRef>

</property>

<property name="heartbeatSQL">select user()</property>

</dataNode>

屬性dataSource 第一個是主庫，第二個備庫，第三個災庫，需要多少配置多少個

讀寫分離規則rwRule，m和s代表讀取的比例，表示主庫讀取爲0,從庫讀取1，這樣直接讀寫分離，如果是1:1的話相當讀取各1：1的比例

池大小poolSize爲到mysqlDB的連接數和心跳sql heartbeatSQL，無特殊需求保持不變

Schema配置

</schema>

trans_shard 提供的schema,對應於server.xml中的名字

下面會有多個需要分庫的表，

這裏必須要把需要分庫分表的內容寫出來，當然，如果不分庫表也是可以的

<table name=”tbxxx" dataNode="transDN0" ruleRequired=”false”/

rule.xml

分庫分表規則配置，其中columns,dbRuleList,tbRuleList裏面的列名要保持大寫

首先先上一個整體配置

<rule>

<columns>TRANS_ID</columns>

<dbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

#set($end=$TRANS_ID.length() - 1)##

$stringUtil.substring($TRANS_ID,$start,$end)]]>

</dbRule>

</dbRuleList>

<tbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

$stringUtil.substring($TRANS_ID,$start)]]></tbRule>

</tbRuleList>

<![CDATA[

def map = [:];

for (int i=0; i<10; i++) {

def list = [];

for (int j=0; j<10; j++) {

list.add(i+""+j);

}

map.put(i,list);

};

return map;

]]>

</tbPrefix>

</tableRule>

</rule>

其中dbRuleList 爲分庫規則

<dbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

#set($end=$TRANS_ID.length() - 1)##

$stringUtil.substring($TRANS_ID,$start,$end)]]>

</dbRule>

</dbRuleList>

分庫規則dbRuleList可以有多個dbRule，當第一個不滿足時，可以用第二個，當然這個效率不好，如果有規則區分，儘量再寫一個rule，

dbRule 最後的結果是表的前綴

比如分庫分表庫名爲db0-db9,那麼這個dbRule渲染時

取到TRANS_ID 這個爲後，在腳本里計算出取倒數第2位爲庫後綴

比如上圖的分庫爲

分表規則配置

<tbRule><![CDATA[#set($start=$TRANS_ID.length() - 2)##

$stringUtil.substring($TRANS_ID,$start)]]></tbRule>

</tbRuleList>

這個和上面分庫一樣了，以倒數1，2位爲庫的後綴

如下圖：

有個潛規則就是

需要保證全局的表名不能重複

比如db0有個trans_tb00,db1就不能有叫trans_tb00的表

表初始化

<![CDATA[

def map = [:];

for (int i=0; i<10; i++) {

def list = [];

for (int j=0; j<10; j++) {

list.add(i+""+j);

}

map.put(i,list);

};

return map;

]]>

</tbPrefix>

需要初始化個表，其中key爲db的下標索引，比如db0 的下標爲0,

list爲每個庫裏的表後綴名

目錄是爲了初始化定義這些庫表

如何使用呢？

通過命令行

這裏就不用講了，wms_shard就是在server.xml裏面配置的邏輯分庫分表的數據源schema,應用只要訪問這個就好了

show tables;也可以看到自己的一些表信息

ok.

mysql> select * from t_user_id_map;

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| 105001050 | @8230762802717b6a723fe9cd | 1 | 1287824017 | 2014-03-10 15:38:44 | 2014-03-10 15:38:44 |

| 62000 | | 1 | 533885000 | 2014-03-26 23:02:31 | 2014-03-26 23:02:31 |

| 86000 | | 1 | 237406000 | 2014-03-27 01:04:23 | 2014-03-27 01:04:23 |

| 96000 | | 1 | 767684000 | 2014-03-27 00:30:32 | 2014-03-27 00:30:32 |

| 130000 | | 1 | 506552000 | 2014-03-27 15:57:31 | 2014-03-27 15:57:31 |

| 149000 | | 1 | 868483000 | 2014-03-27 15:50:09 | 2014-03-27 15:50:09 |

| 179000 | | 1 | 245626000 | 2014-03-26 21:33:46 | 2014-03-26 21:33:46 |

當沒有指定分庫分表規則時，是進行的全表掃描，當然我們可以通過學習

mysql> explain select * from t_user_id_map;

+-----------+-----------------------------------

| DATA_NODE | SQL

+-----------+-----------------------------------

| wmsDN[0] | select * from t_user_id_map_00_0

| wmsDN[0] | select * from t_user_id_map_00_1

| wmsDN[0] | select * from t_user_id_map_00_2

| wmsDN[0] | select * from t_user_id_map_00_3

| wmsDN[0] | select * from t_user_id_map_00_4

| wmsDN[0] | select * from t_user_id_map_00_5

| wmsDN[0] | select * from t_user_id_map_00_6

| wmsDN[0] | select * from t_user_id_map_00_7

| wmsDN[0] | select * from t_user_id_map_00_8

| wmsDN[0] | select * from t_user_id_map_00_9

| wmsDN[1] | select * from t_user_id_map_01_0

| wmsDN[1] | select * from t_user_id_map_01_1

| wmsDN[1] | select * from t_user_id_map_01_2

| wmsDN[1] | select * from t_user_id_map_01_3

| wmsDN[1] | select * from t_user_id_map_01_4

| wmsDN[1] | select * from t_user_id_map_01_5

| wmsDN[1] | select * from t_user_id_map_01_6

| wmsDN[1] | select * from t_user_id_map_01_7

| wmsDN[1] | select * from t_user_id_map_01_8

| wmsDN[1] | select * from t_user_id_map_01_9

| wmsDN[2] | select * from t_user_id_map_02_0

....

這邊表很多，其中dataNode是我們裏面對應的結點

mysql> select * from t_user_id_map where f_uid=196606999;

+-----------+---------+-----------+-----------+---------------------+---------------------+

+-----------+---------+-----------+-----------+---------------------+---------------------+

| 196606999 | | 1 | 749331999 | 2014-04-04 14:46:58 | 2014-04-04 14:46:58 |

+-----------+---------+-----------+-----------+---------------------+---------------------+

1 row in set (0.04 sec)

這邊配置的是按F_uid最後三位分庫分表的，dbRuleList配置的是倒數2，3位，

tbRuleList配置的是最後1位

我們看下是怎麼路由的

mysql> explain select * from t_user_id_map where f_uid=196606999;

+-----------+---------------------------------------------------------+

| DATA_NODE | SQL |

+-----------+---------------------------------------------------------+

| wmsDN[99] | select * from t_user_id_map_99_9 where f_uid=196606999 |

+-----------+---------------------------------------------------------+

1 row in set (0.03 sec)

可以看到data_node --> wmsDN[99] ,分庫位

t_user_id_map_99_9 對應的表

OK，先寫到這裏面，有什麼問題隨時歡迎交流！

去年底寫的mysql分庫分表中間件heisenberg

1.heisenberg總體架構

2.heisenberg開發

mysql數據源

Shard結點配置

Schema配置

rule.xml

分表規則配置

表初始化

10分鐘搞定Mysql主從部署配置

如何使用 JS 判斷用戶是否處於活躍狀態

「Pygors跨平臺GUI」2：安裝MinGW-w64、MSYS2還是WSL2

[轉帖]

python列出centos7內存使用前50的進程信息

「Pygors跨平臺GUI」1：Pygors跨平臺GUI應用研究

一鍵自動化博客發佈工具,用過的人都說好(掘金篇)

lightdb數據庫超時相關控制參數

lightdb秒級增加列和刪除列（not null帶默認值）

Java ThreadPoolShutdown

去年底寫的mysql分庫分表中間件heisenberg

【轉】Windows Phone開發人員必看資料

【轉】50個最受網友歡迎的HTML5資源下載列表

ubuntu13.04下的qq問題

【轉】Android開發免豆資料（教程+工具+源碼）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結