什麼是MyCAT？

簡單的說，MyCAT就是：

·一個徹底開源的，面向企業應用開發的“大數據庫集羣”

·支持事務、ACID、可以替代Mysql的加強版數據庫

·一個可以視爲“Mysql”集羣的企業級數據庫，用來替代昂貴的Oracle集羣

·一個融合內存緩存技術、Nosql技術、HDFS大數據的新型SQL Server

·結合傳統數據庫和新型分佈式數據倉庫的新一代企業級數據庫產品

·一個新穎的數據庫中間件產品

MyCAT的目標是：低成本的將現有的單機數據庫和應用平滑遷移到“雲”端，解決數據存儲和業務規模迅速增長情況下的數據瓶頸問題。

MyCAT的關鍵特性

·支持 SQL 92標準

·支持Mysql集羣，可以作爲Proxy使用

·支持JDBC連接ORACLE、DB2、SQL Server，將其模擬爲MySQL Server使用

·支持galera for mysql集羣，percona-cluster或者mariadb cluster，提供高可用性數據分片集羣

·自動故障切換，高可用性

·支持讀寫分離，支持Mysql雙主多從，以及一主多從的模式

·支持全局表，數據自動分片到多個節點，用於高效表關聯查詢

·支持獨有的基於E-R 關係的分片策略，實現了高效的表關聯查詢

·多平臺支持，部署和實施簡單

MyCAT架構

如圖所示：MyCAT使用Mysql的通訊協議模擬成了一個Mysql服務器，並建立了完整的Schema（數據庫）、Table （數據表）、User(用戶)的邏輯模型，並將這套邏輯模型映射到後端的存儲節點DataNode（MySQL Instance）上的真實物理庫中，這樣一來，所有能使用Mysql的客戶端以及編程語言都能將MyCAT當成是Mysql Server來使用，不必開發新的客戶端協議。

Mycat解決的問題

性能問題

數據庫連接過多

E-R分片難處理

可用性問題

成本和伸縮性問題

Mycat對多數據庫的支持

分片策略

MyCAT支持水平分片與垂直分片：

·水平分片：一個表格的數據分割到多個節點上，按照行分隔。

·垂直分片：一個數據庫中多個表格A，B，C，A存儲到節點1上，B存儲到節點2上，C存儲到節點3上。

MyCAT通過定義表的分片規則來實現分片，每個表格可以捆綁一個分片規則，每個分片規則指定一個分片字段並綁定一個函數，來實現動態分片算法。

1、Schema：邏輯庫，與MySQL中的Database（數據庫）對應，一個邏輯庫中定義了所包括的Table。

2、Table：表，即物理數據庫中存儲的某一張表，與傳統數據庫不同，這裏的表格需要聲明其所存儲的邏輯數據節點DataNode。在此可以指定表的分片規則。

3、DataNode：MyCAT的邏輯數據節點，是存放table的具體物理節點，也稱之爲分片節點，通過DataSource來關聯到後端某個具體數據庫上

DataSource：定義某個物理庫的訪問地址，用於捆綁到Datanode上

Mycat的下載及安裝

官方網站：http://www.mycat.org.cn/

github地址:https://github.com/MyCATApache

1.1. Mycat安裝

第一步：把MyCat的壓縮包上傳到linux服務器

第二步：解壓縮，得到mycat目錄

第三步：進入mycat/bin，啓動MyCat

啓動命令：./mycat start

停止命令：./mycat stop

重啓命令：./mycat restart

注意：可以使用mysql的客戶端直接連接mycat服務。默認服務端口爲8066

安裝環境

mysql節點1環境

操作系統版本 : centos6.4

數據庫版本 : mysql-5.6

mycat版本：1.4 release

數據庫名 : db1、db3

ip:192.168.25.134

mysql節點2環境

操作系統版本 : centos6.4

數據庫版本 : mysql-5.6

mycat版本：1.4 release

數據庫名 : db2

ip:192.168.25.166

MyCat安裝到節點1上（需要安裝jdk）

配置schema.xml

Schema.xml作爲MyCat中重要的配置文件之一，管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置，是正確使用MyCat的前提。這裏就一層層對該文件進行解析。

schema 標籤用於定義MyCat實例中的邏輯庫

Table 標籤定義了MyCat中的邏輯表

dataNode 標籤定義了MyCat中的數據節點，也就是我們通常說所的數據分片。

dataHost標籤在mycat邏輯庫中也是作爲最底層的標籤存在，直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。

注意：若是LINUX版本的MYSQL，則需要設置爲Mysql大小寫不敏感，否則可能會發生表找不到的問題。

在MySQL的配置文件中my.ini [mysqld] 中增加一行: lower_case_table_names = 1

Schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
		<!-- auto sharding by id (long) -->
		<table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
		<table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />
	</schema>
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost2" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.25.134:3306" user="root"
			password="root">
			<!-- can have multi read hosts -->

		</writeHost>
	</dataHost>
	<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.25.166:3306" user="root"
			password="root">
			<!-- can have multi read hosts -->
		</writeHost>
	</dataHost>
</mycat:schema>

配置server.xml

server.xml幾乎保存了所有mycat需要的系統配置信息。最常用的是在此配置用戶名、密碼及權限。

<user name="test">
    <property name="password">test</property>
    <property name="schemas">TESTDB</property>
    <property name="readOnly">true</property>
</user>

配置rule.xml

rule.xml裏面就定義了我們對錶進行拆分所涉及到的規則定義。我們可以靈活的對錶使用不同的分片算法，或者對錶使用相同的算法但具體的參數不同。這個文件裏面主要有tableRule和function這兩個標籤。在具體使用過程中可以按照需求添加tableRule

和function。

此配置文件可以不用修改，使用默認即可。

分片測試

由於配置的分片規則爲“auto-sharding-long”，所以mycat會根據此規則自動分片。

每個datanode中保存一定數量的數據。根據id進行分片

經測試id範圍爲：

Datanode1：1~5000000

Datanode2：5000000~10000000

Datanode3：10000001~15000000

當15000000以上的id插入時報錯：

[Err] 1064 - can't find any valid datanode :TB_ITEM -> ID -> 15000001

此時需要添加節點了。

Mycat讀寫分離

數據庫讀寫分離對於大型系統或者訪問量很高的互聯網應用來說，是必不可少的一個重要功能。對於MySQL來說，標準的讀寫分離是主從模式，一個寫節點Master後面跟着多個讀節點，讀節點的數量取決於系統的壓力，通常是1-3個讀節點的配置

Mycat讀寫分離和自動切換機制，需要mysql的主從複製機制配合。

Mysql的主從複製

主從配置需要注意的地方

1、主DB server和從DB server數據庫的版本一致

2、主DB server和從DB server數據庫數據一致[ 這裏就會可以把主的備份在從上還原，也可以直接將主的數據目錄拷貝到從的相應數據目錄]

3、主DB server開啓二進制日誌,主DB server和從DB server的server_id都必須唯一

Mysql主服務器配置

第一步：修改my.conf文件：

在[mysqld]段下添加：

binlog-do-db=db1
binlog-ignore-db=mysql
#啓用二進制日誌
log-bin=mysql-bin
#服務器唯一ID，一般取IP最後一段
server-id=134

第二步：重啓mysql服務

service mysqld restart

第三步：建立帳戶並授權slave

mysql>GRANT FILE ON *.* TO 'backup'@'%' IDENTIFIED BY '123456';

mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';

#一般不用root帳號，“%”表示所有客戶端都可能連，只要帳號，密碼正確，此處可用具體客戶端IP代替，如192.168.145.226，加強安全。

刷新權限

mysql> FLUSH PRIVILEGES;

查看mysql現在有哪些用戶

mysql>select user,host from mysql.user;

第四步：查詢master的狀態

mysql> show master status;

Mysql從服務器配置

第一步：修改my.conf文件

[mysqld]
server-id=166

第二步：配置從服務器

mysql>change master to master_host='192.168.25.134',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=120

注意語句中間不要斷開，master_port爲mysql服務器端口號(無引號)，master_user爲執行同步操作的數據庫賬戶，“120”無單引號(此處的120就是show master status 中看到的position的值，這裏的mysql-bin.000001就是file對應的值)。

第二步：啓動從服務器複製功能

Mysql>start slave;

第三步：檢查從服務器複製功能狀態：

mysql> show slave status

……………………(省略部分)

Slave_IO_Running: Yes //此狀態必須YES

Slave_SQL_Running: Yes //此狀態必須YES

……………………(省略部分)

注：Slave_IO及Slave_SQL進程必須正常運行，即YES狀態，否則都是錯誤的狀態(如：其中一個NO均屬錯誤)。

錯誤處理：

如果出現此錯誤：

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

因爲是mysql是克隆的系統所以mysql的uuid是一樣的，所以需要修改。

解決方法：

刪除/var/lib/mysql/auto.cnf文件，重新啓動服務。

以上操作過程，從服務器配置完成。

Mycat配置

Mycat 1.4 支持MySQL主從複製狀態綁定的讀寫分離機制，讓讀更加安全可靠，配置如下：

<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
		writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">
		<heartbeat>show slave status</heartbeat>
		<writeHost host="hostM" url="192.168.25.134:3306" user="root"
			password="root">
			<readHost host="hostS" url="192.168.25.166:3306" user="root"
			password="root" />
		</writeHost>
	</dataHost>

(1) 設置 balance="1"與writeType="0"

Balance參數設置：

1. balance=“0”, 所有讀操作都發送到當前可用的writeHost上。

2. balance=“1”，所有讀操作都隨機的發送到readHost。

3. balance=“2”，所有讀操作都隨機的在writeHost、readhost上分發

WriteType參數設置：

1. writeType=“0”, 所有寫操作都發送到可用的writeHost上。

2. writeType=“1”，所有寫操作都隨機的發送到readHost。

3. writeType=“2”，所有寫操作都隨機的在writeHost、readhost分上發。

“readHost是從屬於writeHost的，即意味着它從那個writeHost獲取同步數據，因此，當它所屬的writeHost宕機了，則它也不會再參與到讀寫分離中來，即“不工作了”，這是因爲此時，它的數據已經“不可靠”了。基於這個考慮，目前mycat 1.3和1.4版本中，若想支持MySQL一主一從的標準配置，並且在主節點宕機的情況下，從節點還能讀取數據，則需要在Mycat裏配置爲兩個writeHost並設置banlance=1。”

(2) 設置 switchType="2" 與slaveThreshold="100"

switchType 目前有三種選擇：

-1：表示不自動切換

1 ：默認值，自動切換

2 ：基於MySQL主從同步的狀態決定是否切換

“Mycat心跳檢查語句配置爲 show slave status ，dataHost 上定義兩個新屬性： switchType="2" 與slaveThreshold="100"，此時意味着開啓MySQL主從複製狀態綁定的讀寫分離與切換機制。Mycat心跳機制通過檢測 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三個字段來確定當前主從同步的狀態以及Seconds_Behind_Master主從複製時延。“

MySQL集羣，MyCAT的使用

什麼是MyCAT？

MyCAT的關鍵特性

Mycat解決的問題

Mycat對多數據庫的支持

1.1. Mycat安裝

安裝環境

Schema.xml配置

配置rule.xml

分片測試

Mycat讀寫分離

Mysql主服務器配置

Mysql從服務器配置

DeepFilterNet復現

linux上安裝solr

Redis的消息訂閱與發佈

Zookeeper的安裝

Redis的事務

nginx安裝和使用

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結