阿里Canal部署及使用理解

阿里Canal部署及使用理解

Canal的git地址 https://github.com/alibaba/canal

Canal原理：

1.canal模擬mysql slave的交互協議，僞裝自己爲mysql slave,向mysql master發送dump協議；

2.mysql master收到dump請求，開始推送binary log給slave(也就是canal)

3.canal解析binary log對象（原始byte流）

Canal部署：

1.首先針對mysql服務，需要對mysql進行設置，開啓binlog權限：

[mysqld]
log-bin=mysql-bin #添加這一行就ok
binlog-format=ROW #選擇row模式
server_id=1 #配置mysql replaction需要定義，不能和canal的slaveId重複

2.對配置在canal的mysql用戶進行賦權操作（需要模擬slave）：

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

3.下載canal並進行解壓（當時操作的版本爲canal.deployer-1.0.25.tar.gz）

4.對canal進行參數設置：

應用參數：

vi conf/example/instance.properties
## mysql serverId
canal.instance.mysql.slaveId = 1234

position info，需要改成自己的數據庫信息


canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =


#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =

username/password，需要改成自己的數據庫信息


canal.instance.dbUsername = canal

canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#正則控制對那些數據庫的哪些表進行監控，.\..則是全庫全表
table regex
canal.instance.filter.regex = .\..

說明：

canal.instance.connectionCharset 代表數據庫的編碼方式對應到java中的編碼類型，比如UTF-8，GBK , ISO-8859-1

啓動服務。

sh bin/startup.sh

使用樣例：

在github上有具體說明，通過java實現讀取binlog日誌信息，進行解析。