canal官网:https://github.com/alibaba/canal/wiki
gitlab:https://github.com/alibaba/canal/wiki/QuickStart
下载地址:https://github.com/alibaba/canal/releases
阿里巴巴开源的 Canal 会将自己伪装成 MySQL 从节点(Slave),并从主节点(Master)获取 Binlog,解析和贮存后供下游消费端使用。Canal 包含两个组成部分:服务端和客户端。服务端负责连接至不同的 MySQL 实例,并为每个实例维护一个事件消息队列;客户端则可以订阅这些队列中的数据变更事件,处理并存储到数据仓库中。
组成:
Canal 会将自己伪装成 MySQL 从节点(Slave),并从主节点(Master)获取 Binlog,解析和贮存后供下游消费端使用。Canal 包含两个组成部分:服务端和客户端。服务端负责连接至不同的 MySQL 实例,并为每个实例维护一个事件消息队列;客户端则可以订阅这些队列中的数据变更事件,处理并存储到数据仓库中。下面我们来看如何快速搭建起一个 Canal 服务。
1.mysql配置
- 开启mysql的binlog模块
切换到mysql的安装路径,找到my.cnf(Linux)/my.ini (windows),加入如下内容:()
[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复
- 配置mysql数据库
Canal 会将自己伪装成 MySQL 从节点(Slave),并从主节点(Master)获取 Binlog,解析和贮存后供下游消费端使用。Canal 包含两个组成部分:服务端和客户端。服务端负责连接至不同的 MySQL 实例,并为每个实例维护一个事件消息队列;客户端则可以订阅这些队列中的数据变更事件,处理并存储到数据仓库中。创建canal用户,用来管理canal的访问权限。我们可以通过对canal用户访问权限的控制,进而控制canal能够获取的内容。
CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON 数据库名.表名 TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON 数据库名.表名 TO 'canal'@'%' ;
-- 刷新权限,上命令执行不了也刷新下
FLUSH PRIVILEGES;
Mysql是否开启binlog日志&开启方法
运行sql show variables like 'log_bin';
如果Value 为 OFF 则为开启日志文件
如何开启mysql日志?
找到my,cnf 中 [mysqld] 添加如下
[mysqld]
# binlog 配置
log-bin = /usr/local/var/mysql/logs/mysql-bin.log
expire-logs-days = 14
max-binlog-size = 500M
server-id = 1
如果没有my.cnf 或者是集成的环境 找到my.ini 中 [mysqld] 添加如下
[mysqld]
# binlog 配置
log-bin = /usr/local/var/mysql/logs/mysql-bin.log
expire-logs-days = 14
max-binlog-size = 500M
server-id = 1
重启mysql后 show variables like 'log_bin'; Value 为 ON即可
查询binlog 变动信息 show binlog events;