SpringBoot利用cancl监听mysql的binlog日志通过kafja实时同步数据到es

canal官网:https://github.com/alibaba/canal/wiki

gitlab:https://github.com/alibaba/canal/wiki/QuickStart

下载地址:https://github.com/alibaba/canal/releases

Canal

阿里巴巴开源的 Canal 会将自己伪装成 MySQL 从节点(Slave),并从主节点(Master)获取 Binlog,解析和贮存后供下游消费端使用。Canal 包含两个组成部分:服务端和客户端。服务端负责连接至不同的 MySQL 实例,并为每个实例维护一个事件消息队列;客户端则可以订阅这些队列中的数据变更事件,处理并存储到数据仓库中。

组成:

Canal 会将自己伪装成 MySQL 从节点(Slave),并从主节点(Master)获取 Binlog,解析和贮存后供下游消费端使用。Canal 包含两个组成部分:服务端和客户端。服务端负责连接至不同的 MySQL 实例,并为每个实例维护一个事件消息队列;客户端则可以订阅这些队列中的数据变更事件,处理并存储到数据仓库中。下面我们来看如何快速搭建起一个 Canal 服务。

1.mysql配置

  •     开启mysql的binlog模块

切换到mysql的安装路径,找到my.cnf(Linux)/my.ini (windows),加入如下内容:()

[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复
  • 配置mysql数据库

Canal 会将自己伪装成 MySQL 从节点(Slave),并从主节点(Master)获取 Binlog,解析和贮存后供下游消费端使用。Canal 包含两个组成部分:服务端和客户端。服务端负责连接至不同的 MySQL 实例,并为每个实例维护一个事件消息队列;客户端则可以订阅这些队列中的数据变更事件,处理并存储到数据仓库中。创建canal用户,用来管理canal的访问权限。我们可以通过对canal用户访问权限的控制,进而控制canal能够获取的内容。

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON 数据库名.表名 TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON 数据库名.表名 TO 'canal'@'%' ; 
-- 刷新权限,上命令执行不了也刷新下
FLUSH PRIVILEGES; 

Mysql是否开启binlog日志&开启方法

运行sql   show variables like 'log_bin';

如果Value 为 OFF 则为开启日志文件

如何开启mysql日志?

找到my,cnf 中 [mysqld]  添加如下

[mysqld]

# binlog 配置

log-bin = /usr/local/var/mysql/logs/mysql-bin.log

expire-logs-days = 14

max-binlog-size = 500M

server-id = 1

如果没有my.cnf  或者是集成的环境 找到my.ini 中 [mysqld]  添加如下

[mysqld]

# binlog 配置

log-bin = /usr/local/var/mysql/logs/mysql-bin.log

expire-logs-days = 14

max-binlog-size = 500M

server-id = 1

重启mysql后    show variables like 'log_bin';  Value 为 ON即可

查询binlog 变动信息   show binlog events;

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章