CANAL在配置中指定BINLOG文件以及POSITION定位读取

问题:

今天在测试环境发现,各服务能收到canal的通知,但是没有影响的数据内容。

开始以为是应用程序问题,排查后发现有多个应该都是这个情况。所以怀疑是canal问题。

 

先说一下系统的实现情况:

mysql---(binlog)--->canal------>canal消费端---->kafka----->应用程序消费数据

 

处理步骤:

1、查询canal的日志(canal有两个日志,一个是meta.log一个是example.log)

 

第一个example.log日志,比较直接的打印了错误的信息,是因为表冲突导致

第二个meta.log日志,我们可以发现canal一直在同步一行记录,没有获取最新的binlog(导致环境删除表导致)。

 

2、问题找到了,那接下来就是解决了。因为是测试环境,所以想要直接跨过这个binlog就好了,那怎么操作呢?

t1、查询mysql的binlog情况

      登录mysql数据库,查看binlog信息     

show binary logs ;

查看指定日志的详情

show binlog events in 'mysql-bin.000035';

     

这个可以理解是一个行的起始编号,后面需要用到。

 t2、修改canal配置

    binlog文件找到了,起始号也找到了,那就是修改canal配置了

vi /canal/conf/example/meta.dat

  将1处修改为binlog的文件名

  将2处修改为binlog中的行超始编号

t3、重启canal服务

   上面配置好后,我们就可以重启canal确认是否在消息了(canal的客户端要注意了,如果客户端没有启动,这个日志也会没有的,特别注意!!!!)。

 tail -f /canal/logs/example/meta.log

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章