基於Canal實現MySQL 8.0 數據庫數據同步

基於Canal實現MySQL 8.0 數據庫數據同步

0、前置信息

0.1、服務器信息

主機名	操作系統	說明
192.168.91.131	CentOS 7	主庫所在服務器
192.168.91.135	CentOS 7	canal數據同步所在服務器

0.2、版本說明

MySQL版本：MySQL_8.0.23
Canal版本：Canal_1.1.5

0.3、安裝 MySQL8.0 數據庫

關於MySQL8.0數據庫的安裝，可參考之前的博文：https://www.cnblogs.com/cndarren/p/16161256.html

0.4、配置MySQL8.0數據庫

修改mysql配置文件

vi /etc/my.cnf

添加如下配置，開啓MySQL binlog功能

# 服務編號, 與其它節點不衝突即可
server_id=1
log_bin=binlog
binlog_format=ROW

0.5、Canal簡介

關於canal簡介，這裏就不再闡述，具體可以參看官方文檔介紹，地址如下：

https://github.com/alibaba/canal/wiki/%E7%AE%80%E4%BB%8B

1、主庫服務器操作

1.1、連接主庫所在服務器

# 連接主庫所在服務器，即：192.168.91.131, 切換 root 賬號
su root

1.2、啓動MySQL8.0數據庫

systemctl start mysqld.service

1.3、創建複製賬號和密碼

連接主庫所在服務器，即：192.168.91.131，運行MySQL 8.0數據庫，創建複製賬號和密碼，命令如下：

mysql> CREATE USER canal IDENTIFIED BY 'canal';  
mysql> GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
mysql> FLUSH PRIVILEGES;

2、canal數據同步服務器操作

2.1、創建canal文件夾

cd /usr/local
mkdir canal
cd canal
mkdir canal-package canal-adapter canal-deployer

2.2、安裝canal deployer和canal adapter

cd canal-package
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.adapter-1.1.5.tar.gz
ls
tar -zxvf canal.adapter-1.1.5.tar.gz -C /usr/local/canal/canal-adapter
tar -zxvf canal.deployer-1.1.5.tar.gz -C /usr/local/canal/canal-deployer

2.3、配置和啓動canal-deployer

2.3.1、配置canal-deployer

由於此次同步爲MySQL數據庫間的數據同步，所以此處不需要修改 canal.properties 配置文件，只需修改 instance.properties 即可

cd /usr/local/canal/canal-deployer/conf/example
vi instance.properties

修改內容如下圖所示：

 

說明：instance.properties中同步數據表默認爲同步數據庫下所有的表信息，具體配置如下：

 

若需要同步某幾張表，可以參考如下配置：

# 同步某數據庫test1下的user表,test2數據庫下的所有表，所有庫下所有表數據
canal.instance.filter.regex=test1.user,test2\\..*,.*\\..*

2.3.2、啓動canal-deployer

cd /usr/local/canal/canal-deployer/bin
./startup.sh

查看日誌確定是否啓動成功

cd /usr/local/canal/canal-deployer/logs/example
cat example.log

可能遇到的問題：

canal-deployer啓動之後，如果在 logs 文件夾下沒有 example 文件，參考如下情況說明：

1、查看 /usr/local/canal/canal-deployer/bin 文件夾下，是否存在以hs_err_pid開頭的文件。

# 出現hs_err_pid開頭的文件，主要原因有兩個：
1> 服務器內存不足，導致服務啓動失敗，出現OOM問題，這時需要增加服務器內存
2> 服務器打開的線程數達到上限，這時需要修改線程上限，操作如下：
vi /etc/security/limits.conf

修改內容可參考下面配置：
*          soft    nproc          102400
*          hard    nofile         102400
# 上述配置參數說明：
第一列：linux系統用戶名，*代表所有用戶
第二列：軟連接/硬連接
第三列：類型，nproc 進程的數量/nofile 文件打開數/core-core 文件大小
第四列：數量

2、bin文件夾下不存在以hs_err_pid開頭的文件，查看logs文件夾下的canal文件夾下的canal_stdout.log文件，命令如下：

cat /usr/local/canal/canal-deployer/logs/canal/canal_stdout.log

若出現如下報錯信息：

OpenJDK 64-Bit Server VM warning: Ignoring option PermSize; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: Ignoring option MaxPermSize; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
Unrecognized VM option 'UseCMSCompactAtFullCollection'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

解決方案：

出現此報錯的原因是由於當前服務器安裝的jdk版本高於jdk8，此時需要修改 startup.sh 的啓動參數，操作如下：

cd /usr/local/canal/canal-deployer/bin
./stop.sh
vi startup.sh
# 找到下圖所展示位置，刪除 -XX:+UseCMSCompactAtFullCollection -XX:+UseFastAccessorMethods 參數
./startup.sh

2.4、配置和啓動canal-adapter

2.4.1、配置canal-adapter

1> 修改application.yml文件

cd /usr/local/canal/canal-adapter/conf
vi application.yml

添加配置如下：

server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null
canal.conf:
  mode: tcp
  flatMessage: true
  zookeeperHosts:
  syncBatchSize: 1000
  retries: 0
  timeout:
  accessKey:
  secretKey:
  consumerProperties:
    # canal tcp consumer
    # 修改位置：Canal客戶端所在主機IP
    canal.tcp.server.host: 192.168.91.135:11111
    canal.tcp.zookeeper.hosts:
    canal.tcp.batch.size: 500
    canal.tcp.username:
    canal.tcp.password:
    # kafka consumer
    kafka.bootstrap.servers: 127.0.0.1:9092
    kafka.enable.auto.commit: false
    kafka.auto.commit.interval.ms: 1000
    kafka.auto.offset.reset: latest
    kafka.request.timeout.ms: 40000
    kafka.session.timeout.ms: 30000
    kafka.isolation.level: read_committed
    kafka.max.poll.records: 1000
    # rocketMQ consumer
    rocketmq.namespace:
    rocketmq.namesrv.addr: 127.0.0.1:9876
    rocketmq.batch.size: 1000
    rocketmq.enable.message.trace: false
    rocketmq.customized.trace.topic:
    rocketmq.access.channel:
    rocketmq.subscribe.filter:
    # rabbitMQ consumer
    rabbitmq.host:
    rabbitmq.virtual.host:
    rabbitmq.username:
    rabbitmq.password:
    rabbitmq.resource.ownerId:
  # 修改位置：添加源庫配置信息，此處爲同步同庫下所有表信息
  srcDataSources:
    defaultDS:
      url: jdbc:mysql://192.168.91.131:3306/test?useUnicode=true
      username: root
      password: 123456
    amsDS:
      url: jdbc:mysql://192.168.91.131:3306/nxgp_ams?useUnicode=true
      username: root
      password: 123456
  canalAdapters:
  - instance: example # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
      - name: rdb
        key: mysql1
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://192.168.91.135:3306/test?useUnicode=true
          jdbc.username: root
          jdbc.password: 123456
      - name: rdb
        key: mysql2
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://192.168.91.135:3306/nxgp_ams?useUnicode=true
          jdbc.username: root
          jdbc.password: 123456
#      - name: rdb
#        key: oracle1
#        properties:
#          jdbc.driverClassName: oracle.jdbc.OracleDriver
#          jdbc.url: jdbc:oracle:thin:@localhost:49161:XE
#          jdbc.username: mytest
#          jdbc.password: m121212
#      - name: rdb
#        key: postgres1
#        properties:
#          jdbc.driverClassName: org.postgresql.Driver
#          jdbc.url: jdbc:postgresql://localhost:5432/postgres
#          jdbc.username: postgres
#          jdbc.password: 121212
#          threads: 1
#          commitSize: 3000
#      - name: hbase
#        properties:
#          hbase.zookeeper.quorum: 127.0.0.1
#          hbase.zookeeper.property.clientPort: 2181
#          zookeeper.znode.parent: /hbase
#      - name: es
#        hosts: 127.0.0.1:9300 # 127.0.0.1:9200 for rest mode
#        properties:
#          mode: transport # or rest
#          # security.auth: test:123456 #  only used for rest mode
#          cluster.name: elasticsearch
#        - name: kudu
#          key: kudu
#          properties:
#            kudu.master.address: 127.0.0.1 # ',' split multi address

說明: 

i、其中 outAdapter 的配置: name統一爲rdb, key爲對應的數據源的唯一標識需和下面的表映射文件中的outerAdapterKey對應, properties爲目標庫jdbc的相關參數

ii、adapter將會自動加載 conf/rdb 下的所有.yml結尾的表映射配置文件

2> 修改canal-adapter/conf/rdb文件夾下的yml文件

說明：canal-adapter/conf/rdb文件夾下的yml文件可以同步數據庫下的一張表，也可以同步數據庫下的所有表(此處的前提是：同步數據的數據庫與主庫的schema一致)

（1）同步數據庫下的某張表，例如同步test數據庫下的user表，操作如下：

cd /usr/local/canal/canal-adapter/conf/rdb
cp mytest_user.yml test_user.yml
rm -rf mytest_user.yml
vi test_user.yml

配置信息如下：

dataSourceKey: defaultDS        # 源數據源的key, 對應上面配置的srcDataSources中的值
destination: example            # cannal的instance或者MQ的topic
groupId:                        # 對應MQ模式下的groupId, 只會同步對應groupId的數據
outerAdapterKey: mysql1         # adapter key, 對應上面配置outAdapters中的key
concurrent: true                # 是否按主鍵hash並行同步, 並行同步的表必須保證主鍵不會更改及主鍵不能爲其他同步表的外鍵!
dbMapping:
  database: test                # 源數據源的database/schema
  table: user                   # 源數據源表名
  targetTable: test.user        # 目標數據源的庫名.表名
  targetPk:                     # 主鍵映射
    id: id                      # 如果是複合主鍵可以換行映射多個
  mapAll: true                  # 是否整表映射, 要求源表和目標表字段名一模一樣 (如果targetColumns也配置了映射, 則以targetColumns配置爲準)
  #targetColumns:               # 字段映射, 格式: 目標表字段: 源表字段, 如果字段名一樣源表字段名可不填
  #  id:
  #  name:
  #  role_id:
  #  c_time:
  #  test1: 

（2）同步數據庫下所有表數據，例如：同步test數據庫下所有表數據，操作如下：

cd /usr/local/canal/canal-adapter/conf/rdb
cp mytest_user.yml test_user.yml
rm -rf mytest_user.yml
vi test_user.yml

配置如下：

## Mirror schema synchronize config
dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql1
concurrent: true
dbMapping:
  mirrorDb: true
  database: test

2.4.2、啓動canal-adapter

cd /usr/local/canal/canal-adapter/bin
./startup.sh

查看日誌信息，確保正常啓動。

cd /usr/local/canal/canal-adapter/logs/adapter
cat adapter.log

3、連接數據庫管理工具測試

在主庫（192.168.91.131）test數據庫下的user表中插入數據，查看canal所在數據庫test下的user表中是否同步。