maxwell deamon 監聽mysql binlog 二進制文件實現數據同步到

1:首先下載maxwell https://github.com/zendesk/maxwell/releases/download/v1.24.1/maxwell-1.24.1.tar.gz

(這玩意下的很慢,建議去論壇找)

2:下載安裝mysql (安裝mysql比較簡單自行查找)

3:給你的mysql配置文件里加上 binlog配置 

[mysqld]
server_id=1
log-bin=master
binlog_format=row

還有一種配置方式,在mysql啓動後執行以下命令:

mysql> set global binlog_format=ROW;
mysql> set global binlog_row_image=FULL;

4:maxwell讀取binlog需要一個賬號,那麼我們就在mysql裏面爲maxwell配置一個賬號

mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'XXXXXX';
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

 5:運行你的maxwell

進入到你下載解壓的maxwell文件夾裏執行下面的命令

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

注意:如果你是mysql8.0,會報出以下錯誤:com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client 

出現上述問題的原因是:mysql8 之前的版本中加密規則是mysql_native_password,而在mysql8之後,加密規則是caching_sha2_password 把mysql用戶登錄密碼加密規則還原成mysql_native_password

解決方案:在mysql中執行以下命令

alter user 'maxwell'@'%' identified with mysql_native_password by 'XXXXXX';  修改認證規則

flush privileges;  刷新權限

之後重新運行一遍

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

--user mysql數據庫用戶名
--password  mysql數據庫密碼
--host mysql 數據庫服務器
--producer  指定數據輸出到哪裏
# 以上爲必須要的,以下的kafka相關的是以kafka方式啓動時需要的參數,kafka相關分區參數在此未指定
--kafka.bootstrap.servers 指定kafka地址
--kafka_topic  指定kakfa的topic是哪一個
# 以下可選
--daemon  守護進程 後臺運行
--filter  過濾條件,可以過濾數據庫,表,列等等
 

6:出現binlog cennected 你會發現maxwell啓動成功

7:我在mysql創建了一個表

 再看maxwell的控制檯

教程到此完結! 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章