binlog2sql

原文地址：https://github.com/danfengcao/binlog2sql

從MySQL binlog解析出你要的SQL。根據不同選項，你可以得到原始SQL、回滾SQL、去除主鍵的INSERT SQL等。

用途

數據快速回滾(閃回)
主從切換後數據不一致的修復
從binlog生成標準SQL，帶來的衍生功能

項目狀態

正常維護。應用於大衆點評線上環境。線上環境的操作，請在對MySQL**相當熟悉**的同學指導下進行

已測試環境
- Python 2.6, 2.7
- MySQL 5.6

安裝

shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt

使用

MySQL server必須設置以下參數:

[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 100M
binlog_format = row

user需要的最小權限集合：

select, super/replication client, replication slave

建議授權
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO

權限說明

select：需要讀取server端information_schema.COLUMNS表，獲取表結構的元信息，拼接成可視化的sql語句
super/replication client：兩個權限都可以，需要執行’SHOW MASTER STATUS’, 獲取server端的binlog列表
replication slave：通過BINLOG_DUMP協議獲取binlog內容的權限

基本用法

解析出標準SQL

shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -t test3 test4 --start-file='mysql-bin.000002'

輸出：
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 570 end 736
UPDATE `test`.`test3` SET `addtime`='2016-12-10 12:00:00', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 13:03:22' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954
DELETE FROM `test`.`test3` WHERE `addtime`='2016-12-10 13:03:38' AND `data`='english' AND `id`=4 LIMIT 1; #start 981 end 1147

解析出回滾SQL


shell> python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttest3 --start-file='mysql-bin.000002' --start-position=763 --stop-position=1147

輸出：
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 981 end 1147
UPDATE `test`.`test3` SET `addtime`='2016-12-10 13:03:22', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 12:00:00' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954

選項

mysql連接配置

-h host; -P port; -u user; -p password

解析模式

–stop-never 持續同步binlog。可選。不加則同步至執行命令時最新的binlog位置。

-K, –no-primary-key 對INSERT語句去除主鍵。可選。

-B, –flashback 生成回滾語句，可解析大文件，不受內存限制。可選。與stop-never或no-primary-key不能同時添加。

解析範圍控制

–start-file 起始解析文件。必須。

–start-position/–start-pos start-file的起始解析位置。可選。默認爲start-file的起始位置。

–stop-file/–end-file 末尾解析文件。可選。默認爲start-file同一個文件。若解析模式爲stop-never，此選項失效。

–stop-position/–end-pos stop-file的末尾解析位置。可選。默認爲stop-file的最末位置；若解析模式爲stop-never，此選項失效。

–start-datetime 從哪個時間點的binlog開始解析，格式必須爲datetime，如’2016-11-11 11:11:11’。可選。默認不過濾。

–stop-datetime 到哪個時間點的binlog停止解析，格式必須爲datetime，如’2016-11-11 11:11:11’。可選。默認不過濾。

對象過濾

-d, –databases 只輸出目標db的sql。可選。默認爲空。

-t, –tables 只輸出目標tables的sql。可選。默認爲空。

應用案例

誤刪整張表數據，需要緊急回滾

閃回詳細介紹可參見example目錄下《閃回原理與實戰》example/mysql-flashback-priciple-and-practice.md

test庫tbl表原有數據
mysql> select * from tbl;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小趙   | 2016-12-10 00:04:33 |
|  2 | 小錢   | 2016-12-10 00:04:48 |
|  3 | 小孫   | 2016-12-13 20:25:00 |
|  4 | 小李   | 2016-12-12 00:00:00 |
+----+--------+---------------------+
4 rows in set (0.00 sec)

mysql> delete from tbl;
Query OK, 4 rows affected (0.00 sec)

20:28時，tbl表誤操作被清空
mysql> select * from tbl;
Empty set (0.00 sec)

恢復數據步驟：

登錄mysql，查看目前的binlog文件

“`bash
mysql> show master status;
+——————+———–+
| Log_name | File_size |
+——————+———–+
| mysql-bin.000051 | 967 |
| mysql-bin.000052 | 965 |
+——————+———–+


2. 最新的binlog文件是mysql-bin.000052，我們再定位誤操作SQL的binlog位置。誤操作人只能知道大致的誤操作時間，我們根據大致時間過濾數據。

    ```bash
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-datetime='2016-12-13 20:25:00' --stop-datetime='2016-12-13 20:30:00'
輸出：
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:26:00', 4, '小李'); #start 317 end 487 time 2016-12-13 20:26:26
UPDATE `test`.`tbl` SET `addtime`='2016-12-12 00:00:00', `id`=4, `name`='小李' WHERE `addtime`='2016-12-13 20:26:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 514 end 701 time 2016-12-13 20:27:07
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:33' AND `id`=1 AND `name`='小趙' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:48' AND `id`=2 AND `name`='小錢' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-13 20:25:00' AND `id`=3 AND `name`='小孫' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-12 00:00:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05

我們得到了誤操作sql的準確位置在728-938之間，再根據位置進一步過濾，使用flashback模式生成回滾sql，檢查回滾sql是否正確(注：真實環境下，此步經常會進一步篩選出需要的sql。結合grep、編輯器等)

``bash shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-position=3346 --stop-position=3556 -B > rollback.sql | cat 輸出： INSERT INTOtest.tbl(addtime,id,name) VALUES ('2016-12-12 00:00:00', 4, '小李'); #start 728 end 938 time 2016-12-13 20:28:05 INSERT INTOtest.tbl(addtime,id,name) VALUES ('2016-12-13 20:25:00', 3, '小孫'); #start 728 end 938 time 2016-12-13 20:28:05 INSERT INTOtest.tbl(addtime,id,name) VALUES ('2016-12-10 00:04:48', 2, '小錢'); #start 728 end 938 time 2016-12-13 20:28:05 INSERT INTOtest.tbl(addtime,id,name`) VALUES (‘2016-12-10 00:04:33’, 1, ‘小趙’); #start 728 end 938 time 2016-12-13 20:28:05


4. 確認回滾sql正確，執行回滾語句。登錄mysql確認，數據回滾成功。

    ```bash
    shell> mysql -h127.0.0.1 -P3306 -uadmin -p'admin' < rollback.sql

    mysql> select * from tbl;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小趙   | 2016-12-10 00:04:33 |
|  2 | 小錢   | 2016-12-10 00:04:48 |
|  3 | 小孫   | 2016-12-13 20:25:00 |
|  4 | 小李   | 2016-12-12 00:00:00 |
+----+--------+---------------------+

限制

mysql server必須開啓，離線模式下不能解析

優點（對比mysqlbinlog）

純Python開發，安裝與使用都很簡單
自帶flashback、no-primary-key解析模式，無需再裝補丁
flashback模式下，更適合閃回實戰
解析爲標準SQL，方便理解、調試
代碼容易改造，可以支持更多個性化解析

貢獻者

danfengcao 維護者 https://github.com/danfengcao
大衆點評DBA團隊想法交流，使用體驗 [email protected]
趙承勇 pymysqlreplication權限bug https://github.com/imzcy1987
陳路炳 bug報告(字段值爲空時的處理)，使用體驗 https://github.com/bingluchen

聯繫我

有任何問題，請與我聯繫。微信：danfeng053005 郵箱：[email protected]

歡迎提問題提需求，歡迎pull requests！

binlog2sql

binlog2sql

用途

項目狀態

安裝

使用

MySQL server必須設置以下參數:

user需要的最小權限集合：

基本用法

選項

應用案例

誤刪整張表數據，需要緊急回滾

限制

優點（對比mysqlbinlog）

貢獻者

聯繫我

讓Logstash每次都從頭讀文件

詳解Gearman Job中的Unique

Mysql 主從出現故障

mysql binlog in realtime

SSD 下的 MySQL IO 優化

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結