mydumper作爲一個實用工具，能夠良好支持多線程工作，可以並行的多線程的從表中讀入數據並同時寫到不同的文件裏，這使得它在處理速度方面快於傳統的mysqldump。其特徵之一是在處理過程中需要對列表加以鎖定，因此如果我們需要在工作時段執行備份工作，那麼會引起DML阻塞。但一般現在的MySQL都有主從，備份也大部分在從上進行，所以鎖的問題可以不用考慮。這樣，mydumper能更好的完成備份任務。
mydumper特性
- 多線程備份
- 因爲是多線程邏輯備份，備份後會生成多個備份文件
- 備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句
- 保證備份數據的一致性
- 支持文件壓縮
- 支持導出binlog
- 支持多線程恢復
- 支持以守護進程模式工作，定時快照和連續二進制日誌
- 支持將備份文件切塊
安裝過程:
1、下載包:
2、安裝依賴包:yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake
3、解壓mydumper並執行編譯等。
#tar -zxvf mydumper-0.9.1.tar.gz -C /usr/local/
#mv mydumper-0.9.1 mydumper
#cd /usr/local/mydumper
# cmake .
返回:
-- Configuring done
-- Generating done
-- Build files have been written to: /usr/local/mydumper
#make
報錯：
make[2]: *** No rule to make target `/usr/lib64/libmysqlclient.so', needed by `mydumper'. Stop.
make[1]: *** [CMakeFiles/mydumper.dir/all] Error 2
解決:如果存在刪除重新執行
ln -s /usr/local/mysql/lib/libmysqlclient.so /usr/lib64/
#make
#make install
結果:
Install the project...
-- Install configuration: ""
-- Installing: /usr/local/bin/mydumper
-- Installing: /usr/local/bin/myloader
驗證:
[root@nfs2 mydumper]# mydumper -V
mydumper 0.9.1, built against MySQL 5.6.39-83.1
mydumper參數:
-B, --database 要備份的數據庫，不指定則備份所有庫
-T, --tables-list 需要備份的表，名字用逗號隔開
-o, --outputdir 備份文件輸出的目錄
-s, --statement-size 生成的insert語句的字節數，默認1000000
-r, --rows 將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize
-c, --compress 壓縮輸出文件
-e, --build-empty-files 如果表數據是空，還是產生一個空文件（默認無數據則只有表結構文件）
-x, --regex 是同正則表達式匹配 'db.table'
-i, --ignore-engines 忽略的存儲引擎，用都厚分割
-m, --no-schemas 不備份表結構
-k, --no-locks 不使用臨時共享只讀鎖，使用這個選項會造成數據不一致
--less-locking 減少對InnoDB表的鎖施加時間（這種模式的機制下文詳解）
-l, --long-query-guard 設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時後默認mydumper將會退出）
--kill-long-queries 殺掉長查詢 (不退出)
-b, --binlogs 導出binlog
-D, --daemon 啓用守護進程模式，守護進程模式以某個間隔不間斷對數據庫進行備份
-I, --snapshot-interval dump快照間隔時間，默認60s，需要在daemon模式下
-L, --logfile 使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出
--tz-utc 跨時區是使用的選項，不解釋了
--skip-tz-utc 同上
--use-savepoints 使用savepoints來減少採集metadata所造成的鎖時間，需要 SUPER 權限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host 連接的主機名
-u, --user 備份所使用的用戶
-p, --password 密碼
-P, --port 端口
-S, --socket 使用socket通信時的socket文件
-t, --threads 開啓的備份線程數，默認是4
-C, --compress-protocol 壓縮與mysql通信的數據
-V, --version 顯示版本號
-v, --verbose 輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲 2
myload參數:
-d, --directory 備份文件的文件夾
-q, --queries-per-transaction 每次事物執行的查詢數量，默認是1000
-o, --overwrite-tables 如果要恢復的表存在，則先drop掉該表，使用該參數，需要備份時候要備份表結構
-B, --database 需要還原的數據庫
-e, --enable-binlog 啓用還原數據的二進制日誌
-h, --host 主機
-u, --user 還原的用戶
-p, --password 密碼
-P, --port 端口
-S, --socket socket文件
-t, --threads 還原所使用的線程數，默認是4
-C, --compress-protocol 壓縮協議
-V, --version 顯示版本
-v, --verbose 輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲2
使用樣例:
1、備份指定表數據:
mydumper -h 192.168.21.130 -u load_data -p root123 -P 3306 -B lepus -T mysql_slow_query_review_history -m -o ./test/
還原數據：
myloader -h 192.168.21.187 -u root -P 4000 -B test -d /tmp/test/
2、指定備份每次輸出大小(每次生成1W條記錄大小文件，若10W條記錄切割成多個小文件)
mydumper -h 192.168.21.130 -u load_data -p root123 -P 3306 -B lepus -T mysql_slow_query_review_history -r 10000 -m -o ./test/
還原:myloader -h 192.168.21.187 -u root -P 4000 -B test -d /tmp/test/
3、備份整個DB並指定多線程每個文件大小爲64MB，若不加B則備份整個實例
mydumper -h 192.168.21.130 -P 3306 -u load_data -p root123 --kill-long-queries -t 8 -F 64 -B lepus --skip-tz-utc -o /disk1/lepus
#指定備份數據庫：備份abc、bcd、cde
mydumper -u backup -p 123456 -h 192.168.180.13 -P 3306 -e --regex 'abc|bcd|cde' -o bbb/
#指定不備份的數據庫：不備份abc、mysql、test，備份其他數據庫
mydumper -u backup -p 123456 -h 192.168.180.13 -P 3306 -e --regex '^(?!(abc|mysql|test))' -o bbb/
將導出的數據還原回去，不需要指定庫信息
數據還原：myloader -h 127.0.0.1 -u root -P 4000 -t 32 -d ./var/test
