Mydumper介紹
MySQL在備份方面包含了自身的mysqldump工具，但其只支持單線程工作，這就使得它無法迅速的備份數據。而mydumper作爲一個實用工具，能夠良好支持多線程工作，這使得它在處理速度方面十倍於傳統的mysqldump。其特徵之一是在處理過程中需要對列表加以鎖定，因此如果我們需要在工作時段執行備份工作，那麼會引起DML阻塞。但一般現在的MySQL都有主從，備份也大部分在從上進行，所以鎖的問題可以不用考慮。這樣mydumper能更好的完成備份任務。
Mydumper是一個針對MySQL和Drizzle的高性能多線程備份和恢復工具，開發人員主要來自MySQL,Facebook,SkySQL公司。
Mydumper特性
輕量級C語言寫的
執行速度比mysqldump快10倍
事務性和非事務性表一致的快照(適用於0.2.2以上版本)
快速的文件壓縮
支持導出binlog(新版本里已經不能備份binlog)
支持將備份文件切塊
多線程備份(因爲是多線程邏輯備份，備份後會生成多個備份文件)
多線程恢復(適用於0.2.1以上版本)
備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句
以守護進程的工作方式，定時快照和連續二進制日誌(適用於0.5.0以上版本)
開源 (GNU GPLv3)
Mydumper項目地址: https://launchpad.net/mydumper/
Mydumper備份機制
Mydumper工作流程圖
主要步驟概括
主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語句寫入，保證數據的一致性
讀取當前時間點的二進制日誌文件名和日誌寫入的位置並記錄在metadata文件中，以供即使點恢復使用
N個（線程數可以指定，默認是4）dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啓讀一致的事物
dump non-InnoDB tables, 首先導出非事物引擎的表
主線程 UNLOCK TABLES 非事物引擎備份完後，釋放全局只讀鎖
dump InnoDB tables, 基於事物導出InnoDB表
事物結束
Mydumper的less locking模式
Mydumper使用--less-locking可以減少鎖等待時間，此時mydumper的執行機制大致爲
主線程 FLUSH TABLES WITH READ LOCK(全局鎖)
Dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT;
LL Dump線程 LOCK TABLES non-InnoDB(線程內部鎖)
主線程UNLOCK TABLES
LL Dump線程 dump non-InnoDB tables
LL DUmp線程 UNLOCK non-InnoDB
Dump線程 dump InnoDB tables
Mydumper備份所生成的文件
所有的備份文件在一個目錄中，目錄可以自己指定。
目錄中包含一個metadata文件
記錄了備份數據庫在備份時間點的二進制日誌文件名，日誌的寫入位置，如果是在從庫進行備份，還會記錄備份時同步至主庫的二進制日誌文件及寫入位置
每個表有兩個備份文件
database.table-schema.sql 表結構文件
database.table.sql 表數據文件
如果對錶文件分片，將生成多個備份數據文件，可以指定行數或指定大小分片
binary logs(新版已廢棄)
啓用--binlogs選項後，二進制文件存放在binlog_snapshot目錄下
daemon mode
在這個模式下，有五個目錄0、1、binlogs、binlog_snapshot、last_dump。
備份目錄是0和1，間隔備份，如果mydumper因某種原因失敗而仍然有一個好的快照，當快照完成後，last_dump指向該備份。
Mydumper安裝
Mydumper使用C語言編寫，使用glibc庫。mydumper安裝所依賴的軟件包：glibc、 zlib、 pcre、 pcre-devel、 gcc、 gcc-c++、cmake、make、mysql客戶端庫文件。
安裝依賴包
Centos
$ yum install glib2-devel mysql-devel zlib-devel pcre-devel cmakeUbuntu
$ apt-get cmake make install libglib2.0-dev libmysqlclient15-dev zlib1g-dev libpcre3-dev g++編譯安裝
$ wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
$ tar xzvf mydumper-0.9.1.tar.gz
$ cd mydumper-0.9.1
$ cmake .
$ make
$ make install安裝完成後生成兩個二進制文件mydumper和myloader位於/usr/local/bin目錄下
檢查版本
$ mydumper -V
mydumper 0.9.1, built against MySQL 5.6.29
$ myloader -V
myloader 0.9.1, built against MySQL 5.6.29Mydumper使用
Mydumper主要有以下兩個命令：mydumper用於備份，myloader用於恢復。
mydumper命令一覽
$ mydumper --help
Usage:
mydumper [OPTION...] multi-threaded MySQL dumping
Help Options:
-?, --help Show help options
-B, --database 要備份的數據庫，不指定則備份所有庫
-T, --tables-list 需要備份的表，名字用逗號隔開
-o, --outputdir 備份文件輸出的目錄
-s, --statement-size 生成的insert語句的字節數，默認1000000(這個參數不能太小，不然會報 Row bigger than statement_size for tools.t_serverinfo)
-r, --rows 將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize
-F, --chunk-filesize 將表按大小分塊時，指定的塊大小，單位是 MB
-c, --compress 壓縮輸出文件
-e, --build-empty-files 如果表數據是空，還是產生一個空文件（默認無數據則只有表結構文件）
-x, --regex 支持正則表達式匹配'db.table',如mydumper –regex '^(?!(mysql|test))'
-i, --ignore-engines 忽略的存儲引擎，用都厚分割
-m, --no-schemas 不備份表結構
-d, --no-data 不備份表數據
-G, --triggers 不備份觸發器
-E, --events 不備份事件
-R, --routines 不備份存儲過程和函數
-k, --no-locks 不使用臨時共享只讀鎖，使用這個選項會造成數據不一致
--less-locking 減少對InnoDB表的鎖施加時間（這種模式的機制下文詳解）
-l, --long-query-guard 設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時後默認mydumper將會退出）
--kill-long-queries 殺掉長查詢 (不退出)
-b, --binlogs 導出binlog
-D, --daemon 啓用守護進程模式，守護進程模式以某個間隔不間斷對數據庫進行備份
-I, --snapshot-interval dump快照間隔時間，默認60s，需要在daemon模式下
-L, --logfile 使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出
--tz-utc 設置時區，只有備份應用到不同時區的時使用。默認是--skip-tz-utc是關閉的
--skip-tz-utc 同上
--use-savepoints 使用savepoints來減少採集metadata所造成的鎖時間，需要 SUPER 權限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host 連接的主機名
-u, --user 備份所使用的用戶
-p, --password 密碼
-P, --port 端口
-S, --socket 使用socket通信時的socket文件
-t, --threads 開啓的備份線程數，默認是4
-C, --compress-protocol 壓縮與mysql通信的數據
-V, --version 顯示版本號
-v, --verbose 輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲 2
--lock-all-tables 鎖全表，代替FLUSH TABLE WITH READ LOCK
-U, --updated-since Use Update_time to dump only tables updated in the last U days
--trx-consistency-only Transactional consistency onlymyloader命令一覽
$ myloader --help
Usage:
myloader [OPTION...] multi-threaded MySQL loader
-d, --directory 備份文件的文件夾
-q, --queries-per-transaction 每次事物執行的查詢數量，默認是1000
-o, --overwrite-tables 如果要恢復的表存在，則先drop掉該表，使用該參數，需要備份時候要備份表結構
-B, --database 需要還原的數據庫
-s, --source-db 還原的數據庫
-e, --enable-binlog 啓用還原數據的二進制日誌
-h, --host 主機
-u, --user 還原的用戶
-p, --password 密碼
-P, --port 端口
-S, --socket socket文件
-t, --threads 還原所使用的線程數，默認是4
-C, --compress-protocol 壓縮協議
-V, --version 顯示版本
-v, --verbose 輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲2Mydumper實例
備份實例
備份wordpress庫到/var/backup/wordpress文件夾中，並壓縮備份文件
$ mydumper -u root -p root -h localhost -B wordpress -c -o /var/backup/wordpress備份所有數據庫，並備份二進制日誌文件，備份至/var/backup/alldb文件夾
$ mydumper -u root -p root -h localhost -o /var/backup/alldb備份wordpress.wp_posts表，且不備份表結構，備份至/var/backup/wordpress-01文件夾
$ mydumper -u root -p root -h localhost -B wordpress -T wp_posts -m -o /var/backup/wordpress-01只導出數據不導出表結構
$ mydumper -h 127.0.0.1 -u root -p root --database wordpress --no-schemas不指定輸出目錄會在當前目錄下生成一個以當前時間命名的目錄，類似export-20160517-114713
默認無數據則只有表結構文件，加上--build-empty-files參數後，即使是一張空表，仍然會創建一個文件。
$ mydumper -h 127.0.0.1 -u root -p root --build-empty-files設置長查詢的上限，如果存在比這個還長的查詢則退出mydumper，也可以設置殺掉這個長查詢
$ mydumper -h 127.0.0.1 -u root -p root --long-query-guard 300 --kill-long-queries實現此功能需要指定--long-query-guard參數，後面加上限值即可。同時殺掉長查詢，需要指定--kill-long-queries參數。
設置需要導出的列表-–tables-list，逗號分割
$ mydumper -h 127.0.0.1 -u root -p root --tables-list=test.mt_test,robin.test只備份t_task和t_guid表
$ mydumper --database=tools --outputdir=/var/backup/tools/ --tables-list=t_task,t_guid注意此參數需要加上數據庫名字。執行完成後，在導出目錄即可看到上述兩張表的表結構以及數據。
通過regex設置正則表達式，需要設置數據庫名字
$ mydumper -h 127.0.0.1 -u root -p root --regex="beebol.*|tools.*"此功能跟上面的-–tables-list類似。
只備份以t_server開頭的表
$ mydumper --database=tools --outputdir=/var/backup/tools/ --regex="tools.t_server*"備份出了名稱爲tmp.*的表，並壓縮備份文件
$ mydumper -u root -p 123456 -P 3306 -m -c -b --regex=tmp.* -B test -o /var/backup/tmp/只備份abc、bcd、cde庫
$ mydumper -u backup -p 123456 -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex 'abc|bcd|cde' -o bbb/不備份abc、mysql、test數據庫
$ mydumper -u backup -p 123456 -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex '^(?!(abc|mysql|test))' -o bbb/把單表分成多個chunks
$ mydumper -h 127.0.0.1 -u root -p root --rows 2000實現此功能，加上--rows參數。如果一張表的記錄數超過設置的值，則這張表會拆分成多個SQL文件，命名規則如下：數據庫名.表名.0000x.sql，x 從 0 開始。
過濾某個引擎的表
$ mydumper -h 127.0.0.1 -u root -p root -B test --ignore-engines=innodb加上--ignore-engines參數後，指定的存儲引擎就會被過濾，亦即不導出指定存儲引擎的表。
查看詳細日誌
$ mydumper -h 127.0.0.1 -u root -p root -B test -v 3加上-v參數即可查看日誌，取值可以是 0、1、2、3，分別表示靜默模式、只輸出錯誤、只輸出警告、詳細信息，默認取值是2。
指定導出線程數
$ mydumper -h 127.0.0.1 -u root -p root -B test --threads 10mydumper是多線程的。加上--threads參數後，可以指定線程數，如果導出的數據較多，建議指定此參數，並且設置一個合理的值。另外，加上此參數，明顯導出速度快了很多，這就是多線程的優勢。當然，多線程肯定會消耗更多的系統資源。
後臺運行
$ mydumper -h 127.0.0.1 -u root -p root -B test --daemon壓縮導出的SQL文件
$ mydumper -h 127.0.0.1 -u root -p root -B test --compress壓縮後的SQL文件以.gz 結尾。我們可以使用gunzip命令來解壓。具體用法是：gunzip –c filename.gz > filename
遠程備份
$ mydumper -h 遠程服務器地址 -u root -p root -o /var/backup/mydumper -v 3 -c 9 -C -e -t 8還原實例
$ myloader -u root -p root -h localhost -B wordpress -d /var/backup/wordpress還原到另一臺服務器
$ myloader -u root -p 123456 -h 192.168.200.25 -P 3307 -B wordpress -d /var/backup/wordpress如表存在先刪除
$ myloader -u root -p 123456 -h 192.168.200.25 -P 3306 -o -B wordpress -d /var/backup/wordpress這裏需要注意使用該參數，備份目錄裏面需要有表結構的備份文件。