MySQL多線程邏輯備份工具之mydumper

下載安裝

yum -y install cmake glib2 pcre pcre-devel mysql-devel

wget https://launchpad.net/mydumper/0.6/0.6.2/+download/mydumper-0.6.2.tar.gz

tar xf  mydumper-0.6.2.tar.gz

cd mydumper-0.6.2

cmake .

make && make install

註釋:如果只要幫助可以這樣編譯make doc_html

安裝之後生成兩個二進制命令/usr/local/bin/mydumper(備份)和/usr/local/bin/myloader(恢復)

mydumper特性

    多線程備份,生成多個備份文件

    針對MyISAM表加讀鎖,會阻塞DML語句

    保證備份數據一致性

    支持文件壓縮和導出binlog

    支持多線程恢復

    支持守護進程模式,定時快照和連續二進制日誌

    支持正則匹配

    恢復支持是否啓用binlog及指定事物的大小(多少insert)

    無法備份視圖和觸發器

    備份整庫時可用備份存儲過程和函數,單庫備份等情況無法對其進行備份

    

mydumper備份機制

http://www.mysqldumper.net/

1.主要步驟概括

    主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖,以阻止DML語句寫入,保證數據的一致性

    讀取當前時間點的二進制日誌文件名和日誌寫入的位置並記錄在metadata文件中,以供即使點恢復使用

    N個(線程數可以指定,默認是4)dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啓讀一致的事物

    dump non-InnoDB tables, 首先導出非事物引擎的表

    主線程 UNLOCK TABLES 非事物引擎備份完後,釋放全局只讀鎖

    dump InnoDB tables, 基於事物導出InnoDB表

    事物結束

2.備份所生成的文件

    所有的備份文件在一個目錄中,目錄可以自己指定

    目錄中包含一個metadata文件

記錄了備份數據庫在備份時間點的二進制日誌文件名,日誌的寫入位置,

如果是在從庫進行備份,還會記錄備份時同步至從庫的二進制日誌文件及寫入位置

3.每個表有兩個備份文件:

database.table-schema.sql 表結構文件

database.table.sql 表數據文件

如果對錶文件分片,將生成多個備份數據文件,可以指定行數或指定大小分片

mydumper參數詳解

###############################################


-B, --database              要備份的數據庫,不指定則備份所有庫

-T, --tables-list           需要備份的表,名字用逗號隔開

-o, --outputdir             備份文件輸出的目錄

-s, --statement-size        生成的insert語句的字節數,默認1000000

-r, --rows                  將表按行分塊時,指定的塊行數,指定這個選項會關閉 --chunk-filesize

-F, --chunk-filesize        將表按大小分塊時,指定的塊大小,單位是 MB

-c, --compress              壓縮輸出文件

-e, --build-empty-files     如果表數據是空,還是產生一個空文件(默認無數據則只有表結構文件)

-x, --regex                 是同正則表達式匹配 'db.table'

-i, --ignore-engines        忽略的存儲引擎,用逗號分割

-m, --no-schemas            不備份表結構

-k, --no-locks              不使用臨時共享只讀鎖,使用這個選項會造成數據不一致

--less-locking              減少對InnoDB表的鎖施加時間(這種模式的機制下文詳解)

-l, --long-query-guard      設定阻塞備份的長查詢超時時間,單位是秒,默認是60秒(超時後默認mydumper將會退出)

--kill-long-queries         殺掉長查詢 (不退出)

-b, --binlogs               導出binlog

-D, --daemon                啓用守護進程模式,守護進程模式以某個間隔不間斷對數據庫進行備份

-I, --snapshot-interval     dump快照間隔時間,默認60s,需要在daemon模式下

-L, --logfile               使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出

--tz-utc                    跨時區是使用的選項,不解釋了

--skip-tz-utc               同上

--use-savepoints            使用savepoints來減少採集metadata所造成的鎖時間,需要 SUPER 權限

--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist

-h, --host                  連接的主機名

-u, --user                  備份所使用的用戶

-p, --password              密碼

-P, --port                  端口

-S, --socket                使用socket通信時的socket文件

-t, --threads               開啓的備份線程數,默認是4

-C, --compress-protocol     壓縮與mysql通信的數據

-V, --version               顯示版本號

-v, --verbose               輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲 2


#################################################################

myloader參數詳解

-d, --directory                   備份文件的目錄

-q, --queries-per-transaction     每次事物執行的查詢數量,默認是1000

-o, --overwrite-tables            如果要恢復的表存在,則先drop掉該表,使用該參數,需要備份時候要備份表結構

-B, --database                    需要還原的數據庫

-e, --enable-binlog               啓用還原數據的二進制日誌

-h, --host                        主機

-u, --user                        還原的用戶

-p, --password                    密碼

-P, --port                        端口

-S, --socket                      socket文件

-t, --threads                     還原所使用的線程數,默認是4

-C, --compress-protocol           壓縮協議

-V, --version                     顯示版本

-v, --verbose                     輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認爲2


使用案例

    導出test1庫下面的table1和table2表結構和數據

    mydumper  -h 10.1.1.1 -uroot -proot -B test1 -T table1,table2  -t 8 -r 100000 -c --less-locking  -v 3 -D -L /var/log/mydumper.log   -o /tmp/test_table1_table2/

    若只導出數據增加-m參數

    將導出的數據導入到10.1.1.2服務器的test2庫中

    myloader -h 10.1.1.2 -uroot -proot  -B test2 -e -t 8  -d /tmp/test_table1_table2/ --overwrite-tables -v 3

註釋:後臺記錄導出導入的時間

輸入screen命令

然後(time myloader   -h 10.1.1.2 -u user  -p 'ap' -B mnew_gz -e -t 8  -d /tmp/m_members/ --overwrite-tables -v 3) 2>/tmp/im.log

最後Ctrl+A+D

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章