MySQL 5.7 mysqlpump 備份工具說明

背景:

MySQL5.7之後多了一個備份工具:mysqlpump。它是mysqldump的一個衍生,mysqldump就不多說明了,現在看看mysqlpump到底有了哪些提升,可以查看官方文檔,這裏針對如何使用做下說明。

mysqlpump和mysqldump一樣,屬於邏輯備份,備份以SQL形式的文本保存。邏輯備份相對物理備份的好處是不關心undo log的大小,直接備份數據即可。它最主要的特點是:

  • 並行備份數據庫和數據庫中的對象的,加快備份過程。

  • 更好的控制數據庫和數據庫對象(表,存儲過程,用戶帳戶)的備份。

  • 備份用戶賬號作爲帳戶管理語句(CREATE USER,GRANT),而不是直接插入到MySQL的系統數據庫。

  • 備份出來直接生成壓縮後的備份文件。

  • 備份進度指示(估計值)。

  • 重新加載(還原)備份文件,先建表後插入數據最後建立索引,減少了索引維護開銷,加快了還原速度。

  • 備份可以排除或則指定數據庫。


參數:絕大部分參數和mysqldump一致,順便複習一下。對於mysqlpump參數會用背景色    標記出來。

1:--add-drop-database:在建立庫之前先執行刪庫操作。

DROP DATABASE IF EXISTS `...`;

2:--add-drop-table:在建表之前先執行刪表操作。

DROP TABLE IF EXISTS `...`.`...`;

3:--add-drop-user:在CREATE USER語句之前增加DROP USER,注意:這個參數需要和--users一起使用,否者不生效。

DROP USER 'backup'@'192.168.123.%';

4:--add-locks:備份表時,使用LOCK TABLES和UNLOCK TABLES。注意:這個參數不支持並行備份,需要關閉並行備份功能:--default-parallelism=0 

LOCK TABLES `...`.`...` WRITE;
...
UNLOCK TABLES;

5:--all-databases:備份所有庫,-A。

6:--bind-address:指定通過哪個網絡接口來連接Mysql服務器(一臺服務器可能有多個IP),防止同一個網卡出去影響業務。

7:--complete-insert:dump出包含所有列的完整insert語句。

8:--compress: 壓縮客戶端和服務器傳輸的所有的數據,-C。

9:--compress-output:默認不壓縮輸出,目前可以使用的壓縮算法有LZ4和ZLIB。

shell> mysqlpump --compress-output=LZ4 > dump.lz4
shell> lz4_decompress dump.lz4 dump.txt

shell> mysqlpump --compress-output=ZLIB > dump.zlib
shell> zlib_decompress dump.zlib dump.txt

10:--databases:手動指定要備份的庫,支持多個數據庫,用空格分隔,-B。

11:--default-character-set:指定備份的字符集。

12:--default-parallelism:指定並行線程數,默認是2,如果設置成0,表示不使用並行備份。注意:每個線程的備份步驟是:先create table但不建立二級索引(主鍵會在create table時候建立),再寫入數據,最後建立二級索引。

13:--defer-table-indexes:延遲創建索引,直到所有數據都加載完之後,再創建索引,默認開啓。若關閉則會和mysqldump一樣:先創建一個表和所有索引,再導入數據,因爲在加載還原數據的時候要維護二級索引的開銷,導致效率比較低。關閉使用參數:--skip--defer-table-indexes

14:--events:備份數據庫的事件,默認開啓,關閉使用--skip-events參數。

15:--exclude-databases:備份排除該參數指定的數據庫,多個用逗號分隔。類似的還有--exclude-events--exclude-routines--exclude-tables--exclude-triggers--exclude-users

mysqlpump --exclude-databases=mysql,sys    #備份過濾mysql和sys數據庫mysqlpump --exclude-tables=rr,tt   #備份過濾所有數據庫中rr、tt表mysqlpump -B test --exclude-tables=tmp_ifulltext,tt #備份過濾test庫中的rr、tt表...

注意:要是隻備份數據庫的賬號,需要添加參數--users,並且需要過濾掉所有的數據庫,如:

mysqlpump --users --exclude-databases=sys,mysql,db1,db2 --exclude-users=dba,backup  #備份除dba和backup的所有賬號。

16:--include-databases:指定備份數據庫,多個用逗號分隔,類似的還有--include-events--include-routines--include-tables--include-triggers--include-users,大致方法使用同15。

17:--insert-ignore:備份用insert ignore語句代替insert語句。

18:--log-error-file:備份出現的warnings和erros信息輸出到一個指定的文件。

19:--max-allowed-packet:備份時用於client/server直接通信的最大buffer包的大小。

20:--net-buffer-length:備份時用於client/server通信的初始buffer大小,當創建多行插入語句的時候,mysqlpump 創建行到N個字節長。

21:--no-create-db:備份不寫CREATE DATABASE語句。要是備份多個庫,需要使用參數-B,而使用-B的時候會出現create database語句,該參數可以屏蔽create database 語句。

22:--no-create-info:備份不寫建表語句,即不備份表結構,只備份數據,-t。

23:--hex-blob: 備份binary字段的時候使用十六進制計數法,受影響的字段類型有BINARY、VARBINARY、BLOB、BIT。

24:--host :備份指定的數據庫地址,-h。

25:--parallel-schemas=[N:]db_list:指定並行備份的庫,多個庫用逗號分隔,如果指定了N,將使用N個線程的地隊列,如果N不指定,將由 --default-parallelism才確認N的值,可以設置多個--parallel-schemas

mysqlpump --parallel-schemas=4:vs,aa --parallel-schemas=3:pt   #4個線程備份vs和aa,3個線程備份pt。通過show processlist 可以看到有7個線程。mysqlpump --parallel-schemas=vs,abc --parallel-schemas=pt  #默認2個線程,即2個線程備份vs和abc,2個線程備份pt

####當然要是硬盤IO不允許的話,可以少開幾個線程和數據庫進行並行備份

26:--password:備份需要的密碼。

27:--port :備份數據庫的端口。

28:--protocol={TCP|SOCKET|PIPE|MEMORY}:指定連接服務器的協議。

29:--replace:備份出來replace into語句。

30:--routines:備份出來包含存儲過程和函數,默認開啓,需要對 mysql.proc表有查看權限。生成的文件中會包含CREATE PROCEDURE 和 CREATE FUNCTION語句以用於恢復,關閉則需要用--skip-routines參數。

31:--triggers:備份出來包含觸發器,默認開啓,使用--skip-triggers來關閉。

31:--set-charset:備份文件裏寫SET NAMES default_character_set 到輸出,此參默認開啓。 -- skip-set-charset禁用此參數,不會在備份文件裏面寫出set names...

32:--single-transaction:該參數在事務隔離級別設置成Repeatable Read,並在dump之前發送start transaction 語句給服務端。這在使用innodb時很有用,因爲在發出start transaction時,保證了在不阻塞任何應用下的一致性狀態。對myisam和memory等非事務表,還是會改變狀態的,當使用此參的時候要確保沒有其他連接在使用ALTER TABLE、CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE等語句,否則會出現不正確的內容或則失敗。--add-locks和此參互斥,在mysql5.7.11之前,--default-parallelism大於1的時候和此參也互斥,必須使用--default-parallelism=0。5.7.11之後解決了--single-transaction和--default-parallelism的互斥問題。

33:--skip-definer:忽略那些創建視圖和存儲過程用到的 DEFINER 和 SQL SECURITY 語句,恢復的時候,會使用默認值,否則會在還原的時候看到沒有DEFINER定義時的賬號而報錯。

34:--skip-dump-rows:只備份表結構,不備份數據,-d。注意:mysqldump支持--no-data,mysqlpump不支持--no-data

35:--socket:對於連接到localhost,Unix使用套接字文件,在Windows上是命名管道的名稱使用,-S。

36:--ssl:--ssl參數將要被去除,用--ssl-mode取代。關於ssl相關的備份,請看官方文檔

37:--tz-utc:備份時會在備份文件的最前幾行添加SET TIME_ZONE='+00:00'。注意:如果還原的服務器不在同一個時區並且還原表中的列有timestamp字段,會導致還原出來的結果不一致。默認開啓該參數,用 --skip-tz-utc來關閉參數。

38:--user:備份時候的用戶名,-u。

39:--users:備份數據庫用戶,備份的形式是CREATE USER...,GRANT...,只備份數據庫賬號可以通過如下命令:

mysqlpump --exclude-databases=% --users    #過濾掉所有數據庫

40:--watch-progress:定期顯示進度的完成,包括總數表、行和其他對象。該參數默認開啓,用--skip-watch-progress來關閉。


使用說明:

mysqlpump的架構如下圖所示

MySQL 5.7 mysqlpump 備份工具說明


mysqlpump支持基於庫和表的並行導出,mysqlpump的並行導出功能的架構爲:隊列+線程,允許有多個隊列(--parallel-schemas),每個隊列下有多個線程(N?),而一個隊列可以綁定1個或者多個數據庫(逗號分隔)。mysqlpump的備份是基於表並行的,對於每張表的導出只能是單個線程的,這裏會有個限制是如果某個數據庫有一張表非常大,可能大部分的時間都是消耗在這個表的備份上面,並行備份的效果可能就不明顯。這裏可以利用mydumper其是以chunk的方式批量導出,即mydumper支持一張表多個線程以chunk的方式批量導出。但是相對於mysqldump還是有了很大的提升。這裏大致測試下mysqlpump和mysqldump的備份效率。 

#mysqlpump壓縮備份vs數據庫 三個併發線程備份,消耗時間:222smysqlpump -uzjy -p -h192.168.123.70 --single-transaction --default-character-set=utf8 --compress-output=LZ4 --default-parallelism=3 -B vs > /home/zhoujy/vs_db.sql.lz4#mysqldump備份壓縮vs數據庫 單個線程備份,消耗時間:900s,gzip的壓縮率比LZ4的高
mysqldump -uzjy -p -h192.168.123.70 --default-character-set=utf8 -P3306 --skip-opt --add-drop-table --create-options  --quick --extended-insert --single-transaction -B vs | gzip > /home/zhoujy/vs.sql.gz#mydumper備份vs數據庫 三個併發線程備份,消耗時間:300s,gzip的壓縮率比LZ4的高
mydumper -u zjy -p  -h 192.168.123.70 -P 3306 -t 3 -c -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/#mydumper備份vs數據庫,五個併發線程備份,並且開啓對一張表多個線程以chunk的方式批量導出,-r。消耗時間:180smydumper -u zjy -p  -h 192.168.123.70 -P 3306 -t 5 -c -r 300000 -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/

 

從上面看出,mysqlpump的備份效率是最快的,mydumper次之,mysqldump最差。所以在IO允許的情況下,能用多線程就別用單線程備份。並且mysqlpump還支持多數據庫的並行備份,而mydumper要麼備份一個庫,要麼就備份所有庫。姜大神的Oracle官方並行邏輯備份工具mysqlpump這篇文章的測試結果也說明了mysqlpump比mysqldump的測試好。由於實際情況不同,測試給出的速度提升只是參考。到底開啓多少個並行備份的線程,這個看磁盤IO的承受能力,若該服務器只進行備份任務,可以最大限制的來利用磁盤。


總結:

mysqldump和mysqlpump的使用方法絕大部分一致,mysqlpump新的參數文章上已經標明,到底用那種工具備份數據庫這個要在具體的環境下才能做出選擇,有些時候可能用物理備份更好(xtrabackup),總之根據需要進行測試,最後再決定使用哪種備份工具進行備份。


參考文檔:

mysqlpump官方文檔

Oracle官方並行邏輯備份工具mysqlpump



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章