MySQL 命令行工具之 mysqldump 深入研究

原文鏈接:

http://www.cnblogs.com/digdeep/p/4898622.html

http://www.cnblogs.com/digdeep/p/4906032.html


mysqldump 是MySQL的一個命令行工具,用於邏輯備份。可以將數據庫和表的結構,以及表中的數據分別導出成:create database, create table, insert into的sql語句。當然也可以導出 存儲過程,觸發器,函數,調度事件(events)。不管是程序員,還是DBA都會經常使用的一個工具。

1. mysqldump --help

mysqldump 的選項很多,我們看一下他的幫助文檔:

 mysqldump --help

總體看來,幫助文檔分成了兩個部分。前一個部分是對各種選項的說明,後一個部分是mysqldump的各種選項的默認值。

mysqldump擁有超多的選項,這樣說明它很靈活,功能強大。爲了好理解,可以將他的衆多的選項和參數,根據他們的功能分爲幾個類別來介紹。

在此之前,我們還要搞清楚mysqldump的所有的默認選項的值,它們的含義。

2. mysqldump 默認選項:

 mysqldump

這些默認值,有的是 false, 有的是 true,有的沒有默認值。

我們要關注的是 默認爲 true,也就是 mysqldump 默認給我打開的選擇,它們的具體含義如下

複製代碼
add-drop-table                    TRUE 表示在生成表結構語句之前,生對應的 DROP TABLE IF EXISTS `table_name`; 語句
add-locks                         TRUE 表示在生表中數據的 insert into `table_name` values(...) 之前生成 LOCK TABLES `tab` WRITE;語句
comments                          TRUE 表示生成備註,就是所有 -- 開頭的說明,比如:-- Dumping data for  for table `tab`. 最好還是啓用;
create-options                    TRUE 表示在生表結構時會生成:ENGINE=InnoDB AUTO_INCREMENT=827 DEFAULT CHARSET=utf8; 附加建表選項
default-character-set             utf8 指定語句:/*!40101 SET NAMES utf8 */;中的字符集;可能你需要改成 --default-character-set=utf8mb4
disable-keys                      TRUE 表示生產 insert 語句之前,生成:/*!40000 ALTER TABLE `tbl` DISABLE KEYS */; 可以加快insert速度;
extended-insert                   TRUE 表示生產的insert是insert into `tbl` values(...),(...),數據行按照net-buffer-length分割合併成多個batch insert
lock-tables                       TRUE 表示在導出的過程中會鎖定所有表;
max-allowed-packet                25165824 最大支持 24M 的數據包;
net-buffer-length                 1046528  1M大小的socket buffer
quick                             TRUE 表示在導出語句時,不緩存,直接輸出到控制檯或者文件中;
quote-names                       TRUE 表示對錶名和列名使用 `` 符號包裹;防止它們是關鍵字時會出錯;
set-charset                       TRUE default-character-set=utf8指定字符集,而--set-charset=1/0 表示是否生成/*!40101 SET NAMES utf8 */; 
dump-date                         TRUE 表示是否在導出文件的末尾生成導出時間:-- Dump completed on 2015-09-15 11:15:10 
secure-auth                       TRUE 表示登錄判斷密碼時使用新的加密算法,拒絕就的加密算法
triggers                          TRUE 表示生觸發器腳本;
tz-utc                            TRUE 表示是否生成:/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */; /*!40103 SET TIME_ZONE='+00:00' */;
複製代碼

如果要關閉這些打開的默認選項時,需要明確指定:mysqldump -uxxx -p aazj --extended-insert=0 Users > Users.sql; =0 表示關閉選項。

上面這些默認選項,最好結合一個例子來理解:

 mysqldump

2. mysqldump 登錄服務器的相關選項

Default options are read from the following files in the given order:

/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf


The following groups are read: mysqldump client
The following options may be given as the first argument:
--no-defaults           Don't read default options from any option file, except for login file.
--defaults-file=#       Only read default options from the given file #.
--defaults-extra-file=# Read this file after the global files are read.
--defaults-group-suffix=# Also read groups with concat(group, suffix)
--login-path=#          Read this path from the login file.

1)mysqldump 作爲一個客戶端工具,它會去上訴目錄中尋找 my.cnf 文件,然後讀取該文件中 [mysqldump] 和 [client] 下面的選項

2)那些 defaults 相關的選項都是爲了另外指定 配置文件和登錄文件,極少使用;

  -u, --user=name     User for login if not current user.

  -p, --password[=name] Password to use when connecting to server. If password is not given it's solicited on the tty.

  -h, --host=name     Connect to host.

  -P, --port=#        Port number to use for connection.
  --protocol=name     The protocol to use for connection (tcp, socket, pipe, memory).

  --max-allowed-packet=#  The maximum packet length to send to or receive from server.
  --net-buffer-length=#      The buffer size for TCP/IP and socket communication.

3)這幾個選項指定 登錄的用戶名,密碼,mysqld IP地址,端口,連接使用的協議等等。

    一般常用的是 -h192.168.2.xx -uxxx -p ,如果mysqld默認端口不是3306,則需要使用 -Pxxx 指定端口.

    --max-allowed-packet 我們一般配置在my.cnf中。--net-buffer-length 是爲了優化網絡連接的socket buffer.

使用示例: mysqldump -h192.168.1.20 -uxxx -p -P3057

3. mysqldump 選擇備份內容的相關選項

我們可以選擇備份所有數據庫,某幾個數據庫,某一個數據庫,某一個數據庫中的某幾個表,某一個數據庫中的一個表;

可以選擇是否備份 存儲過程和函數,觸發器,調度事件.

1)選擇導出的數據庫 和 表:

-A, --all-databases Dump all the databases. This will be same as --databases with all databases selected.

-B, --databases     Dump several databases. Note the difference in usage; in this case no tables are given. All name arguments are

                            regarded as database names. 'USE db_name;' will be included in the output.

database [tables]   導出數據庫 database 中的表結構 和 表中數據;

2)選擇是否導出 建庫,建表語句,是否導出 表中的數據:

-n, --no-create-db  Suppress the CREATE DATABASE ... IF NOT EXISTS statement that normally is output for each dumped database if 

                             --all-databases or --databases is given. (不導出建庫語句: CREATE DATABASE,也就是不導庫結構)

-t, --no-create-info Don't write table creation info. (不導出建表語句)

-d, --no-data         No row information. (不導出數據,有時我們僅僅需要導出表結構,也就是建表語句就行了)

3)選擇是否導出 存儲過程和函數,觸發器,調度事件:

-R, --routines      Dump stored routines (functions and procedures). (導出存儲過程和函數)

--triggers            Dump triggers for each dumped table. (Defaults to on; use --skip-triggers to disable.) (導出觸發器)

--skip-triggers     不導出觸發器

-E, --events        Dump events. 導出調度事件(根據備份的目的進行選擇,如果是搭建slave,那麼就不要導出events.)

4)指定不導出 某個庫的某個表:

--ignore-table=name   Do not dump the specified table. To specify more than one table to ignore, use the directive multiple times,

                                 once for each table.  Each table must be specified with both database and table names,

                                 e.g.,  --ignore-table=database.table. (在導出數據庫時,排除某個或者某幾個表不導出)

5) 按照 where 條件導出:

   -w, --where='where_condition' Dump only selected records. Quotes are mandatory.

6)使用示例:

Dumping structure and contents of MySQL databases and tables.
Usage: mysqldump [OPTIONS] database [tables]
OR       mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
OR       mysqldump [OPTIONS] --all-databases [OPTIONS]

1> 導出單表的結構和數據:mysqldump -uxxx -p db1 tb1 > tb1.sql; 導出數據庫 db1 中的 表 tb1 的表結構 和 表中數據;

2> 導出多表的結構和數據:mysqldump -uxxx -p db1 tb1 tb2 > tb1_tb2.sql; 導出數據庫 db1 中的 表 tb1、tb2 的表結構 和 表中數據;

3> 導出單表的結構:mysqldump -uxxx -p --no-data db1 tb1 > tb1.sql; 導出數據庫 db1 中的 表 tb1 的表結構; 其實也可以使用: show create table tb1

4> 我們無法使用 mysqldump 到達 只導出某個或某幾個表的數據,而不導出建表語句的目的。

     但是我們可以使用 select * from table into outfile 'file.sql', 比如:select * from Users into outfile '/tmp/Users.sql'; 注意需要對目錄的寫權限。

5> 導出單個庫中庫結構、表結構、表數據:mysqldump -uxxx -p --databases db1 > db1.sql

6> 導出多個庫中庫結構、表結構、表數據:mysqldump -uxxx -p --databases db1 db2 > db1_db2.sql

7> 導出單個庫中庫結構、表結構、不要表數據:mysqldump -uxxx -p --no-data --databases db1 > db1.sql

8> 導出單個庫中數據,不要庫結構和表結構:mysqldump -uxxx -p --no-create-db --no-create-info --databases db1 > db1.sql

9> 導出多個庫中庫結構、表結構、不要表數據:mysqldump -uxxx -p --no-data --databases db1 db2 > db1_db2.sql

10> 導出數據庫中所有 庫 的庫結構,表結構,數據:mysqldump -uxxx -p --all-databases > all.sql

11> 導出數據庫中所有 庫 的庫結構,表結構,不要數據:mysqldump -uxxx -p --all-databases --no-data > all.sql

12> 導出單個庫中庫結構、表結構、表數據,排除某個表:mysqldump -uxxx -p --databases db1 --ignore-table=db1.test > db1.sql

4. mysqldump 事務 和 數據一致性(鎖) 的相關選項

在使用mysqldump邏輯備份時,事務和數據一致性的選項時至關重要的。

1) --single-transaction 
      Creates a consistent snapshot by dumping all tables in a single transactionWorks ONLY for tables stored in storage engines which

      support multiversioning (currently only InnoDB does); the dump is NOT guaranteed to be consistent for other storage engines.

      While a --single-transaction dump is in process, to ensure a valid dump file (correct table contents and binary log position), no other

      connection should use the following statements: ALTER TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, as consistent

      snapshot is not isolated from them. Option automatically turns off --lock-tables.

     --single-transaction 可以得到一致性的導出結果。他是通過將導出行爲放入一個事務中達到目的的。

     它有一些要求:只能是 innodb 引擎;導出的過程中,不能有任何人執行 alter table, drop table, rename table, truncate table等DDL語句

     實際上DDL會被事務所阻塞,因爲事務持有表的metadata lock 的共享鎖,而DDL會申請metadata lock的互斥鎖,所以阻塞了。

     --single-transaction 會自動關閉 --lock-tables 選項;上面我們說到mysqldump默認會打開了--lock-tables,它會在導出過程中鎖定所有表。

    因爲 --single-transaction 會自動關閉--lock-tables,所以單獨使用--single-transaction是不會使用鎖的。與 --master-data 合用纔有鎖。

2)--lock-tables

     該選項默認打開的,上面已經說到了。它的作用是在導出過程中鎖定所有表。--single-transaction 和 --lock-all-tables 都會將該選項關閉。

3)--lock-all-tables 
       Locks all tables across all databases. This is achieved by taking a global read lock for the duration of the whole dump.
       Automatically turns --single-transaction and --lock-tables off. 啓用該選項,會自動關閉 --single-transaction 和 --lock-tables.

上面三個選項中,只有 --lock-tables 默認是打開的;打開 --single-transaction 或者 打開 --lock-all-tables 都將關閉 --lock-tables. 而--lock-all-tables會自動關閉 --single-transaction 和 --lock-tables。所以三者是互斥的。我們應該一次只啓用其中一個選項。

4)--flush-logs   

        Flush logs file in server before starting dump. Note that if you dump many databases at once (using the option --databases= or

        --all-databases), the logs will be flushed for each database dumped. The exception is when using --lock-all-tables or

        --master-data: in this case the logs will be flushed only once, corresponding to the moment all tables are locked. So if you want your

       dump and the log flush to happen at the same exact moment you should use --lock-all-tables or --master-data with --flush-logs.

       爲了獲得導出數據和刷新日誌的一致性(同時發生),必須將 --flush-logs 選項和 --lock-all-tables 或者 --master-data 一起使用:

       mysqldump --flush-logs --lock-all-tables;  mysqldump --flush-logs --master-data=2 ;

5)--flush-privileges 

      Emit a FLUSH PRIVILEGES statement after dumping the mysql database.  This option should be used any time the dump contains the

      mysql database and any other database that depends on the data in the mysql database for proper restore.

      如何導出包含了mysql數據,就應該啓用該選項。該選項會在導出的 mysql 數據庫的後面加上 flush privileges 語句,因爲在向mysql數據庫inert了語句

      之後,必須使用 flush privileges,不然權限不生效。下面是例子:

6)  --master-data[=#]  

       This causes the binary log position and filename to be appended to the output. If equal to 1, will print it as a CHANGE MASTER

       command; if equal to 2, that command will be prefixed with a comment symbol. This option will turn --lock-all-tables on, unless

       --single-transaction is specified too (in which case a global read lock is only taken a short time at the beginning of the dump; don't
       forget to read about --single-transaction below). In all cases, any action on logs will happen at the exact moment of the dump.

       Option automatically turns --lock-tables off.

所以爲了獲得一致性的備份數據和在備份是同時刷新binary日誌,我們應該如下結合使用這些選項(完美組合):

mysqldump -uxxx -pxxx --single-transaction --master-data=2 --flush-logs --routines --databases db1 > db1.sql;

(其中 --flush-logs 不是必須的; 搭建slave時,不要導出events,但是需要導出rountines.)

其中被 --master-data 打開的 --lock-all-tables 選項,又被 --single-transaction 關閉掉了--flush-logs 藉助於 --master-data 可以達到即使一次導出多個數據庫時,其 flush 的二進制日誌也是在同一個時間點的,不是每一個數據庫flush一次的。並且這個時間點 和 --master-data 記錄的 binary log position 和 binary log file是同一個時間點,這些都是利用了 --single-transaction 和 --master-data 合用時短暫的使用一個全局的讀鎖來達到目的的

5. mysqldump 複製 的相關選項

1)  --master-data[=#]  

       This causes the binary log position and filename to be appended to the output. If equal to 1, will print it as a CHANGE MASTER

       command; if equal to 2, that command will be prefixed with a comment symbol. This option will turn --lock-all-tables on, unless

       --single-transaction is specified too (in which case a global read lock is only taken a short time at the beginning of the dump;

       don't forget to read about --single-transaction below). In all cases, any action on logs will happen at the exact moment of the dump.

       Option automatically turns --lock-tables off.

       該選項,上面已經介紹了。--master-data=1 表示會導出 change master to 語句,--master-data=2 該語句放在註釋中,默認是爲 0 。

       一般會和 --single-transaction一起使用,用於搭建master-slave環境。

下面是 --master-data=1 和 --master-data=2 的比較:

在導出文件的前30行左右可以看到 change master to 語句。可以使用 head -n 30 db1.sql 查看

2)  --dump-slave[=#]   

      This causes the binary log position and filename of the master to be appended to the dumped data output. Setting the value to 1, will

      printit as a CHANGE MASTER command in the dumped data output; if equal to 2, that command will be prefixed with a comment

      symbol. This option will turn --lock-all-tables on, unless --single-transaction is specified too (in which case a global read lock is only

      taken a short time at the beginning of the dump - don't forget to read about --single-transaction below). In all cases any action on

      logs will happen at the exact moment of the dump.Option automatically turns --lock-tables off.

      --dump-slave 和 --master-data 幾乎一樣。區別只是--dump-slave用於slave建立下一級的slave;而 --master-data用於master建立slave;

      如果在 master 上使用 --dump-slave 會報錯:mysqldump: Couldn't execute 'START SLAVE': The server is not configured as slave;

3) --apply-slave-statements 
       Adds 'STOP SLAVE' prior to 'CHANGE MASTER' and 'START SLAVE' to bottom of dump.

       在 change master 導出 stop slave 語句, 在 change master 之後導出 start slave語句。其實是一個自動化的處理。和 --master-data=1 類似。

如下圖所示:開頭有 stop slave, 結尾有 start slave語句:

4)--include-master-host-port 
      Adds 'MASTER_HOST=<host>, MASTER_PORT=<port>' to 'CHANGE MASTER TO..' in dump produced with --dump-slave.

      該選擇要結合 --dump-slave=1/2 使用。會在導出中加入 host。

5)--include-master-host-port 
     Adds 'MASTER_HOST=<host>, MASTER_PORT=<port>' to 'CHANGE MASTER TO..' in dump produced with --dump-slave.

     該選擇要結合 --dump-slave=1/2 使用。會在導出中加入mysql的 port。

6)--delete-master-logs 
     Delete logs on master after backup. This automatically enables --master-data.

     在備份之後,刪除 master上的binary log。該選項會自動打開 --master-data 選項(等於2)。該選項一般不用。日誌一般不能隨便刪除。

7)--set-gtid-purged[=name] 
     Add 'SET @@GLOBAL.GTID_PURGED' to the output. Possible values for this option are ON, OFF and AUTO. If ON is used and GTIDs

     are not enabled on the server, an error is generated. If OFF is used, this option does nothing. If AUTO is used and GTIDs are enabled

     on the server, 'SET @@GLOBAL.GTID_PURGED' is added to the output. If GTIDs are disabled, AUTO does nothing. If no value is

     supplied then the default (AUTO) value will be considered.

     該選項用於啓用了GTID特性的環境。

6. mysqldump 字符集 的相關選項

1)--set-charset      

     Add 'SET NAMES default_character_set' to the output.  (Defaults to on; use --skip-set-charset to disable.)

    --set-charset=1/0 開啓和關閉。也可以使用 --skip-set-charset 關閉。

   該選項我們上面已經說到了。表示是否生成 /*!40101 SET NAMES utf8 */;

2)-N, --no-set-names 

     Same as --skip-set-charset. 關閉 --set-charset. 不生成 /*!40101 SET NAMES utf8 */; 語句。

3)--default-character-set=name 
     Set the default character set.

     該選項上面也涉及到了。指定語句:/*!40101 SET NAMES utf8 */;中的字符集;可能你需要改成 --default-character-set=utf8mb4

7. mysqldump 控制是否生成 DDL 語句 的相關選項

  --add-drop-database  Add a DROP DATABASE before each create.
  --add-drop-table        Add a DROP TABLE before each create.  (Defaults to on; use --skip-add-drop-table to disable.)
  --add-drop-trigger      Add a DROP TRIGGER before each create.

  --no-create-db,-n 

  --no-create-info,-t

8. mysqldump 導出格式 的相關選項

1)--compatible=name  

     Change the dump to be compatible with a given mode. By default tables are dumped in a format optimized for MySQL.

     Legal modes are: ansi, mysql323, mysql40, postgresql, oracle, mssql, db2, maxdb, no_key_options, no_table_options,

     no_field_options. One can use several modes separated by commas. Note: Requires MySQL server version 4.1.0 or higher.

     This option is ignored with earlier server versions.

     導出sql語句的兼容格式。如果我們需要從MySQL導出,然後導入到其它數據庫,則可使用該選項。--compatible=oracle/postgresql/mssql

2)-Q, --quote-names  

     Quote table and column names with backticks (`). (Defaults to on; use --skip-quote-names to disable.)

     將表名和列名使用 ``包裹。以防他們是關鍵字時報錯。

9. mysqldump 錯誤處理的相關選項

1)-f, --force              Continue even if we get an SQL error.

2)--log-error=name    Append warnings and errors to given file.

10. mysqldump 實現原理

爲了探求 mysqldump 的備份是如何實現的,我們需要在 my.cnf 中的[mysqld] 參數段加入:

general_log=on
general_log_file=general.log

這樣我們就可以通過觀察 general.log 的輸出,來了解 mysqldump 的備份是如何實現的。

1)--lock-tables 是如何實現的:

先執行:mysqldump -uroot -p --databases gs --lock-tables > gs_l.sql, 然後查看 general.log:

複製代碼
                    3 Init DB   gs
                    3 Query     SHOW CREATE DATABASE IF NOT EXISTS `gs`
                    3 Query     show tables
                    3 Query     LOCK TABLES `tb1` READ /*!32311 LOCAL */,`user` READ /*!32311 LOCAL */
                    3 Query     show table status like 'tb1'
                    3 Query     SET SQL_QUOTE_SHOW_CREATE=1
                    3 Query     SET SESSION character_set_results = 'binary'
                    3 Query     show create table `tb1`
                    3 Query     SET SESSION character_set_results = 'utf8'
                    3 Query     show fields from `tb1`
                    3 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1`
                    3 Query     SET SESSION character_set_results = 'binary'
                    3 Query     use `gs`
                    3 Query     select @@collation_database
                    3 Query     SHOW TRIGGERS LIKE 'tb1'
                    3 Query     SET SESSION character_set_results = 'utf8'
                    3 Query     show table status like 'user'
                    3 Query     SET SQL_QUOTE_SHOW_CREATE=1
                    3 Query     SET SESSION character_set_results = 'binary'
                    3 Query     show create table `user`
                    3 Query     SET SESSION character_set_results = 'utf8'
                    3 Query     show fields from `user`
                    3 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `user`
                    3 Query     SET SESSION character_set_results = 'binary'
                    3 Query     use `gs`
                    3 Query     select @@collation_database
                    3 Query     SHOW TRIGGERS LIKE 'user'
                    3 Query     SET SESSION character_set_results = 'utf8'
                    3 Query     UNLOCK TABLES
                    3 Quit
複製代碼

1> 第一步: SHOW CREATE DATABASE IF NOT EXISTS `gs`; 導出了建庫語句;

2> 第二步:show tables; 獲得數據庫中所有表名,然後鎖住:LOCK TABLES `tb1` READ /*!32311 LOCAL */,`user` READ /*!32311 LOCAL */

                使用的是 lock table tb1 read local, tb2 read local, tb3 read local; 語句

3> 第三步:show create table 'tb1'; 導出了 tb1 的建表語句;

4> 第四步:show fields from `tb1`; SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1`; 導出了表中的數據;

......

5> 最後導出了 trigger, 最後的最後 unlock tables; 結束。

可以看到 --lock-tables 在導出一個數據庫時,會在整個導出過程 lock read local 所有的表。該鎖不會阻止其它session讀和插入

2)--lock-all-tables 的實現:

先執行:mysqldump -uroot -p --databases gs --lock-all-tables > gs_l.sql, 在查看 general.log:

複製代碼
151022 14:34:13     4 Connect   root@localhost on
                    4 Query     /*!40100 SET @@SQL_MODE='' */
                    4 Query     /*!40103 SET TIME_ZONE='+00:00' */
                    4 Query     FLUSH TABLES
                    4 Query     FLUSH TABLES WITH READ LOCK
                    4 Query     SHOW VARIABLES LIKE 'gtid\_mode'
                    ... ...
                    4 Init DB   gs
                    4 Query     SHOW CREATE DATABASE IF NOT EXISTS `gs`
                    4 Query     show tables
                    ... ...4 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1`
                    4 Query     SET SESSION character_set_results = 'binary'
                    4 Query     use `gs`
                    4 Query     select @@collation_database
                    ... ...
                    4 Query     show fields from `user`
                    4 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `user`
                    4 Query     SET SESSION character_set_results = 'binary'
                    4 Query     use `gs`
                    4 Query     select @@collation_database
                    4 Query     SHOW TRIGGERS LIKE 'user'
                    4 Query     SET SESSION character_set_results = 'utf8'
                    4 Quit
複製代碼

它的實現使用了 FLUSH TABLES; FLUSH TABLES WITH READ LOCK; 語句。在最後沒有看到解鎖語句。

它請求發起一個全局的讀鎖,會阻止對所有表的寫入操作,以此來確保數據的一致性。備份完成後,該會話斷開,會自動解鎖。

3)--single-transaction 的實現:

先執行: mysqldump -uroot -p --databases gs --single-transaction > gs_l.sql,在查看 general.log:

複製代碼
151022 14:41:34     5 Connect   root@localhost on
                    5 Query     /*!40100 SET @@SQL_MODE='' */
                    5 Query     /*!40103 SET TIME_ZONE='+00:00' */
                    5 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
                    5 Query     START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */
                    5 Query     SHOW VARIABLES LIKE 'gtid\_mode'
                    5 Query     UNLOCK TABLES
                    ... ...
                    5 Init DB   gs
                    5 Query     SHOW CREATE DATABASE IF NOT EXISTS `gs`
                    5 Query     SAVEPOINT sp
                    ......
                    5 Query     show create table `tb1`
                    ......5 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1`
                   ......
                    5 Query     ROLLBACK TO SAVEPOINT sp
                   ......
                    5 Query     show create table `user`
                    .....5 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `user`
                    ......
                    5 Query     ROLLBACK TO SAVEPOINT sp
                    5 Query     RELEASE SAVEPOINT sp
                    5 Quit
複製代碼

基本過程是:

1> 先改變事務隔離級別:SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ

2> 開始事務:START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */

3> unlock tables;

4> 導出建庫語句; SHOW CREATE DATABASE IF NOT EXISTS `gs`

5> 打開一個 savepoint: SAVEPOINT sp;

6> 導出 表 tb1 的結構和數據;

7> ROLLBACK TO SAVEPOINT sp; 回滾到savepoint;

對其它表重複該過程;

8> 最後 realease savepoint p; 釋放savepoint;

整個過程,沒有任何鎖。RR隔離級別保證在事務中只讀取本事務之前的一致性的數據。 rollback to savepoint sp; 保證了對數據庫中的數據沒有影響。

4)--master-data 的實現:

先執行:mysqldump -uroot -p --databases gs --master-data=1 > gs_l.sql,在查看general.log:

複製代碼
151022 14:57:45     6 Connect   root@localhost on
                    6 Query     /*!40100 SET @@SQL_MODE='' */
                    6 Query     /*!40103 SET TIME_ZONE='+00:00' */
                    6 Query     FLUSH /*!40101 LOCAL */ TABLES
                    6 Query     FLUSH TABLES WITH READ LOCK
                    6 Query     SHOW VARIABLES LIKE 'gtid\_mode'
                    6 Query     SHOW MASTER STATUS
複製代碼

發現了 --lock-all-tables一樣,就多了一句:show master status;

5)--single-transaction 和 --master-data 結合使用:

先執行:mysqldump -uroot -p --databases gs --master-data=1 > gs_l.sql,在查看general.log:

複製代碼
151022 15:00:56     7 Connect   root@localhost on
                    7 Query     /*!40100 SET @@SQL_MODE='' */
                    7 Query     /*!40103 SET TIME_ZONE='+00:00' */
                    7 Query     FLUSH /*!40101 LOCAL */ TABLES
                    7 Query     FLUSH TABLES WITH READ LOCK
                    7 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
                    7 Query     START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */
                    7 Query     SHOW VARIABLES LIKE 'gtid\_mode'
                    7 Query     SHOW MASTER STATUS
                    7 Query     UNLOCK TABLES
                    ......
                    7 Init DB   gs
                    7 Query     SHOW CREATE DATABASE IF NOT EXISTS `gs`
                    7 Query     SAVEPOINT sp
                   
                    7 Query     show create table `tb1`
                    7 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1`
                   
                    7 Query     ROLLBACK TO SAVEPOINT sp
                    
                    7 Query     show create table `user`
                   7 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `user`
                   
                    7 Query     ROLLBACK TO SAVEPOINT sp
                    7 Query     RELEASE SAVEPOINT sp
                    7 Quit
複製代碼

發現 --single-transaction 單獨使用 與 --single-transaction 和 --master-data 結合使用 的區別如下圖:

--single-transaction 和 --master-data 結合使用時,在導出開始,會短暫的持有一個全局的讀鎖,鎖定時:刷新數據到磁盤、設置隔離級別爲RR、開始事務、輸出 binary log 的位置和文件名,然後解鎖。這樣就保證了:show master status 輸出的 binary log 的位置和文件名 和 後面 導出的數據是同一個時間點的(同一個lsn),所以才能使用該備份 和 利用 change master to 構造一個 slave,成功的連接上 master.

可以看到這裏使用了兩次 flush tables:

FLUSH /*! 40101 LOCAL */ TABLES

FLUSH TABLES WITH READ LOCK

其原因是 第一次 flush 是不需要鎖表的,第一次將所有數據刷新到磁盤之後,第二次 FLUSH TABLES WITH READ LOCK 時就會只有很少量的數據需要刷新到磁盤,所以第一次 flush 是爲了儘量的 減少 第二次  fush 持有鎖的時間

11. mysqldump 與 鎖

1)--lock-tables 會在整個導出過程 lock read local 所有的表。該鎖不會阻止其它session讀和插入,但是顯然阻塞了update。

2)--lock-all-tables 它請求發起一個全局的讀鎖,會阻止對所有表的寫入操作(insert,update,delete),以此來確保數據的一致性。備份完成後,該會話斷開,會自動解鎖。

3)--single-transaction 和 --master-data 結合使用時,也是在開始時,會短暫的請求一個全局的讀鎖,會阻止對所有表的寫入操作。

4)--single-transaction 單獨使用,不會有任何鎖。但是測試表明: 它也需要對備份的表持有 metadata lock 的共享鎖

而我們知道,一般的事務,持有的是 行鎖,還有 metadata lock 的共享鎖。所以實際上,mysqldump不論你使用哪些選項,都不會阻塞事務的執行。

因爲它們對鎖的申請,沒有任何排它性。而不像DDL一樣需要持有 metadata lock 上的獨佔鎖(排它鎖)。當然DDL也會阻塞mysqldump。

mysqldump 一定需要表上的 metadata lock 共享鎖。然後,要麼需要所有備份表上的local讀鎖(lock table tb1 read local),要麼需要的是所有備份表上的全局讀鎖(FLUSH TABLES WITH READ LOCK;),要麼短暫持有全局鎖。

 

參考:http://imysql.cn/2008_10_24_deep_into_mysqldump_options

 


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章