原文鏈接:
http://www.cnblogs.com/digdeep/p/4898622.html
http://www.cnblogs.com/digdeep/p/4906032.html
mysqldump 是MySQL的一個命令行工具,用於邏輯備份。可以將數據庫和表的結構,以及表中的數據分別導出成:create database, create table, insert into的sql語句。當然也可以導出 存儲過程,觸發器,函數,調度事件(events)。不管是程序員,還是DBA都會經常使用的一個工具。
1. mysqldump --help
mysqldump 的選項很多,我們看一下他的幫助文檔:
總體看來,幫助文檔分成了兩個部分。前一個部分是對各種選項的說明,後一個部分是mysqldump的各種選項的默認值。
mysqldump擁有超多的選項,這樣說明它很靈活,功能強大。爲了好理解,可以將他的衆多的選項和參數,根據他們的功能分爲幾個類別來介紹。
在此之前,我們還要搞清楚mysqldump的所有的默認選項的值,它們的含義。
2. mysqldump 默認選項:
這些默認值,有的是 false, 有的是 true,有的沒有默認值。
我們要關注的是 默認爲 true,也就是 mysqldump 默認給我打開的選擇,它們的具體含義如下:
add-drop-table TRUE 表示在生成表結構語句之前,生成對應的 DROP TABLE IF EXISTS `table_name`; 語句 add-locks TRUE 表示在生成表中數據的 insert into `table_name` values(...) 之前生成 LOCK TABLES `tab` WRITE;語句 comments TRUE 表示生成備註,就是所有 -- 開頭的說明,比如:-- Dumping data for for table `tab`. 最好還是啓用; create-options TRUE 表示在生成表結構時會生成:ENGINE=InnoDB AUTO_INCREMENT=827 DEFAULT CHARSET=utf8; 附加建表選項 default-character-set utf8 指定語句:/*!40101 SET NAMES utf8 */;中的字符集;可能你需要改成 --default-character-set=utf8mb4 disable-keys TRUE 表示生產 insert 語句之前,生成:/*!40000 ALTER TABLE `tbl` DISABLE KEYS */; 可以加快insert速度; extended-insert TRUE 表示生產的insert是insert into `tbl` values(...),(...),數據行按照net-buffer-length分割合併成多個batch insert lock-tables TRUE 表示在導出的過程中會鎖定所有表; max-allowed-packet 25165824 最大支持 24M 的數據包; net-buffer-length 1046528 1M大小的socket buffer quick TRUE 表示在導出語句時,不緩存,直接輸出到控制檯或者文件中; quote-names TRUE 表示對錶名和列名使用 `` 符號包裹;防止它們是關鍵字時會出錯; set-charset TRUE default-character-set=utf8指定字符集,而--set-charset=1/0 表示是否生成/*!40101 SET NAMES utf8 */; dump-date TRUE 表示是否在導出文件的末尾生成導出時間:-- Dump completed on 2015-09-15 11:15:10 secure-auth TRUE 表示登錄判斷密碼時使用新的加密算法,拒絕就的加密算法 triggers TRUE 表示生成觸發器腳本; tz-utc TRUE 表示是否生成:/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */; /*!40103 SET TIME_ZONE='+00:00' */;
如果要關閉這些打開的默認選項時,需要明確指定:mysqldump -uxxx -p aazj --extended-insert=0 Users > Users.sql; =0 表示關閉選項。
上面這些默認選項,最好結合一個例子來理解:
2. mysqldump 登錄服務器的相關選項
Default options are read from the following files in the given order:
/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf
The following groups are read: mysqldump client
The following options may be given as the first argument:
--no-defaults Don't read default options from any option file, except for login file.
--defaults-file=# Only read default options from the given file #.
--defaults-extra-file=# Read this file after the global files are read.
--defaults-group-suffix=# Also read groups with concat(group, suffix)
--login-path=# Read this path from the login file.
1)mysqldump 作爲一個客戶端工具,它會去上訴目錄中尋找 my.cnf 文件,然後讀取該文件中 [mysqldump] 和 [client] 下面的選項;
2)那些 defaults 相關的選項都是爲了另外指定 配置文件和登錄文件,極少使用;
-u, --user=name User for login if not current user.
-p, --password[=name] Password to use when connecting to server. If password is not given it's solicited on the tty.
-h, --host=name Connect to host.
-P, --port=# Port number to use for connection.
--protocol=name The protocol to use for connection (tcp, socket, pipe, memory).
--max-allowed-packet=# The maximum packet length to send to or receive from server.
--net-buffer-length=# The buffer size for TCP/IP and socket communication.
3)這幾個選項指定 登錄的用戶名,密碼,mysqld IP地址,端口,連接使用的協議等等。
一般常用的是 -h192.168.2.xx -uxxx -p ,如果mysqld默認端口不是3306,則需要使用 -Pxxx 指定端口.
--max-allowed-packet 我們一般配置在my.cnf中。--net-buffer-length 是爲了優化網絡連接的socket buffer.
使用示例: mysqldump -h192.168.1.20 -uxxx -p -P3057
3. mysqldump 選擇備份內容的相關選項
我們可以選擇備份所有數據庫,某幾個數據庫,某一個數據庫,某一個數據庫中的某幾個表,某一個數據庫中的一個表;
可以選擇是否備份 存儲過程和函數,觸發器,調度事件.
1)選擇導出的數據庫 和 表:
-A, --all-databases Dump all the databases. This will be same as --databases with all databases selected.
-B, --databases Dump several databases. Note the difference in usage; in this case no tables are given. All name arguments are
regarded as database names. 'USE db_name;' will be included in the output.
database [tables] 導出數據庫 database 中的表結構 和 表中數據;
2)選擇是否導出 建庫,建表語句,是否導出 表中的數據:
-n, --no-create-db Suppress the CREATE DATABASE ... IF NOT EXISTS statement that normally is output for each dumped database if
--all-databases or --databases is given. (不導出建庫語句: CREATE DATABASE,也就是不導庫結構)
-t, --no-create-info Don't write table creation info. (不導出建表語句)
-d, --no-data No row information. (不導出數據,有時我們僅僅需要導出表結構,也就是建表語句就行了)
3)選擇是否導出 存儲過程和函數,觸發器,調度事件:
-R, --routines Dump stored routines (functions and procedures). (導出存儲過程和函數)
--triggers Dump triggers for each dumped table. (Defaults to on; use --skip-triggers to disable.) (導出觸發器)
--skip-triggers 不導出觸發器
-E, --events Dump events. 導出調度事件(根據備份的目的進行選擇,如果是搭建slave,那麼就不要導出events.)
4)指定不導出 某個庫的某個表:
--ignore-table=name Do not dump the specified table. To specify more than one table to ignore, use the directive multiple times,
once for each table. Each table must be specified with both database and table names,
e.g., --ignore-table=database.table. (在導出數據庫時,排除某個或者某幾個表不導出)
5) 按照 where 條件導出:
-w, --where='where_condition' Dump only selected records. Quotes are mandatory.
6)使用示例:
Dumping structure and contents of MySQL databases and tables.
Usage: mysqldump [OPTIONS] database [tables]
OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
OR mysqldump [OPTIONS] --all-databases [OPTIONS]
1> 導出單表的結構和數據:mysqldump -uxxx -p db1 tb1 > tb1.sql; 導出數據庫 db1 中的 表 tb1 的表結構 和 表中數據;
2> 導出多表的結構和數據:mysqldump -uxxx -p db1 tb1 tb2 > tb1_tb2.sql; 導出數據庫 db1 中的 表 tb1、tb2 的表結構 和 表中數據;
3> 導出單表的結構:mysqldump -uxxx -p --no-data db1 tb1 > tb1.sql; 導出數據庫 db1 中的 表 tb1 的表結構; 其實也可以使用: show create table tb1
4> 我們無法使用 mysqldump 到達 只導出某個或某幾個表的數據,而不導出建表語句的目的。
但是我們可以使用 select * from table into outfile 'file.sql', 比如:select * from Users into outfile '/tmp/Users.sql'; 注意需要對目錄的寫權限。
5> 導出單個庫中庫結構、表結構、表數據:mysqldump -uxxx -p --databases db1 > db1.sql
6> 導出多個庫中庫結構、表結構、表數據:mysqldump -uxxx -p --databases db1 db2 > db1_db2.sql
7> 導出單個庫中庫結構、表結構、不要表數據:mysqldump -uxxx -p --no-data --databases db1 > db1.sql
8> 導出單個庫中數據,不要庫結構和表結構:mysqldump -uxxx -p --no-create-db --no-create-info --databases db1 > db1.sql
9> 導出多個庫中庫結構、表結構、不要表數據:mysqldump -uxxx -p --no-data --databases db1 db2 > db1_db2.sql
10> 導出數據庫中所有 庫 的庫結構,表結構,數據:mysqldump -uxxx -p --all-databases > all.sql
11> 導出數據庫中所有 庫 的庫結構,表結構,不要數據:mysqldump -uxxx -p --all-databases --no-data > all.sql
12> 導出單個庫中庫結構、表結構、表數據,排除某個表:mysqldump -uxxx -p --databases db1 --ignore-table=db1.test > db1.sql
4. mysqldump 事務 和 數據一致性(鎖) 的相關選項
在使用mysqldump邏輯備份時,事務和數據一致性的選項時至關重要的。
1) --single-transaction
Creates a consistent snapshot by dumping all tables in a single transaction. Works ONLY
for tables stored in storage engines which
support multiversioning (currently only InnoDB does); the dump is NOT guaranteed to be consistent for other storage engines.
While a --single-transaction dump is in process, to ensure a valid dump file (correct table contents and binary log position), no other
connection should use the following statements: ALTER TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, as consistent
snapshot is not isolated from them. Option automatically turns off --lock-tables.
--single-transaction 可以得到一致性的導出結果。他是通過將導出行爲放入一個事務中達到目的的。
它有一些要求:只能是 innodb 引擎;導出的過程中,不能有任何人執行 alter table, drop table, rename table, truncate table等DDL語句。
實際上DDL會被事務所阻塞,因爲事務持有表的metadata lock 的共享鎖,而DDL會申請metadata lock的互斥鎖,所以阻塞了。
--single-transaction 會自動關閉 --lock-tables 選項;上面我們說到mysqldump默認會打開了--lock-tables,它會在導出過程中鎖定所有表。
因爲 --single-transaction 會自動關閉--lock-tables,所以單獨使用--single-transaction是不會使用鎖的。與 --master-data 合用纔有鎖。
2)--lock-tables
該選項默認打開的,上面已經說到了。它的作用是在導出過程中鎖定所有表。--single-transaction 和 --lock-all-tables 都會將該選項關閉。
3)--lock-all-tables
Locks all tables across all databases. This is achieved by taking a global read lock for the duration of the whole dump.
Automatically turns --single-transaction and --lock-tables off. 啓用該選項,會自動關閉 --single-transaction 和 --lock-tables.
上面三個選項中,只有 --lock-tables 默認是打開的;打開 --single-transaction 或者 打開 --lock-all-tables 都將關閉 --lock-tables. 而--lock-all-tables會自動關閉 --single-transaction 和 --lock-tables。所以三者是互斥的。我們應該一次只啓用其中一個選項。
4)--flush-logs
Flush logs file in server before starting dump. Note that if you dump many databases at once (using the option --databases= or
--all-databases), the logs will be flushed for each database dumped. The exception is when using --lock-all-tables or
--master-data: in this case the logs will be flushed only once, corresponding to the moment all tables are locked. So if you want your
dump and the log flush to happen at the same exact moment you should use --lock-all-tables or --master-data with --flush-logs.
爲了獲得導出數據和刷新日誌的一致性(同時發生),必須將 --flush-logs 選項和 --lock-all-tables 或者 --master-data 一起使用:
mysqldump --flush-logs --lock-all-tables; mysqldump --flush-logs --master-data=2 ;
5)--flush-privileges
Emit a FLUSH PRIVILEGES statement after dumping the mysql database. This option should be used any time the dump contains the
mysql database and any other database that depends on the data in the mysql database for proper restore.
如何導出包含了mysql數據,就應該啓用該選項。該選項會在導出的 mysql 數據庫的後面加上 flush privileges 語句,因爲在向mysql數據庫inert了語句
之後,必須使用 flush privileges,不然權限不生效。下面是例子:
6) --master-data[=#]
This causes the binary log position and filename to be appended to the output. If equal to 1, will print it as a CHANGE MASTER
command; if equal to 2, that command will be prefixed with a comment symbol. This option will turn --lock-all-tables on, unless
--single-transaction is specified too (in which case a global read lock is only taken a short time at the beginning of the dump;
don't
forget to read about --single-transaction below). In all cases, any action on logs will happen at the exact moment of the dump.
Option automatically turns --lock-tables off.
所以爲了獲得一致性的備份數據和在備份是同時刷新binary日誌,我們應該如下結合使用這些選項(完美組合):
mysqldump -uxxx -pxxx --single-transaction --master-data=2 --flush-logs --routines --databases db1 > db1.sql;
(其中 --flush-logs 不是必須的; 搭建slave時,不要導出events,但是需要導出rountines.)
其中被 --master-data 打開的 --lock-all-tables 選項,又被 --single-transaction 關閉掉了。--flush-logs 藉助於 --master-data 可以達到即使一次導出多個數據庫時,其 flush 的二進制日誌也是在同一個時間點的,不是每一個數據庫flush一次的。並且這個時間點 和 --master-data 記錄的 binary log position 和 binary log file是同一個時間點,這些都是利用了 --single-transaction 和 --master-data 合用時短暫的使用一個全局的讀鎖來達到目的的。
5. mysqldump 複製 的相關選項
1) --master-data[=#]
This causes the binary log position and filename to be appended to the output. If equal to 1, will print it as a CHANGE MASTER
command; if equal to 2, that command will be prefixed with a comment symbol. This option will turn --lock-all-tables on, unless
--single-transaction is specified too (in which case a global read lock is only taken a short time at the beginning of the dump;
don't forget to read about --single-transaction below). In all cases, any action on logs will happen at the exact moment of the dump.
Option automatically turns --lock-tables off.
該選項,上面已經介紹了。--master-data=1 表示會導出 change master to 語句,--master-data=2 該語句放在註釋中,默認是爲 0 。
一般會和 --single-transaction一起使用,用於搭建master-slave環境。
下面是 --master-data=1 和 --master-data=2 的比較:
在導出文件的前30行左右可以看到 change master to 語句。可以使用 head -n 30 db1.sql 查看
2) --dump-slave[=#]
This causes the binary log position and filename of the master to be appended to the dumped data output. Setting the value to 1, will
printit as a CHANGE MASTER command in the dumped data output; if equal to 2, that command will be prefixed with a comment
symbol. This option will turn --lock-all-tables on, unless --single-transaction is specified too (in which case a global read lock is only
taken a short time at the beginning of the dump - don't forget to read about --single-transaction below). In all cases any action on
logs will happen at the exact moment of the dump.Option automatically turns --lock-tables off.
--dump-slave 和 --master-data 幾乎一樣。區別只是--dump-slave用於slave建立下一級的slave;而 --master-data用於master建立slave;
如果在 master 上使用 --dump-slave 會報錯:mysqldump: Couldn't execute 'START SLAVE': The server is not configured as slave;
3) --apply-slave-statements
Adds 'STOP SLAVE' prior to 'CHANGE MASTER' and 'START SLAVE' to bottom of dump.
在 change master 導出 stop slave 語句, 在 change master 之後導出 start slave語句。其實是一個自動化的處理。和 --master-data=1 類似。
如下圖所示:開頭有 stop slave, 結尾有 start slave語句:
4)--include-master-host-port
Adds 'MASTER_HOST=<host>, MASTER_PORT=<port>' to 'CHANGE MASTER TO..' in dump produced with --dump-slave.
該選擇要結合 --dump-slave=1/2 使用。會在導出中加入 host。
5)--include-master-host-port
Adds 'MASTER_HOST=<host>, MASTER_PORT=<port>' to 'CHANGE MASTER TO..' in dump produced with --dump-slave.
該選擇要結合 --dump-slave=1/2 使用。會在導出中加入mysql的 port。
6)--delete-master-logs
Delete logs on master after backup. This automatically enables --master-data.
在備份之後,刪除 master上的binary log。該選項會自動打開 --master-data 選項(等於2)。該選項一般不用。日誌一般不能隨便刪除。
7)--set-gtid-purged[=name]
Add 'SET @@GLOBAL.GTID_PURGED' to the output. Possible values for this option are ON, OFF and AUTO. If ON is used and GTIDs
are not enabled on the server, an error is generated. If OFF is used, this option does nothing. If AUTO is used and GTIDs are enabled
on the server, 'SET @@GLOBAL.GTID_PURGED' is added to the output. If GTIDs are disabled, AUTO does nothing. If no value is
supplied then the default (AUTO) value will be considered.
該選項用於啓用了GTID特性的環境。
6. mysqldump 字符集 的相關選項
1)--set-charset
Add 'SET NAMES default_character_set' to the output. (Defaults to on; use --skip-set-charset to disable.)
--set-charset=1/0 開啓和關閉。也可以使用 --skip-set-charset 關閉。
該選項我們上面已經說到了。表示是否生成 /*!40101 SET NAMES utf8 */;
2)-N, --no-set-names
Same as --skip-set-charset. 關閉 --set-charset. 不生成 /*!40101 SET NAMES utf8 */; 語句。
3)--default-character-set=name
Set the default character set.
該選項上面也涉及到了。指定語句:/*!40101 SET NAMES utf8 */;中的字符集;可能你需要改成 --default-character-set=utf8mb4
7. mysqldump 控制是否生成 DDL 語句 的相關選項
--add-drop-database Add a DROP DATABASE before each create.
--add-drop-table Add a DROP TABLE before each create. (Defaults to on; use --skip-add-drop-table to disable.)
--add-drop-trigger Add a DROP TRIGGER before each create.
--no-create-db,-n
--no-create-info,-t
8. mysqldump 導出格式 的相關選項
1)--compatible=name
Change the dump to be compatible with a given mode. By default tables are dumped in a format optimized for MySQL.
Legal modes are: ansi, mysql323, mysql40, postgresql, oracle, mssql, db2, maxdb, no_key_options, no_table_options,
no_field_options. One can use several modes separated by commas. Note: Requires MySQL server version 4.1.0 or higher.
This option is ignored with earlier server versions.
導出sql語句的兼容格式。如果我們需要從MySQL導出,然後導入到其它數據庫,則可使用該選項。--compatible=oracle/postgresql/mssql
2)-Q, --quote-names
Quote table and column names with backticks (`). (Defaults to on; use --skip-quote-names to disable.)
將表名和列名使用 ``包裹。以防他們是關鍵字時報錯。
9. mysqldump 錯誤處理的相關選項
1)-f, --force Continue even if we get an SQL error.
2)--log-error=name Append warnings and errors to given file.
10. mysqldump 實現原理
爲了探求 mysqldump 的備份是如何實現的,我們需要在 my.cnf 中的[mysqld] 參數段加入:
general_log=on general_log_file=general.log
這樣我們就可以通過觀察 general.log 的輸出,來了解 mysqldump 的備份是如何實現的。
1)--lock-tables 是如何實現的:
先執行:mysqldump -uroot -p --databases gs --lock-tables > gs_l.sql, 然後查看 general.log:
3 Init DB gs 3 Query SHOW CREATE DATABASE IF NOT EXISTS `gs` 3 Query show tables 3 Query LOCK TABLES `tb1` READ /*!32311 LOCAL */,`user` READ /*!32311 LOCAL */ 3 Query show table status like 'tb1' 3 Query SET SQL_QUOTE_SHOW_CREATE=1 3 Query SET SESSION character_set_results = 'binary' 3 Query show create table `tb1` 3 Query SET SESSION character_set_results = 'utf8' 3 Query show fields from `tb1` 3 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1` 3 Query SET SESSION character_set_results = 'binary' 3 Query use `gs` 3 Query select @@collation_database 3 Query SHOW TRIGGERS LIKE 'tb1' 3 Query SET SESSION character_set_results = 'utf8' 3 Query show table status like 'user' 3 Query SET SQL_QUOTE_SHOW_CREATE=1 3 Query SET SESSION character_set_results = 'binary' 3 Query show create table `user` 3 Query SET SESSION character_set_results = 'utf8' 3 Query show fields from `user` 3 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `user` 3 Query SET SESSION character_set_results = 'binary' 3 Query use `gs` 3 Query select @@collation_database 3 Query SHOW TRIGGERS LIKE 'user' 3 Query SET SESSION character_set_results = 'utf8' 3 Query UNLOCK TABLES 3 Quit
1> 第一步: SHOW CREATE DATABASE IF NOT EXISTS `gs`; 導出了建庫語句;
2> 第二步:show tables; 獲得數據庫中所有表名,然後鎖住:LOCK TABLES `tb1` READ /*!32311 LOCAL */,`user` READ /*!32311 LOCAL */
使用的是 lock table tb1 read local, tb2 read local, tb3 read local; 語句
3> 第三步:show create table 'tb1'; 導出了 tb1 的建表語句;
4> 第四步:show fields from `tb1`; SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1`; 導出了表中的數據;
......
5> 最後導出了 trigger, 最後的最後 unlock tables; 結束。
可以看到 --lock-tables 在導出一個數據庫時,會在整個導出過程 lock read local 所有的表。該鎖不會阻止其它session讀和插入。
2)--lock-all-tables 的實現:
先執行:mysqldump -uroot -p --databases gs --lock-all-tables > gs_l.sql, 在查看 general.log:
151022 14:34:13 4 Connect root@localhost on 4 Query /*!40100 SET @@SQL_MODE='' */ 4 Query /*!40103 SET TIME_ZONE='+00:00' */ 4 Query FLUSH TABLES 4 Query FLUSH TABLES WITH READ LOCK 4 Query SHOW VARIABLES LIKE 'gtid\_mode' ... ... 4 Init DB gs 4 Query SHOW CREATE DATABASE IF NOT EXISTS `gs` 4 Query show tables ... ...4 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1` 4 Query SET SESSION character_set_results = 'binary' 4 Query use `gs` 4 Query select @@collation_database ... ... 4 Query show fields from `user` 4 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `user` 4 Query SET SESSION character_set_results = 'binary' 4 Query use `gs` 4 Query select @@collation_database 4 Query SHOW TRIGGERS LIKE 'user' 4 Query SET SESSION character_set_results = 'utf8' 4 Quit
它的實現使用了 FLUSH TABLES; FLUSH TABLES WITH READ LOCK; 語句。在最後沒有看到解鎖語句。
它請求發起一個全局的讀鎖,會阻止對所有表的寫入操作,以此來確保數據的一致性。備份完成後,該會話斷開,會自動解鎖。
3)--single-transaction 的實現:
先執行: mysqldump -uroot -p --databases gs --single-transaction > gs_l.sql,在查看 general.log:
151022 14:41:34 5 Connect root@localhost on 5 Query /*!40100 SET @@SQL_MODE='' */ 5 Query /*!40103 SET TIME_ZONE='+00:00' */ 5 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ 5 Query START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */ 5 Query SHOW VARIABLES LIKE 'gtid\_mode' 5 Query UNLOCK TABLES ... ... 5 Init DB gs 5 Query SHOW CREATE DATABASE IF NOT EXISTS `gs` 5 Query SAVEPOINT sp ...... 5 Query show create table `tb1` ......5 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1` ...... 5 Query ROLLBACK TO SAVEPOINT sp ...... 5 Query show create table `user` .....5 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `user` ...... 5 Query ROLLBACK TO SAVEPOINT sp 5 Query RELEASE SAVEPOINT sp 5 Quit
基本過程是:
1> 先改變事務隔離級別:SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2> 開始事務:START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */
3> unlock tables;
4> 導出建庫語句; SHOW CREATE DATABASE IF NOT EXISTS `gs`
5> 打開一個 savepoint: SAVEPOINT sp;
6> 導出 表 tb1 的結構和數據;
7> ROLLBACK TO SAVEPOINT sp; 回滾到savepoint;
對其它表重複該過程;
8> 最後 realease savepoint p; 釋放savepoint;
整個過程,沒有任何鎖。RR隔離級別保證在事務中只讀取本事務之前的一致性的數據。 rollback to savepoint sp; 保證了對數據庫中的數據沒有影響。
4)--master-data 的實現:
先執行:mysqldump -uroot -p --databases gs --master-data=1 > gs_l.sql,在查看general.log:
151022 14:57:45 6 Connect root@localhost on 6 Query /*!40100 SET @@SQL_MODE='' */ 6 Query /*!40103 SET TIME_ZONE='+00:00' */ 6 Query FLUSH /*!40101 LOCAL */ TABLES 6 Query FLUSH TABLES WITH READ LOCK 6 Query SHOW VARIABLES LIKE 'gtid\_mode' 6 Query SHOW MASTER STATUS
發現了 --lock-all-tables一樣,就多了一句:show master status;
5)--single-transaction 和 --master-data 結合使用:
先執行:mysqldump -uroot -p --databases gs --master-data=1 > gs_l.sql,在查看general.log:
151022 15:00:56 7 Connect root@localhost on 7 Query /*!40100 SET @@SQL_MODE='' */ 7 Query /*!40103 SET TIME_ZONE='+00:00' */ 7 Query FLUSH /*!40101 LOCAL */ TABLES 7 Query FLUSH TABLES WITH READ LOCK 7 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ 7 Query START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */ 7 Query SHOW VARIABLES LIKE 'gtid\_mode' 7 Query SHOW MASTER STATUS 7 Query UNLOCK TABLES ...... 7 Init DB gs 7 Query SHOW CREATE DATABASE IF NOT EXISTS `gs` 7 Query SAVEPOINT sp 7 Query show create table `tb1` 7 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `tb1` 7 Query ROLLBACK TO SAVEPOINT sp 7 Query show create table `user` 7 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `user` 7 Query ROLLBACK TO SAVEPOINT sp 7 Query RELEASE SAVEPOINT sp 7 Quit
發現 --single-transaction 單獨使用 與 --single-transaction 和 --master-data 結合使用 的區別如下圖:
--single-transaction 和 --master-data 結合使用時,在導出開始,會短暫的持有一個全局的讀鎖,鎖定時:刷新數據到磁盤、設置隔離級別爲RR、開始事務、輸出 binary log 的位置和文件名,然後解鎖。這樣就保證了:show master status 輸出的 binary log 的位置和文件名 和 後面 導出的數據是同一個時間點的(同一個lsn),所以才能使用該備份 和 利用 change master to 構造一個 slave,成功的連接上 master.
可以看到這裏使用了兩次 flush tables:
FLUSH /*! 40101 LOCAL */ TABLES
FLUSH TABLES WITH READ LOCK
其原因是 第一次 flush 是不需要鎖表的,第一次將所有數據刷新到磁盤之後,第二次 FLUSH TABLES WITH READ LOCK 時就會只有很少量的數據需要刷新到磁盤,所以第一次 flush 是爲了儘量的 減少 第二次 fush 持有鎖的時間。
11. mysqldump 與 鎖
1)--lock-tables 會在整個導出過程 lock read local 所有的表。該鎖不會阻止其它session讀和插入,但是顯然阻塞了update。
2)--lock-all-tables 它請求發起一個全局的讀鎖,會阻止對所有表的寫入操作(insert,update,delete),以此來確保數據的一致性。備份完成後,該會話斷開,會自動解鎖。
3)--single-transaction 和 --master-data 結合使用時,也是在開始時,會短暫的請求一個全局的讀鎖,會阻止對所有表的寫入操作。
4)--single-transaction 單獨使用,不會有任何鎖。但是測試表明: 它也需要對備份的表持有 metadata lock 的共享鎖。
而我們知道,一般的事務,持有的是 行鎖,還有 metadata lock 的共享鎖。所以實際上,mysqldump不論你使用哪些選項,都不會阻塞事務的執行。
因爲它們對鎖的申請,沒有任何排它性。而不像DDL一樣需要持有 metadata lock 上的獨佔鎖(排它鎖)。當然DDL也會阻塞mysqldump。
mysqldump 一定需要表上的
metadata lock 共享鎖。然後,要麼需要所有備份表上的local讀鎖(lock table tb1 read local),要麼需要的是所有備份表上的全局讀鎖(FLUSH
TABLES WITH READ LOCK;),要麼短暫持有全局鎖。
參考:http://imysql.cn/2008_10_24_deep_into_mysqldump_options