使用xtrabackup備份MySQL數據庫

前言

Xtrabackup提供了兩種命令行工具：

• xtrabackup：專用於備份InnoDB和XtraDB引擎的數據；
• innobackupex：是一個perl腳本，在執行過程中會調用xtrabackup命令，這個命令即可以實現備份InnoDB，也可以備份Myisam引擎的對象。

xtrabackup是由percona提供的MySQL數據庫備份工具，其備份速度快並且可靠；備份過程不會打斷正在執行的事務；能夠基於壓縮等功能節約磁盤空間和流量；自動實現備份檢驗；還原速度快。

若需要安裝xtrabackup，可以移步其官方網站，在其官網上提供了多種安裝方式。

博文大綱：

• 一、安裝xtrabackup及其插件
• 二、xtrabackup完全備份+binlog增量備份
• 三、xtrabackup完全備份+xtrabackup增量備份
• 四、innobackupex全庫備份+innobackupex增量備份

注：二、三、四是三種不同的備份方案，在生產環境中選擇合適的一種即可。

一、安裝xtrabackup及其插件

1、yum安裝xtrabackup

參考官方文檔，在官方文檔上提供了各個版本的幫助說明。

[root@mysql ~]# yum -y install https://repo.percona.com/yum/percona-release-latest.noarch.rpm  
[root@mysql ~]# yum -y install percona-xtrabackup-24

xtrabackup中主要包含兩個工具：

• xtrabackup：是用於熱備份innodb，xtradb表中數據的工具，支持在線熱備份，可以在不加鎖的情況下備份innodb數據表，不過該工具不能操作myisam引擎表。
• innobackupex：是將xtrabackup進行封裝的perl腳本，能同時處理innodb和myisam，但在處理myisam時需要加一個讀鎖，由於操作myisam時需要加讀鎖，所以會堵塞線上服務的寫操作，而Innodb沒有這樣的限制。

2、下載並安裝percona-toolkit工具

[root@mysql test]# yum -y install perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-TermReadKey.x86_64 perl-Digest-MD5
[root@mysql test]# wget https://www.percona.com/downloads/percona-toolkit/2.2.19/RPM/percona-toolkit-2.2.19-1.noarch.rpm
[root@mysql test]# rpm -ivh percona-toolkit-2.2.19-1.noarch.rpm

二、xtrabackup完全備份+binlog增量備份

1、創建備份目錄

[root@mysql test]# mkdir -p /opt/mysqlbackup/{full,inc}
# full：全備存放的目錄
# inc：增量備份存放的目錄

2、創建備份用戶

[root@mysql test]# mysql -uroot -p123.com
mysql> create user bakuser@'localhost' identified by '123.com';
mysql> revoke all privileges,grant option from 'bakuser'@'localhost';
mysql> grant reload,lock tables,replication client,process on *.* to bakuser@'localhost';
mysql> flush privileges;

3、完全備份

[root@mysql test]# innobackupex --user=bakuser --password=123.com /opt/mysqlbackup/full/
#當備份完成後將出現以下提示信息
.............  #忽略部分信息
200116 13:09:21 completed OK!

上述執行相關解釋如下：

• --user：指定連接數據庫的用戶名；
• --password：指定連接數據庫的密碼；
• --defaults-file：指定數據庫的配置文件my.cnf，innobackupex要從其中獲取datadir等信息，如果不指定，則會默認去搜索my.cnf這個文件，搜索順序和mysql啓動時的搜索順序一樣；
• --database：指定要備份的數據據庫，這裏指定的數據庫只對myisam表有效，對於innodb數據來說都是全備（所有數據庫中的innodb數據都進行了備份，不是隻備份指定的數據庫，恢復時也一樣）；
• /opt/mysqlbackup/full：是備份文件的存放位置。

4、查看備份後的文件

各個文件存放的內容如下：

• backup-my.cnf：備份命令用到的配置選項信息；
• ib_buffer_pool：buffer緩衝區相關的信息；
• xtrabackup_checkpoints：這個文件很重要，保存的是備份類型（如完全或增量）、備份狀態（如是否已經爲perpared狀態（備份恢復前需要的狀態）），和LSN（日誌序列號）範圍信息，每個innodb頁（一般爲16k大小）都會包含一個日誌序列號，LSN時整個數據庫系統同的系統版本號，每個頁面相關的LSN能夠表明此頁面最近是如何發生改變的。
• xtrabackup_info：備份指令相關的信息。

5、通過二進制日誌進行增量備份

在進行增量備份前，需要先查看到完全備份時binlog日誌位置（position），如下：

[root@mysql 2020-01-17_10-39-52]# pwd
/opt/mysqlbackup/full/2020-01-17_10-39-52
[root@mysql 2020-01-17_10-39-52]# cat xtrabackup_binlog_info 
bin_log.000001  154
# 得到完全備份是備份到了bin_log.000001二進制日誌中的154的位置

通過二進制日誌進行增量備份：

在增量備份前，自行向數據庫中進行增刪改等操作，以便產生新的二進制日誌。

[root@mysql ~]# mysqlbinlog --start-position=154 /usr/local/mysql/data/bin_log.000001 > /opt/mysqlbackup/inc/`date +%F`.sql

6、模擬數據丟失，以便還原數據

[root@mysql ~]# rm -rf /usr/local/mysql/data/*      #直接刪除本地所有數據

還原完全備份的大概流程如下：

• 準備（prepare）一個完全備份，一般情況下，在備份完成後，數據還不能用於恢復操作，因爲備份的數據中可能包含尚未提交的事務或已經提交但尚未同步至數據文件中的事務。因此，此時數據文件仍處於不一致狀態，“準備”的主要作用就是通過回滾未提交的事務及同步已提交的事務至數據文件也使得數據文件處於一致性狀態。在準備過程結束後，Innodb表數據已經前滾到整個備份結束的點，而不是回滾到xtrabackup剛開始的點。

通過--apply-log選項可用於實現上述功能，命令如下：

[root@mysql ~]# innobackupex --apply-log /opt/mysqlbackup/full/2020-01-17_10-39-52/
[root@mysql 2020-01-17_10-39-52]# cat xtrabackup_checkpoints 
backup_type = full-prepared   #當準備工作完成後，備份目錄下的此文件內容中的備份類型會爲：full-prepared
from_lsn = 0
to_lsn = 2841752
last_lsn = 2841761
compact = 0
recover_binlog_info = 0
flushed_lsn = 2841761

注：/opt/mysqlbackup/full/2020-01-17_10-39-52/是備份文件所在目錄名稱，如果執行正確，最後幾行輸出的信息如下：

在實現“準備”的過程中，innobackupex通常還可以使用“--user-memory”選項來指定其可以使用的內存大小，默認爲100M，如果有足夠的內存，可以多劃分一些內存給prepare的過程，以提高其完成速度。

在準備工作完成後，即可使用以下命令進行恢復：

[root@mysql ~]# innobackupex --copy-back /opt/mysqlbackup/full/2020-01-17_10-39-52/

確認數據已恢復：

完全備份的數據已經恢復，但是需要注意權限的問題，恢復後的數據屬主及屬組都是當前用戶root，所以還需要更改其屬主及屬組，如下：

[root@mysql ~]# cd /usr/local/mysql/data/
[root@mysql data]# chown -R mysql.mysql .
[root@mysql data]# ll        #確認當前屬組與屬主
總用量 122924
drwxr-x--- 2 mysql mysql       90 1月  17 11:15 data1
-rw-r----- 1 mysql mysql      324 1月  17 11:15 ib_buffer_pool
-rw-r----- 1 mysql mysql 12582912 1月  17 11:15 ibdata1
-rw-r----- 1 mysql mysql 50331648 1月  17 11:15 ib_logfile0
-rw-r----- 1 mysql mysql 50331648 1月  17 11:15 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 1月  17 11:15 ibtmp1
drwxr-x--- 2 mysql mysql     4096 1月  17 11:15 mysql
drwxr-x--- 2 mysql mysql     8192 1月  17 11:15 performance_schema
drwxr-x--- 2 mysql mysql     8192 1月  17 11:15 sys
-rw-r----- 1 mysql mysql       20 1月  17 11:15 xtrabackup_binlog_pos_innodb
-rw-r----- 1 mysql mysql      481 1月  17 11:15 xtrabackup_info
-rw-r----- 1 mysql mysql        1 1月  17 11:15 xtrabackup_master_key_id
[root@mysql ~]# systemctl restart mysqld   #在數據恢復後，需要重啓服務器，否則數據不統一

7、查看數據庫中恢復後的數據

[root@mysql ~]# mysql -uroot -p123.com -e "select * from data1.t1;"

+------+------+
| id   | name |
+------+------+
|    1 | tom1 |
|    2 | tom2 |
|    3 | tom3 |
+------+------+

8、還原增量備份

爲了防止還原時產生大量的二進制日誌，在還原時最好臨時關閉二進制日誌，如下：

[root@mysql ~]# mysql -uroot -p123.com -e 'set sql_log_bin=0;'    #臨時關閉二進制日誌
[root@mysql ~]# mysql -uroot -p123.com < /opt/mysqlbackup/inc/2020-01-17.sql
#恢復二進制日誌
[root@mysql ~]# mysql -uroot -p123.com -e 'set sql_log_bin=1;'  #開啓二進制日誌
[root@mysql ~]# mysql -uroot -p123.com -e "select * from data1.t1;"
#確認數據恢復正確

+------+------+
| id   | name |
+------+------+
|    1 | tom1 |
|    2 | tom2 |
|    3 | tom3 |
|    4 | tom4 |
|    5 | tom5 |
+------+------+--+i

三、xtrabackup完全備份+xtrabackup增量備份

在第一個備份方案中，增量備份使用的是備份二進制日誌，其實xtrabackup還支持進行增量備份，xtrabackup的備份原理如下：

在innodb內部會維護一個redo日誌我呢見，也可以叫做事務日誌文件（transaction，事務日誌），事務日誌會存儲每個innodb表數據的記錄修改，當innodb啓動時，innodb會檢查數據文件和事務日誌，並能執行兩個步驟：它應用已經提交的事務日誌到數據文件，並將修改過但沒有提交的數據進行回滾操作。xtrabackup在啓動時會記住log sequence number（LSN），並且複製所有的數據文件，複製過程需要一些時間，所以這期間如果數據文件有改動，那麼將會使數據庫處於一個不同的時間點。這時，xtrabackup會運行一個後臺進程，用於監視事務日誌，並從事務日誌複製最新的修改，xtrabackup必須持續的做這個操作，是因爲事務日誌是會輪轉重複的寫入，並且事務日誌可以被重用。所以xtrabackup自啓動開始，就不停的將事務日誌中每個數據文件的修改都記錄下來。這就是xtrabackup的備份過程。

所以每個innodb的頁面都會包含一個LSN信息，每當相關的數據發生改變，相關的頁面LSN就會自動增長。這就是innodb表可以進行增量備份的基礎。xtrabackup基於innodb的crash-recovery功能，它會複製innodb的data file ，由於不鎖表，複製出來的數據是不一致的，在恢復的時候使用crash-recovery，使得數據恢復一致。

1、創建一個測試庫，並準備一張表插入幾行數據

mysql> create database test;
mysql> use test;
mysql> create table xx(id int,name varchar(20));
mysql> insert into xx values(1,'tom1');
mysql> insert into xx values(2,'tom2');
mysql> select * from xx;
+------+------+
| id   | name |
+------+------+
|    1 | tom1 |
|    2 | tom2 |
+------+------+

2、xtrabackup進行完全備份

[root@mysql ~]# xtrabackup --defaults-file=/etc/my.cnf --user=bakuser --password="123.com" --port=3306 --backup --target-dir=/opt/mysqlbackup/full/full_incre_$(date '+%F_%T')

上述各個指令解釋如下：

• --defaults-file：指定數據庫的配置文件，如果使用該參數，必須作爲第一個參數；
• --user：指定連接數據庫的用戶名；
• --password：指定連接數據庫的密碼；
• --port：指定連接數據庫的端口號；
• --backup：實施備份到target-dir；
• --target-dir=name：備份文件的存放目錄路徑。innobackupex要從其中獲取datadir等信息；
• --database：指定要備份的數據庫，這裏指定的數據庫只對myisam和innodb表的表結構有效，對於innodb數據庫來說都是完全備份（恢復時也一樣）。

3、查看完全備份文件

4、進行第一次增量備份

#先插入新的數據
[root@mysql full]# mysql -uroot -p123.com -e "insert into test.xx values(3,'tom3');"
#再進行增量備份
[root@mysql full]# xtrabackup --defaults-file=/etc/my.cnf --user=bakuser --password="123.com" --port=3306 --backup --target-dir=/opt/mysqlbackup/inc/incre_$(date '+%F_%T') --incremental-basedir=/opt/mysqlbackup/full/full_incre_2020-01-17_14\:34\:39/

在上述指令中，--incremental-basedir是指定上次完整備份或者增量備份文件的位置(即如果是第一次增量備份則指向完全備份所在目錄，在執行過增量備份之後再一次進行增量備份時，其--incremental-basedir應該指向上一次的增量備份所在的目錄)。

查看增量備份文件：

[root@mysql full]# ll /opt/mysqlbackup/inc/
總用量 0
drwxr-x--- 7 root root 274 1月  17 15:12 incre_2020-01-17_15:12:00
# 注：這裏的增量備份只是針對innodb，對於myisam來說，還是完整備份。

5、進行第二次增量備份

#再插入新的數據
[root@mysql full]# mysql -uroot -p123.com -e "insert into test.xx values(4,'tom4');"
#進行第二次增量備份
[root@mysql full]# xtrabackup --defaults-file=/etc/my.cnf --user=bakuser --password="123.com" --port=3306 --backup --target-dir=/opt/mysqlbackup/inc/incre_$(date '+%F_%T') --incremental-basedir=/opt/mysqlbackup/inc/incre_2020-01-17_15\:12\:00/

注：第二次增量備份--incremental-basedir應該指向上一次增量備份文件的位置。

6、恢復完全備份以及增量備份

恢復數據的大概流程如下：

如果備份文件是tar包，解包命令爲：tar -izxf xxx.tar，這裏必須使用-i參數，表示忽略存檔中的0字節。
首先準備恢復完全備份：

[root@mysql ~]# xtrabackup --defaults-file=/etc/my.cnf --prepare --user=bakuser --password="123.com" --apply-log-only --target-dir=/opt/mysqlbackup/full/full_incre_2020-01-17_14\:34\:39/

再準備恢復到第一次增量備份的時刻，如下：

[root@mysql ~]# xtrabackup  --defaults-file=/etc/my.cnf --prepare --user=bakuser --password='123.com' --apply-log-only --target-dir=/opt/mysqlbackup/full/full_incre_2020-01-17_14\:34\:39/ --incremental-dir=/opt/mysqlbackup/inc/incre_2020-01-17_15\:12\:00/

再準備恢復第二次增量備份，如下：

[root@mysql ~]# xtrabackup  --defaults-file=/etc/my.cnf --prepare --user=bakuser --password='123.com' --apply-log-only --target-dir=/opt/mysqlbackup/full/full_incre_2020-01-17_14\:34\:39/ --incremental-dir=/opt/mysqlbackup/inc/incre_2020-01-17_15\:20\:32/

然後停止MySQL數據庫：

[root@mysql ~]# systemctl stop mysqld

開始rsync數據文件：

[root@mysql ~]# cd /opt/mysqlbackup/full/full_incre_2020-01-17_14\:34\:39/
[root@mysql full_incre_2020-01-17_14:34:39]# rsync -rvt --exclude 'xtrabackup_checkpoints' --exclude 'xtrabackup_logfile' ./ /usr/local/mysql/data/

當數據恢復到mysql的data目錄以後，還需要確保所有數據文件的屬主和屬組均爲正確的用戶，如我這裏需要修改爲mysql，如下：

[root@mysql full_incre_2020-01-17_14:34:39]# cd /usr/local/mysql/data/
[root@mysql data]# chown -R mysql.mysql .
#更改恢復後的數據屬組和屬主爲mysql

確認數據已恢復：

[root@mysql data]# mysql -uroot -p123.com -e  "select * from test.xx;"
+------+------+
| id   | name |
+------+------+
|    1 | tom1 |
|    2 | tom2 |
|    3 | tom3 |
|    4 | tom4 |
+------+------+

四、innobackupex全庫備份+innobackupex增量備份

1、全庫備份

#準備測試數據
[root@mysql data]# mysql -uroot -p123.com -e  "select * from test.xx;"
+------+------+
| id   | name |
+------+------+
|    1 | tom1 |
|    2 | tom2 |
|    3 | tom3 |
+------+------+
#開始完全備份
[root@mysql ~]# innobackupex --defaults-file=/etc/my.cnf --user=bakuser --password='123.com' /opt/mysqlbackup/full/full_incre_$(date '+%F_%H%M%S') --no-timestamp

注：--no-timestamp選項來阻止命令自動創建一個以時間命名的目錄，然後即可自定義目錄了；

2、做一次增量備份

# 插入測試數據
[root@mysql ~]# mysql -uroot -p123.com -e  "insert into xx values(4,'tom4'),(5,'tom5');" test
#進行增量備份
[root@mysql ~]# innobackupex --incremental /opt/mysqlbackup/inc/incre_$(date +%Y%m%d_%H%M%S) --incremental-basedir=/opt/mysqlbackup/full/full_incre_2020-01-17_165254/ --user=bakuser --password='123.com' --no-timestamp
#  --incremental-basedir：指定的是上次完全備份或者增量備份的目錄
#由於這是第一次增量備份，所以就需要指定上次完全備份的目錄

[root@mysql ~]# ll /opt/mysqlbackup/inc/     #查看增量備份文件
總用量 0
drwxr-x--- 7 root root 274 1月  17 17:04 incre_20200117_170424

3、做第二次增量備份

#插入新的數據
[root@mysql ~]# mysql -uroot -p123.com -e  "insert into test.xx values(6,'tom6')";
#基於第一次增量備份的目錄文件做第二次增量備份
[root@mysql ~]# innobackupex --incremental /opt/mysqlbackup/inc/incre_$(date +%Y%m%d_%H%M%S) --incremental-basedir=/opt/mysqlbackup/inc/incre_20200117_170424/ --user=bakuser --password='123.com' --no-timestamp

4、查看增量備份文件

[root@mysql ~]# ll /opt/mysqlbackup/inc/
總用量 0
drwxr-x--- 7 root root 274 1月  17 17:04 incre_20200117_170424
drwxr-x--- 7 root root 274 1月  17 17:10 incre_20200117_171035

5、刪除數據文件，準備進行恢復

[root@mysql ~]# rm -rf /usr/local/mysql/data/*
#恢復完全備份目錄文件
[root@mysql ~]# innobackupex --apply-log --redo-only /opt/mysqlbackup/full/full_incre_2020-01-17_165254/
# 將第一次增量備份合併到全備目錄
[root@mysql ~]# innobackupex --apply-log --redo-only /opt/mysqlbackup/full/full_incre_2020-01-17_165254/ --incremental-dir=/opt/mysqlbackup/inc/incre_20200117_170424/
# 將第二次增量備份合併到全備目錄
[root@mysql ~]# innobackupex --apply-log --redo-only /opt/mysqlbackup/full/full_incre_2020-01-17_165254/ --incremental-dir=/opt/mysqlbackup/inc/incre_20200117_171035/

6、恢復數據庫

[root@mysql ~]# systemctl stop mysqld    #停止數據庫
#進行恢復
[root@mysql ~]# innobackupex --defaults-file=/etc/my.cnf --user=bakuser --password='123.com' --copy-back  /opt/mysqlbackup/full/full_incre_2020-01-17_165254/

7、修改恢復後的文件屬主及屬組

[root@mysql ~]# cd /usr/local/mysql/data/
[root@mysql data]# chown -R mysql.mysql .

8、啓動MySQL數據庫，確認數據已恢復

[root@mysql data]# systemctl start mysqld
[root@mysql data]# mysql -uroot -p123.com -e "select * from test.xx;"

+------+------+
| id   | name |
+------+------+
|    1 | tom1 |
|    2 | tom2 |
|    3 | tom3 |
|    4 | tom4 |
|    5 | tom5 |
|    6 | tom6 |
+------+------+

數據恢復成功。

五、附加——Xtrabackup的“流”及“備份壓縮”功能

Xtrabackup對備份的數據文件支持“流”功能，即可以將備份的數據通過STDOUT傳輸給tar程序進行歸檔，而不是默認的直接保存至某備份目錄中。要使用此功能，僅需要使用--stream選項即可。如下：

#進行完整備份
[root@mysql opt]# innobackupex --user=bakuser --password="123.com" --stream=tar /opt/mysqlbackup/full/ | gzip > /opt/mysqlbackup/full/full_`date +%F_%H%M%S`.tar.gz
#上述命令生成的備份文件如下：
[root@mysql full]# ll /opt/mysqlbackup/full/
總用量 640
-rw-r--r-- 1 root root 652578 1月  17 17:45 full_2020-01-17_174513.tar.gz

———————— 本文至此結束，感謝閱讀 ————————