1、創建測試用例庫表
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 11
Server version: 10.2.26-MariaDB-log MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> create database full charset=utf8;
Query OK, 1 row affected (0.00 sec)
MariaDB [(none)]> create table full.incr(id int not null auto_increment primary key,tag varchar(256)) charset=utf8;
Query OK, 0 rows affected (0.02 sec)
MariaDB [(none)]> show table from full;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near 'from full' at line 1
MariaDB [(none)]> show tables from full;
+----------------+
| Tables_in_full |
+----------------+
| incr |
+----------------+
1 row in set (0.00 sec)
MariaDB [(none)]> select * from full.incr;
Empty set (0.00 sec)
MariaDB [(none)]> exit
Bye
2、執行一次全備
[root@rec tmp]# innobackupex --user=root --no-timestamp /tmp/fullbak
3、添加一次增量數據
MariaDB [(none)]> insert into full.incr(tag) values("第1次增備後");
Query OK, 1 row affected (0.01 sec)
4、備份一次增量數據
[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/fullbak/ --incremental /tmp/incr/incr1
5、添加二次增量數據
MariaDB [(none)]> insert into full.incr(tag) values("第2次增備後");
Query OK, 1 row affected (0.01 sec)
6、備份二次增量數據
[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr1/ --incremental /tmp/incr/incr2
7、添加三次增量數據
MariaDB [(none)]> insert into full.incr(tag) values("第3次增備後");
Query OK, 1 row affected (0.30 sec)
8、備份三次增量數據
[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr2/ --incremental /tmp/incr/incr3
9、添加四次增量數據
MariaDB [(none)]> insert into full.incr(tag) values("第4次增備後");
Query OK, 1 row affected (0.30 sec)
10、備份四次增量數據
[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr3/ --incremental /tmp/incr/incr4
11、恢復準備全備
[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/
12、恢復準備第一次增備
[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr1
13、恢復準備第二次增備
[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr2
14、恢復準備第三次增備，這裏並沒有恢復全部增量備份數據
[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr3
15、關閉db，爲恢復測試刪除現有數據庫，千萬記住別再生產環境上直接刪除數據庫相關數據
[root@rec tmp]# /etc/init.d/mysql stop
Stopping mysql (via systemctl): [ 確定 ]
[root@rec tmp]# cd /var/lib/
[root@rec lib]# rm -rf mysql
[root@rec lib]# mkdir -p mysql
16、恢復--copy-back
[root@rec lib]# innobackupex --defaults-file=/etc/my.cnf --copy-back /tmp/fullbak/
190826 14:37:24 completed OK!
17、啓動觀察
[root@rec lib]# chown mysql.mysql -R mysql
[root@rec lib]# /etc/init.d/mysql start
Starting mysql (via systemctl): [ 確定 ]
[root@rec lib]# mysql
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 9
Server version: 10.2.26-MariaDB-log MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> select * from full.incr;
+----+------------------+
| id | tag |
+----+------------------+
| 1 | 第1次增備後 |
| 2 | 第2次增備後 |
| 3 | 第3次增備後 |
+----+------------------+
3 rows in set (0.00 sec)
MariaDB [(none)]> exit
Bye
18、備份腳本
#backup.sh
#!/bin/sh
#on xtrabackup 2.2.8
#第一次執行它的時候它會檢查是否有完全備份,否則先創建一個全庫備份
#當你再次運行它的時候，它會根據腳本中的設定來基於之前的全備或增量備份進行增量備份
INNOBACKUPEX_PATH=/usr/bin/innobackupex #INNOBACKUPEX的命令
INNOBACKUPEXFULL=/usr/bin/innobackupex #INNOBACKUPEX的命令路徑
#mysql目標服務器以及用戶名和密碼
MYSQL_CMD="--host=localhost --user=root --password=20190826 --port=3306"
MYSQL_UP=" --user=root --password='20190826' --port=3306 " #mysqladmin的用戶名和密碼
TMPLOG="/tmp/innobackupex.$$.log"
MY_CNF=/etc/my.cnf.d/wsrep.cnf #mysql的配置文件
MYSQL=/usr/bin/mysql
MYSQL_ADMIN=/usr/bin/mysqladmin
BACKUP_DIR=/backup # 備份的主目錄
FULLBACKUP_DIR=$BACKUP_DIR/full # 全庫備份的目錄
INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量備份的目錄
FULLBACKUP_INTERVAL=604800 # 全庫備份的間隔週期，時間：秒
KEEP_FULLBACKUP=1 # 至少保留幾個全庫備份
logfiledate=/backup/backup.`date +%Y%m%d%H%M`.txt
#開始時間
STARTED_TIME=`date +%s`
#############################################################################
# 顯示錯誤並退出
#############################################################################
error()
{
echo "$1" 1>&2
exit 1
}
# 檢查執行環境
if [ ! -x $INNOBACKUPEXFULL ]; then
error "$INNOBACKUPEXFULL未安裝或未鏈接到/usr/bin."
fi
if [ ! -d $BACKUP_DIR ]; then
error "備份目標文件夾:$BACKUP_DIR不存在."
fi
mysql_status=`netstat -nl | awk 'NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}'`
if [ "$mysql_status" != "Yes" ];then
error "MySQL 沒有啓動運行."
fi
if ! `echo 'exit' | $MYSQL -s $MYSQL_CMD` ; then
error "提供的數據庫用戶名或密碼不正確!"
fi
# 備份的頭部信息
echo "----------------------------"
echo
echo "$0: MySQL備份腳本"
echo "開始於: `date +%F' '%T' '%w`"
echo
#新建全備和差異備份的目錄
mkdir -p $FULLBACKUP_DIR
mkdir -p $INCRBACKUP_DIR
#查找最新的完全備份
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
# 查找最近修改的最新備份時間
LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`
#如果全備有效進行增量備份否則執行完全備份
if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then
# 如果最新的全備未過期則以最新的全備文件名命名在增量備份目錄下新建目錄
echo -e "完全備份$LATEST_FULL_BACKUP未過期,將根據$LATEST_FULL_BACKUP名字作爲增量備份基礎目錄名"
echo " "
NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
mkdir -p $NEW_INCRDIR
# 查找最新的增量備份是否存在.指定一個備份的路徑作爲增量備份的基礎
LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
if [ ! $LATEST_INCR_BACKUP ] ; then
INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP
echo -e "增量備份將以$INCRBASEDIR作爲備份基礎目錄"
echo " "
else
INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}
echo -e "增量備份將以$INCRBASEDIR作爲備份基礎目錄"
echo " "
fi
echo "使用$INCRBASEDIR作爲基礎本次增量備份的基礎目錄."
$INNOBACKUPEXFULL --defaults-file=$MY_CNF --galera-info --kill-long-query-type=select --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1
#保留一份備份的詳細日誌
cat $TMPLOG>$logfiledate
if [ -z "`tail -1 $TMPLOG | grep 'completed OK!'`" ] ; then
echo "$INNOBACKUPEX命令執行失敗:"; echo
echo -e "---------- $INNOBACKUPEX_PATH錯誤 ----------"
cat $TMPLOG
/bin/rm -f $TMPLOG
exit 1
fi
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`
/bin/rm -f $TMPLOG
echo -n "數據庫成功備份到:$THISBACKUP"
echo
# 提示應該保留的備份文件起點
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}
RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`
echo
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #紅色
echo -e "必須保留$KEEP_FULLBACKUP份全備即全備${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目錄中所有增量備份."
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #紅色
echo
else
echo "*********************************"
echo -e "find expire backup file...........waiting........."
echo -e "尋找過期的全備文件並刪除">>$logfiledate
for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +4)
do
if [ -d ${efile} ]; then
/bin/rm -rf "${efile}"
echo -e "刪除過期全備文件:${efile}" >>$logfiledate
elif [ -f ${efile} ]; then
/bin/rm -rf "${efile}"
echo -e "刪除過期全備文件:${efile}" >>$logfiledate
fi;
done
if [ $? -eq "0" ];then
echo
echo -e "未找到可以刪除的過期全備文件"
fi
echo -e "正在執行全新的完全備份...請稍等..."
echo "*********************************"
$INNOBACKUPEXFULL --defaults-file=$MY_CNF --galera-info --kill-long-query-type=select --use-memory=4G $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1
#保留一份備份的詳細日誌
cat $TMPLOG>$logfiledate
if [ -z "`tail -1 $TMPLOG | grep 'completed OK!'`" ] ; then
echo "$INNOBACKUPEX命令執行失敗:"; echo
echo -e "---------- $INNOBACKUPEX_PATH錯誤 ----------"
cat $TMPLOG
/bin/rm -f $TMPLOG
exit 1
fi
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`
/bin/rm -f $TMPLOG
echo -n "數據庫成功備份到:$THISBACKUP"
echo
# 提示應該保留的備份文件起點
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}
echo
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #紅色
echo -e "無增量備份,必須保留$KEEP_FULLBACKUP份全備即全備${RES_FULL_BACKUP}."
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #紅色
echo
fi
#刪除過期的全備
echo -e "find expire backup file...........waiting........."
echo -e "尋找過期的全備文件並刪除">>$logfiledate
for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +7)
do
if [ -d ${efile} ]; then
/bin/rm -rf "${efile}"
echo -e "刪除過期全備文件:${efile}" >>$logfiledate
elif [ -f ${efile} ]; then
/bin/rm -rf "${efile}"
echo -e "刪除過期全備文件:${efile}" >>$logfiledate
fi;
done
if [ $? -eq "0" ];then
echo
echo -e "未找到可以刪除的過期全備文件"
fi
#增備
echo -e "尋找過期的增備文件並刪除" >>$logfiledate
for exfile in $(/usr/bin/find $INCRBACKUP_DIR/ -mtime +7)
do
if [ -d ${exfile} ]; then
/bin/rm -rf "${exfile}"
echo -e "刪除過期增備文件:${exfile}" >>$logfiledate
elif [ -f ${exfile} ]; then
/bin/rm -rf "${exfile}"
echo -e "刪除過期增備文件:${exfile}" >>$logfiledate
fi;
done
if [ $? -eq 0 ]
then
echo
echo -e "未找到可以刪除的過期增備文件"
fi
echo
echo "完成於: `date +%F' '%T' '%w`"
exit 0遇到問題
1、Mariadb 開啓innodb_safe_truncate報如下錯
InnoDB: Unsupported redo log format. The redo log was created with MariaDB 10.2.26. Please follow the instructions at http://dev.mysql.com/doc/refman/5.7/en/upgrading-downgrading.html
關閉即可
[root@rec mnt]# cat /etc/my.cnf.d/server.cnf |grep safe
innodb_safe_truncate=0
[root@rec mnt]#
2、長查詢造成阻塞，導致主從複製報延時
--kill-long-queries-timeout=120 、--kill-long-query-type=select
3、innobackupex常用參數：
--user=USER 指定備份用戶，不指定的話爲當前系統用戶
--password=PASSWD 指定備份用戶密碼
--port=PORT 指定數據庫端口
--defaults-group=GROUP-NAME 在多實例的時候使用
--host=HOST 指定備份的主機，可以爲遠程數據庫服務器
--apply-log 回滾日誌
--database 指定需要備份的數據庫，多個數據庫之間以空格分開
--defaults-file 指定mysql的配置文件
--copy-back 將備份數據複製回原始位置
--incremental 增量備份，後面跟要增量備份的路徑
--incremental-basedir=DIRECTORY 增量備份時使用指向上一次的增量備份所在的目錄
--incremental-dir=DIRECTORY 增量備份還原的時候用來合併增量備份到全量，用來指定全備路徑
--redo-only 對增量備份進行合併
--rsync 加快本地文件傳輸，適用於non-InnoDB數據庫引擎。不與--stream共用
--no-timestamp 生成的備份文件不以時間戳爲目錄.
--kill-long-queries-timeout 參數的作用的就是在Xtrabackup執行FLUSH TABLES WITH READ LOCK以後，獲得全局讀鎖時，如果有正在執行的事務會阻塞等待，kill-long-queries-timeout參數就是不爲0時，xtrabackup內部創建一個線程，連接到數據庫執行show full processlist,如果TIME超過kill-long-queries-timeout，會kill掉線程
--kill-long-query-type 設置可以kill掉的sql類型。官方文檔介紹kill-long-query-type默認值時all，也就是所有語句都會kill掉。但是在使用中發現，只設置kill-long-queries-timeout，未設置kill-long-query-type時，參數沒起作用！
--defaults-extra-file 該選項指定了在標準defaults-file之前從哪個額外的文件讀取MySQL配置，必須在命令行的第一個選項的位置。一般用於存備份用戶的用戶名和密碼的配置文件。
--datadir backup的源目錄，mysql實例的數據目錄。從my.cnf中讀取，或者命令行指定。
--slave-info 該選項表示對slave進行備份的時候使用，打印出master的名字和binlog pos，同樣將這些信息以change 。master的命令寫入xtrabackup_slave_info文件。
--safe-slave-backup 該選項表示爲保證一致性複製狀態，這個選項停止SQL線程並且等到show status中的slave_open_temp_tables爲0的時候開始備份，如果沒有打開臨時表，bakcup會立刻開始，否則SQL線程將關閉直到沒有打開的臨時表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默認300秒）秒之後不爲0，從庫sql線程會在備份完成的時候重啓。
--ftwrl-wait-query-type 該選項表示獲得全局鎖之前允許那種查詢完成，默認是ALL，可選update。
--history 該選項表示percona server 的備份歷史記錄在percona_schema.xtrabackup_history表。
--backup 創建備份並且放入--target-dir目錄中。
--parallel 指定備份時拷貝多個數據文件併發的進程數，默認值爲1。
--compress 該選項表示壓縮innodb數據文件的備份。
--compress-threads 該選項表示並行壓縮worker線程的數量。
--stream 該選項表示流式備份的格式，backup完成之後以指定格式到STDOUT，目前只支持tar和xbstream。
--encrypt 該選項表示通過ENCRYPTION_ALGORITHM的算法加密innodb數據文件的備份，目前支持的算法有ASE128,AES192,AES256。
--encrypt-threads 該選項表示並行加密的worker線程數量。
--encryption-key-file 該選項表示文件必須是一個簡單二進制或者文本文件，加密key可通過以下命令行命令生成：openssl rand -base64 24。
--galera-info 該選項表示生成了包含創建備份時候本地節點狀態的文件xtrabackup_galera_info文件，該選項只適用於備份PXC。