Mysql innobackupex xtrabackup 备份还原

大数据量备份与还原，始终是个难点。当MySQL超10G，用mysqldump来导出就比较慢了。在这里推荐xtrabackup,这个工具比mysqldump要快很多。

1. Xtrabackup介绍

1.1. Xtrabackup是什么

Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份(备份时不影响数据读写)，是商业备份工具InnoDB Hotbackup的一个很好的替代品。

Xtrabackup有两个主要的工具：xtrabackup、innobackupex

1、xtrabackup只能备份InnoDB和XtraDB两种数据表，而不能备份MyISAM数据表

2、 innobackupex是参考了InnoDB Hotbackup的innoback脚本修改而来的.innobackupex是一个perl脚本封装，封装了xtrabackup。主要是为了方便的同时备份InnoDB和MyISAM引擎的表，但在处理myisam时需要加一个读锁。并且加入了一些使用的选项。如slave-info可以记录备份恢复后，作为slave需要的一些信息，根据这些信息，可以很方便的利用备份来重做slave。

1.2. Xtrabackup可以做什么

在线(热)备份整个库的InnoDB、 XtraDB表

在xtrabackup的上一次整库备份基础上做增量备份(innodb only)

以流的形式产生备份，可以直接保存到远程机器上(本机硬盘空间不足时很有用)

MySQL数据库本身提供的工具并不支持真正的增量备份，二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。

Xtrabackup工具支持对InnoDB存储引擎的增量备份，工作原理如下：

(1)首先完成一个完全备份，并记录下此时检查点的LSN(Log Sequence Number)。

(2)在进程增量备份时，比较表空间中每个页的LSN是否大于上次备份时的LSN，如果是，则备份该页，同时记录当前检查点的LSN。

首先，在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”)，然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile；接着，开始拷贝全部的数据文件.ibd；在拷贝全部数据文件结束之后，才停止拷贝logfile。

因为logfile里面记录全部的数据修改情况，所以，即时在备份过程中数据文件被修改过了，恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。

因为innobackupex支持innodb,myisam,所以本文说一下，怎么使用innobackupex

2. 安装xtrabackup

1，下载地址

http://www.percona.com/downloads/XtraBackup/

2，安装

根据需求，选择不同的版本，我选择的是rpm安装包，如果报以下错误

[root@localhost xtrabackup]# rpm -ivh percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm

warning: percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY

error: Failed dependencies:

perl(Time::HiRes) is needed by percona-xtrabackup-2.2.4-5004.el6.x86_64

解决办法：

[root@localhost xtrabackup]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL //安装依赖包

[root@localhost xtrabackup]# rpm -ivh percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm //重新安装

warning: percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY

Preparing... ########################################### [100%]

1:percona-xtrabackup ########################################### [100%]

注意：

xtrabackup 2.2.4不支持mysql 5.1.73，所以如果要用新的xtrabackup,就要用高版本的mysql数据库，不然就会报以下错误：

innobackupex: Error: Unsupported server version: '5.1.73'

3. 修改my.cnf

查看一下mysqld下面有没有datadir，如果没有加上

[mysqld]

datadir=/usr/local/mysql/data

不加的话，还原数据的时候，有可能会出现以下问题，

xtrabackup: Error: Please set parameter 'datadir'

innobackupex: fatal error: no 'mysqld' group in MySQL options

innobackupex: fatal error: OR no 'datadir' option in group 'mysqld' in MySQL options

4. 全库备份与还原

4.1. 全库备份

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=root /backup/full

如果报以下错误：

InnoDB: Error: log file ./ib_logfile0 is of different size 5242880 bytes

InnoDB: than specified in the .cnf file 50331648 bytes!

innobackupex: Error: The xtrabackup child process has died at /usr/bin/innobackupex line 2679.

解决办法：在my.cnf的mysqld中加入以下内容

[mysqld]

innodb_log_file_size = 5M

4.2. 单数据库备份

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --database=test /backup/full

4.3. 全库备份并压缩

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --stream=tar /backup/full | gzip > /backup/full/`date +%F_%H-%M-%S`.tar.gz

4.4. 全库还原

# /etc/init.d/mysqld stop //停掉mysql

# mv /usr/local/mysql/data /usr/local/mysql/data_bak //数据目录备份

# mkdir -p /usr/local/mysql/data //重建数据目录

//--apply-log选项的命令是准备在一个备份上启动mysql服务

#innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log /backup/full/2018-05-23_14-37-34

//--copy-back 选项的命令从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置

# innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /backup/full/2018-05-23_14-37-34

# chown -R mysql.mysql /usr/local/mysql/data //改变文件所属

# /etc/init.d/mysqld stop //启动mysql

5. 增量备份与还原

1,创建测试数据库和表

create database backup_test; //创建库

CREATE TABLE `backup` ( //创建表

`id` int(11) NOT NULL AUTO_INCREMENT ,

`name` varchar(20) NOT NULL DEFAULT '' ,

`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ,

`del` tinyint(1) NOT NULL DEFAULT '0',

PRIMARY KEY (`id`)

) ENGINE=innodb DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

2、插入数据

mysql> INSERT INTO backup (name) VALUES ('tank');

全量备份：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=root /backup/full

3、增量备份

mysql> INSERT INTO backup (name) VALUES ('tank1'); //插入数据

#innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --incremental-basedir=/backup/full/2018-05-23_15-22-55 --incremental /backup/incr

3,在增量的基础上在进行增量备份

mysql> INSERT INTO backup (name) VALUES ('tank2'),('tank3'),('tank4'),('tank5'),('tank6'); //在插入数据

//2018-05-23_15-25-36这个目录，上次增量备份产生的目录

#innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --incremental-basedir=/backup/incr/2018-05-23_15-25-36 --incremental /backup/incr

查看增量备份记录文件：

[root@test07 2018-05-23_15-22-55]# cat xtrabackup_checkpoints //全备目录

backup_type = full-backuped

from_lsn = 0

to_lsn = 67940611999

last_lsn = 67940611999

compact = 0

recover_binlog_info = 0

[root@test07 2018-05-23_15-25-36]# cat xtrabackup_checkpoints //第一次增量备后目录

backup_type = incremental

from_lsn = 67940611999

to_lsn = 67940612311

last_lsn = 67940612311

compact = 0

recover_binlog_info = 0

[root@test07 2018-05-23_15-28-17]# cat xtrabackup_checkpoints //第二次增量备份目录下的文件

backup_type = incremental

from_lsn = 67940612311

to_lsn = 67940614349

last_lsn = 67940614349

compact = 0

recover_binlog_info = 0

增量备份做完后，把backup_test这个数据库删除掉，drop database backup_test;这样可以对比还原后

4,增量还原

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --apply-log --redo-only /backup/full/2018-05-23_15-22-55

#innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --apply-log --redo-only /backup/full/2018-05-23_15-22-55 --incremental-dir=/backup/incr/2018-05-23_15-25-36

# innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --apply-log /backup/full/2018-05-23_15-22-55 --incremental-dir=/backup/incr/2018-05-23_15-28-17

在这里有三个目录，

1),/backup/full/2018-05-23_15-22-55，全备份目录

2),/backup/incr/2018-05-23_15-25-36，第一次增量备份产生的目录

3),/backup/incr/2018-05-23_15-28-17，第二次增量备份产生的目录

到这里增量还原，还没有结束，还有最重要一步，就是要进行一次全量还原。停止数据库，删除/usr/local/mysql/data，在还原。

5、还原数据

innobackupex --defaults-file=/etc/my.cnf --user=root --password=root --copy-back /backup/full/2018-05-23_15-22-55

6、验证数据：

MariaDB [backup_test]> select * from backup

-> ;

+----+-------+---------------------+-----+

| id | name | create_time | del |

+----+-------+---------------------+-----+

| 1 | tank | 2018-05-23 15:22:12 | 0 |

| 2 | tank1 | 2018-05-23 15:23:50 | 0 |

| 3 | tank2 | 2018-05-23 15:25:50 | 0 |

| 4 | tank3 | 2018-05-23 15:25:50 | 0 |

| 5 | tank4 | 2018-05-23 15:25:50 | 0 |

| 6 | tank5 | 2018-05-23 15:25:50 | 0 |

| 7 | tank6 | 2018-05-23 15:25:50 | 0 |

+----+-------+---------------------+-----+

增量备份的原理就是，把增量目录下的数据，整合到全变量目录下，然后在进行，全数据量的还原。

总体来说，innobackupex速度快，支持innodb,myisam,用起来是还不是很方便，单库还原，还是增量备份还原，都要进行全部数据库还原，这个不合理。

6. innobackup 常用参数说明

--defaults-file

同xtrabackup的--defaults-file参数

--apply-log

对xtrabackup的--prepare参数的封装

--copy-back

做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ；

--remote-host=HOSTNAME

通过ssh将备份数据存储到进程服务器上；

--stream=[tar]

备份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。

在使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。

--tmpdir=DIRECTORY

当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir

--redo-only --apply-log组,

强制备份日志时只redo ,跳过rollback。这在做增量备份时非常必要。

--use-memory=#

该参数在prepare的时候使用，控制prepare时innodb实例使用的内存量

--throttle=IOS

同xtrabackup的--throttle参数

--sleep=是给ibbackup使用的，指定每备份1M数据，过程停止拷贝多少毫秒，也是为了在备份时尽量减小对正常业务的影响，具体可以查看ibbackup的手册；

--compress[=LEVEL]

对备份数据迚行压缩，仅支持ibbackup，xtrabackup还没有实现；

--include=REGEXP

对 xtrabackup参数--tables的封装，也支持ibbackup。备份包含的库表，例如：--include="test.*"，意思是要备份 test库中所有的表。如果需要全备份，则省略这个参数；如果需要备份test库下的2个表：test1和test2,则写成：--include="test.test1|test.test2"。也可以使用通配符，如：--include="test.test*"。

--databases=LIST

列出需要备份的databases，如果没有指定该参数，所有包含MyISAM和InnoDB表的database都会被备份；

--uncompress

解压备份的数据文件，支持ibbackup，xtrabackup还没有实现该功能；

--slave-info,

备份从库, 加上--slave-info备份目录下会多生成一个xtrabackup_slave_info 文件, 这里会保存主日志文件以及偏移, 文件内容类似于:CHANGE MASTER TO MASTER_LOG_FILE='', MASTER_LOG_POS=0

--socket=SOCKET

Mysql innobackupex xtrabackup 备份还原

1. Xtrabackup介绍

1.1. Xtrabackup是什么

1.2. Xtrabackup可以做什么

2. 安装xtrabackup

3. 修改my.cnf

4. 全库备份与还原

4.1. 全库备份

4.2. 单数据库备份

4.3. 全库备份并压缩

4.4. 全库还原

5. 增量备份与还原

6. innobackup 常用参数说明

MySQL中間件之ProxySQL總結

Mysql innobackupex xtrabackup 備份還原

linux LVM 常用總結

yum使用與總結

iostat使用與總結

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

Mysql innobackupex xtrabackup 备份 还原

1. Xtrabackup介绍

1.1. Xtrabackup是什么

1.2. Xtrabackup可以做什么

2. 安装xtrabackup

3. 修改my.cnf

4. 全库备份与还原

4.1. 全库备份

4.2. 单数据库备份

4.3. 全库备份并压缩

4.4. 全库还原

5. 增量备份与还原

6. innobackup 常用参数说明

Mysql innobackupex xtrabackup 备份还原