redis持久化详解之AOF

 

AOF持久化跟RDB不同,它是将写命令记录到日志中,并将这些写操作保存到aof文件中

使用AOF

开启aof需要开启配置:appendonly yes ,默认不开启,aof文件名通过appendfilename 配置,默认文件名 APPendonly.aof  ;保存路径跟RDB相同,通过 dir 配置

持久化配置 

#启用aof持久化方式
appendonly yes 
#每次收到写命令就立即强制写入磁盘, 最慢的大概只有几百的TPS, 但是保证完全的持久化, 不推荐使用
appendfsync always 
#每秒钟强制写入磁盘一次, 在性能和持久化方面做了很好的折中, 推荐
appendfsync everysec 
#完全依赖os 性能最好,持久化没保证,Redis不会主动调用fsync去将AOF日志内容同步到磁盘,所以这一切就完全依赖于操作系统的 对大多数Linux操作系统是每30秒进行一次fsync,将缓冲区中的数据写到磁盘上。
appendfsync no, 

工作流程

  1.  所有的写入命令都会写入到缓存区
  2. aof缓冲区根据对应的策略向硬盘做同步操作
  3. 随着文件越来愈大需要定期对aof文件重写,达到压缩的目的
  4. 当redis重启时,可以通过aof文件恢复

 重写机制

aof是将写操作追加到aof文件后面,随着写入的越来约到,文件会越来愈大,为了解决这个问题,redis引入了aof重写机制压缩文件体积

aof重写是把redis进程内的数据转化为写操作同步到aof文件的过程

比如:
多条写命令可以合并为一个, 如: lpush list a、 lpush list b、 lpush list c 可以转化为: lpush list a b c。
aof重写降低了文件大小,并且aof文件可以更快的被redis加载


触发机制

aof重写可以手动触发跟自动触发

手动触发 :调用bgrewriteaof 命令。

自动触发:根据auto-aof-rewrite-min-size和 auto-aof-rewrite-percentage参数确定自动触发时机

auto-aof-rewrite-min-size: 表示运行 AOF 重写时文件最小体积, 默认为 64MB。
auto-aof-rewrite-percentage: 代表当前 AOF 文件空间(aof_current_size) 和上一次重写后 AOF 文件空间(aof_base_size) 的比值
示例:
    auto-aof-rewrite-percentage: 100
    auto-aof-rewrite-min-size: 64mb
    默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发
 

重写运行流程 

                              

  • 1.开始重写
  • 2.父进程执行 fork 创建子进程, 开销等同于 bgsave 过程
  • 3.1 主进程 fork 操作完成后, 继续响应其他命令。 所有修改命令依然写入 AOF 缓冲区并根据 appendfsync 策略同步到硬盘,保证原有 AOF 机制正确性。.
  •  3.2 由于 fork 操作运用写时复制技术, 子进程只能共享 fork 操作时的内存数据。 由于父进程依然响应命令, Redis 使用“AOF 重写缓冲区”保存这部分新数据, 防止新 AOF 文件生成期间丢失这部分数据
  • 4. 子进程根据内存快照, 按照命令合并规则写入到新的 AOF 文件。 每次批量写入硬盘数据量由配置 aof-rewrite-incremental-fsync 控制, 默认为 32MB, 防止单次刷盘数据过多造成硬盘阻塞。
  • 4.1) 新 AOF 文件写入完成后, 子进程发送信号给父进程, 父进程更新统计信息, 具体见 info persistence 下的 aof_*相关统计。
    4.2) 父进程把 AOF 重写缓冲区的数据写入到新的 AOF 文件。
    4.3) 使用新 AOF 文件替换老文件, 完成 AOF 重写。
     

AOF注意事项

在写入aof日志文件时, 如果Redis服务器宕机, 则aof日志文件文件会出格式错误, 在重启Redis服务器时, Redis服务器会拒绝载入这个aof文件,可以通过命令修复aof并恢复数据

redis-check-aof -fix file.aof

 

AOF的优点

  • 可以设置完全不同步,每秒同步,每次同步,默认每秒,因为aod是写操作的追加,所以可以频繁的大量的的同步
  • aof是日志追加的文件,所以服务器宕机也可以通过redis-check-aof工具修复
  • 如果aof文件过大,redis会在后台自动重写aof文件。压缩到最小指令集
  • AOF文件是有序保存数据库的所有写入操作, 易读, 易分析。 即使如果不小心误操作数据库, 也很容易找出错误指令, 恢复到某个数据节点。 例如不小心FLUSHALL, 可以非常容易恢复到执行命令之前。
     

AOF的缺点 

  • 相同数据量下,aof文件通常回避rdb大,因为aof存的是指令,而rdb存的是数据快照。
  • 在大量写入跟载入的时候rdb会比aof快很多,因为大量写入。aof会执行更多的保存命令,载入也需要大量执行命令来得到结果

 

 持久化的选择


       在实际生产环境中, 根据数据量、 应用对数据的安全要求、 预算限制等不同情况, 会有各种各样的持久化策略; 如完全不使用任何持久化、 使用RDB或AOF的一种, 或同时开启RDB和AOF持久化等。 此外, 持久化的选择必须与Redis的主从策略一起考虑, 因为主从复制与持久化同样具有数据备份的功能,而且主机master和从机slave可以独立的选择持久化方案。面分场景来讨论持久化策略的选择, 下面的讨论也只是作为参考, 实际方案可能更复杂更具多样性。


1) 如果Redis中的数据完全丢弃也没有关系(如Redis完全用作DB层数据的cache) , 那么无论是单机,
还是主从架构, 都可以不进行任何持久化。


2) 在单机环境下(对于个人开发者, 这种情况可能比较常见) , 如果可以接受十几分钟或更多的数据丢失, 选择RDB对Redis的性能更加有利;如果只能接受秒级别的数据丢失, 应该选择AOF。


3) 但在多数情况下, 我们都会配置主从环境, slave的存在既可以实现数据的热备, 也可以进行读写分离分担Redis读请求,以及在master宕掉后继续提供服务。

在这种情况下的做法是:
master: 完全关闭持久化(包括RDB和AOF) , 这样可以让master的性能达到最好;
slave: 关闭RDB, 开启AOF(如果对数据安全要求不高, 开启RDB关闭AOF也可以) , 并定时对持久化文件进行备份(如备份到其他文件夹, 并标记好备份的时间) ;然后关闭AOF的自动重写, 然后添加定时任务, 在每天Redis闲时(如凌晨12点) 调用bgrewriteaof。


这里需要解释一下, 为什么开启了主从复制, 可以实现数据的热备份, 还需要设置持久化呢? 因为在一些特殊情况下, 主从复制仍然不足以保证数
据的安全, 例如:

  • master和slave进程同时停止: 考虑这样一种场景, 如果master和slave在同一个机房, 则一次停电事故就可能导致master和slave机器同时关机,
  • Redis进程停止; 如果没有持久化, 则面临的是数据的完全丢失。
  • master误重启: 考虑这样一种场景, master服务因为故障宕掉了, 如果系统中有自动拉起机制(即检测到服务停止后重启该服务) 将master自动重启, 由于没有持久化文件, 那么master重启后数据是空的,
  • slave同步数据也变成了空的; 如果master和slave都没有持久化, 同样会面临数据的完全丢失。 需要注意的是, 即便是使用了哨兵进行自动的主从切换,也有可能在哨兵轮询到master之前, 便被自动拉起机制重启了。 因此, 应尽量避免“自动拉起机制”和“不做持久化”同时出现。

 

4) 异地灾备: 上述讨论的几种持久化策略, 针对的都是一般的系统故障, 如进程异常退出、 宕机、 断电等, 这些故障不会损坏硬盘。 但是对于一些可能导致硬盘损坏的灾难情况, 如火灾地震, 就需要进行异地灾备。

例如对於单机的情形, 可以定时将RDB文件或重写后的AOF文件, 通过scp拷贝到远程机器, 如阿里云; 对于主从的情形, 可以定时在master上执行bgsave, 然后将RDB文件拷贝到远程机器,或者在slave上执行bgrewriteaof重写AOF文件后, 将AOF文件拷贝到远程机器上。一般来说, 由于RDB文件文件小、 恢复快, 因此灾难恢复常用RDB文件; 异地备份的频率根据数据安全性的需要及其它条件来确定, 但最好不要低于一天一次。


持久化配置方案


1、 企业级的持久化的配置策略
save 60 10000: 如果你希望尽可能确保说, RDB最多丢1分钟的数据, 那么尽量就是每隔1分钟都生成一个快照, 低峰期, 数据量很少, 也没必要
10000->生成RDB, 1000->RDB, 这个根据你自己的应用和业务的数据量, 你自己去决定
AOF一定要打开, fsync, everysec
auto-aof-rewrite-percentage 100: 就是当前AOF大小膨胀到超过上次100%, 上次的两倍
auto-aof-rewrite-min-size 64mb: 根据你的数据量来定, 16mb, 32mb


2、 数据备份方案
RDB非常适合做冷备, 每次生成之后, 就不会再有修改了


数据备份方案
(1) 写crontab定时调度脚本去做数据备份
(2) 每小时都copy一份rdb的备份, 到一个目录中去, 仅仅保留最近48小时的备份
(3) 每天都保留一份当日的rdb的备份, 到一个目录中去, 仅仅保留最近1个月的备份
(4) 每次copy备份的时候, 都把太旧的备份给删了
(5) 每天晚上将当前服务器上所有的数据备份, 发送一份到远程的云服务上去【crontab】
 


 AOF常用配置总结


appendonly no: 是否开启AOF
appendfilename "appendonly.aof": AOF文件名
dir ./: RDB文件和AOF文件所在目录
appendfsync everysec: fsync持久化策略
no-appendfsync-on-rewrite no: AOF重写期间是否禁止fsync; 如果开启该选项, 可以减轻文件重写时CPU和硬盘的负载(尤其是硬盘) , 但是可能会丢失
AOF重写期间的数据; 需要在负载和安全性之间进行平衡
auto-aof-rewrite-percentage 100: 文件重写触发条件之一
auto-aof-rewrite-min-size 64mb: 文件重写触发提交之一
aof-load-truncated yes: 如果AOF文件结尾损坏, Redis启动时是否仍载入AOF文件

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章