redis持久化

一、持久化相關介紹:

1.redis持久化,即將redis的數據信息保存到磁盤中。


2.redis持久化的重要性:

redis的應用場景爲:海量數據、高併發、高可用

持久化主要是做災難恢復,數據恢復,比如你redis整個掛了,然後redis就不可用了,你要做的事情是讓redis變得可用,儘快變得可用

重啓redis,儘快讓它對外提供服務,如果你沒做數據備份,這個時候redis啓動了,也不可用啊,數據都沒了

很可能說,大量的請求過來,緩存全部無法命中,在redis里根本找不到數據,緩存雪崩問題,所有請求,沒有在redis命中,就會去mysql數據庫這種數據源頭中去找,一下

mysql承接高併發,然後就掛了。故此redis的持久化很重要。


3.redis持久化主要分爲兩種:RDB 和 AOF





二、RDB

1.持久化機制:RDB持久化機制,對redis中的數據執行週期性的持久化

2.優點:

(1)RDB會生成多個數據文件,每個數據文件都代表了某一個時刻中redis的數據,這種多個數據文件的方式,非常適合做冷備,可以將這種完整的數據文件發送到一些遠程

安全存儲上去,比如說Amazon的S3雲服務上去,在國內可以是阿里雲的ODPS分佈式存儲上,以預定好的備份策略來定期備份redis中的數據

(2)RDB對redis對外提供的讀寫服務,影響非常小,可以讓redis保持高性能,因爲redis主進程只需要fork一個子進程,讓子進程執行磁盤IO操作來進行RDB持久化即

(3)相對於AOF持久化機制來說,直接基於RDB數據文件來重啓和恢復redis進程,更加快速

3.缺點:

(1)如果想要在redis故障時,儘可能少的丟失數據,那麼RDB沒有AOF好。一般來說,RDB數據快照文件,都是每隔5分鐘,或者更長時間生成一次,這個時候就得接受一旦

redis進程宕機,那麼會丟失最近5分鐘的數據

(2)RDB每次在fork子進程來執行RDB快照數據文件生成的時候,如果數據文件特別大,可能會導致對客戶端提供的服務暫停數毫秒,或者甚至數秒

4.相關配置:redis.windows-service.conf配置文件中

################################ SNAPSHOTTING  ################################
#
# Save the DB on disk:
#
#   save <seconds> <changes>
#
#   Will save the DB if both the given number of seconds and the given
#   number of write operations against the DB occurred.
#
#   In the example below the behaviour will be to save:
#   after 900 sec (15 min) if at least 1 key changed
#   after 300 sec (5 min) if at least 10 keys changed
#   after 60 sec if at least 10000 keys changed
#
#   Note: you can disable saving completely by commenting out all "save" lines.
#
#   It is also possible to remove all the previously configured save
#   points by adding a save directive with a single empty string argument
#   like in the following example:
#
#   save ""

save 900 1
save 300 10
save 60 10000

(1)每隔60s,如果有超過10000個key發生了變更,那麼就生成一個新的dump.rdb文件,就是當前redis內存中完整的數據快照,這個操作也被稱之爲snapshotting,快照
可以設置多個save檢查點,也可以設置rdb文件位置

(2)也可以手動調用save或者bgsave命令,同步或異步執行rdb快照生成

(3)save可以設置多個,就是多個snapshotting檢查點,每到一個檢查點,就會去check一下,是否有指定的key數量發生了變更,如果有,就生成一個新的dump.rdb文件

(4)dump.rdb,每次生成一個新的快照,都會覆蓋之前的老快照


5.舉例:

手動設置一個save檢查點,save 5 1

寫入幾條數據,等待5秒鐘,會發現自動進行了一次dump rdb快照,在dump.rdb中發現了數據

異常停掉redis進程,再重新啓動redis,看剛纔插入的數據還在



三、AOF

1.持久化機制:對每條寫入命令作爲日誌,以append-only的模式寫入一個日誌文件中,在redis重啓的時候,可以通過回放AOF日誌中的寫入指令來重新構建整個數據集

2.優點:

(1)AOF可以更好的保護數據不丟失,一般AOF會每隔1秒,通過一個後臺線程執行一次fsync操作,最多丟失1秒鐘的數據

(2)AOF日誌文件以append-only模式寫入,所以沒有任何磁盤尋址的開銷,寫入性能非常高,而且文件不容易破損,即使文件尾部破損,也很容易修復

(3)AOF日誌文件即使過大的時候,出現後臺重寫操作,也不會影響客戶端的讀寫。因爲在rewrite log的時候,會對其中的指導進行壓縮,創建出一份需要恢復數據的最小日誌出來。再創建新日誌文件的時候,老的日誌文件還是照常寫入。當新的merge後的日誌文件ready的時候,再交換新老日誌文件即可。

(4)AOF日誌文件的命令通過非常可讀的方式進行記錄,這個特性非常適合做災難性的誤刪除的緊急恢復。比如某人不小心用flushall命令清空了所有數據,只要這個時候後臺rewrite還沒有發生,那麼就可以立即拷貝AOF文件,將最後一條flushall命令給刪了,然後再將該AOF文件放回去,就可以通過恢復機制,自動恢復所有數據

3.缺點:

(1)對於同一份數據來說,AOF日誌文件通常比RDB數據快照文件更大

(2)AOF開啓後,支持的寫QPS會比RDB支持的寫QPS低,因爲AOF一般會配置成每秒fsync一次日誌文件,當然,每秒一次fsync,性能也還是很高的

(3)以前AOF發生過bug,就是通過AOF記錄的日誌,進行數據恢復的時候,沒有恢復一模一樣的數據出來。所以說,類似AOF這種較爲複雜的基於命令日誌/merge/回放的方式,比基於RDB每次持久化一份完整的數據快照文件的方式,更加脆弱一些,容易有bug。不過AOF就是爲了避免rewrite過程導致的bug,因此每次rewrite並不是基於舊的指令日誌進行merge的,而是基於當時內存中的數據進行指令的重新構建,這樣健壯性會好很多。


4.相關配置:

(1)默認是關閉的

############################## APPEND ONLY MODE ###############################

# By default Redis asynchronously dumps the dataset on disk. This mode is
# good enough in many applications, but an issue with the Redis process or
# a power outage may result into a few minutes of writes lost (depending on
# the configured save points).
#
# The Append Only File is an alternative persistence mode that provides
# much better durability. For instance using the default data fsync policy
# (see later in the config file) Redis can lose just one second of writes in a
# dramatic event like a server power outage, or a single write if something
# wrong with the Redis process itself happens, but the operating system is
# still running correctly.
#
# AOF and RDB persistence can be enabled at the same time without problems.
# If the AOF is enabled on startup Redis will load the AOF, that is the file
# with the better durability guarantees.
#
# Please check http://redis.io/topics/persistence for more information.

appendonly no

appendonly 默認爲no,使用AOF時需要修改爲yes


(2)三種策略:

appendfsync always :每次寫入一條數據,立即將這個數據對應的寫日誌fsync到磁盤上去,性能非常非常差,吞吐量很低

appendfsync everysec :每秒將os cache中的數據fsync到磁盤,這個最常用的,生產環境一般都這麼配置,性能很高

appendfsync no :僅僅redis負責將數據寫入os cache就撒手不管了,然後後面os自己會時不時有自己的策略將數據刷入磁盤


(3)在配置的路徑下會生成appendonly.aof文件


(4)rewrite相關

redis中的數據其實有限的,很多數據可能會自動過期,可能會被用戶刪除,可能會被redis用緩存清除的算法清理掉

redis中的數據會不斷淘汰掉舊的,就一部分常用的數據會被自動保留在redis內存中

所以可能很多之前的已經被清理掉的數據,對應的寫日誌還停留在AOF中,AOF日誌文件就一個,會不斷的膨脹,到很大很大

所以AOF會自動在後臺每隔一定時間做rewrite操作

在redis.conf中,可以配置rewrite策略:

auto-aof-rewrite-percentage 100   如果發現增長的比例,超過了之前的100%,就可能會去觸發一次rewrite

auto-aof-rewrite-min-size 64mb   但是此時還要去跟min-size,64mb去比較,當前文件大小 > 64mb,纔會去觸發rewrite


(5)AOF破損文件的修復
如果redis在append數據到AOF文件時,機器宕機了,可能會導致AOF文件破損

用redis-check-aof --fix命令來修復破損的AOF文件


(6)RDB和AOF同時進行時

如果RDB在執行snapshotting操作,那麼redis不會執行AOF rewrite; 如果redis再執行AOF rewrite,那麼就不會執行RDB snapshotting

如果RDB在執行snapshotting,此時用戶執行BGREWRITEAOF命令,那麼等RDB快照生成之後,纔會去執行AOF rewrite

同時有RDB snapshot文件和AOF日誌文件,那麼redis重啓的時候,會優先使用AOF進行數據恢復,因爲其中的日誌更完整

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章