之前學習redis的時候，對於數據持久化只知道兩種，原來還有第三種，虛擬內存的方式，以及不知道數據淘汰策略，現在是學習了。
本文轉載：https://www.cnblogs.com/Survivalist/p/8119891.html
1.什麼是redis?
Redis 是一個基於內存的高性能key-value數據庫。
2.Reids的特點
Redis本質上是一個Key-Value類型的內存數據庫，很像memcached，整個數據庫統統加載在內存當中進行操作，定期通過異步操作把數據庫數據flush到硬盤上進行保存。因爲是純內存操作，Redis的性能非常出色，每秒可以處理超過 10萬次讀寫操作，是已知性能最快的Key-Value DB。
Redis的出色之處不僅僅是性能，Redis最大的魅力是支持保存多種數據結構，此外單個value的最大限制是1GB，不像 memcached只能保存1MB的數據，因此Redis可以用來實現很多有用的功能，比方說用他的List來做FIFO雙向鏈表，實現一個輕量級的高性 能消息隊列服務，用他的Set可以做高性能的tag系統等等。另外Redis也可以對存入的Key-Value設置expire時間，因此也可以被當作一 個功能加強版的memcached來用。
Redis的主要缺點是數據庫容量受到物理內存的限制，不能用作海量數據的高性能讀寫，因此Redis適合的場景主要侷限在較小數據量的高性能操作和運算上。
3.使用redis有哪些好處？
(1) 速度快，因爲數據存在內存中，類似於HashMap，HashMap的優勢就是查找和操作的時間複雜度都是 O(1)
(2) 支持豐富數據類型，支持string，list，set，sorted set，hash
(3) 支持事務，操作都是原子性，所謂的原子性就是對數據的更改要麼全部執行，要麼全部不執行
(4) 豐富的特性：可用於緩存，消息，按key設置過期時間，過期後將會自動刪除
4.redis相比memcached有哪些優勢？
(1) memcached所有的值均是簡單的字符串，redis作爲其替代者，支持更爲豐富的數據類型
(2) redis的速度比memcached快
(3) redis可以持久化其數據
5.Memcache與Redis的區別都有哪些？
1)、存儲方式 Memecache把數據全部存在內存之中，斷電後會掛掉，數據不能超過內存大小。 Redis有部份存在硬盤上，這樣能保證數據的持久性。
2)、數據支持類型 Memcache對數據類型支持相對簡單。 Redis有複雜的數據類型。
3)、使用底層模型不同 它們之間底層實現方式 以及與客戶端之間通信的應用協議不一樣。 Redis直接自己構建了VM 機制 ，因爲一般的系統調用系統函數的話，會浪費一定的時間去移動和請求。
6.redis常見性能問題和解決方案
1).Master寫內存快照，save命令調度rdbSave函數，會阻塞主線程的工作，當快照比較大時對性能影響是非常大的，會間斷性暫停服務，所以Master最好不要寫內存快照。
2).Master AOF持久化，如果不重寫AOF文件，這個持久化方式對性能的影響是最小的，但是AOF文件會不斷增大，AOF文件過大會影響Master重啓的恢復速度。Master最好不要做任何持久化工作，包括內存快照和AOF日誌文件，特別是不要啓用內存快照做持久化,如果數據比較關鍵，某個Slave開啓AOF備份數據，策略爲每秒同步一次。
3).Master調用BGREWRITEAOF重寫AOF文件，AOF在重寫的時候會佔大量的CPU和內存資源，導致服務load過高，出現短暫服務暫停現象。
4). Redis主從複製的性能問題，爲了主從複製的速度和連接的穩定性，Slave和Master最好在同一個局域網內
7.mySQL裏有2000w數據，redis中只存20w的數據，如何保證redis中的數據都是熱點數據
相關知識：redis 內存數據集大小上升到一定大小的時候，就會施行數據淘汰策略（回收策略）。redis 提供 6種數據淘汰策略：
- volatile-lru：從已設置過期時間的數據集（server.db[i].expires）中挑選最近最少使用的數據淘汰
- volatile-ttl：從已設置過期時間的數據集（server.db[i].expires）中挑選將要過期的數據淘汰
- volatile-random：從已設置過期時間的數據集（server.db[i].expires）中任意選擇數據淘汰
- allkeys-lru：從數據集（server.db[i].dict）中挑選最近最少使用的數據淘汰
- allkeys-random：從數據集（server.db[i].dict）中任意選擇數據淘汰
- no-enviction（驅逐）：禁止驅逐數據（不刪除任意數據(但redis還會根據引用計數器進行釋放),這時如果內存不夠時，會直接返回錯誤）
8.請用Redis和任意語言實現一段惡意登錄保護的代碼，限制1小時內每用戶Id最多隻能登錄5次。具體登錄函數或功能用空函數即可，不用詳細寫出。
用列表實現:列表中每個元素代表登陸時間,只要最後的第5次登陸時間和現在時間差不超過1小時就禁止登陸.用Python寫的代碼如下：
#!/usr/bin/env python3
import redis
import sys
import time
r = redis.StrictRedis(host=’127.0.0.1′, port=6379, db=0)
try:
id = sys.argv[1]
except:
print(‘input argument error’)
sys.exit(0)
if r.llen(id) >= 5 and time.time() – float(r.lindex(id, 4)) <= 3600:
print(“you are forbidden logining”)
else:
print(‘you are allowed to login’)
r.lpush(id, time.time())
# login_func()9.爲什麼redis需要把所有數據放到內存中?
Redis爲了達到最快的讀寫速度將數據都讀到內存中，並通過異步的方式將數據寫入磁盤。所以redis具有快速和數據持久化的特徵。如果不將數據放在內存中，磁盤I/O速度爲嚴重影響redis的性能。在內存越來越便宜的今天，redis將會越來越受歡迎。
如果設置了最大使用的內存，則數據已有記錄數達到內存限值後不能繼續插入新值。
10.Redis是單進程單線程的
redis利用隊列技術將併發訪問變爲串行訪問，消除了傳統數據庫串行控制的開銷
11.redis的併發競爭問題如何解決?
Redis爲單進程單線程模式，採用隊列模式將併發訪問變爲串行訪問。Redis本身沒有鎖的概念，Redis對於多個客戶端連接並不存在競爭，但是在Jedis客戶端對Redis進行併發訪問時會發生連接超時、數據轉換錯誤、阻塞、客戶端關閉連接等問題，這些問題均是由於客戶端連接混亂造成。對此有2種解決方法：
1.客戶端角度，爲保證每個客戶端間正常有序與Redis進行通信，對連接進行池化，同時對客戶端讀寫Redis操作採用內部鎖synchronized。
2.服務器角度，利用setnx實現鎖。
注：對於第一種，需要應用程序自己處理資源的同步，可以使用的方法比較通俗，可以使用synchronized也可以使用lock；第二種需要用到Redis的setnx命令，但是需要注意一些問題。
12.redis事物的瞭解CAS(check-and-set 操作實現樂觀鎖 )?
和衆多其它數據庫一樣，Redis作爲NoSQL數據庫也同樣提供了事務機制。在Redis中，MULTI/EXEC/DISCARD/WATCH這四個命令是我們實現事務的基石。相信對有關係型數據庫開發經驗的開發者而言這一概念並不陌生，即便如此，我們還是會簡要的列出Redis中
事務的實現特徵：
1). 在事務中的所有命令都將會被串行化的順序執行，事務執行期間，Redis不會再爲其它客戶端的請求提供任何服務，從而保證了事物中的所有命令被原子的執行。
2). 和關係型數據庫中的事務相比，在Redis事務中如果有某一條命令執行失敗，其後的命令仍然會被繼續執行。
3). 我們可以通過MULTI命令開啓一個事務，有關係型數據庫開發經驗的人可以將其理解爲”BEGIN TRANSACTION”語句。在該語句之後執行的命令都將被視爲事務之內的操作，最後我們可以通過執行EXEC/DISCARD命令來提交/回滾該事務內的所有操作。這兩個Redis命令可被視爲等同於關係型數據庫中的COMMIT/ROLLBACK語句。
4). 在事務開啓之前，如果客戶端與服務器之間出現通訊故障並導致網絡斷開，其後所有待執行的語句都將不會被服務器執行。然而如果網絡中斷事件是發生在客戶端執行EXEC命令之後，那麼該事務中的所有命令都會被服務器執行。
5). 當使用Append-Only模式時，Redis會通過調用系統函數write將該事務內的所有寫操作在本次調用中全部寫入磁盤。然而如果在寫入的過程中出現系統崩潰，如電源故障導致的宕機，那麼此時也許只有部分數據被寫入到磁盤，而另外一部分數據卻已經丟失。
Redis服務器會在重新啓動時執行一系列必要的一致性檢測，一旦發現類似問題，就會立即退出並給出相應的錯誤提示。此時，我們就要充分利用Redis工具包中提供的redis-check-aof工具，該工具可以幫助我們定位到數據不一致的錯誤，並將已經寫入的部分數據進行回滾。修復之後我們就可以再次重新啓動Redis服務器了。
13.WATCH命令和基於CAS的樂觀鎖：
在Redis的事務中，WATCH命令可用於提供CAS(check-and-set)功能。假設我們通過WATCH命令在事務執行之前監控了多個Keys，倘若在WATCH之後有任何Key的值發生了變化，EXEC命令執行的事務都將被放棄，同時返回Null multi-bulk應答以通知調用者事務
執行失敗。例如，我們再次假設Redis中並未提供incr命令來完成鍵值的原子性遞增，如果要實現該功能，我們只能自行編寫相應的代碼。其僞碼如下：
val = GET mykey
val = val + 1
SET mykey val
EXEC
和此前代碼不同的是，新代碼在獲取mykey的值之前先通過WATCH命令監控了該鍵，此後又將set命令包圍在事務中，這樣就可以有效的保證每個連接在執行EXEC之前，如果當前連接獲取的mykey的值被其它連接的客戶端修改，那麼當前連接的EXEC命令將執行失敗。這樣調用者在判斷返回值後就可以獲悉val是否被重新設置成功。
14.redis持久化的幾種方式
1、快照（snapshots）
缺省情況情況下，Redis把數據快照存放在磁盤上的二進制文件中，文件名爲dump.rdb。你可以配置Redis的持久化策略，例如數據集中每N秒鐘有超過M次更新，就將數據寫入磁盤；或者你可以手工調用命令SAVE或BGSAVE。
工作原理
． Redis forks.
． 子進程開始將數據寫到臨時RDB文件中。
． 當子進程完成寫RDB文件，用新文件替換老文件。
． 這種方式可以使Redis使用copy-on-write技術。
2、AOF
快照模式並不十分健壯，當系統停止，或者無意中Redis被kill掉，最後寫入Redis的數據就會丟失。這對某些應用也許不是大問題，但對於要求高可靠性的應用來說，
Redis就不是一個合適的選擇。
Append-only文件模式是另一種選擇。
你可以在配置文件中打開AOF模式
3、虛擬內存方式
當你的key很小而value很大時,使用VM的效果會比較好.因爲這樣節約的內存比較大.
當你的key不小時,可以考慮使用一些非常方法將很大的key變成很大的value,比如你可以考慮將key,value組合成一個新的value.
vm-max-threads這個參數,可以設置訪問swap文件的線程數,設置最好不要超過機器的核數,如果設置爲0,那麼所有對swap文件的操作都是串行的.可能會造成比較長時間的延遲,但是對數據完整性有很好的保證.
自己測試的時候發現用虛擬內存性能也不錯。如果數據量很大，可以考慮分佈式或者其他數據庫
15.redis的緩存失效策略和主鍵失效機制
作爲緩存系統都要定期清理無效數據，就需要一個主鍵失效和淘汰策略.
在Redis當中，有生存期的key被稱爲volatile。在創建緩存時，要爲給定的key設置生存期，當key過期的時候（生存期爲0），它可能會被刪除。
1、影響生存時間的一些操作
生存時間可以通過使用 DEL 命令來刪除整個 key 來移除，或者被 SET 和 GETSET 命令覆蓋原來的數據，也就是說，修改key對應的value和使用另外相同的key和value來覆蓋以後，當前數據的生存時間不同。
比如說，對一個 key 執行INCR命令，對一個列表進行LPUSH命令，或者對一個哈希表執行HSET命令，這類操作都不會修改 key 本身的生存時間。另一方面，如果使用RENAME對一個 key 進行改名，那麼改名後的 key的生存時間和改名前一樣。
RENAME命令的另一種可能是，嘗試將一個帶生存時間的 key 改名成另一個帶生存時間的 another_key ，這時舊的 another_key (以及它的生存時間)會被刪除，然後舊的 key 會改名爲 another_key ，因此，新的 another_key 的生存時間也和原本的 key 一樣。使用PERSIST命令可以在不刪除 key 的情況下，移除 key 的生存時間，讓 key 重新成爲一個persistent key 。
2、如何更新生存時間
可以對一個已經帶有生存時間的 key 執行EXPIRE命令，新指定的生存時間會取代舊的生存時間。過期時間的精度已經被控制在1ms之內，主鍵失效的時間複雜度是O（1），
EXPIRE和TTL命令搭配使用，TTL可以查看key的當前生存時間。設置成功返回 1；當 key 不存在或者不能爲 key 設置生存時間時，返回 0 。
最大緩存配置
在 redis 中，允許用戶設置最大使用內存大小
server.maxmemory
默認爲0，沒有指定最大緩存，如果有新的數據添加，超過最大內存，則會使redis崩潰，所以一定要設置。redis 內存數據集大小上升到一定大小的時候，就會實行數據淘汰策略。
redis 提供 6種數據淘汰策略：
． volatile-lru：從已設置過期時間的數據集（server.db[i].expires）中挑選最近最少使用的數據淘汰
． volatile-ttl：從已設置過期時間的數據集（server.db[i].expires）中挑選將要過期的數據淘汰
． volatile-random：從已設置過期時間的數據集（server.db[i].expires）中任意選擇數據淘汰
． allkeys-lru：從數據集（server.db[i].dict）中挑選最近最少使用的數據淘汰
． allkeys-random：從數據集（server.db[i].dict）中任意選擇數據淘汰
． no-enviction（驅逐）：禁止驅逐數據
注意這裏的6種機制，volatile和allkeys規定了是對已設置過期時間的數據集淘汰數據還是從全部數據集淘汰數據，後面的lru、ttl以及random是三種不同的淘汰策略，再加上一種no-enviction永不回收的策略。
使用策略規則：
1、如果數據呈現冪律分佈，也就是一部分數據訪問頻率高，一部分數據訪問頻率低，則使用allkeys-lru
2、如果數據呈現平等分佈，也就是所有的數據訪問頻率都相同，則使用allkeys-random
三種數據淘汰策略：
ttl和random比較容易理解，實現也會比較簡單。主要是Lru最近最少使用淘汰策略，設計上會對key 按失效時間排序，然後取最先失效的key進行淘汰
16.redis 最適合的場景
Redis最適合所有數據in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：
1 、Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。
2 、Redis支持數據的備份，即master-slave模式的數據備份。
3 、Redis支持數據的持久化，可以將內存中的數據保持在磁盤中，重啓的時候可以再次加載進行使用。
（1）、會話緩存（Session Cache）
最常用的一種使用Redis的情景是會話緩存（session cache）。用Redis緩存會話比其他存儲（如Memcached）的優勢在於：Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時，如果用戶的購物車信息全部丟失，大部分人都會不高興的，現在，
他們還會這樣嗎？
幸運的是，隨着 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來緩存會話的文檔。甚至廣爲人知的商業平臺Magento也提供Redis的插件。
（2）、全頁緩存（FPC）
除基本的會話token之外，Redis還提供很簡便的FPC平臺。回到一致性問題，即使重啓了Redis實例，因爲有磁盤的持久化，用戶也不會看到頁面加載速度的下降，這是一個極大改進，類似PHP本地FPC。
再次以Magento爲例，Magento提供一個插件來使用Redis作爲全頁緩存後端。
此外，對WordPress的用戶來說，Pantheon有一個非常好的插件 wp-redis，這個插件能幫助你以最快速度加載你曾瀏覽過的頁面。
（3）、隊列
Reids在內存存儲引擎領域的一大優點是提供 list 和 set 操作，這使得Redis能作爲一個很好的消息隊列平臺來使用。Redis作爲隊列使用的操作，就類似於本地程序語言（如Python）對 list 的 push/pop 操作。
如果你快速的在Google中搜索“Redis queues”，你馬上就能找到大量的開源項目，這些項目的目的就是利用Redis創建非常好的後端工具，以滿足各種隊列需求。例如，Celery有一個後臺就是使用Redis作爲broker，你可以從這裏去查看。
（4），排行榜/計數器
Redis在內存中對數字進行遞增或遞減的操作實現的非常好。集合（Set）和有序集合（Sorted Set）也使得我們在執行這些操作的時候變的非常簡單，Redis只是正好提供了這兩種數據結構。所以，我們要從排序集合中獲取到排名最靠前的10個用戶–我們
稱之爲“user_scores”，我們只需要像下面一樣執行即可：
當然，這是假定你是根據你用戶的分數做遞增的排序。如果你想返回用戶及用戶的分數，你需要這樣執行：
ZRANGE user_scores 0 10 WITHSCORES
Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來存儲數據的，你可以在這裏看到。
（5）、發佈/訂閱
最後（但肯定不是最不重要的）是Redis的發佈/訂閱功能。發佈/訂閱的使用場景確實非常多。我已看見人們在社交網絡連接中使用，還可作爲基於發佈/訂閱的腳本觸發器，甚至用Redis的發佈/訂閱功能來建立聊天系統！（不，這是真的，你可以去核
實）。
Redis提供的所有特性中，我感覺這個是喜歡的人最少的一個，雖然它爲用戶提供如果此多功能。