征服Redis

大約一年多前,公司同事開始使用Redis,不清楚是配置,還是版本的問題,當時的Redis經常在使用一段時間後,連接爆滿且不釋放。印象中,Redis 2.4.8以下的版本由於設計上的主從庫同步問題,就會導致整個問題,不知是否確爲這個Bug所致。但從那以後,我就很少敢去嘗試使用Redis。曾想轉投MongoDB,但公司同事給我的回覆是,由於MongoDB宕機,數據丟失,公司損失慘重。於是,我一直停留在Memcached使用範疇,且用的還比較一般。


由於前段時間使用Kestrel,同時要操作Memcached及時更新緩存,又要操作database,持久化數據。 貌似Redis既可以當Cache又可以當Queue!於是,今天開始研究Redis

 

相關鏈接:

征服 Redis

征服 Redis + Jedis

征服 Redis + Jedis + Spring (一)—— 配置&常規操作(GET SET DEL)

征服 Redis + Jedis + Spring (二)—— 哈希表操作(HMGET HMSET)

征服 Redis + Jedis + Spring (三)—— 列表操作

 

一、Redis簡要介紹

Redis —— REmote DIctionary Server,可以直接理解爲遠程字典服務,也就是基於Key-Value模式Memcached+Database Persistence。
如果真要把Redis與Memcached進行對比,參考下圖:

使用Memcached,讓我感觸頗深的是Object Size的問題,由於SQL未作優化直接映射對象,導致緩存對象大於1MB,Memcached就拋了異常。而Redis默認緩存對象512MB,最大支持1GB。至少在緩存對象時,可以有更大的伸縮空間了! 此外,是數據類型。Memcached比較簡單,而Redis可以支持更多複雜的數據類型,如HASH、SET、SortedSet等等。

 

PS:Memcached是在Server端實現的ShardingRedis沒有對應的實現,據說3.0系列開始支持,不過這話貌似說了2年之久。

 

二、安裝

Redis裝起來,實在是過於簡單,讓我幾乎“無從下手”。因爲連“configure”文件都不需要,你只需要做個“make”就好。

在這裏下載Redis最新版,這裏用Redis 2.4.16

下載&解壓:

 

Shell代碼  收藏代碼
  1. wget http://redis.googlecode.com/files/redis-2.4.16.tar.gz  
  2. tar zxvf redis-2.4.16.tar.gz  

  

Redis可以解壓至任何目錄,一個make安裝即可獲得執行、配置文件。
安裝(這裏將redis解壓到/opt/目錄下):

 

Shell代碼  收藏代碼
  1. cd /opt/redis-2.4.16  
  2. make  

 

make之後,我們會得到以下可執行文件:

  • redis-server:Redis服務器的daemon啓動程序
  • redis-cli:Redis命令行操作工具。或者通過telnet進行純文本協議操作
  • redis-benchmark:Redis性能測試工具,測試Redis在你的系統及你的配置下的讀寫性能


上述文件位於src目錄下。

我習慣性的執行了make install,貌似我需要的可執行文件,安裝到了/usr/local/bin

引用
# make install
cd src && make install
make[1]: Entering directory `/opt/software/redis-2.4.16/src'
MAKE hiredis
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis'
make[2]: Nothing to be done for `static'.
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis'
MAKE linenoise
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/linenoise'
make[2]: “linenoise_example”是最新的。
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/linenoise'
MAKE hiredis
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis'
make[2]: Nothing to be done for `static'.
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis'
    LINK redis-benchmark
    LINK redis-cli

Hint: To run 'make test' is a good idea ;)

mkdir -p /usr/local/bin
cp -pf redis-server /usr/local/bin
cp -pf redis-benchmark /usr/local/bin
cp -pf redis-cli /usr/local/bin
cp -pf redis-check-dump /usr/local/bin
cp -pf redis-check-aof /usr/local/bin
make[1]: Leaving directory `/opt/software/redis-2.4.16/src'


這樣,就不用我拷貝文件了。 意外收穫!

此外,還會得到一個默認的配置文件——redis.conf
最好,把它拷貝到固定的目錄下,例如:/etc/redis/目錄下!

 

Shell代碼  收藏代碼
  1. mkdir /etc/redis  
  2. cp redis.conf /etc/redis   

  

然後,我們就可以在任何路徑下,直接啓動Redis了!

三、運行

運行Redis:

 

Shell代碼  收藏代碼
  1. redis-server /etc/redis/redis.conf  

 

引用
[1958] 13 Aug 16:18:24 * Server started, Redis version 2.4.16
[1958] 13 Aug 16:18:24 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[1958] 13 Aug 16:18:24 * The server is now ready to accept connections on port 6379
[1958] 13 Aug 16:18:24 - 0 clients connected (0 slaves), 717544 bytes in use



四、測試

通過客戶端命令redis-cli訪問Redis

引用
# redis-cli 
    redis> set name zlex 
    OK 
    redis> get name  
    "zlex" 

 

進行數據測試:

 

Shell代碼  收藏代碼
  1. redis-benchmark -l  

 這個測試會一直進行下去,直到你Ctrl+C:

 

====== PING (inline) ======
10000 requests completed in 0.12 seconds
50 parallel clients
3 bytes payload
keep alive: 1

99.31% <= 1 milliseconds
99.53% <= 2 milliseconds
99.64% <= 3 milliseconds
99.70% <= 4 milliseconds
99.74% <= 5 milliseconds
99.78% <= 6 milliseconds
99.82% <= 7 milliseconds
99.84% <= 8 milliseconds
99.86% <= 9 milliseconds
99.89% <= 10 milliseconds
99.91% <= 11 milliseconds
99.93% <= 12 milliseconds
99.96% <= 13 milliseconds
99.98% <= 14 milliseconds
100.00% <= 15 milliseconds
81300.81 requests per second

====== PING ======
10000 requests completed in 0.12 seconds
50 parallel clients
3 bytes payload
keep alive: 1

99.96% <= 1 milliseconds
100.00% <= 1 milliseconds
84033.61 requests per second

^CET (10 keys): 26200.00

 

 

五、關閉

也可通過客戶端命令redis-cli完成Redis關閉操作:

 

Shell代碼  收藏代碼
  1. redis-cli shutdown    

 

引用
[2639] 13 Aug 16:35:35 # User requested shutdown...
[2639] 13 Aug 16:35:35 * Saving the final RDB snapshot before exiting.
[2639] 13 Aug 16:36:49 * DB saved on disk
[2639] 13 Aug 16:36:49 # Redis is now ready to exit, bye bye...

 

六、調優


1./etc/sysctl.conf
前面啓動Redis時,看到如下警告:

引用
[1958] 13 Aug 16:18:24 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.


需要修改/etc/sysctl.conf文件:

 

Shell代碼  收藏代碼
  1. vim /etc/sysctl.conf  

  

末尾追加vm.overcommit_memory = 1
然後執行sysctl vm.overcommit_memory=1,使之生效:

 

Shell代碼  收藏代碼
  1. # sysctl vm.overcommit_memory=1  
  2. vm.overcommit_memory = 1  

  

2./proc/sys/vm/overcommit_memory
爲了調整內存分配策略,需要配置/proc/sys/vm/overcommit_memory

  • 0, 表示內核將檢查是否有足夠的可用內存供應用進程使用;如果有足夠的可用內存,內存申請允許;否則,內存申請失敗,並把錯誤返回給應用進程。
  • 1, 表示內核允許分配所有的物理內存,而不管當前的內存狀態如何。
  • 2, 表示內核允許分配超過所有物理內存和交換空間總和的內存


默認爲0,如果內存情況比較緊張的話,設爲1:

 

Shell代碼  收藏代碼
  1. echo 1 > /proc/sys/vm/overcommit_memory  

 


3.redis.conf
前面啓動Redis後,總是在命令行裏不斷跳着各種日誌,很麻煩。即便通過“&”,領其後臺運行,也無濟於事。這就需要修改redis.conf,以Daemo模式運行!
redis.conf參數:

  • daemonize:是否以後臺daemon方式運行
  • pidfile:pid文件位置
  • port:監聽的端口號
  • timeout:請求超時時間
  • loglevel:log信息級別
  • logfile:log文件位置
  • databases:開啓數據庫的數量
  • save * *:保存快照的頻率,第一個*表示多長時間(秒級),第三個*表示執行多少次寫操作。在一定時間內執行一定數量的寫操作時,自動保存快照。可設置多個條件。
  • rdbcompression:是否使用壓縮
  • dbfilename:數據快照文件名(只是文件名,不包括目錄)
  • dir:數據快照的保存目錄(這個是目錄)
  • appendonly:是否開啓appendonlylog,開啓的話每次寫操作會記一條log,這會提高數據抗風險能力,但影響效率。
  • appendfsync:appendonlylog如何同步到磁盤(三個選項,分別是每次寫都強制調用fsync、每秒啓用一次fsync、不調用fsync等待系統自己同步)
  • slaveof <masterip> <masterport> :主從配置,在redis-slave上配置master的ip port,即可。



例如,我們可以修改爲如下方式:

引用
daemonize yes #守護進程模式
save 60 1000 #當時間間隔超過60秒,或存儲超過1000條記錄時,進行持久化。
maxmemory 256mb #分配256MB內存

 

PS:切記,一定要設定maxmemmory,且配置大小要小於物理內存,留有足夠的內存供系統使用。

 

公司一同學的Redis,某期間數據暴漲,導致內存吃緊,SWAP加劇,直接宕機。就是因爲沒有設置maxmemmory

 

七、集羣配置

把雞蛋都放在一個籃子裏是件危險的事情。首先,要做好主備。其次,如果可以做一致性哈希,可以起到負載均衡的作用。


配置Master-Slave,只需要在Slave上配置Master節點IP Port:

 

 這裏的Master IP 爲192.168.133.139 端口位6379,配置redis.conf:
slaveof 192.168.133.139 6379

PS:爲了兩個Redis Server可以互訪,需要註釋掉bind 127.0.0.1

 

依次啓動Master,Slave:

 

 Master
[7651] 17 Aug 19:08:07 * Server started, Redis version 2.4.16
[7651] 17 Aug 19:08:07 * DB loaded from disk: 0 seconds
[7651] 17 Aug 19:08:07 * The server is now ready to accept connections on port 6379
[7651] 17 Aug 19:08:08 * Slave ask for synchronization
[7651] 17 Aug 19:08:08 * Starting BGSAVE for SYNC
[7651] 17 Aug 19:08:08 * Background saving started by pid 7652
[7652] 17 Aug 19:08:08 * DB saved on disk
[7651] 17 Aug 19:08:08 * Background saving terminated with success
[7651] 17 Aug 19:08:08 * Synchronization with slave succeeded

 

 

 Slave
[7572] 17 Aug 19:07:39 * Server started, Redis version 2.4.16
[7572] 17 Aug 19:07:39 * DB loaded from disk: 0 seconds
[7572] 17 Aug 19:07:39 * The server is now ready to accept connections on port 6379
[7572] 17 Aug 19:07:39 * Connecting to MASTER...
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync started: SYNC sent
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: receiving 10 bytes from master
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Loading DB in memory
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Finished with success

 

看到上述日誌,就說明Master-Slave已經連通。

 

簡單測試,Master寫,Slave讀:

 

 Master寫
telnet 192.168.133.139 6379
Trying 192.168.133.139...
Connected to 192.168.133.139.
Escape character is '^]'.
set name snowolf
+OK

 

 

Slave讀 
telnet 192.168.133.140 6379
Trying 192.168.133.140...
Connected to 192.168.133.140.
Escape character is '^]'.
get name
$7
snowolf

 搞定!

 

八、主從備份

在從服務器上執行下列命令:

Shell代碼  收藏代碼
  1. #備份  
  2. redis-cli save  
  3.   
  4. #關閉redis服務器  
  5. redis-cli shutdown  

 然後,拷貝數據目錄下的rdb文件。

九、系統服務

習慣了通過service啓動一切服務,當然,這跟我生產環境部署有關,通常只分配給用於部署的賬戶操作service命令的權限。主要是爲了確保系統安全。

參考之前寫的Memcached的系統服務文件,改造一個Redis版本!

新建文件,並賦予權限:

 

Shell代碼  收藏代碼
  1. touch /etc/init.d/redis-server  
  2. chmod +x /etc/init.d/redis-server  

 



編輯/etc/init.d/redis-server,鍵入如下內容:

 

Shell代碼  收藏代碼
  1. #!/bin/bash  
  2. #  
  3. # redis    Startup script for redis processes  
  4. #  
  5. # author: snowolf  
  6. #  
  7. # processname: redis  
  8.   
  9. redis_path="/usr/local/bin/redis-server"  
  10. redis_conf="/etc/redis/redis.conf"  
  11. redis_pid="/var/run/redis.pid"  
  12.   
  13. # Source function library.  
  14. . /etc/rc.d/init.d/functions  
  15.   
  16. [ -x $redis_path ] || exit 0  
  17.   
  18. RETVAL=0  
  19. prog="redis"  
  20.   
  21.   
  22. # Start daemons.  
  23. start() {  
  24.     if [ -e $redis_pid -a ! -z $redis_pid ];then  
  25.         echo $prog" already running...."  
  26.         exit 1  
  27.     fi  
  28.   
  29.     echo -n $"Starting $prog "  
  30.     # Single instance for all caches  
  31.     $redis_path $redis_conf  
  32.     RETVAL=$?  
  33.     [ $RETVAL -eq 0 ] && {  
  34.         touch /var/lock/subsys/$prog  
  35.         success $"$prog"  
  36.     }  
  37.     echo  
  38.     return $RETVAL  
  39. }  
  40.   
  41.   
  42. # Stop daemons.  
  43. stop() {  
  44.     echo -n $"Stopping $prog "  
  45.     killproc -d 10 $redis_path  
  46.     echo  
  47.     [ $RETVAL = 0 ] && rm -f $redis_pid /var/lock/subsys/$prog  
  48.   
  49.     RETVAL=$?  
  50.     return $RETVAL  
  51. }  
  52.   
  53.   
  54. # See how we were called.  
  55. case "$1" in  
  56.         start)  
  57.             start  
  58.             ;;  
  59.         stop)  
  60.             stop  
  61.             ;;  
  62.         status)  
  63.             status $prog  
  64.             RETVAL=$?  
  65.             ;;  
  66.         restart)  
  67.             stop  
  68.             start  
  69.             ;;  
  70.         condrestart)  
  71.             if test "x`pidof redis`" != x; then  
  72.                 stop  
  73.                 start  
  74.             fi  
  75.             ;;  
  76.         *)  
  77.             echo $"Usage: $0 {start|stop|status|restart|condrestart}"  
  78.             exit 1  
  79. esac  
  80. exit $RETVAL  

 

 

 

引用
# service redis-server restart
Stopping redis                                             [失敗]
Starting redis                                             [確定]
# service redis-server status
redis (pid  14965) 正在運行...
發佈了35 篇原創文章 · 獲贊 25 · 訪問量 24萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章