基於Twemproxy的Redis集羣方案



概述

由於單臺redis服務器的內存管理能力有限，使用過大內存redis服務器的性能急劇下降，且服務器發生故障將直接影響大面積業務。爲了獲取更好的緩存性能及擴展型，我們將需要搭建redis集羣來滿足需求。因redis 3.0 beta支持的集羣功能不適合生產環境的使用，所以我們採用twitter正在使用的twemproxy來搭建redis緩存服務器集羣，目前用戶包括Pinterest、Tumblr、Twitter、Vine、Kiip、Wuaki.tv、Wanelo、Kontera、Wikimedia、Bright、56.com、Snapchat、Digg、Gawkermedia、3scale.net等。

Twemproxy是memcached和redis協議的代理服務器，並能有效減少大量連接對redis服務器的性能影響，它提供的主要特性如下:

 

 

集羣架構

 

安裝Redis

有三臺服務器，一臺COS1安裝twemproxy，另外兩臺COS2，COS3安裝redis。

 

1. 下載最新安裝包：redis-2.8.9.tar.gz ， tcl-8.5.7-6.el6.x86_64.rpm ，nutcracker-0.3.0.tar.gz
3. 安裝必要組件rpm：

   [root@COS2 redis-2.8.9]# yum install gcc
   [root@COS2 src]# rpm -ivh tcl-8.5.7-6.el6.x86_64.rpm

4. 安裝Redis：
   [root@COS2 src]# tar xvf redis-2.8.9.tar.gz
   [root@COS2 src]# cd redis-2.8.9
   [root@COS2 redis-2.8.9]# make
   …
   Hint: To run 'make test' is a good idea ;)
   make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src'
   
   [root@COS2 redis-2.8.9]# make test
   All tests passed without errors!
   
   Cleanup: may take some time... OK
   make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src'
   [root@COS2 redis-2.8.9]# make install
   [root@COS2 redis-2.8.9]# cd /usr/local/bin/
   [root@COS2 bin]# ll
   total 13908
   -rwxr-xr-x. 1 root root 4170264 Apr 26 11:51 redis-benchmark
   -rwxr-xr-x. 1 root root   22185 Apr 26 11:51 redis-check-aof
   -rwxr-xr-x. 1 root root   45419 Apr 26 11:51 redis-check-dump
   -rwxr-xr-x. 1 root root 4263471 Apr 26 11:51 redis-cli
   -rwxr-xr-x. 1 root root 5726791 Apr 26 11:51 redis-server
5. 編輯redis配置文件：
   [root@COS2 redis-2.8.9]# cp redis.conf /etc/
   [root@COS2 redis-2.8.9]# vim /etc/red
   redhat-release  redis.conf      
   [root@COS2 redis-2.8.9]# vim /etc/redis.conf
   
   把裏面的
   daemonize no  修改成 daemonize yes
6. 啓動redis服務：

   [root@COS2 redis-2.8.9]# redis-server /etc/redis.conf

7. 測試redis服務：

   [root@COS2 redis-2.8.9]# redis-cli 
   127.0.0.1:6379> set kin kin
   OK
   127.0.0.1:6379> get kin

8. 同樣的步驟安裝其他redis服務器。

 

 

安裝twemproxy

1. 安裝twemproxy：

   [root@COS1 src]# tar xvf nutcracker-0.3.0.tar.gz
   [root@COS1 nutcracker-0.3.0]# cd nutcracker-0.3.0
   [root@COS1 src]#./configure 
   [root@COS1 nutcracker-0.3.0]# make && make install

2. 編輯配置文件：
   [root@COS1 conf]# cd /usr/local/src/nutcracker-0.3.0/conf
   [root@COS1 conf]# cp nutcracker.yml /etc/
   [root@COS1 conf]# vim /etc/nutcracker.yml
   alpha:
     listen: 0.0.0.0:22121
     hash: fnv1a_64
     distribution: ketama
     auto_eject_hosts: true
     redis: true
     server_retry_timeout: 2000
     server_failure_limit: 1
     servers: --兩臺redis服務器的地址和端口
      - 10.23.22.240:6379:1   
      - 10.23.22.241:6379:1
3. 測試配置文件：

   [root@COS1 nutcracker-0.3.0]# nutcracker -t /etc/nutcracker.yml 
   nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok

4. 啓動twemproxy：
   [root@COS1 nutcracker-0.3.0]# nutcracker  --help
   This is nutcracker-0.3.0
   
   Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
                     [-c conf file] [-s stats port] [-a stats addr]
                     [-i stats interval] [-p pid file] [-m mbuf size]
   
   Options:
     -h, --help             : this help                           
     -V, --version          : show version and exit                 
     -t, --test-conf        : test configuration for syntax errors and exit 
     -d, --daemonize      : run as a daemon                    
     -D, --describe-stats   : print stats description and exit
     -v, --verbosity=N      : set logging level (default: 5, min: 0, max: 11)
     -o, --output=S         : set logging file (default: stderr)
     -c, --conf-file=S      : set configuration file (default: conf/nutcracker.yml) #配置
     -s, --stats-port=N     : set stats monitoring port (default: 22222)
     -a, --stats-addr=S     : set stats monitoring ip (default: 0.0.0.0)
     -i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
     -p, --pid-file=S       : set pid file (default: off)
     -m, --mbuf-size=N      : set size of mbuf chunk in bytes (default: 16384 bytes)
   [root@COS1 nutcracker-0.3.0]# nutcracker -d -c /etc/nutcracker.yml
   [root@COS1 nutcracker-0.3.0]# ps -ef|grep nutcracker
   root     15358     1  0 02:40 ?        00:00:00 nutcracker -d -c /etc/nutcracker.yml
5. 測試twemproxy：
   [root@COS1 ~]# redis-cli -p 22121
   127.0.0.1:22121> get kin
   "kin"
   127.0.0.1:22121> set kin king
   OK
   127.0.0.1:22121> get kin
   "king"

 

 

 

 

性能測試

這裏使用redis自帶的redis-benchmark進行簡單的性能測試，測試結果如下:

1. Set測試：
   1. 通過twemproxy測試：

      [root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t set -d 100 -l –q

      SET: 38167.94 requests per second

   2. 直接對後端redis測試：

      [root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t set -d 100 -l –q

      SET: 53191.49 requests per second

2. Get測試：
   1. 通過twemproxy測試：

      [root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t get -d 100 -l -q
      GET: 37453.18 requests per second

   2. 直接對後端redis測試：

      [root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t get -d 100 -l -q
      GET: 62111.80 requests per second

3. 查看鍵值分佈：

   [root@COS2 ~]# redis-cli info|grep db0
   db0:keys=51483,expires=0,avg_ttl=0
   
   [root@COS3 ~]# redis-cli info|grep db0
   db0:keys=48525,expires=0,avg_ttl=0

測試結果:以基本的set get命令通過twemproxy性能有所下降;通過twemproxy分佈基本平均。測試數據以業務測試爲準。