redis介绍及常见问题总结

1.redis

  c语言编写的一个开源软件,使用字典结构存储数据,支持多种类型数据类型

  数据类型:字符串,字典,列表,集合,有序集合

2.redis特点

  速度快:c语言实现的,所有数据都存储在计算机内存中

  持久化:他会将数据定期保存到文件系统中,但redis节点故障时,数据文件可以从redis数据文件恢复

  支持多种数据结构:字典,集合,列表,有序集合,字符串

  支持多种语言的API:JAVA,C,php,python,Ruby,node.js,C++等

  功能齐全:支持事物,发布/订阅,LUA脚本等功能

  主从复制:主服务器(master)执行添加、修改、删除,从服务器执行查询

  高可用及分布式:2.8版本支持高可用,3.0支持分布式

3.Memcached和Redis对比

  1.性能上:Redis只使用单核,而Memcached可以使用多核,所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中,Memcached性能要高于Redis。

  2.内存空间和数据量大小:Memcached可以修改最大内存,采用LRU算法。Memcached单个key-value大小有限,一个value最大只支持1MB,而Redis最大支持512MB

  3.操作便利上:Memcached数据结构单一,而Redis支持更加丰富的数据类型

  4.可靠性:MemCached不支持数据持久化,断电或重启后数据消失。Redis支持数据持久化和数据恢复和集群,允许单点故障

  5.应用场景:

    Memcached:动态系统中减轻数据库负载,提升性能;做缓存,适合多读少写,大数据量的情况(如人人网大量查询用户信息、好友信息、文章信息等)      

    Redis:适用于对读写效率要求都很高,数据处理业务复杂和对安全性要求较高的系统(如新浪微博的计数和微博发布部分系统,对数据安全性、读写要求都很高)

 4.redis的持久化策略

RDB:每隔一段时间对redis进行一次持久化。

  - 缺点:数据不完整 - 优点:速度快

AOF:把所有命令保存起来,如果想到重新生成到redis,那么就要把命令重新执行一次。

  - 缺点:速度慢,文件比较大 - 优点:数据完整

5.其他常见问题

如果redis中的某个列表中的数据量非常大,如果实现循环显示每一个值?

- 如果一个列表在redis中保存了10w个值,我需要将所有值全部循环并显示,请问如何实现?
       一个一个取值,列表没有iter方法,但能自定义
     def list_scan_iter(name,count=3):
            start = 0
            while True:
                result = conn.lrange(name, start, start+count-1)
                start += count
                if not result:
                    break
                for item in result:
                    yield item

        for val in list_scan_iter('num_list'):
            print(val)
  场景:投票系统,script-redis

redis如何实现主从复制以及数据同步?

# 实现主从复制
    '创建6379和6380配置文件'
    redis.conf:6379为默认配置文件,作为Master服务配置;
    redis_6380.conf:6380为同步配置,作为Slave服务配置;
    '配置slaveof同步指令'
    在Slave对应的conf配置文件中,添加以下内容:
    slaveof 127.0.0.1 6379
# 数据同步步骤:
    (1)Slave服务器连接到Master服务器.
    (2)Slave服务器发送同步(SYCN)命令.
    (3)Master服务器备份数据库到文件.
    (4)Master服务器把备份文件传输给Slave服务器.
    (5)Slave服务器把备份文件数据导入到数据库中.

优势:
    - 高可用
    - 分担主压力
注意: 
    - slave设置只读

redis中sentinel的作用?

帮助我们自动在主从之间进行切换(哨兵)
检测主从中 主是否挂掉,且超过一半的sentinel检测到挂了之后才进行进行切换。
如果主修复好了,再次启动时候,会变成从。

启动主redis:
    redis-server /etc/redis-6379.conf  启动主redis
    redis-server /etc/redis-6380.conf  启动从redis
        
在linux中:
        找到 /etc/redis-sentinel-8001.conf  配置文件,在内部:
            - 哨兵的端口 port = 8001
            - 主redis的IP,哨兵个数的一半/1
        
        找到 /etc/redis-sentinel-8002.conf  配置文件,在内部:
            - 哨兵的端口 port = 8002
            - 主redis的IP, 1 
    
        启动两个哨兵 

实现redis集群

#基于【分片】来完成。
    - 集群是将你的数据拆分到多个Redis实例的过程
    - 可以使用很多电脑的内存总和来支持更大的数据库。
    - 没有分片,你就被局限於单机能支持的内存容量。
#redis将所有能放置数据的地方创建了 16384 个哈希槽。
#如果设置集群的话,就可以为每个实例分配哈希槽:
    - 192.168.1.20【0-5000- 192.168.1.21【5001-10000- 192.168.1.22【10001-16384#以后想要在redis中写值时:set k1 123 
    - 将k1通过crc16的算法转换成一个数字,然后再将该数字和16384求余,
    - 如果得到的余数 3000,那么就将该值写入到 192.168.1.20 实例中。
#集群方案:
    - redis cluster:官方提供的集群方案。
    - codis:豌豆荚技术团队。
    - tweproxy:Twiter技术团队。

redis中默认的哈希槽

#redis中默认有 16384 个哈希槽。

redis支持的过期策略(6个)

# 数据集(server.db[i].expires)
a、voltile-lru:    #从已设置过期时间的数据集中,挑选最近频率最少数据淘汰
b、volatile-ttl:   #从已设置过期时间的数据集中,挑选将要过期的数据淘汰
c、volatile-random:#从已设置过期时间的数据集中,任意选择数据淘汰
d、allkeys-lru:       #从数据集中,挑选最近最少使用的数据淘汰
e、allkeys-random:    #从数据集中,任意选择数据淘汰
f、no-enviction(驱逐):#禁止驱逐数据

MySQL 里有 2000w 数据,redis 中只存 20w 的数据,如何保证 redis 中都是热点数据?

# 限定Redis占用的内存,根据自身数据淘汰策略,淘汰冷数据,把热数据加载到内存。
# 计算一下 20W 数据大约占用的内存,然后设置一下Redis内存限制即可。

什么是codis及其作用?

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说,
连接到 Codis-Proxy(redis代理服务)和连接原生的 Redis-Server 没有明显的区别, 
上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 
所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.

什么是twemproxy机器及其作用?

# 什么是Twemproxy 
是Twtter开源的一个 Redis 和 Memcache 代理服务器,
主要用于管理 Redis 和 Memcached 集群,减少与Cache服务器直接连接的数量。
他的后端是多台REDIS或memcached所以也可以被称为分布式中间件# 作用
    通过代理的方式减少缓存服务器的连接数。
    自动在多台缓存服务器间共享数据。
    通过配置的方式禁用失败的结点。
    运行在多个实例上,客户端可以连接到首个可用的代理服务器。
    支持请求的流式与批处理,因而能够降低来回的消耗。

redis中的watch命令的作用?

  用于监视一个或多个key, 如果在事务执行之前这个/些key被其他命令改动,那么事务将被打断

基于redis商城商品数量计数器(使用watch命令)

import redis

conn = redis.Redis(host='192.168.1.41',port=6379)

conn.set('count',1000)

with conn.pipeline() as pipe:

    # 先监视,自己的值没有被修改过
    conn.watch('count')

    # 事务开始
    pipe.multi()
    old_count = conn.get('count')
    count = int(old_count)
    if count > 0:  # 有库存
        pipe.set('count', count - 1)

    # 执行,把所有命令一次性推送过去
    pipe.execute()

redis分布式锁heredlock实现机制

实现
- 写值并设置超时时间
- 超过一半的redis实例设置成功,就表示加锁完成。
- 使用:安装redlock-py 
from redlock import Redlock

dlm = Redlock(
    [
        {"host": "localhost", "port": 6379, "db": 0},
        {"host": "localhost", "port": 6379, "db": 0},
        {"host": "localhost", "port": 6379, "db": 0},
    ]
)

# 加锁,acquire
my_lock = dlm.lock("my_resource_name",10000)
if  my_lock:
    # 进行操作
    # 解锁,release
    dlm.unlock(my_lock)
else:
    print('获取锁失败')

一致性哈希概念

# 一致性哈希
一致性hash算法(DHT)可以通过减少影响范围的方式,解决增减服务器导致的数据散列问题,从而解决了分布式环境下负载均衡问题;
如果存在热点数据,可以通过增添节点的方式,对热点区间进行划分,将压力分配至其他服务器,重新达到负载均衡的状态。
# 模块:hash_ring

如何高效的找到redis中所有以zhugc开头的key?

  可以使用keys命令来加速查找

# 语法:KEYS pattern
# 说明:返回与指定模式相匹配的所用的keys。
该命令所支持的匹配模式如下:
1、?:用于匹配单个字符。例如,h?llo可以匹配hello、hallo和hxllo等;
2、*:用于匹配零个或者多个字符。例如,h*llo可以匹配hllo和heeeello等;
2、[]:可以用来指定模式的选择区间。例如h[ae]llo可以匹配hello和hallo,但是不能匹配hillo。同时,可以使用“/”符号来转义特殊的字符
# 注意
KEYS 的速度非常快,但如果数据太大,内存可能会崩掉,
如果需要从一个数据集中查找特定的key,最好还是用Redis的集合结构(set)来代替。

 如何基于redis实现发布和订阅?

# 发布和订阅,只要有任务就所有订阅者每人一份。
发布者: #发布一次
    import redis
    conn = redis.Redis(host='127.0.0.1',port=6379)
    conn.publish('104.9MH', "hahahahahaha")
订阅者: #'while True'一直在接收
    import redis
    conn = redis.Redis(host='127.0.0.1',port=6379)
    pub = conn.pubsub()
    pub.subscribe('104.9MH')
    while True:
        msg= pub.parse_response()
        print(msg)

 详细介绍链接:redis为什么这么快

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章