Redis鍵空間通知(Keyspace Notifications)

Redis Keyspace Notifications
https://redis.io/topics/notifications

Redis 是一個鍵值對數據庫服務器,服務器中每個數據庫都由 redisDB 結構表示(默認16個庫)。其中,redisDB 結構的 dict 字典保存了數據庫中所有的鍵值對,這個字典被稱爲鍵空間(key space)。
而16個庫,獨立在各自的鍵空間(key space)中。

鍵空間(key space)操作

假設對0號庫執行 set、get、del等命令,其實都是通過對鍵空間字典進行操作來實現的。

除此之外,還有:
清空整個數據庫的 flushdb 命令;
隨機返回數據庫中某個鍵的 randomkey;
返回數據庫鍵數量的 dbsize ;
還有 exists 、 rename 、 keys , 等等, 這些命令都是通過對鍵空間進行操作來實現的。

鍵空間通知(Keyspace Notifications)能做什麼?

根據上面的描述,對Redis操作的命令,最後都是落在一個庫中(0~15號庫)執行;
比如:你在0號庫執行的所有命令,都是在對應的鍵空間(key space)字典上發生數據變更

數據變更,發生在這個鍵空間(key space)時,Redis基於pub/sub發佈訂閱,能夠對你感興趣的事件進行通知。
而可監聽的感興趣事件,是什麼呢?這個不着急,後面又詳解,幾乎所有Redis產生數據變更的命令,均可訂閱。

Keyspace notifications 功能是Redis 2.8.0開始支持。
Keyspace notifications is a feature available since 2.8.0

以下內容翻譯自 https://redis.io/topics/notifications


功能概覽

鍵空間通知使得客戶端可以通過訂閱頻道或模式, 來接收那些以某種方式改動了 Redis 數據集的事件。
以下是一些鍵空間通知發送的事件的例子:

  • 所有修改鍵的命令。
  • 所有接收到 LPUSH key value [value …] 命令的鍵。
  • 0 號數據庫中所有已過期的鍵。

事件通過 Redis 的訂閱與發佈功能(pub/sub)來進行分發, 因此所有支持訂閱與發佈功能的客戶端都可以在無須做任何修改的情況下, 直接使用鍵空間通知功能。

因爲 Redis 目前的訂閱與發佈功能採取的是發送即忘(fire and forget)策略, 所以如果你的程序需要可靠事件通知(reliable notification of events), 那麼目前的鍵空間通知可能並不適合你:當訂閱事件的客戶端斷線時, 它會丟失所有在斷線期間分發給它的事件。

事件的類型

對於每個修改數據庫的操作,鍵空間通知都會發送兩種不同類型的事件。

比如說,對 0 號數據庫的鍵 mykey 執行 DEL key [key …] 命令時, 系統將分發兩條消息, 相當於執行以下兩個 PUBLISH channel message 命令:

PUBLISH __keyspace@0__:mykey del
PUBLISH __keyevent@0__:del mykey

訂閱第一個頻道 __keyspace@0__:mykey 可以接收 0 號數據庫中所有修改鍵 mykey 的事件, 而訂閱第二個頻道 __keyevent@0__:del 則可以接收 0 號數據庫中所有執行 del 命令的鍵。

keyspace 爲前綴的頻道被稱爲鍵空間通知(key-space notification), 而以 keyevent 爲前綴的頻道則被稱爲鍵事件通知(key-event notification)。

del mykey 命令執行時:

  • 鍵空間頻道的訂閱者將接收到被執行的事件的名字,在這個例子中,就是 del
  • 鍵事件頻道的訂閱者將接收到被執行事件的鍵的名字,在這個例子中,就是 mykey

配置

因爲開啓鍵空間通知功能需要消耗一些 CPU , 所以在默認配置下, 該功能處於關閉狀態。

可以通過修改 redis.conf 文件, 或者直接使用 CONFIG SET 命令來開啓或關閉鍵空間通知功能:

  • 當 notify-keyspace-events 選項的參數爲空字符串時,功能關閉。
  • 另一方面,當參數不是空字符串時,功能開啓。

notify-keyspace-events 的參數可以是以下字符的任意組合, 它指定了服務器該發送哪些類型的通知:

字符 發送的通知
K 鍵空間通知,所有通知以 __keyspace@<db>__ 爲前綴
E 鍵事件通知,所有通知以 __keyevent@<db>__ 爲前綴
g DEL 、 EXPIRE 、 RENAME 等類型無關的通用命令的通知
$ 字符串命令的通知
l 列表命令的通知
s 集合命令的通知
h 哈希命令的通知
z 有序集合命令的通知
x 過期事件:每當有過期鍵被刪除時發送
e 驅逐(evict)事件:每當有鍵因爲 maxmemory 政策而被刪除時發送
A 參數 g$lshzxe 的別名,即all

輸入的參數中至少要有一個 K 或者 E , 否則的話, 不管其餘的參數是什麼, 都不會有任何通知被分發。
舉個例子, 如果只想訂閱鍵空間中和列表相關的通知, 那麼參數就應該設爲 Kl , 諸如此類。
將參數設爲字符串 “AKE” 表示發送所有類型的通知。

命令產生的通知

以下列表記錄了不同命令所產生的不同通知:

  • DEL key [key …] 命令爲每個被刪除的鍵產生一個 del 通知。

  • RENAME key newkey 產生兩個通知:爲來源鍵(source key)產生一個 rename_from 通知,併爲目標鍵(destination key)產生一個 rename_to 通知。

  • EXPIRE key seconds 和 EXPIREAT key timestamp 在鍵被正確設置過期時間時產生一個 expire 通知。當 EXPIREAT key timestamp 設置的時間已經過期,或者 EXPIRE key seconds 傳入的時間爲負數值時,鍵被刪除,併產生一個 del 通知。

  • SORT key [BY pattern] [LIMIT offset count] [GET pattern [GET pattern …]] [ASC | DESC] [ALPHA] [STORE destination] 在命令帶有 STORE 參數時產生一個 sortstore 事件。如果 STORE 指示的用於保存排序結果的鍵已經存在,那麼程序還會發送一個 del 事件。

  • SET key value [EX seconds] [PX milliseconds] [NX|XX] 以及它的所有變種(SETEX key seconds value 、 SETNX key value 和 GETSET key value)都產生 set 通知。其中 SETEX key seconds value 還會產生 expire 通知。

  • MSET key value [key value …] 爲每個鍵產生一個 set 通知。

  • SETRANGE key offset value 產生一個 setrange 通知。

  • INCR key 、 DECR key 、 INCRBY key increment 和 DECRBY key decrement 都產生 incrby 通知。

  • INCRBYFLOAT key increment 產生 incrbyfloat 通知。

  • APPEND key value 產生 append 通知。

  • LPUSH key value [value …] 和 LPUSHX key value 都產生單個 lpush 通知,即使有多個輸入元素時,也是如此。

  • RPUSH key value [value …] 和 RPUSHX key value 都產生單個 rpush 通知,即使有多個輸入元素時,也是如此。

  • RPOP key 產生 rpop 通知。如果被彈出的元素是列表的最後一個元素,那麼還會產生一個 del 通知。

  • LPOP key 產生 lpop 通知。如果被彈出的元素是列表的最後一個元素,那麼還會產生一個 del 通知。

  • LINSERT key BEFORE|AFTER pivot value 產生一個 linsert 通知。

  • LSET key index value 產生一個 lset 通知。

  • LTRIM key start stop 產生一個 ltrim 通知。如果 LTRIM key start stop 執行之後,列表鍵被清空,那麼還會產生一個 del 通知。

  • RPOPLPUSH source destination 和 BRPOPLPUSH source destination timeout 產生一個 rpop 通知,以及一個 lpush 通知。兩個命令都會保證 rpop 的通知在 lpush 的通知之前分發。如果從鍵彈出元素之後,被彈出的列表鍵被清空,那麼還會產生一個 del 通知。

  • HSET hash field value 、 HSETNX hash field value 和 HMSET 都只產生一個 hset 通知。

  • HINCRBY 產生一個 hincrby 通知。

  • HINCRBYFLOAT 產生一個 hincrbyfloat 通知。

  • HDEL 產生一個 hdel 通知。如果執行 HDEL 之後,哈希鍵被清空,那麼還會產生一個 del 通知。

  • SADD key member [member …] 產生一個 sadd 通知,即使有多個輸入元素時,也是如此。

  • SREM key member [member …] 產生一個 srem 通知,如果執行 SREM key member [member …] 之後,集合鍵被清空,那麼還會產生一個 del 通知。

  • SMOVE source destination member 爲來源鍵(source key)產生一個 srem 通知,併爲目標鍵(destination key)產生一個 sadd 事件。

  • SPOP key 產生一個 spop 事件。如果執行 SPOP key 之後,集合鍵被清空,那麼還會產生一個 del 通知。

  • SINTERSTORE destination key [key …] 、 SUNIONSTORE destination key [key …] 和 SDIFFSTORE destination key [key …] 分別產生 sinterstore 、 sunionostore 和 sdiffstore 三種通知。如果用於保存結果的鍵已經存在,那麼還會產生一個 del 通知。

  • ZINCRBY key increment member 產生一個 zincr 通知。(譯註:非對稱,請注意。)

  • ZADD key score member [[score member] [score member] …] 產生一個 zadd 通知,即使有多個輸入元素時,也是如此。

  • ZREM key member [member …] 產生一個 zrem 通知,即使有多個輸入元素時,也是如此。如果執行 ZREM key member [member …] 之後,有序集合鍵被清空,那麼還會產生一個 del 通知。

  • ZREMRANGEBYSCORE key min max 產生一個 zrembyscore 通知。(譯註:非對稱,請注意。)如果用於保存結果的鍵已經存在,那麼還會產生一個 del 通知。

  • ZREMRANGEBYRANK key start stop 產生一個 zrembyrank 通知。(譯註:非對稱,請注意。)如果用於保存結果的鍵已經存在,那麼還會產生一個 del 通知。

  • ZINTERSTORE destination numkeys key [key …] [WEIGHTS weight [weight …]] [AGGREGATE SUM|MIN|MAX] 和 ZUNIONSTORE destination numkeys key [key …] [WEIGHTS weight [weight …]] [AGGREGATE SUM|MIN|MAX] 分別產生 zinterstore 和 zunionstore 兩種通知。如果用於保存結果的鍵已經存在,那麼還會產生一個 del 通知。

每當一個鍵因爲過期而被刪除時,產生一個 expired 通知。
每當一個鍵因爲 maxmemory 政策而被刪除以回收內存時,產生一個 evicted 通知。

Note
所有命令都只在鍵真的被改動了之後,纔會產生通知。
比如說,當 SREM key member [member …] 試圖刪除不存在於集合的元素時,刪除操作會執行失敗,因爲沒有真正的改動鍵,所以這一操作不會發送通知。

如果對命令所產生的通知有疑問, 最好還是使用以下命令, 自己來驗證一下:

$ redis-cli config set notify-keyspace-events KEA
$ redis-cli --csv psubscribe '__key*__:*'
Reading messages... (press Ctrl-C to quit)
"psubscribe","__key*__:*",1

然後, 只要在其他終端裏用 Redis 客戶端發送命令, 就可以看到產生的通知了:

"pmessage","__key*__:*","__keyspace@0__:foo","set"
"pmessage","__key*__:*","__keyevent@0__:set","foo"
...

過期通知的發送時間

Redis 使用以下兩種方式刪除過期的鍵:

  • 當一個鍵被訪問時,程序會對這個鍵進行檢查,如果鍵已經過期,那麼該鍵將被刪除。
  • 底層系統會在後臺漸進地查找並刪除那些過期的鍵,從而處理那些已經過期、但是不會被訪問到的鍵。

當過期鍵被以上兩個程序的任意一個發現、 並且將鍵從數據庫中刪除時, Redis 會產生一個 expired 通知。

Redis 並不保證生存時間(TTL)變爲 0 的鍵會立即被刪除:如果程序沒有訪問這個過期鍵, 或者帶有生存時間的鍵非常多的話, 那麼在鍵的生存時間變爲 0 , 直到鍵真正被刪除這中間, 可能會有一段比較顯著的時間間隔。

因此, Redis 產生 expired 通知的時間爲過期鍵被刪除的時候, 而不是鍵的生存時間TTL變爲 0 的時候。


利用 Keyspace Notifications 實現延時訂單

訂單系統,生成訂單後一定時間內未支付,訂單會自動關閉。使用數據庫輪詢的方式,太影響效率。

而今天,利用Redis Keyspace Notifications事件通知功能,通過監聽Redis鍵值對過期事件、來實現訂單自動關閉。

實現步驟

1、開啓Redis的 notify-keyspace-events 功能
redis.conf配置文件中,添加notify-keyspace-events Ex;
E是鍵空間通知, x代表過期事件。
2、監聽程序:接收鍵空間(key space)事件
推薦使用spring-data-redis

public class ExpiredKeyNotification implements MessageListener {
    @Override
    public void onMessage(Message message, byte[] bytes) { 
        byte[] body = message.getBody();// 請使用valueSerializer
        byte[] channel = message.getChannel();
        //設置監聽頻道
        String topic = new String(channel);
        //key
        String itemValue = new String(body);
        System.out.println("頻道topic:"+topic);
        System.out.println("過期的鍵值對的K:"+itemValue);
   }
}

3、配置RedisMessageListenerContainer,指定要監聽的庫

    <!-- 將監聽者類 放入Spring容器 -->
	<bean id="expiredKeyNotification" class="org.springframework.data.redis.listener.adapter.MessageListenerAdapter">
		<constructor-arg>
			<bean class="com.xxx.ExpiredKeyNotification"/>
		</constructor-arg>
	</bean>

    <!-- 配置監聽者容器 -->
	<bean id="redisContainer" class="org.springframework.data.redis.listener.RedisMessageListenerContainer">
		<property name="connectionFactory" ref="redisConnectionFactory"/>
		<property name="expiredKeyNotification">
			<map>
				<entry key-ref="messageListener">
					<bean class="org.springframework.data.redis.listener.ChannelTopic">
						<constructor-arg value="__keyevent@0__:expired"/>
					</bean>
				</entry>
			</map>
		</property>
	</bean>

配置的是監聽的頻道,格式爲固定,Redis有16個庫,配置中0代表監聽第0個庫,如果要監聽所有庫,可將0改爲*,星號。
keyevent代表監聽的事件類型,expired表示,監聽的時間爲過期事件,也就是當第0個庫中如果有KV過期,那麼,監聽者類將接受到消息。注意,配置中有兩處出現了下劃線,都是兩個下劃線 __。

到這裏,配置已經完成;啓動項目後進行測試。打開Redis客戶端,存放KV並設置過期時間,如set testKey testValue Ex 5。存放一個鍵值對,過期時間爲5秒,那麼5秒後監聽者類就會收到消息。

http://redisdoc.com/topic/notification.html

本文首發於公衆號 架構道與術(ToBeArchitecturer),歡迎關注、學習更多幹貨~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章