使用go語言基於redis寫了一個簡單的消息隊列
源碼地址
使用demo
redis的 list 非常的靈活，可以從左邊或者右邊添加元素，當然也以從任意一頭讀取數據
添加數據和獲取數據的操作也是非常簡單的LPUSH 從左邊插入數據RPUSH 大右邊插入數據LPOP 從左邊取出一個數據RPOP 從右邊取出一個數據
127.0.0.1:6379> LPUSH list1 a
(integer) 1
127.0.0.1:6379> RPUSH list1 b
(integer) 2
127.0.0.1:6379> LPOP list1
"a"
127.0.0.1:6379> RPOP list1
"b"
或者使用 BLPOP BRPOP 來讀取數據，不同之處是取數據時，如果沒有數據會等待指定的時間，
如果這期間有數據寫入，則會讀取並返回，沒有數據則會返回空
在一個窗口1讀取
127.0.0.1:6379> BLPOP list1 10
1) "list1"
2) "a"
在另一個窗口2寫入
127.0.0.1:6379> RPUSH list1 a b c
(integer) 3
再開一個窗口3讀取，第二次讀取時，list是空的，所以等待1秒後返回空。
127.0.0.1:6379> BRPOP list1 1
1) "list1"
2) "c"
127.0.0.1:6379> BRPOP list1 1
(nil)
(1.04s)
簡單消息隊列的實現
如果我們只從一邊新增元素，向另一邊取出元素，這就不是一個消息隊列麼。但我估計你會有一個疑問，在消費數據時，同一個消息會不會同時被多個consumer消費掉？
當然不會，因爲redis是單線程的，在從list取數據時天然不會出現併發問題。但是這是一個簡單的消息隊列，消費不成功怎麼處理還是需要我們自己寫代碼來實現的
下面我說一下使用list實現一個簡單的消息隊列的整體思路
comsumer的實現
consumer 主要做的就是從list裏讀取數據，使用LPOP或者BLPOP都可以，
這裏做了一個開關 options 的UseBLopp如果爲true時會使用BLPOP。
type consumer struct {
once sync.Once
redisCmd redis.Cmdable
ctx context.Context
topicName string
handler Handler
rateLimitPeriod time.Duration
options ConsumerOptions
_ struct{}
}
type ConsumerOptions struct {
RateLimitPeriod time.Duration
UseBLPop bool
}
看一下創建consumer的代碼，最後面的opts參數是可選的配置
type Consumer = *consumer
func NewSimpleMQConsumer(ctx context.Context, redisCmd redis.Cmdable, topicName string, opts ...ConsumerOption) Consumer {
consumer := &consumer{
redisCmd: redisCmd,
ctx: ctx,
topicName: topicName,
}
for _, o := range opts {
o(&consumer.options)
}
if consumer.options.RateLimitPeriod == 0 {
consumer.options.RateLimitPeriod = time.Microsecond * 200
}
return consumer
}
讀取數據後具體怎麼進行處理調用者可以根據自己的業務邏輯進行相應處理
有一個小的interface調用者根據自己的邏輯去實現
type Handler interface {
HandleMessage(msg *Message)
}
讀取數據的邏輯使用一個gorouting實現
func (s *consumer) startGetMessage() {
go func() {
ticker := time.NewTicker(s.options.RateLimitPeriod)
defer func() {
log.Println("stop get message.")
ticker.Stop()
}()
for {
select {
case <-s.ctx.Done():
log.Printf("context Done msg: %#v \n", s.ctx.Err())
return
case <-ticker.C:
var revBody []byte
var err error
if !s.options.UseBLPop {
revBody, err = s.redisCmd.LPop(s.topicName).Bytes()
} else {
revs := s.redisCmd.BLPop(time.Second, s.topicName)
err = revs.Err()
revValues := revs.Val()
if len(revValues) >= 2 {
revBody = []byte(revValues[1])
}
}
if err == redis.Nil {
continue
}
if err != nil {
log.Printf("LPOP error: %#v \n", err)
continue
}
if len(revBody) == 0 {
continue
}
msg := &Message{}
json.Unmarshal(revBody, msg)
if s.handler != nil {
s.handler.HandleMessage(msg)
}
}
}
}()
}
Producer 的實現
Producer還是很簡單的就是把數據推送到 reids