NSQ系列(一):概述和架构

关于NSQ

NSQ是Go开发的,比较轻量的一款MQ。公司很多项目使用了NSQ作为消息队列,也借此了解下NSQ。
先说下NSQ的几个特性,

  • 分布式部署,没有单点问题
  • 支持水平扩容
  • 消息优先存储在内存(超过限制后可以保持在磁盘)
  • Consumer可以动态发现Producer

架构

集群两个主要角色:nsqd和nsqlookupd。

nsqd

nsqd负责提供集群的主要功能,一个nsqd实例同时处理多个数据流。与Kafka类似,一个数据流也可以被称为一个topic。NSQ还有一个Channel的概念,类似于Kafka的ConsumerGroup,一个topic可以对应多个Channel,不同的是,每个Channel都存储一份完整的数据(完整的未消费的数据),而Kafka则是存储同一份数据,通过Offset来区分不同的ConsumerGroup的消费进度。
Consumer需要指定一个Channel才能消费数据。
一个Channel通常会与多个Consumer Client建立连接。当channel中存在待处理的消息时,Channel会从多个Client中随机选择一个进行推送,整个流程如下图所示,
NSQ架构图
概括来说,一条消息从Topic广播到Channel(每个Channel都会收到一份消息),然后再从Channel分发到Consumer。

nsqlookupd

nsqlookupd主要提供服务发现功能,Consumer可以通过nsqlookupd来知道它要消费的Channel数据分布在哪些nsqd实例。

交互

每个nsqd都会与nsqlookupd建立一个TCP长连接,并且定期向nsqlookupd上报自己的状态信息,主要包括自己当前处理那些Topic以及对应Topic包含哪些Channel。

参考资料

  • https://nsq.io/overview/features_and_guarantees.html
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章