Kafka 小细节

在定义cosumer的时候会定义组的概念  把consumer分成几个组

 

在同一个消费者组里,同一时间消息只能有一个消费者在kafka消费消息

consumer是与partition进行连接的,消费以partition为单元  要消费就消费一个分区

不能重复消费消息

1、zookeeper 保存的是集群的状态信息  如果一台机器down了  zookeeper可以告诉第二台机器的备份 可以当leader了

2、每一个分区里的消息是有序的  多个分区的消息是无序的

3、每个消费者消费的消息队列的下标 是由zookeeper

4、kafka缓存默认保存消息7天----磁盘中  

5、同一个Topic 有很多Partition 分布在不同的集群节点上,这属于分布式

不同的topic partion的备份是相互的  负载均衡

6、partition分区在集群中对同一个topic来说是不会重复的(leader-follower除外)

7、同一个分区消息有序如下

8、动态的增加集群节点数,可以有效的提高kafka 的吞吐量 (这个很好理解 节点多了,+上每个电脑的带宽 磁盘IO和缓存,自然提高的吞吐量)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章