Kafka 小細節

在定義cosumer的時候會定義組的概念  把consumer分成幾個組

 

在同一個消費者組裏,同一時間消息只能有一個消費者在kafka消費消息

consumer是與partition進行連接的,消費以partition爲單元  要消費就消費一個分區

不能重複消費消息

1、zookeeper 保存的是集羣的狀態信息  如果一臺機器down了  zookeeper可以告訴第二臺機器的備份 可以當leader了

2、每一個分區裏的消息是有序的  多個分區的消息是無序的

3、每個消費者消費的消息隊列的下標 是由zookeeper

4、kafka緩存默認保存消息7天----磁盤中  

5、同一個Topic 有很多Partition 分佈在不同的集羣節點上,這屬於分佈式

不同的topic partion的備份是相互的  負載均衡

6、partition分區在集羣中對同一個topic來說是不會重複的(leader-follower除外)

7、同一個分區消息有序如下

8、動態的增加集羣節點數,可以有效的提高kafka 的吞吐量 (這個很好理解 節點多了,+上每個電腦的帶寬 磁盤IO和緩存,自然提高的吞吐量)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章