kafka的message和batches

Kafka 中最基本的数据单元是消息message,如果使用过数据库,那么可以把Kafka 
中的消息理解成数据库里的一条行或者一条记录。消息是由字符数组组成
的,kafka 并不关系它内部是什么,索引消息的具体格式与Kafka 无关。
消息可以有一个可选的key,这个key 也是个字符数组,与消息一样,对于kafka 也
是透明的。key 用来确定消息写入分区时,进入哪一个分区。最简单的处理方式,
就是把key 作为hash 串,拥有相同key 的消息,肯定会进入同一个分区。
为了提高效率,Kafka 以批量的方式写入。一个batch 就是一组消息的集合,
这一组的数据都会进入同一个topic 和partition(这个是根据producer 的配置来
定的)。每一个消息都进行一次网络传输会很消耗性能,因此把消息收集到一起,
再同时处理就高效的多了。当然,这样会引入更高的延迟以及吞吐量:
batch 越大,同一时间处理的消息就越多。batch 通常都会进行压缩,
这样在传输以及存储的时候效率都更高一些。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章