kafka架构介绍
1、生产者 API
- 允许应用程序发布记录流至一个或者多个kafka的主题 topics（生产数据到topic）。
2、消费者 API
- 允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流（读取数据，消费数目）。
3、StreamsAPI
- 允许应用程序充当流处理器（stream processor），从一个或者多个主题获取输入流，并生产一个输出流到一个或 者多个主题，能够有效的变化输入流为输出流。（把kafka 主题连接到现有的应用程序或数据系统）
4、ConnectAPI
- 允许构建和运行可重用的生产者或者消费者，能够把kafka主题连接到现有的应用程序或数据系统。例如：一个计算数字的原始数据队列，经过不同的应用程序，生成最终的目标数据队列（应用充当处理器）
- 如何理解应用充当处理器？（如下图）
![在这里插入图片描述]()
kafka架构内部细节剖析
说明
kafka支持消息持久化，消费端为拉模型来拉取数据，消费状态和订阅关系有客户端负责维护，消息消费完后，不会立即删除，会保留历史消息。因此支持多订阅时，消息只会存储一份就可以了。
kafka消息保留在磁盘上，并在集群内复制以防止数据丢失（不能提高数据的读取效率）。
Consumer Group：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定 groupName）
Broker：kafka集群中包含一个或者多个服务实例
Topic：每条发布到kafka集群的消息都有一个类别，分类
Partition：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition
segment：一个partition当中存在多个segment文件段，每个segment分为两部分，.log文件和.index文件，其中:
.index文件是索引文件，主要用于快速查询.log文件当中数据的偏移量位置
.log存放数据文件
