Kafka单机及伪集群模式部署及基本操作

一.下载,解压

在这里插入图片描述

二.启动服务器【先启动zookeeper】

Kafka使用ZooKeeper,因此如果还没有,请先启动ZooKeeper服务器。可以使用kafka的脚本随时来获取快速且高效的单节点ZooKeeper实例。
启动zookeeper:
在这里插入图片描述
启动Kafka:
在这里插入图片描述

三.创建topic

用一个分区和一个副本创建一个名为“ test1”的主题:
在这里插入图片描述
现在,运行list topic命令,可以看到该主题:
在这里插入图片描述

四.生产消息

Kafka带有一个命令行客户端,它将从文件或标准输入中获取输入,并将其作为消息发送到Kafka集群。默认情况下,每行将作为单独的消息发送。

运行生产者,然后在控制台中键入一些消息以发送到服务器。
在这里插入图片描述

五.消费消息

Kafka还有一个命令行使用者,它将消息转储到标准输出。
在这里插入图片描述
如果上面的每个命令都在不同的终端上运行,那么能够在生产者终端中键入消息,并看到它们出现在消费者终端中。
生产者:
在这里插入图片描述
消费者:
在这里插入图片描述

六.伪集群模式

对于Kafka来说,单个代理只是一个大小为1的集群,因此除了启动更多的代理实例之外,没有什么太大的变化。但是,只是为了感受一下,让我们将集群扩展到三个节点(仍然全部在本地计算机上)。

首先,我们为每个代理创建一个配置文件(在Windows上,使用copy命令代替):
在这里插入图片描述
编辑这些新文件并设置以下属性:
在这里插入图片描述
编辑内容如下:
在这里插入图片描述
broker.id属性是集群中每个节点的唯一且永久的名称。我们只需要覆盖端口和日志目录,这是因为我们在同一台计算机上运行它们,并且希望所有代理都不要试图在同一端口上注册或覆盖彼此的数据。

已经有Zookeeper并启动了单个节点,因此只需要启动两个新节点:
在这里插入图片描述
在这里插入图片描述
查看:
在这里插入图片描述
现在,创建一个具有三个复制因子的新主题:
在这里插入图片描述
查看新主题类型:
在这里插入图片描述
这是输出的说明。第一行给出了所有分区的摘要,每一行都给出了有关一个分区的信息。由于该主题只有一个分区,因此只有一行。

  • leader:负责给定节点分区的所有读取和写入操作。每个节点将成为分区的随机选择部分的leader。
  • replicas:该分区复制日志的节点列表,无论它们是leader还是当前处于活动状态。
  • isr:“同步”副本的集合。这是副本列表的子集,当前仍处于活动状态并追随leader。

向新主题发布一些消息:
在这里插入图片描述
使用这些消息:
在这里插入图片描述
测试一下容错能力。server-1扮演领导者的角色,所以让我们杀死它:
在这里插入图片描述
领导权已切换到关注者之一,并且节点1不再位于同步副本集中:
在这里插入图片描述
但是,即使最初进行写操作的领导者已经下线,消息仍然可以使用:
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章