1.目標
今天，在這篇[Kafka]文章中，我們將看到Kafka Cluster Setup。這個Kafka集羣教程爲我們提供了一些設置Kafka集羣的簡單步驟。簡而言之，爲了實現Kafka服務的高可用性，我們需要在集羣模式下設置Kafka。 因此，在此Kafka Cluster文檔中，我們將學習Kafka多節點羣集設置和Kafka多代理羣集設置。此外，我們將看到Kafka Zookeeper羣集設置。
那麼，讓我們開始Kafka羣集設置。
設置Kafka集羣的方法：Apache Kafka
2. Kafka羣集設置
爲了獲得更好的Kafka服務可靠性和高可用性，我們需要在集羣模式下設置Kafka。一開始：
- 從Apache的網站下載Kafka。另外，解壓縮zip文件。
- 此外，製作提取的文件夾的兩個副本，然後將後綴_1，_2，_3添加到這些文件夾名稱。因此，如果我們提取的文件夾名稱爲kafka_2.11-1.1.0，您將擁有文件夾kafka_2.11-1.1.0_1，kafka_2.11-1.1.0_2，kafka_2.11-1.1.0_3。
- 轉到kafka_2.11-1.1.0_1文件夾。
3.設置Kafka羣集的步驟
現在，按照幾個步驟設置Kafka Cluster：
- 創建一個名爲“logs”的文件夾。在此文件夾中，將存儲所有Kafka日誌。
- 然後，打開server.properties文件，進入config目錄。在這裏，我們將找到包含[Kafka代理]配置的文件。
- 此外，將broker.id設置爲1.確保它是Kafka羣集中代理的ID，因此對於每個代理，它必須是唯一的。
- 然後，取消註釋偵聽器的配置，並將其設置爲PLAINTEXT：// localhost：9091。它說，對於連接請求，Kafka經紀人將監聽端口9091。
- 此外，使用logs文件夾路徑，設置我們在步驟1中創建的log.dirs配置。
- 另外，在zookeeper.connect配置中設置Apache Zookeeper地址。但是，如果Zookeeper在Kafka集羣中運行，請確保將該地址作爲逗號分隔列表，即：localhost：2181，localhost：2182。
基本上，這些是我們需要爲開發環境設置的一些常規配置。
通過這種方式，我們的第一個Kafka代理配置就緒。現在，對於其他兩個文件夾或代理，請按照相同的步驟進行以下更改。
- 現在，將broker.id分別更改爲2和3，分別在步驟3中。
- 並且，還要在步驟4中分別更改用於9092和9093的端口。注意：可以提供任何可用的端口號。
因此，對於所有經紀人，我們的配置已準備就緒。現在，運行命令./bin/kafka-server-start.sh config / server.properties，轉到每個Kafka文件夾的主目錄。
- 執行命令（全部作爲一行）：
- ./bin/kafka-topics.sh --create --zookeeper localhost：2181 --rerelication -factor
- 3 --partitions 50 --topic演示
這裏每個分區的複製因子爲3，創建了50個分區。在定義複製因子爲3時，對於分區，將有一個領導者和兩個粉絲。此外，在將消息或記錄發送給領導者時，它將被複制到粉絲中。
- 執行以下命令：
- ./bin/kafka-topics.sh --describe --topic Hello-Kafka --zookeeper localhost：2181
它有助於我們知道哪個代理是哪個分區的領導者或關注者。
- 輸出：
主題：demoPartitionCount：50ReplicationFactor：3Configs：
主題：demoPartition：0Leader：2Replicas：2,3,1Isr：2,3,1
主題：demoPartition：1Leader：3Replicas：3,1,2Isr：3,1,2
主題：demoPartition： 2Leader：1Replicas：1,2,3Isr：1,2,3
主題：demoPartition：3Leader：2Replicas：2,1,3Isr：2,1,3
主題：demoPartition：4Leader：3Replicas：3,2,1Isr：3， 2,1
主題：demoPartition：5Leader：1Replicas：1,3,2Isr：1,3,2
主題：demoPartition：6Leader：2Replicas：2,3,1Isr：2,3,1
........................... .......................................
..................................................................
............................................. .....................
現在，我們可以看到Broker 2是領導者，分區0和Broker 3是分區1的領導者。而且，這裏ISR指的是同步副本。
所以，這完全是關於Kafka Cluster的。希望你喜歡我們的解釋
4。結論
因此，在這個Kafka羣集設置教程中，我們學習了三個代理的Kafka羣集設置。此外，我們討論了Kafka多節點設置和Kafka - Zookeeper設置。但是，如果對Kafka羣集設置有任何疑問，請在評論標籤中詢問。
