Producer可以創建topic卻無法send消息

1 問題描述

創建的Java Producer API發送數據，但是consumer的時候卻無法看到發送的數據。不過可以成功創建topic。

2 機器簡介

我有四臺linux集羣（不是虛擬機，都是單獨的物理機，四臺樹莓派）：

hostname	broker-list	IP地址
power1	broker0	192.168.31.2
slaves1	broker1	192.168.31.3
slaves2	broker2	192.168.31.4
slaves3	broker3	192.168.31.5

3 本地代碼

我是在自己筆記本（windows）上開發的代碼，然後直接運行了Idea。

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class KafkaProducer2 {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "power1:9092");
        props.put("acks", "0");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        for (int i = 0; i < 100; i++) {
            System.out.println(i);
            //producer.send(new ProducerRecord<String, String>("topic0", Integer.toString(i), Integer.toString(i)));
            ProducerRecord<String, String> records = new ProducerRecord<String,String>("topic0", Integer.toString(i), Integer.toString(i));
        }
        producer.close();
    }
}

運行之後，沒有報錯。且能創建topic。另外，我也在windows的hosts文件中加入了power1

host文件添加如下：

power1 192.168.31.2

4 解決過程

4.1 添加代碼，獲取發送之後的信息

producer.send(records).get();

4.2 新代碼如下：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;
import java.util.concurrent.ExecutionException;

public class KafkaProducer2 {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "power1:9092");
        props.put("acks", "0");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        for (int i = 0; i < 100; i++) {
            System.out.println(i);
            //producer.send(new ProducerRecord<String, String>("topic0", Integer.toString(i), Integer.toString(i)));
            ProducerRecord<String, String> records = new ProducerRecord<String,String>("topic0", Integer.toString(i), Integer.toString(i));

            // 以下爲新增內容：
            try {
                producer.send(records).get();
            } catch (InterruptedException e) {
                e.printStackTrace();
            } catch (ExecutionException e) {
                e.printStackTrace();
            }

        }
        producer.close();
    }
}

4.3 獲取報錯如下：

Caused by: org.apache.kafka.common.errors.TimeoutException: Topic topic0 not present in metadata after 60000 ms.

4.4 看來還是網絡的問題：

修改所有broker的server.properties文件，把所有hostname修改成ip地址

如：
listeners=PLAINTEXT://power1:9092 ----> listeners=PLAINTEXT://192.168.31.2:9092

4.5 再次測試

修改完每一臺的server.properties之後重啓kafka。運行，解決。

4.6 問題深究

難道說，必須只能用ip地址嗎？我相信kafka不會這麼不成熟。我只要配置了hostname的解析，那麼就應該是正常的。而且沒修改之前，我在控制檯上produce數據也是可以正常消費的啊。

因此，我懷疑，應該是我的筆記本和這些集羣之間的網絡問題，並不是server.properties必須使用ip地址。

4.7 證明自己猜想

首先，將power1的server.properties還原成listeners=PLAINTEXT://power1:9092
重啓kafka，運行java上的producer。正常。

將slaves1的server.properties還原成listeners=PLAINTEXT://slaves1:9092
重啓kafka，運行java上的producer。正常。

將slaves2的server.properties還原成listeners=PLAINTEXT://slaves2:9092
重啓kafka，運行java上的producer。正常。

將slaves3的server.properties還原成listeners=PLAINTEXT://slaves3:9092
重啓kafka，運行java上的producer。不正常。

終於找到了問題，slaves3！

4.8 爲什麼是slaves3

爲什麼是slaves3，難道說…？

./kafka-topics.sh --describe --bootstrap-server power1:9092 --topic topic0

輸出：
Topic: topic0 Partition: 0 Leader: 3 Replicas: 3 Isr: 3

原來如此，數據都是在broker3上存着，也就是slaves3這臺機器上。

所以，我變更power1,slaves1,slaves2的server.properties都不會影響。

雖然，java代碼中寫了props.put("bootstrap.servers", "power1:9092");，但是實際數據是發送到slaves3上的，而我筆記本上的hosts文件並沒有添加slaves3的解析，因此將slaves3的server.properties文件修改成ip就沒問題了。

爲了統一，我將筆記本上的hosts文件添加所有集羣的解析。

192.168.31.2 power1

192.168.31.3 slaves1

192.168.31.4 slaves2

192.168.31.5 slaves3

將所有機器上的server.properties全部換成hostname，就是不用ip。

測試–>成功！