kafka重裝及代碼實例連接測試

kafka重裝及代碼實例連接測試

1.重裝Kaffka前確認環境

1.1確認Zookeeper是否清除乾淨

以下是安裝前和安裝後的zkCli.sh多出的信息

1.2logs是否刪除

默認kafka的logs.dir配置爲：/tmp/kafka-logs

1.3環境配置

需要安裝jdk，Zookeeper

2.重裝kafka

2.1重裝kafka2.11_0.11.0.0

tar -zxvf kafka壓縮包 -C 目標目錄

vim config/server.properties

# 修改broker.id：每臺機器唯一
broker.id=2
# 可指定端口號和主機名
port=9092
host.name=test61
# 需手動創建logs：mkdir logs
log.dirs=/opt/module/kafka_2.11/logs
# Zookeeper我配了5臺，kafka也是在同機器下5臺
zookeeper.connect=test55:2181,test59:2181,test61:2181,test63:2181,test64:2181

# 分發到所有目標機器後，修改config/server.properties下的broker.id
scp -r /opt/module/kafka_2.11 test55:/opt/module

2.2啓動機器

# 每臺機器下單點啓動
kafka-server-start.sh -daemon /opt/module/kafka_2.11/config/server.properties
# jps查看是否有kafka進程

3.console測試

# 1.創建主題
kafka-topics.sh --zookeeper test55:2181 --create --topic test --partitions 2 --replication-factor 2

# 2.創建Producer
kafka-console-producer.sh --broker-list test55:9092 --topic test

# 創建Consumer
kafka-console-consumer.sh --bootstrap-server cimc59:9092 --topic test --from-beginning
# 或
kafka-console-consumer.sh  --zookeeper cimc59:2181 --topic test --from-beginning

結果：Producer生產：hello world Consumer消費：hello world

4.實例Producer測試

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

public class CustomProducer {

    public static void main(String[] args) throws Exception {
        // 1 設置配置信息
        Properties props = new Properties();
        props.put("bootstrap.servers", "test59:9092");//注意，我的windows配置了hosts
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 2 構建攔截鏈（這裏用不着）
//        List<String> interceptors = new ArrayList<>();
//        interceptors.add("com.cimc.kafka.interceptor.TimeInterceptor"); 	interceptors.add("com.cimc.kafka.interceptor.CounterInterceptor");
//        props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, interceptors);

        String topic = "test";
        Producer<String, String> producer = new KafkaProducer<>(props);

        // 3 發送消息
        for (int i = 0; i < 10; i++) {

            ProducerRecord<String, String> record = new ProducerRecord<>(topic, "message" + i);
            producer.send(record);
        }

        // 4 一定要關閉producer，這樣纔會調用interceptor的close方法
        producer.close();
    }
}

運行後，可以在bash上看到kafka-console-consumer.sh消費到了數據。
有什麼問題評論區討論