windows環境kafka搭建，並用java代碼實現簡單生產和消費

預覽

1.下載安裝zookeeper

2.用7-zip解壓zookeeper的tar.gz文件

3.下載解壓kafka

4.命令行生產消費

5.java代碼實現生產消費

---

1.下載安裝zookeeper

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/
(我下載的3.5.5有問題，下的3.4.14沒問題)

---

2.用7-zip解壓zookeeper的tar.gz文件

https://www.7-zip.org/download.html

安裝完後點擊如下：

選擇zookeeper-3.4.14.tar.gz直到如圖，然後解壓文件到自定義路徑:

解壓後

2.1修改配置文件

打開config文件，複製zoo_simple.cfg到同級目錄，改名爲zoo.cfg
，打開zoo.cfg配置如下：
dataDir=H:\work\tools\zookeeprer_and_kafaka\zookeeper_dataDir
dataLogDir=H:\work\tools\zookeeprer_and_kafaka\zookeerer_dataDir

2.2配置zookeeper環境變量

`
ZOOKEEPER_HOME H:\work\tools\zookeeprer_and_kafaka\zookeeper-3.4.14
path 在最後加入;%ZOOKEEPER_HOME%\bin;
cmd打開命令行
輸入zkServer啓動後如圖，保持窗口

---

3.下載解壓kafka

http://kafka.apache.org/downloads
要選擇Binary downloads下邊的，不要選擇上面的Source download

可以直接解壓，解壓後如圖：

打開config下的server.properties修改log.dirs爲：
log.dirs=H:\work\tools\zookeeprer_and_kafaka\kafka_log.dirs

---

4.命令行生產消費

4.1 啓動kafka

在kafka_2.12-2.3.0目錄下
空白處"shift + 鼠標右鍵"打開cmd窗口執行
.\bin\windows\kafka-server-start.bat .\config\server.properties
我的又出現，命令行輸入錯誤，短時間沒找到解決方法；所以我把server.properties文件拷貝到bin\windows\下
kafka-server-start.bat server.properties

因爲我操作過所以圖可能不一樣；

4.2創建topic

在kafka_2.12-2.3.0目錄下
空白處"shift + 鼠標右鍵"打開cmd窗口執行
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

4.3創建一個producer

在kafka_2.12-2.3.0目錄下
空白處"shift + 鼠標右鍵"打開cmd窗口執行
kafka-console-producer.bat --broker-list localhost:9092 --topic test

4.4創建一個consumer

在kafka_2.12-2.3.0目錄下
空白處"shift + 鼠標右鍵"打開cmd窗口執行
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test
2.12x之前的kafka版本如下命令
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

4.5 在producer中發送消息，consumer顯示

---

5.java代碼實現生產消費

5.1建立一個java_web項目；

5.2把kafka\libs下的jar全部拷貝到web項目的lib下

拷貝後

5.3代碼創建生產者

public class ProducerDemo {
 
    private final KafkaProducer<String, String> producer;
 
    public final static String TOPIC = "test5";
 
    private ProducerDemo() {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");//xxx服務器ip
        props.put("acks", "all");//所有follower都響應了才認爲消息提交成功，即"committed"
        props.put("retries", 0);//retries = MAX 無限重試，直到你意識到出現了問題:)
        props.put("batch.size", 16384);//producer將試圖批處理消息記錄，以減少請求次數.默認的批量處理消息字節數
        //batch.size當批量的數據大小達到設定值後，就會立即發送，不顧下面的linger.ms
        props.put("linger.ms", 1);//延遲1ms發送，這項設置將通過增加小的延遲來完成--即，不是立即發送一條記錄，producer將會等待給定的延遲時間以允許其他消息記錄發送，這些消息記錄可以批量處理
        props.put("buffer.memory", 33554432);//producer可以用來緩存數據的內存大小。
        props.put("key.serializer",
                "org.apache.kafka.common.serialization.IntegerSerializer");
        props.put("value.serializer",
              "org.apache.kafka.common.serialization.StringSerializer");
 
        producer = new KafkaProducer<String, String>(props);
    }
 
    public void produce() {
        int messageNo = 1;
        final int COUNT = 5;
 
        while(messageNo < COUNT) {
            String key = String.valueOf(messageNo);
            String data = String.format("hello KafkaProducer message %s from hubo 06291018 ", key);
            
            try {
                producer.send(new ProducerRecord<String, String>(TOPIC, data));
            } catch (Exception e) {
                e.printStackTrace();
            }
 
            messageNo++;
        }
        
        producer.close();
    }
 
    public static void main(String[] args) {
        new ProducerDemo().produce();
    }
}

5.4代碼創建消費者

public class UserKafkaConsumer extends Thread {
 
        public static void main(String[] args){
            Properties properties = new Properties();
            properties.put("bootstrap.servers", "localhost:9092");//xxx是服務器集羣的ip
            properties.put("group.id", "jd-group");
            properties.put("enable.auto.commit", "true");
            properties.put("auto.commit.interval.ms", "1000");
            properties.put("auto.offset.reset", "latest");
            properties.put("session.timeout.ms", "30000");
            properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 
            KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);
            kafkaConsumer.subscribe(Arrays.asList("test5"));
            while (true) {
                ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.println("-----------------");
                    System.out.printf("offset = %d, value = %s", record.offset(), record.value());
                    System.out.println();
                }
            }
 
        }
}

web項目截圖

消費者執行main函數打印如圖

值得注意的是命令行中的生產消費和代碼中的是互通的

---

本博客內容80%來自下面兩位博客，多謝前輩栽樹，留我後人乘涼，比心！！！

https://blog.csdn.net/wobuaizhi/article/details/80950337
https://blog.csdn.net/u010054969/article/details/70241478
沒侵權吧，我也喜歡開源啊，別跟我要侵權費，真沒錢:)