kafka入門案例，java中實現helloWord

一、環境要求

（項目源碼在最下方有鏈接）
操作系統：win10
JDK:1.7以上
kafka版本：kafka_2.12-1.0.0
Kafka官網下載：下載
選擇：kafka_2.12-1.0.0.tgz
zookeeper下載：下載
選擇：zookeeper-3.4.11.tar.gz（二進制）

二、環境搭建

1.JDK環境（過程略）
2.zookeeper環境
與jdk環境配置類似
a.解壓zookeeper壓縮包，找到該項目下conf目錄中的“zoo_sample.cfg”重命名爲“zoo.cfg”,我的是在E:\Java\Tool\zookeeper-3.4.11\zookeeper-3.4.11
b.在任意文本編輯器（如notepad++,記事本）中打開zoo.cfg,
c. 找到並編輯dataDir=e://Java//Tool//tmp
添加環境變量：
ZOOKEEPER_HOME
變量值 E:\Java\Tool\zookeeper-3.4.11\zookeeper-3.4.11
Path：在末尾添加%ZOOKEEPER_HOME%\bin

測試：打開cmd,輸入zkServer（保持打開，以下還要用）
控制檯能打印出端口號，說明配置成功

三、kafka安裝與運行
1.解壓kafka的壓縮包，進入解壓包目錄，E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0，打開並修改config下的server.properties,修改log.dirs=E:/Java/tmp/kafka-log
2.在kafka安裝目錄即：E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0打開命令執行窗口，輸入
.\bin\windows\kafka-server-start.bat.\config\server.properties
（保持打開，以下還要用）

日誌中有個javax.management.MalformedObjectNameException: Invalid character ‘:’ in value part of property錯誤，可以忽略。
3.創建主題：
在kafka安裝目錄即：E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0打開命令執行窗口，輸入

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181--replication-factor 1 --partitions 1 --topic topic1

(最後鍵名爲主題的名字)
（保持打開，以下還要用）
創建生產者
在kafka安裝目錄即：E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0打開命令執行窗口，輸入

.\bin\windows\kafka-console-producer.bat--broker-list localhost:9092 --topic topic1

(最後鍵名爲主題的名字)
（保持打開，以下還要用）
創建消費者
在kafka安裝目錄即：E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0打開命令執行窗口，輸入

.\bin\windows\kafka-console-consumer.bat--zookeeper localhost:2181 --topic topic1

(最後鍵名爲主題的名字)
在生產者中輸入任何信息，消費者能接收即爲部署成功。
總結步驟：

1.啓動zookeeper服務
zkServer

2.啓動kafka服務（kafka安裝目錄）

.\bin\windows\kafka-server-start.bat .\config\server.properties

3.創建主題（kafka安裝目錄）

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1

4.創建生產者（kafka安裝目錄）

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic1

5.創建消費者（kafka安裝目錄）

.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic topic1

四、JAVA項目整合實現

1.創建maven項目，修改pom文件
添加kafka的jar

<dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.11</artifactId>
        <version>0.8.2.1</version>
    </dependency>

2.創建一個類充當配置文件

    package com.chenx.demo.conf;

public interface KafkaProperties {
     final static String zkConnect = "127.0.0.1:2181";
        final static String groupId = "group1";
        final static String topic = "topic1";
        final static String kafkaServerURL = "127.0.0.1";
        final static int kafkaServerPort = 9092;
        final static int kafkaProducerBufferSize = 64 * 1024;
        final static int connectionTimeOut = 20000;
        final static int reconnectInterval = 10000;
        final static String topic2 = "topic2";
        final static String topic3 = "topic3";
        final static String clientId = "SimpleConsumerDemoClient";
}

3.創建生產者

package com.chenx.demo.producer;

import java.util.Properties;

import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;

public class KafkaProducer extends Thread {
     private final kafka.javaapi.producer.Producer<Integer, String> producer;
        private final String topic;
        private final Properties props = new Properties();
        public KafkaProducer(String topic)
        {
            props.put("serializer.class", "kafka.serializer.StringEncoder");
            props.put("metadata.broker.list", "127.0.0.1:9092");
            producer = new kafka.javaapi.producer.Producer<Integer, String>(new ProducerConfig(props));
            this.topic = topic;
        }
        @Override
        public void run() {
            int messageNo = 1;
            while (true)
            {
                String messageStr = new String("helloWord->" + messageNo);
                System.out.println("Send:" + messageStr);
                producer.send(new KeyedMessage<Integer, String>(topic, messageStr));
//              System.out.println("topic:"+topic);
                messageNo++;
                try {
                    sleep(1000);
                } catch (InterruptedException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
}

4.創建生產者

package com.chenx.demo.consumer;

import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

import com.chenx.demo.conf.KafkaProperties;

import kafka.consumer.ConsumerConfig;
import kafka.consumer.ConsumerIterator;
import kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;

public class KafkaConsumer extends Thread {
    private final ConsumerConnector consumer;
    private final String topic;
    public KafkaConsumer(String topic)
    {
        consumer = kafka.consumer.Consumer.createJavaConsumerConnector(
                createConsumerConfig());
        this.topic = topic;
    }
    private static ConsumerConfig createConsumerConfig()
    {
        Properties props = new Properties();
        props.put("zookeeper.connect", KafkaProperties.zkConnect);
        props.put("group.id", KafkaProperties.groupId);
        props.put("zookeeper.session.timeout.ms", "40000");
        props.put("zookeeper.sync.time.ms", "200");
        props.put("auto.commit.interval.ms", "1000");
        return new ConsumerConfig(props);
    }
    @Override
    public void run() {
        Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
        topicCountMap.put(topic, new Integer(1));
        Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
        KafkaStream<byte[], byte[]> stream = consumerMap.get(topic).get(0);
        ConsumerIterator<byte[], byte[]> it = stream.iterator();
        while (it.hasNext()) {
            System.out.println("receive：" + new String(it.next().message()));
            try {
                sleep(3000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

5.創建客戶端啓動程序

package com.chenx.demo.client;

import com.chenx.demo.conf.KafkaProperties;
import com.chenx.demo.consumer.KafkaConsumer;
import com.chenx.demo.producer.KafkaProducer;

public class KafkaClient {
    public static void main(String[] args) {
         KafkaProducer producerThread = new KafkaProducer(KafkaProperties.topic);
            producerThread.start();
            KafkaConsumer consumerThread = new KafkaConsumer(KafkaProperties.topic);
            consumerThread.start();

    }

}

6.啓動zookeeper和kafka服務
cmd輸入zkServer，
在kafka安裝目錄即：E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0打開命令執行窗口，輸入

.\bin\windows\kafka-server-start.bat.\config\server.properties

同上
運行KafkaClient類
控制檯正常打印出內容
項目結構和最後結果圖

爲了能更直接的體現消費者和生產者模型，可以通過windows的控制檯啓動消費者，java項目不啓動消費者。
下面修改代碼，註解掉 consumerThread.start();

package com.chenx.demo.client;

import com.chenx.demo.conf.KafkaProperties;
import com.chenx.demo.consumer.KafkaConsumer;
import com.chenx.demo.producer.KafkaProducer;

public class KafkaClient {
    public static void main(String[] args) {
         KafkaProducer producerThread = new KafkaProducer(KafkaProperties.topic);
            producerThread.start();
//          KafkaConsumer consumerThread = new KafkaConsumer(KafkaProperties.topic);
//          consumerThread.start();

    }

}

啓動消費者服務
在kafka安裝目錄即：E:\Java\Tool\kafka_2.12-1.0.0\kafka_2.12-1.0.0打開命令執行窗口，輸入

.\bin\windows\kafka-console-producer.bat--broker-list localhost:9092 --topic topic1

項目源碼
tip:關掉kafka服務，重啓之後再創建主題topic1時會顯示已存在的消息，這個時候可以直接跳過進入創建生產者的步驟，或者刪除kafka日誌目錄下的東西、tmp/kafka-log,重啓kafka服務，就能重新創建topic1,或者用其他方法刪除topic,我還在學習。
歡迎在下方留言

kafka入門案例，java中實現helloWord

一、環境要求

二、環境搭建

四、JAVA項目整合實現

js高階函數應用實例map,reduce

ansj中文分詞分詞過程淺析

kafka入門案例，java中實現helloWord

jstl屬性值找不到異常

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結