kafka的安裝和簡單使用

一 下載kafka

下載地址：
記住 千萬不能下載源碼，下載編譯過的

二 Linux安裝kafka

將kafka上傳到 Linux裏面並解壓,kafka需要JDK的環境。

解壓kafka
tar -zxvf kafka_2.12-2.2.0.tgz

重命名
mv kafka_2.12-2.2.0 kafka

配置config下面的server.properties文件

broker.id=1    改爲1

增加ip映射，如果不增加就是locahost。這樣沒辦法使用java連接
host.name=192.168.100.129

三 kafka的一些基本命令

啓動zk
bin/zookeeper-server-start.sh  config/zookeeper.properties 

啓動kafka
bin/kafka-server-start.sh config/server.properties

創建tocic
bin/kafka-topics.sh --create --zookeeper 192.168.100.129:2181 --replication-factor 1 --partitions 1 --topic test

查詢topic列表
bin/kafka-topics.sh --list --zookeeper 192.168.100.129:2181

啓動 Producer
bin/kafka-console-producer.sh --broker-list 192.168.100.129:9092 --topic test

啓動 Consumer
bin/kafka-console-consumer.sh --bootstrap-server 192.168.100.129:9092 --topic test --from-beginning

topic的信息
bin/kafka-topics.sh --describe --zookeeper 192.168.100.129:2181 --topic test

四 docker安裝kafka

//安裝zookeeper
docker pull wurstmeister/zookeeper 
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
//docker exec -it zookeeper /bin/sh
//zookeeper的啓動腳本都在bin目錄
    
 //安裝kafka
docker pull wurstmeister/kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=IP:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://IP:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
//IP爲虛擬機的IP地址
//-e KAFKA_BROKER_ID=0  在kafka集羣中，每個kafka都有一個BROKER_ID來區分自己
//-e KAFKA_ZOOKEEPER_CONNECT=IP:2181/kafka 配置zookeeper管理kafka的路徑
//-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://IP:9092  把kafka的地址端口註冊給zookeeper
//-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的監聽端口
//-v /etc/localtime:/etc/localtime 容器時間同步虛擬機的時間

//驗證是否成功
//進入容器
docker exec -it kafka /bin/bash
//進入路徑/opt/kafka/bin 創建topic
kafka-topics.sh --create --zookeeper IP:2181/kafka --topic test --replication-factor 1 --partitions 2

五 java使用kafka推送和消費消息

使用的pom座標

	<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka_2.12</artifactId>
		</dependency>

Producer代碼簡單示例

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class Producer {
	private static KafkaProducer<String, String> producer;
	
	static {
		Properties props = new Properties();
		//聲生產者kafkka地址
		props.put("bootstrap.servers", "192.168.100.129:9092");
		//key序列化
		props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		producer = new KafkaProducer<>(props);
	}

	//發送消息
	private static void send() {
		//topic   key   推送的消息
		ProducerRecord<String, String> record = new ProducerRecord<String, String>("test", "key", "1231231231");
		producer.send(record);
		producer.close();
	}

	public static void main(String[] args) {
		send();

	}
}

Consumer示例代碼

import java.util.Collections;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;


public class Consumer {

	private static KafkaConsumer<String, String> consumer;
	private static Properties props;
	static {
		props = new Properties();
		//聲生產者kafkka地址
		props.put("bootstrap.servers", "192.168.100.129:9092");
		//key反序列化
		props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		//組???????
		props.put("group.id", "yangk");
	}

	private static void ConsumerMessage() {
		//允許自動提交位移
		props.put("enable.auto.commit", true);
		consumer = new KafkaConsumer<String, String>(props);
		consumer.subscribe(Collections.singleton("test"));

		//使用輪詢拉取數據--消費完成之後會根據設置時長來清除消息，被消費過的消息，如果想再次被消費，可以根據偏移量(offset)來獲取
		try {
			while (true) {
				ConsumerRecords<String, String> records = consumer.poll(100);
				for (ConsumerRecord<String, String> r : records) {
					System.out.printf("topic = %s, offset = %s, key = %s, value = %s", r.topic(), r.offset(),
							r.key(), r.value());

				}
			}
		} finally {
			consumer.close();
		}
	}

	public static void main(String[] args) {
		ConsumerMessage();
	}

}

六 總結

在啓動kafka的時候遇到一個問題，這個問題的原因是因爲Linux中的JDK版本低的原因導致。出現錯誤還是要細心的去看錯誤日誌才能更準確的定位到錯誤的原因

這裏也算是kafka的一個簡單入門吧。後面還是需要繼續學習kafka,來解決不懂得疑問