kafka入門安裝學習
1、linux環境下kafka下載安裝
下載壓縮包
cd /opt && wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
如果wget無此命令提示符,執行yum wget 命令進行安裝
解壓壓縮包
tar -xzf kafka_2.12-2.3.0.tgz
cd kafka_2.12-2.3.0.tgz
2、編輯配置文件
進入配置文件
vi config/server.properties
在最後添加服務器IP
host.name=192.168.101.193
3、啓動服務
kafka是需要使用zookeeper的,若安裝單機的則可以直接啓動kafka自帶的zookeeper
啓動zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &
啓動kafka
bin/kafka-server-start.sh config/server.properties &
注:如果只開啓一個窗口進行操作,必須在命令行最後添加&,表示後臺啓動,否則Ctrl+C後該進程就會自動結束
4、創建一個主題(Topic)
創建一個名爲“test”的Topic,有一個分區和一個備份:
bin/kafka-topics.sh --create --zookeeper 192.168.101.193:2181 --replication-factor 1 --partitions 1 --topic test
創建好之後,可以查看已創建的主題信息
bin/kafka-topics.sh --list --zookeeper 192.168.101.193:2181
5、發送消息
Kafka提供了一個命令行的工具,可以從命令行中讀取消息併發送給Kafka集羣。每一行是一條消息。
運行producer(生產者),然後在控制檯輸入幾條消息到服務器。
bin/kafka-console-producer.sh --broker-list 192.168.101.193:9092 --topic test
> This is a message
> My name is PT
6、消費消息
Kafka也提供了一個消費消息的命令行工具,將存儲的信息輸出出來
bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.193:9092 --topic test --from-beginning
> This is a message
> My name is PT
JAVA客戶端使用
1、先引入依賴包
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>1.0.1</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>1.0.1</version>
</dependency>
</dependencies>
2、生產者代碼
package com.dapeng.test.kfk;
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
public class KafkaTest {
public static void main(String args[]) {
//1.參數配置:端口、緩衝內存、最大連接數、key序列化、value序列化等等(不是每一個非要配置)
Properties props=new Properties();
props.put("bootstrap.servers", "192.168.101.193:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//2.創建生產者對象,並建立連接
Producer<String, String> producer = new KafkaProducer<>(props);
//3.在my-topic主題下,發送消息
for(int i = 0; i < 10; i++) {
producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));
}
//4.關閉
producer.close();
}
}
3、消費者代碼
package com.dapeng.test.kfk;
import java.util.Arrays;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
public class Customer {
public static void main(String args[]) {
//1.參數配置:不是每一非得配置
Properties props = new Properties();
props.put("bootstrap.servers", "192.168.101.193:9092");
props.put("auto.commit.interval.ms", "1000");
//因爲每一個消費者必須屬於某一個消費者組,所以必須還設置group.id
props.put("group.id", "test");
props.put("enable.auto.commit", "true");
props.put("session.timeout.ms", "30000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
//2.創建消費者對象,並建立連接
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
//3.設置從"my-topic"主題下拿取數據
consumer.subscribe(Arrays.asList("my-topic"));
//4.消費數據
while (true) {
//阻塞時間,從kafka中取出100毫秒的數據,有可能一次性去除0-n條
ConsumerRecords<String, String> records = consumer.poll(100);
//遍歷
for (ConsumerRecord<String, String> record : records)
//打印結果
//System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
System.out.println("消費者消費的數據爲:"+record.value());
}
}
}
4、運行
- 先運行生產者代碼
- 查看主題列表
bin/windows/kafka-topics.bat --list --zookeeper 192.168.101.193:2181
- 運行消費者代碼,可以看到會消費生產者生產的消息
因爲只有my-topic主題下只有默認的一個分區,所以消息都放在此分區下面,所以消費的數據都是有序的,如果有該主題下有多個分區,那麼分區與分區之間就不是有序的了