kafka重装及代码实例连接测试
1.重装Kaffka前确认环境
1.1确认Zookeeper是否清除干净
以下是安装前和安装后的zkCli.sh多出的信息
1.2logs是否删除
默认kafka的logs.dir配置为:/tmp/kafka-logs
1.3环境配置
需要安装jdk,Zookeeper
2.重装kafka
2.1重装kafka2.11_0.11.0.0
tar -zxvf kafka压缩包 -C 目标目录
vim config/server.properties
# 修改broker.id:每台机器唯一
broker.id=2
# 可指定端口号和主机名
port=9092
host.name=test61
# 需手动创建logs:mkdir logs
log.dirs=/opt/module/kafka_2.11/logs
# Zookeeper我配了5台,kafka也是在同机器下5台
zookeeper.connect=test55:2181,test59:2181,test61:2181,test63:2181,test64:2181
# 分发到所有目标机器后,修改config/server.properties下的broker.id
scp -r /opt/module/kafka_2.11 test55:/opt/module
2.2启动机器
# 每台机器下单点启动
kafka-server-start.sh -daemon /opt/module/kafka_2.11/config/server.properties
# jps查看是否有kafka进程
3.console测试
# 1.创建主题
kafka-topics.sh --zookeeper test55:2181 --create --topic test --partitions 2 --replication-factor 2
# 2.创建Producer
kafka-console-producer.sh --broker-list test55:9092 --topic test
# 创建Consumer
kafka-console-consumer.sh --bootstrap-server cimc59:9092 --topic test --from-beginning
# 或
kafka-console-consumer.sh --zookeeper cimc59:2181 --topic test --from-beginning
结果:Producer生产:hello world Consumer消费:hello world
4.实例Producer测试
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
public class CustomProducer {
public static void main(String[] args) throws Exception {
// 1 设置配置信息
Properties props = new Properties();
props.put("bootstrap.servers", "test59:9092");//注意,我的windows配置了hosts
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
// 2 构建拦截链(这里用不着)
// List<String> interceptors = new ArrayList<>();
// interceptors.add("com.cimc.kafka.interceptor.TimeInterceptor"); interceptors.add("com.cimc.kafka.interceptor.CounterInterceptor");
// props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, interceptors);
String topic = "test";
Producer<String, String> producer = new KafkaProducer<>(props);
// 3 发送消息
for (int i = 0; i < 10; i++) {
ProducerRecord<String, String> record = new ProducerRecord<>(topic, "message" + i);
producer.send(record);
}
// 4 一定要关闭producer,这样才会调用interceptor的close方法
producer.close();
}
}
运行后,可以在bash上看到kafka-console-consumer.sh消费到了数据。
有什么问题评论区讨论