CDH 中 使用kafka 与 非CDH中使用kafka的区别与注意

================== 非CDH中使用kafka ======================== 

1.kafka 创建 topic
 
      cd /root/kafka
      1.格式：bin/kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 副本数 --partitions 分片数/分区数 --topic 主题名
      2.例子：bin/kafka-topics.sh --create --zookeeper NODE1:2181 --replication-factor 2 --partitions 6 --topic log_monitor
 
2.kafka：通过 shell 消费者消费指定topic主题中的消息           
            cd /root/kafka
            格式：bin/kafka-console-consumer.sh --zookeeper zookeeper的IP:2181 --from-beginning --topic 主题名
            例子：bin/kafka-console-consumer.sh --zookeeper NODE1:2181 --from-beginning --topic log_monitor

================== CDH中使用kafka ======================== 

例子：
 
创建topic：kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01
producer写入数据：kafka-console-producer --broker-list node01:9092 --topic from_flume01
consumer消费数据：kafka-console-consumer --bootstrap-server node01:9092 --topic from_flume01

 

问题：假如消费不出topic中的数据时。

日志报错：kafka.server.KafkaApis: [KafkaApi-48] Number of alive brokers ‘命令中指定的备份数’ does not meet the required replication factor ‘CDH中kafka配置的备份数’ for the offsets topic

方法：查看命令中指定的备份数 是否小于 CDH中kafka配置的备份数

解决：要么修改 命令中指定的备份数 ，和CDH中kafka配置的备份数 一致 或大于 CDH中kafka配置的备份数

本文转自：https://blog.csdn.net/zimiao552147572/article/details/88557201